Explaining and Tuning Transformer-based LLMs in Arithmetic Tasks with Human Strategies
यह शोध पत्र यह प्रदर्शित करता है कि ट्रांसफॉर्मर-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs), कार्य अपघटन (task decomposition) और संज्ञानात्मक सशक्तिकरण (cognitive empowerment) जैसी मानव-समान शिक्षण रणनीतियों को अपनाकर बेहतर अंकगणितीय प्रदर्शन प्राप्त कर सकते हैं, जो LLMs और मानव शिक्षार्थियों के बीच साझा संज्ञानात्मक प्रक्रियाओं का सुझाव देते हैं और व्याख्यात्मक एआई सत्यापन (explainable AI verification) के माध्यम से मॉडल की विश्वसनीयता को बढ़ाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बुद्धिमान रोबोट और गणित की समस्या
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटरों ने लगभग हर उस किताब, वेबसाइट और बातचीत को पढ़ना सीख लिया है जो कभी लिखी गई है। इन्हें 'लार्ज लैंग्वेज मॉडल्स' (LLMs) कहा जाता है, और ये सुपर-स्मार्ट रोबोट की तरह हैं जो कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं और आपसे बातें कर सकते हैं। ये एक विशेष आर्किटेक्चर पर आधारित हैं जिसे "ट्रांसफॉर्मर" (Transformer) कहा जाता है, जो एक विशाल स्पॉटलाइट की तरह काम करता है, जिससे रोबोट एक ही समय में वाक्य के सबसे महत्वपूर्ण शब्दों पर ध्यान केंद्रित करने में मदद पाता है। आप सोच सकते हैं कि जो रोबोट भाषा के बारे में इतना कुछ जानता है, वह गणित में भी बहुत अच्छा होगा। लेकिन यहाँ एक ट्विस्ट है: जबकि ये रोबोट शब्दों के जादूगर हैं, वे अक्सर सरल गणित की समस्याओं में लड़खड़ा जाते हैं, जैसे दो संख्याओं को जोड़ना। यह एक ऐसे व्यक्ति की तरह है जो एक सुंदर कविता तो लिख सकता है लेकिन यह नहीं समझ पाता कि दुकान पर उसे कितने पैसे वापस मिलने चाहिए। यह एक बड़ी बात है क्योंकि यदि हम इन रोबों को महत्वपूर्ण कामों के लिए—जैसे डॉक्टरों की मदद करने या पैसों का प्रबंधन करने के लिए—भरोसा करना चाहते हैं, तो हमें यह जानना होगा कि क्या वे बुनियादी चीजों को सही ढंग से कर सकते हैं। वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि ये स्मार्ट रोबोट सरल गणित में क्यों विफल होते हैं और, अधिक महत्वपूर्ण रूप से, उन्हें बेहतर कैसे बनाया जाए।
शोध पत्र की कहानी: रोबोट को इंसानों की तरह सोचना सिखाना
इस अध्ययन में, शोधकर्ताओं ने गणित की समस्या को एक रहस्य की तरह सुलझाने का निर्णय लिया। उन्होंने केवल रोबोट पर और अधिक डेटा नहीं डाला और बेहतर होने की उम्मीद नहीं की। इसके बजाय, उन्होंने एक दिलचस्प सवाल पूछा: क्या ये AI रोबोट गणित उसी तरह सीखते हैं जैसे इंसान सीखते हैं?
यह जानने के लिए, उन्होंने एक मानक "वैनिला" ट्रांसफॉर्मर मॉडल (एक बुनियादी AI संस्करण) लिया और उसे पूर्णांक अंकगणित (integer arithmetic)—पूर्णांकों को जोड़ना, गुणा करना और भाग देना—सिखाया। उन्होंने पाया कि AI केवल अनुमान नहीं लगा रहा था; वह वास्तव में सीख रहा था, लेकिन वह संचालन के क्रम (order of operations) और चरणों की जटिलता के साथ संघर्ष कर रहा था।
"लेगो" (Lego) जैसा विभाजन
शोधकर्ताओं ने महसूस किया कि जिस तरह इंसान एक बड़ी, डरावनी गणित की समस्या को छोटे, आसान चरणों में तोड़ देते हैं, वैसे ही AI को भी ऐसा करने की आवश्यकता है। उन्होंने कार्यों को छोटे "उप-कार्यों" (subtasks) में विभाजित किया।
- जोड़ (Addition) के लिए: दो लंबी संख्याओं को जोड़ने की कल्पना करें। आप पूरी चीज़ को एक साथ नहीं देखते; आप अंतिम अंकों को जोड़ते हैं, फिर अगले अंकों को, और अगले कॉलम के लिए किसी भी "अतिरिक्त" संख्या (जैसे कि 1 को कैरी करना) को आगे ले जाते हैं। शोधकर्ताओं ने पाया कि AI ने आसान हिस्सों (अंतिम अंकों को जोड़ना) को बहुत जल्दी सीख लिया, लेकिन जब उसे उन "कैरी" किए गए नंबरों को याद रखने और अगले चरणों में उपयोग करने की आवश्यकता हुई, तो वह भ्रमित हो गया। यह दौड़ने से पहले चलना सीखने जैसा है।
- गुणा (Multiplication) के लिए: यह और भी कठिन है। जब आप बड़ी संख्याओं का गुणा करते हैं, तो आपको कई छोटे गुणनों को करना होता है और फिर उन सभी को जोड़ना होता है। पेपर में पाया गया कि AI सब कुछ एक साथ करने की कोशिश कर रहा था और अभिभूत (overwhelmed) हो रहा था। हालाँकि, जब शोधकर्ताओं ने AI को उल्टे क्रम में उत्तर लिखने के लिए सिखाया (अंतिम अंक से शुरू करके और पीछे की ओर काम करना, ठीक वैसे ही जैसे इंसान कागज पर अक्सर करते हैं), तो AI का प्रदर्शन काफी सुधर गया—लेकिन यह केवल सरल एकल-अंक वाले मल्टीप्लायर कार्यों के लिए था। लेकिन यहाँ एक पेंच है: जटिल बहु-अंकों वाले गुणा के लिए, केवल अंकों को उलटने से समस्या हल नहीं हुई; AI अभी भी संघर्ष कर रहा था क्योंकि मध्यवर्ती चरण एक एकल-परत (single-layer) मॉडल के लिए बहुत कठिन थे।
"मानवीय" तरकीबें
इस पेपर का सबसे रोमांचक हिस्सा यह है कि शोधकर्ताओं ने उन रणनीतियों का परीक्षण किया जो मानव शिक्षक छात्रों की मदद करने के लिए उपयोग करते हैं, और वे AI पर भी काम कर गईं!
- चेन ऑफ थॉट (Chain of Thought - CoT): AI से यह पूछने के बजाय कि, "57257 गुणा 51422 क्या है?" और एक जादुई उत्तर की अपेक्षा करने के बजाय, उन्होंने इसे चरण-दर-चरण अपना काम दिखाने के लिए कहा। उन्होंने AI को बड़े गुणन को पहले छोटे, आसान गुणनों में तोड़ने के लिए कहा। यह बिल्कुल वैसा ही है जैसा एक मानव शिक्षक छात्र से कहता है: "घबराओ मत; बस एक बार में एक कदम उठाओ।" जब AI ने रिवर्स ऑर्डर के साथ CoT का उपयोग किया, तो इसकी सटीकता काफी बढ़ गई (लगभग 79% तक पहुँच गई)। लगभग पूर्ण स्कोर प्राप्त करने के लिए, शोधकर्ताओं ने पाया कि उन्हें CoT को अंकों को उलटने और मॉडल को "गहरा" (deeper) बनाने के साथ जोड़ने की आवश्यकता थी।
- आउटपुट को उलटना (Reversing the Output): जैसा कि उल्लेख किया गया है, गुणा के लिए, उत्तर को उल्टा लिखना (इकाई के स्थान से शुरू करना) AI को सही नंबरों पर ध्यान केंद्रित करने में मदद करता है, लेकिन इस ट्रिक की एक सीमा है। यह सरल कार्यों के लिए अच्छा काम करता था लेकिन जटिल बहु-अंकों वाले गुणा के लिए अकेले पर्याप्त नहीं था। दिलचस्प बात यह है कि भाग (Division) के लिए, अंकों को उलटने से चीजें और भी खराब हो गईं। ऐसा इसलिए है क्योंकि भाग की गणना स्वाभाविक रूप से उच्च-क्रम के अंकों (बाईं ओर के बड़े नंबरों) से शुरू होती है, जो मानवीय अनुभव के अनुरूप है। भाग के लिए क्रम को उलटने के प्रयास ने मॉडल को भ्रमित कर दिया।
- गहरे मॉडल (Deeper Models): उन्होंने यह भी पाया कि AI को "गहरा" बनाना (सोचने के अधिक स्तर जोड़ना) उसे भाग के जटिल मध्य चरणों और गुणा के भारी काम को संभालने में मदद करता है। इसने मॉडल को मध्यवर्ती परिणामों को ट्रैक करने के लिए आवश्यक अतिरिक्त "मस्तिष्क शक्ति" दी ताकि वह गलती न करे।
उन्होंने क्या पाया (और क्या नहीं पाया)
शोधकर्ताओं ने केवल यह नहीं कहा कि "यह काम करता है"; उन्होंने यह देखने के लिए कि यह कैसे काम करता है, रोबोट के मस्तिष्क के अंदर झाँका। उन्होंने यह देखने के लिए एक तकनीक का उपयोग किया कि AI के अटेंशन मैकेनिज्म के कौन से हिस्से चमक रहे थे। उन्होंने देखा कि AI के पास विशिष्ट "अटेंशन हेड्स" (छोटे आंतरिक कार्यकर्ता) थे जिन्होंने विशिष्ट काम करने के लिए सीखा, जैसे कि "बेस मल्टीप्लाई" (Base Multiply) या "मेक कैरी" (Make Carry)।
- अच्छी खबर: AI इन पैटर्न को सीख सकता है। सही संरचना (जैसे कार्यों को तोड़ना, CoT का उपयोग करना, जहाँ उपयुक्त हो वहाँ अंकों को उलटना और मॉडल की गहराई को समायोजित करना) दिए जाने पर, यह लगभग पूरी तरह से कार्य करता है।
- बुरी खबर: इन मानवीय रणनीतियों के बिना, AI संघर्ष करता है। उदाहरण के लिए, एक मानक 5-अंकों के गुणा कार्य पर, एक बुनियादी AI केवल 13% सही हो सकता है। लेकिन इन "मानवीय" ट्रिक्स के संयोजन के साथ, यह 100% प्राप्त करता है।
- "क्यों": पेपर सुझाव देता है कि AI की विफलता इसलिए नहीं है कि वह "मूर्ख" है, बल्कि इसलिए है क्योंकि वह समस्या को ऐसे तरीके से हल करने की कोशिश कर रहा है जो गणित की संरचना से मेल नहीं खाता। यह कार को स्टीयरिंग व्हील का उपयोग करने के बजाय पीछे से धक्का देकर चलाने की कोशिश करने जैसा है। साथ ही, "सही" तरीका ड्राइविंग के प्रकार पर निर्भर करता है: गुणा के लिए, आप पीछे की ओर जाना चाह सकते हैं, लेकिन भाग के लिए, आपको आगे की ओर जाना ही होगा।
बड़ी तस्वीर
यह पेपर सुझाव देता है कि ट्रांसफॉर्मर-आधारित AI मॉडल मानव छात्रों के साथ कुछ सीखने के पैटर्न साझा कर सकते हैं। वे दोनों पहले सरल चीजें सीखते हैं, फिर कठिन समस्याओं को हल करने के लिए उन्हें मिलाते हैं। "एक्सप्लेनेबल AI" (XAI) तकनीकों का उपयोग करके, शोधकर्ता सटीक रूप से देख सके कि AI कहाँ अटक रहा था और उसे कैसे ठीक किया जाए।
अध्ययन निष्कर्ष निकालता है कि जबकि वर्तमान AI मॉडल भाषा में अद्भुत हैं, उन्हें गणित के साथ थोड़ी मदद की आवश्यकता है। लेकिन अच्छी खबर यह है कि हमें एक नए प्रकार के रोबोट के आविष्कार की आवश्यकता नहीं है; हमें बस उन्हें हमारी तरह सोचना सिखाने की आवश्यकता है। समस्याओं को तोड़ने, अपना काम दिखाने और अपने विचारों को व्यवस्थित करने (और यह जानने कि कब क्रम को उलटना है और कब नहीं) जैसी रणनीतियों का उपयोग करके, हम इन AI मॉडल्स को बहुत अधिक विश्वसनीय बना सकते हैं। यह AI को सुरक्षित और भरोसेमंद बनाने की दिशा में एक बड़ा कदम है, खासकर उन महत्वपूर्ण कामों के लिए जहाँ गणित को सही करना सफलता और विफलता के बीच का अंतर होता है। पेपर यह दावा नहीं करता है कि उसने ब्रह्मांड की हर गणितीय समस्या को हल कर दिया है, लेकिन इसने एक स्पष्ट रास्ता दिखाया है: यदि हम AI के साथ एक ऐसे छात्र की तरह व्यवहार करते हैं जिसे एक अच्छे शिक्षक की आवश्यकता है, तो वह वह गणित सीख सकता है जिसकी हमें आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।