Convergence and Emergence of In-Context Reinforcement Learning with Chain of Thought
यह शोध पत्र पहला सैद्धांतिक ढांचा प्रदान करता है जो यह प्रदर्शित करता है कि लीनियर ट्रांसफॉर्मर्स (linear Transformers) में चेन-ऑफ-थॉट (Chain-of-Thought) जनरेशन, टेम्पोरल डिफरेंस लर्निंग (temporal difference learning) के समतुल्य है, जो यह सिद्ध करता है कि यह प्रीट्रेनिंग लॉस (pretraining loss) के ग्लोबल मिनिमाइज़र के रूप में उभरते हुए पॉलिसी इवैल्यूएशन एरर (policy evaluation error) के ज्यामितीय अभिसरण (geometric convergence) को संचालित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा कठोर (rigid) रोबोट सहायक है। आमतौर पर, इस रोबोट को नया खेल सिखाने के लिए, आपको इसे रोकना पड़ता है, इसके मस्तिष्क को फिर से प्रोग्राम करना पड़ता है (इसके पैरामीटर्स अपडेट करना पड़ता है) और फिर से शुरू करना पड़ता है। यह धीमा और महंगा है।
इन-कॉन्टेक्स्ट रिइन्फोर्समेंट लर्निंग (ICRL) एक अलग दृष्टिकोण है। इसके बजाय कि आप रोबोट को फिर से प्रोग्राम करें, आप बस उसे एक "चीट शीट" या उस खेल के इतिहास के बारे में बताते हैं जो अभी चल रहा है। रोबोट इस इतिहास को देखता है और बिना अपने मस्तिष्क को बदले यह समझ लेता है कि आगे क्या करना है। वह "ऑन द फ्लाई" (चलते-फिरते) सीखता है।
यह शोध पत्र एक विशेष तकनीक की जांच करता है जिसे चेन-ऑफ-थॉट (CoT) कहा जाता है। आप जानते हैं कि कैसे इंसान जब कोई कठिन गणित का सवाल हल करते हैं, तो वे केवल उत्तर नहीं देते? बल्कि वे बीच के चरणों को लिखते हैं: "पहले मैं यह करता हूँ, फिर मैं उसे चेक करता हूँ, फिर मैं इसे एडजस्ट करता हूँ..." CoT एआई (AI) को वही करने के लिए प्रेरित करता है। यह अंतिम उत्तर देने से पहले "विचारों" का एक क्रम उत्पन्न करता है।
इस शोध पत्र के लेखक यह समझना चाहते थे कि यह "ज़ोर से सोचना" (thinking out loud) इस रोबोट को तुरंत नए कार्यों को सीखने में इतना बेहतर क्यों बनाता है। उन्होंने इसे सिद्ध करने के लिए एक आधुनिक एआई (जिसे "लीनियर ट्रांसफार्मर" कहा जाता है) के सरलीकृत संस्करण का उपयोग किया और तीन मुख्य बातें साबित कीं:
1. "सोचना" वास्तव में "सीखना" है
लेखकों ने पाया कि जब एआई एक चेन-ऑफ-थॉट (CoT) उत्पन्न करता है, तो वह केवल बड़बड़ा नहीं रहा होता है। यह गणितीय रूप से एक क्लासिक लर्निंग एल्गोरिदम जिसे टेम्पोरल डिफरेंस (TD) लर्निंग कहा जाता है, को बार-बार चलाने के समान है।
- उपमा (Analogy): कल्पना कीजिए कि आप एक कमरे के औसत तापमान का अनुमान लगाने की कोशिश कर रहे हैं।
- बिना CoT के: आप एक त्वरित अनुमान लगाते हैं और चिल्लाकर बता देते हैं।
- CoT के साथ: आप एक अनुमान लगाते हैं, फिर कहते हैं, "रुको, यह बहुत अधिक लग रहा था। मुझे खिड़की के पास के झोंके के आधार पर इसे एडजस्ट करना चाहिए।" फिर आप कहते हैं, "ठीक है, यह बेहतर है, लेकिन सूरज की रोशनी आ रही है, इसलिए मैं इसे फिर से एडजलेट करूँगा।"
- शोध पत्र यह सिद्ध करता है कि हर बार जब एआई एक नया "विचार" (चेन में एक नया चरण) लिखता है, तो वह गणितीय रूप से एक लर्निंग एल्गोरिदम के एक सटीक अपडेट स्टेप को निष्पादित कर रहा होता है। जितने अधिक "विचार" वह उत्पन्न करता है, वह अपने उत्तर को उतना ही परिष्कृत करता जाता है, ठीक वैसे ही जैसे एक छात्र अपने काम को चरण-दर-चरण सुधारता है।
2. आप जितना अधिक सोचते हैं, आप उतने ही करीब पहुँचते हैं (लेकिन एक सीमा है)
शोध पत्र दिखाता है कि जैसे-जैसे एआई अधिक विचार (लंबा CoT) उत्पन्न करता है, उसका उत्तर पूर्ण समाधान के करीब पहुंचता जाता है। त्रुटि (error) शुरू में बहुत तेज़ी से गिरती है, जैसे एक गेंद ढलान वाली पहाड़ी से नीचे लुढ़क रही हो।
- उपमा: कल्पना कीजिए कि आप आँखों पर पट्टी बांधकर डार्टबोर्ड पर निशाना साधने की कोशिश कर रहे हैं, लेकिन कोई व्यक्ति आपके पिछले थ्रो के आधार पर आपको सुधारने के लिए फुसफुसा रहा है।
- 1 सुधार के साथ, आप अभी भी बहुत दूर हैं।
- 10 सुधारों के साथ, आप बहुत करीब हैं।
- 100 सुधारों के साथ, आप लगभग बुल्सआई (bullseye) पर हैं।
- सावधानी: शोध पत्र नोट करता है कि एक "सांख्यिकीय तल" (statistical floor) है। भले ही आप अनंत काल तक सोचते रहें, यदि आपको दी गई जानकारी (संदर्भ) शोर भरी (noisy) या अधूरी थी, तो आप कभी भी पूरी तरह से सटीक नहीं हो सकते। यह एक टूटे हुए थर्मामीटर के साथ कमरे के सटीक तापमान का अनुमान लगाने जैसा है; कितना भी सोचने से टूटे हुए उपकरण को ठीक नहीं किया जा सकता। यह सीमा इस बात से निर्धारित होती है कि आपके पास शुरुआत में कितना डेटा था।
3. एआई "सही तरीके से सोचना" खोज लेता है
शायद सबसे आश्चर्यजनक खोज यह है कि एआई यह कैसे सीखता है। शोधकर्ताओं ने दिखाया कि यदि आप एआई को विभिन्न कार्यों पर प्रशिक्षित (pretraining) करते हैं, तो वह स्वाभाविक रूप से उन विशिष्ट आंतरिक सेटिंग्स (पैरामीटर्स) को "खोज" लेता है जो इस "सोचना = सीखना" प्रक्रिया को काम करने में मदद करती हैं।
- उपमा: कल्पना कीजिए कि एक शेफ जिसने हजारों अलग-अलग व्यंजन पकाए हैं। उसे "सोचने" के लिए किसी विशिष्ट रेसिपी के बारे में नहीं सिखाया गया है। हालाँकि, अनुभव के माध्यम से, वह स्वाभाविक रूप रूप से भोजन को चखने और एडजस्ट करने का एक विशिष्ट तरीका विकसित कर लेता है जो एक परफेक्ट डिश पाने का गणितीय रूप से सबसे कुशल तरीका है। शोध पत्र सिद्ध करता है कि एआई जिस "परफेक्ट तरीके" का उपयोग करके सोचता है, वह वास्तव में त्रुटियों को कम करने का "सर्वश्रेष्ठ संभव तरीका" है, और एआई इसे प्रशिक्षण के दौरान स्वाभाविक रूप से खोज लेता है।
सारांश
सरल शब्दों में, यह शोध पत्र गणितीय प्रमाण प्रदान करता है कि जब एक एआई किसी नई समस्या को हल करने के लिए "ज़ोर से सोचता" (Chain of Thought) है, तो वह गुप्त रूप से अपने दिमाग के अंदर एक शक्तिशाली लर्निंग एल्गोरिदम चला रहा होता है। वह जितना अधिक सोचता है, वह उतना ही बेहतर होता जाता है, जब तक कि वह उस जानकारी की सीमा तक न पहुँच जाए जो उसे दी गई थी। इसके अलावा, एआई को यह करने के लिए स्पष्ट रूप से बताने की आवश्यकता नहीं है; वह इसे स्वचालित रूप से करना सीख जाता है क्योंकि यह उन समस्याओं को हल करने का सबसे कुशल तरीका है जिन पर उसे प्रशिक्षित किया गया है।
लेखकों ने इसे एक सरल, नियंत्रित वातावरण (एक गणितीय पहेली जिसे "बॉयन्स चेन" कहा जाता है) पर परखा और देखा कि एआई ने स्वाभाविक रूप से उन लर्निंग स्टेप्स को करने के लिए आवश्यक सटीक आंतरिक संरचना विकसित कर ली, जिससे उनके सिद्धांत की पुष्टि हुई।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।