Scaling In-Context Online Learning Capability of LLMs via Cross-Episode Meta-RL
यह शोध पत्र ORBIT को प्रस्तुत करता है, जो एक मल्टी-टास्क मेटा-रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो बड़े भाषा मॉडलों की इन-कॉन्टेक्स्ट ऑनलाइन लर्निंग क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है, जिससे छोटे ओपन-सोर्स मॉडल अनदेखे इंटरैक्टिव वातावरणों पर GPT-5.2 जैसे उन्नत प्रोप्रायटरी मॉडलों के प्रदर्शन के बराबर पहुँच पाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ पेपर "Scaling In-Context Online Learning Capability of LLMs via Cross-Episode Meta-RL" (ORBIT) का सरल भाषा और उपमाओं (analogies) के साथ स्पष्टीकरण दिया गया है।
बड़ी समस्या: "भुलक्कड़" जीनियस
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने लाइब्रेरी की हर किताब पढ़ ली है। वह उन सवालों के जवाब देने में जीनियस है जो उसने पहले से पढ़ा हुआ है। हालाँकि, यदि आप उसे किसी बिल्कुल नए वीडियो गेम या भूलभुलैया (maze) में डाल दें जिसे उसने पहले कभी नहीं देखा, तो वह संघर्ष करता है।
यदि वह पहले राउंड में कोई गलती करता है, तो वह अगले राउंड के लिए उससे वास्तव में "सीखता" नहीं है। वह हर नए प्रयास को ऐसे मानता है जैसे कि वह उसका बिल्कुल पहला प्रयास हो, और पिछले प्रयासों से मिले सबक को भूल जाता है। यह कई लार्ज लैंग्वेज मॉडल्स (LLMs) की वर्तमान स्थिति है। वे स्थिर कार्यों (जैसे निबंध लिखना) में बेहतरीन हैं लेकिन ऑनलाइन लर्निंग (online learning) में खराब हैं—यानी चलते-चलते चीजों को समझना, गलतियाँ करना और वास्तविक समय में अपनी रणनीति को बदलना।
समाधान: ORBIT (एक "अभ्यास से पूर्णता" वाला कोच)
लेखकों ने ORBIT नामक एक नई प्रशिक्षण विधि बनाई है। ORBIT को एक ऐसे शिक्षक के रूप में न सोचें जो छात्र को उत्तर देता है, बल्कि एक ऐसे कोच के रूप में सोचें जो छात्र को एक ही खेल को बार-बार खेलने के लिए मजबूर करता है, लेकिन एक ट्विस्ट के साथ: छात्र को अपने पिछले प्रयासों की एक नोटबुक रखने की अनुमति है।
इस प्रशिक्षण में:
- सेटअप: AI एक खेल (जैसे भूलभुलैया या पहेली) को कई बार खेलता है।
- नियम: पहले प्रयास के विफल होने के बाद, AI को "रीसेट" नहीं किया जाता है जहाँ वह सब कुछ भूल जाए। इसके बजाय, वह अपने पहले प्रयास का पूरा इतिहास देखता है (कहाँ वह फँसा, उसने क्या कोशिश की) जो उसके "कॉन्टेक्स्ट विंडो" (उसकी अल्पकालिक स्मृति) में लिखा होता है।
- लक्षत: AI को केवल पहली बार जीतने के लिए पुरस्कृत नहीं किया जाता है। इसे सीखने के लिए सीखने (learning how to learn) के लिए पुरस्कृत किया जाता है। उसे दूसरे और तीसरे प्रयास के लिए बेहतर रणनीति बनाने हेतु अपने "नोटबुक" का उपयोग करने के लिए अंक मिलते हैं।
उपमा: "मास्टरमाइंड" खेलना सीखना
कल्पना कीजिए कि मास्टरमाइंड नाम का एक खेल है, जहाँ आपको रंगीन मोतियों (pegs) के एक गुप्त कोड का अनुमान लगाना होता है।
- ORBIT के बिना: आप एक कोड का अनुमान लगाते हैं। वह गलत है। आप फिर से कोशिश करते हैं, लेकिन आप ठीक वही कोड फिर से चुनते हैं क्योंकि आपने वास्तव में यह प्रोसेस नहीं किया कि पिछला वाला क्यों गलत था। आप एक लूप में फंस जाते हैं।
- ORBIТ के साथ: आप एक कोड का अनुमान लगाते हैं। वह गलत है। अपने अगले अनुमान से पहले, आप अपनी "नोटबुक" (खेल का इतिहास) देखते हैं। आप खुद से कहते हैं, "ठीक है, मेरी पहली कोशिश में, मैंने पहले स्थान पर लाल रंग रखा था और वह गलत था। मेरी दूसरी कोशिश में, मैंने नीला रंग आजमाया और वह भी गलत था। इसलिए, मुझे पता है कि पहला मोती लाल या नीला नहीं है। मुझे अब हरा रंग आजमाना चाहिए।"
ORBIT AI को बिना किसी इंसान के यह कहे कि "अपनी गलतियों के बारे में सोचो," स्वचालित रूप से इस तरह का प्रतिबिंब (reflection) करने के लिए प्रशिक्षित करता है।
उन्होंने इसका परीक्षण कैसे किया
शोधकर्ताओं ने एक अपेक्षाकृत छोटे, ओपन-सोर्स AI मॉडल (जिसे Qwen3-14B कहा जाता है) को लिया और इस ORBIT पद्धति का उपयोग करके उसे कुछ सरल खेलों (जैसे Minesweeper और Blackjack) पर प्रशिक्षित किया।
फिर, उन्होंने इसे बिल्कुल नए खेलों में डाल दिया जो उसने पहले कभी नहीं देखे थे (जैसे एक जटिल भूलभुलैया और मास्टरमाइंड)।
- परिणाम: प्रशिक्षित AI केवल रैंडम अनुमान नहीं लगा रहा था। पहले प्रयास में, वह विफल हो सकता है। लेकिन दूसरे और तीसरे प्रयास में, वह भूलभुलैया से निकलने या कोड को क्रैक करने के लिए अपनी विफलताओं के इतिहास का उपयोग करता है।
- तुलना: इसने इतना अच्छा प्रदर्शन किया कि यह एक विशाल, शीर्ष-स्तरीय व्यावसायिक AI (GPT-5.2) की क्षमताओं से मेल खाता है और उन मानक प्रशिक्षण विधियों को हरा देता है जो आमतौर पर AI को केवल एक विशिष्ट समस्या को हल करना सिखाते हैं बिना पिछले गलतियों से सीखने के।
"स्केलिंग" का आश्चर्य
पेपर में एक दिलचस्प बात भी सामने आई। उन्होंने AI के छोटे और बड़े संस्करणों का परीक्षण किया।
- छोटा AI: पहेली को तुरंत हल करने में अच्छा है।
- बड़ा AI: आश्चर्यजनक रूप से, बड़ा AI जानकारी जुटाने के लिए (exploration) पहले प्रयास को "बर्बाद" करने के लिए तैयार था। वह कुछ चीजें आज़माने के लिए कुछ प्रयास करेगा ताकि देख सके कि क्या होता है, उन्हें लिख लेगा, और फिर दूसरे और तीसरे प्रयास में पहेली को सफलतापूर्वक हल करने के लिए उस ज्ञान का उपयोग करेगा।
- निष्कर्ष: इस तरह प्रशिक्षित बड़े मॉडल इस "चलते-चलते सीखने" की रणनीति में और भी बेहतर होते जाते हैं।
इसका क्या अर्थ है (पूरी तरह से पेपर पर आधारित)
पेपर का दावा है कि:
- प्रशिक्षण काम करता है: आप एक AI को वास्तविक कार्य के दौरान अपने मस्तिष्क (weights) को बदले बिना, अपने इंटरैक्शन से सीखने के लिए प्रशिक्षित कर सकते हैं। यह पूरी तरह से पिछले प्रयासों की अपनी स्मृति के माध्यम से सीखता है।
- यह सामान्य (General) है: यह कौशल नए, अनदेखे वातावरण में भी स्थानांतरित होता है। AI ने केवल भूलभुलैया को याद नहीं किया; इसने अन्वेषण (exploring) और अनुकूलन (adapting) का कौशल सीखा।
- सादगी की जीत: उन्हें जटिल बाहरी मेमोरी बैंक या AI को "चिंतन करने" के लिए कहने वाले मानव-लिखित प्रॉम्प्ट की आवश्यकता नहीं थी। प्रशिक्षण पद्धति ही पर्याप्त थी जिससे AI स्वाभाविक रूप से अपने पिछले विफलताओं का सारांश बनाना और बेहतर चालें योजना बनाना शुरू कर देता है।
संक्षेप में, ORBIT एक स्थिर, "किताबी कीड़ा" वाले AI को एक "स्मार्ट एजेंट" में बदल देता है जो अनुभव, त्रुटि और पहले क्या हुआ था उसे याद रखकर नए नियमों और वातावरण को समझ सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।