Latent On-Policy Self-Distillation
यह शोध पत्र लेटेंट ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (LOPD) प्रस्तुत करता है, जो एक नवीन ढांचा है जो हस्तनिर्मित विशेषाधिकार प्राप्त आर्टिफैक्ट्स को पुनर्प्राप्त अनुभवों से प्राप्त सीखने योग्य लेटेंट टोकन्स से बदल देता है ताकि एजेंटों को टूल उपयोग और कोड जनरेशन जैसे स्व-विकसित कार्यों में बेहतर प्रदर्शन और डेटा दक्षता प्राप्त करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखा रहे हैं। पुराने दिनों में, आपको वहां बैठकर हर लेवल के लिए एक सटीक "गाइड" मैन्युअल रूप से लिखनी पड़ती, जिसमें रोबोट को ठीक-ठीक बताया जाता कि कौन से बटन दबाने हैं। लेकिन क्या होगा अगर रोबोट खुद गेम खेलकर, अपने ही रीप्ले देखकर और यह समझकर सीख सके कि क्या काम आया? यह ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (On-Policy Self-Distillation) नामक एक क्षेत्र का केंद्र है। इसे ऐसे समझें जैसे रोबोट अपना खुद का शिक्षक बन रहा हो। वह एक राउंड खेलता है (जिसे "स्टूडेंट" कहा जाता है), और फिर उसका एक स्मार्ट वर्जन (जिसे "टीचर" कहा जाता है) रीप्ले देखता है और कहता है, "हे, तुम यहाँ हिचकिचा रहे थे; इसके बजाय यह कोशिश करो।" असली जादू तब होता है जब टीचर स्टूडेंट द्वारा किए गए हर एक मूव पर बेहद विस्तृत फीडबैक देता है, न कि केवल यह कि अंत में वे जीते या हारे।
हालाँकि, इसमें एक पेंच है। एक अच्छा शिक्षक बनने के लिए, रोबोट को एक "प्रिविलेज्ड" (विशेषाधिकार प्राप्त) गाइड की आवश्यकता होती—जैसे कि कोई आदर्श समाधान या गुप्त रणनीति—जो स्टूडेंट के पास अभी नहीं है। आमतौर पर, इंसानों को ये गाइड हाथ से बनानी पड़ती हैं, जिन्हें सादे टेक्स्ट या विशिष्ट नियमों के रूप में लिखा जाता है। लेकिन क्या होगा अगर रोबोट स्वचालित रूप से अपनी खुद की गाइड बनाना सीख जाए, अपने पिछले साहसों से सबसे उपयोगी हिस्सों को निकाल सके और उन्हें एक ऐसी गुप्त भाषा में बदल सके जिसे केवल टीचर समझ सके? यही वह बड़ा सवाल है जिसे यह पेपर हल करता है: क्या हम इंसानों को नियम लिखने से रोक सकते हैं और AI को यह सीखने दे सकते हैं कि अपने अनुभव को एक आदर्श, अदृश्य गाइड में कैसे सारांशित किया जाए?
शोध पत्र: लेटेंट ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (LOPD)
यह शोध पत्र लेटेंट ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (LOPD) नामक एक नई विधि पेश करता है। रोबोट के टीचर के पढ़ने के लिए किसी विशिष्ट "गाइड" (जैसे कि टेक्स्ट उत्तर या विशिष्ट कौशल विवरण) को लिखने के लिए मानव डिजाइनर से पूछने के बजाय, LOPD रोबोट को अपनी खुद की गाइड सीखना सिखाता है।
यह कैसे काम करता है, एक मनोरंजक उदाहरण के माध्यम से समझते हैं:
कल्पना कीजिए कि एक स्टूडेंट रोबोट भूलभुलैया (maze) सुलझाने की कोशिश कर रहा है। वह एक दीवार से टकराता है, मुड़ता है, और अंततः निकास ढूंढ लेता है।
- पुराना तरीका: एक इंसान भूलभुलैया को देखेगा और एक नोट लिखेगा, "लाल दरवाजे पर बाएं मुड़ें।" टीचर रोबोट इस नोट को पढ़ेगा और स्टूडेंट को बताएगा, "तुम्हें बाएं मुड़ना चाहिए था।" लेकिन यह नोट कठोर है। यदि भूलभुलैया थोड़ी बदल जाती है, तो यह नोट बेकार हो सकता है।
- LOPD का तरीका: रोबोट लिखित नोट का उपयोग नहीं करता है। इसके बजाय, उसके पास एक "मेमोरी कंपोजर" (Memory Composer) है। यह कंपोजर समान भूलभुलैया के माध्यम से रोबोट के पिछले सफल दौरों को देखता है। यह सबसे महत्वपूर्ण क्षणों को पकड़ता है और उन्हें एक छोटे, अदृश्य "गुप्त कोड" (जिसे लेटेंट टोकन कहा जाता है) में संकुचित (compress) कर देता है। यह कोड एक संकुचित, हाई-टेक फुसफुसाहट की तरह है जिसे केवल टीचर रोबोट ही सुन सकता है।
टीचर रोबोट स्टूडेंट रोबोट को खेलते हुए देखते समय इस गुप्त फुसफुसाहट को सुनता है। क्योंकि टीचर के पास यह गुप्त कोड है, वह जानता है कि स्टूडेंट को हर कदम पर क्या करना चाहिए था। फिर वह स्टूडेंट को सिखाता है, "सिर्फ अनुमान मत लगाओ; यह वह घना, विस्तृत रास्ता है जिसे तुम्हें अपनाना चाहिए था।"
सबसे शानदार बात क्या है? रोबोट यह सीखता है कि अपनी खुद की गाइड (गुप्त कोड) कैसे लिखी जाए जबकि वह गेम खेलना सीख रहा होता है। वह समझ जाता है कि उसके पिछले साहसों के कौन से हिस्से वास्तव में उपयोगी हैं और कौन से केवल शोर (noise) हैं। यह ऐसा है जैसे रोबोट मानव द्वारा लिखे गए टेक्स्टबुक को पढ़ने के बजाय, अपनी खुद की बनाई भाषा में अपने नोट्स लेना सीख रहा हो।
उन्होंने क्या पाया
शोधकर्ताओं ने इसका परीक्षण दो बहुत अलग प्रकार के कार्यों पर किया:
- एजेंटिक टूल यूज़ (Agentic Tool Use): रोबोट को उपकरणों का एक सेट देना (जैसे कैलकुलेटर, सर्च इंजन, या डेटाबेस) और उससे बहु-चरणीय समस्याओं को हल करने के लिए कहना, जैसे फ्लाइट बुक करना या शेड्यूल मैनेज करना।
- कोड जनरेशन (Code Generation): रोबोट को काम करने वाले कंप्यूटर प्रोग्राम लिखने के लिए कहना।
उन्होंने LOPD की तुलना अन्य विधियों से की जहाँ इंसानों को "गाइड" हाथ से बनानी पड़ती थी (जैसे कि टीचर को एक परफेक्ट टेक्स्ट उत्तर या विशिष्ट स्किल सारांश देना)।
परिणाम:
- बेहतर प्रदर्शन: LOPD ने लगातार अन्य विधियों को पछाड़ दिया। टूल-यूज़ टेस्ट में, इसने स्कोर में महत्वपूर्ण सुधार किया। उदाहरण के लिए, EnvScaler नामक एक टेस्ट पर, इसने एक छोटे मॉडल के साथ स्कोर को 61.8 से बढ़ाकर 63.7 कर दिया, और एक बड़े मॉडल के साथ 60.2 से बढ़ाकर 66.4 कर दिया। कोडिंग टेस्ट में भी यह शीर्ष पर रहा, और बेहतरीन मानव-निर्मित विधियों को भी पीछे छोड़ दिया।
- अत्यधिक दक्षता: रोबोट ने तेजी से सीखा। पेपर नोट करता है कि LOPD ने 30% से भी कम "रोलआउट बजट" (अभ्यास खेलों की संख्या) का उपयोग करके ये परिणाम प्राप्त किए, जो कि GRPO और Skill-SD जैसी अन्य शीर्ष विधियों के लिए आवश्यक था। यह ऐसा है जैसे गणित की क्लास में केवल तीन घंटे पढ़ाई करके A+ प्राप्त करना, जबकि आपके दोस्त दस घंटे पढ़ाई कर रहे हों।
- "सीक्रेट सॉस" सीखने योग्य है: पेपर ने सिद्ध किया कि गुप्त कोड (लेटेंट कॉन्टेक्स्ट) को सीखा जाना अनिवार्य है। जब उन्होंने कोड के एक स्थिर, अपरिवर्तनीय संस्करण का उपयोग करने की कोशिश की, तो रोबोट उतना अच्छा नहीं सीख पाया। लेकिन जब उन्होंने रोबोट को खुद कोड को ट्यून करने दिया, तो यह पूरी तरह से काम कर गया।
उन्होंने क्या खारिज किया
यह पेपर स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि हमें रोबोट को स्मार्ट बनाने के लिए अधिक और अधिक जटिल, मानव-लिखित "गाइड्स" (जैसे विशिष्ट रीजनिंग ट्रेसेस, परफेक्ट उत्तर, या कठोर स्किल विवरण) का आविष्कार करते रहने की आवश्यकता है। उन्होंने दिखाया कि ये हाथ से बनाए गए नोट्स अक्सर विफल हो जाते हैं क्योंकि वे बहुत कठोर होते; एक नोट जो एक स्थिति में मदद करता है, वह दूसरी स्थिति में रोबोट को भ्रमित कर सकता है। LOPD सुझाव देता है कि आगे बढ़ने का सबसे अच्छा तरीका यह है कि रोबोट को यह सीखने दिया जाए कि उसे क्या याद रखना है और उसे कैसे संकुचित करना है, बजाय इसके कि उसे पहले से लिखे गए मैनुअल को पढ़ने के लिए मजबूर किया जाए।
वे कितने आश्वस्त हैं?
लेखक इन निष्कर्षों में काफी आश्वस्त हैं क्योंकि उन्होंने इसे तीन अलग-अलग रोबोट मॉडल्स (Qwen3-4B, Qwen3-8B, और Olmo3-7B) और सात बेंचमार्क्स पर परखा है। परिणाम केवल एक इत्तेफाक नहीं थे; वे लगातार बने रहे। उन्होंने यह साबित करने के लिए विशिष्ट प्रयोग भी चलाए कि सफलता का वास्तविक कारण गुप्त कोड का "सीखना" था, न कि केवल अतिरिक्त कंप्यूटिंग पावर। हालांकि वे यह दावा नहीं करते कि उन्होंने AI विकास के पूरे रहस्य को सुलझा लिया है, लेकिन डेटा दृढ़ता से सुझाव देता है कि AI को अपना स्वयं का "प्रिविलेज्ड कॉन्टेक्स्ट" सीखने देना, एजेंटों को निरंतर खुद को बेहतर बनाने के लिए सक्षम बनाने की दिशा में एक बड़ा कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।