Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning
यह शोधपत्र SuperIgor को प्रस्तुत करता है, जो एक स्व-निर्देशित ढांचा (self-guided framework) है जो लक्ष्य-सशर्त सुदृढीकरण शिक्षण (goal-conditional reinforcement learning) और पुनरावृत्ति सह-प्रशिक्षण (iterative co-training) का उपयोग करता है ताकि भाषा मॉडलों को निर्देश-अनुपालन कार्यों के लिए उच्च-स्तरीय योजनाओं को स्वायत्त रूप से उत्पन्न करने और परिष्कृत करने में सक्षम बनाया जा सके, जिससे मैनुअल एनोटेशन पर निर्भरता कम होती है और अनुपालन एवं सामान्यीकरण में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अनाड़ी रोबोट को माइनक्राफ्ट (Minecraft) जैसा एक जटिल वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं। आप उसे एक सरल कमांड देते हैं: "एक स्टोन फर्नेस (stone furnace) बनाओ।"
अतीत में, शोधकर्ताओं ने इसे हल करने के दो मुख्य तरीके आज़माए थे:
- "मुझे दिखाओ" विधि (The "Show Me" Method): उन्होंने विशेषज्ञ मनुष्यों द्वारा खेले गए हजारों घंटों के गेमप्ले को रिकॉर्ड किया और रोबोट को उनकी नकल करने के लिए मजबूर किया। यह अच्छा काम करता है, लेकिन इसके लिए विशेषज्ञों को काम पर रखने में बहुत अधिक पैसा और समय खर्च होता है।
- "परीक्षण और त्रुटि" विधि (The "Trial and Error" Method): उन्होंने रोबोट को अपने आप गेम खेलने दिया, इस उम्मीद में कि वह नियमों को समझ जाएगा। लेकिन बिना किसी मानचित्र या मार्गदर्शक के, रोबोट अक्सर भटक जाता है, भ्रमित हो जाता है, या हार मान लेता है क्योंकि "पुरस्कार" (जीतना) बहुत दूर होता है।
सुपरइगोर (SuperIgor) का आगमन।
सुपरइगोर एक नया फ्रेमवर्क है जो एक सहयोगात्मक कोचिंग जोड़ी (collaborative coaching duo) के रूप में कार्य करता है। यह एक लैंग्वेज कोच (Language Coach) (एक लार्ज लैंग्वेज मॉडल, या LLM) को एक फिजिकल प्लेयर (Physical Player) (एक रीइन्फोर्समेंट लर्निंग एजेंट) के साथ जोड़ता है। विशेषज्ञ रिकॉर्डिंग की महंगी लागत या अंधे परीक्षण और त्रुटि के बजाय, वे एक-दूसरे को सिखाते हैं।
यहाँ जादू कैसे होता है, इसे सरल उपमाओं (analogies) में तोड़कर समझाया गया है:
1. कोच और प्लेयर
- लैंग्वेज कोच (LLM): यह "मस्तिष्क" है। यह आपके निर्देश ("एक फर्नेस बनाओ") को पढ़ता है और इसे एक चेकलिस्ट में तोड़ देता है। यह अभी तक गेम को पूरी तरह से नहीं जानता है, इसलिए यह चरणों का अनुमान लगा सकता है: 1. लकड़ी प्राप्त करें, 2. एक टेबल बनाएं, 3. पत्थर प्राप्त करें...
- फिजिकल प्लेयर (RL एजेंट): यह "हाथ" है। यह गेम की दुनिया में चेकलिस्ट को निष्पादित करने की कोशिश करता है। यह बड़ी तस्वीर को नहीं समझता; यह बस जानता है कि कैसे हिलना, काटना और बनाना है।
2. "स्किल करिकुलम" (दौड़ने से पहले चलना सीखना)
इन गेम्स में सबसे बड़ी समस्या यह है कि पुरस्कार बहुत दूर होता है। यदि रोबोट तुरंत एक फर्नेस बनाने की कोशिश करता है, तो वह एक बार सफल होने से पहले 1,000 बार विफल हो सकता है। वह हतोत्साहित हो जाता है।
सुपरइगोर एक स्किल करिकुलम (Skill Curriculum) का उपयोग करता है। कल्पना कीजिए कि एक वीडियो गेम ट्यूटोरियल है जो आपके महारत हासिल करने के साथ स्तर (levels) अनलॉक करता है।
- लेवल 1: रोबोट को केवल "लकड़ी प्राप्त करें" जैसे निर्देश आज़माने की अनुमति है। यह इसे जल्दी सीख लेता है और इसे एक "जीत" का संकेत मिलता है।
- लेवल 2: एक बार जब यह "लकड़ी प्राप्त करें" में महारत हासिल कर लेता है, तो कोच एक नया चरण जोड़ देता है: "पत्थर प्राप्त करें।" अब रोबोट इन दोनों को मिलाने का अभ्यास करता है।
- लेवल 3: अंत में, यह पूर्ण "स्टोन फर्नेस बनाएं" योजना को आज़माता है।
यह रोबोट को अभिभूत होने से रोकता है। यह बड़े बॉस से निपटने से पहले छोटी जीत की नींव बनाता है।
3. फीडबैक लूप (द "सेल्फ-करेक्शन" साइकिल)
यह सबसे अनूठा हिस्सा है। अधिकांश प्रणालियों में, कोच योजना लिखता है, और प्लेयर उसे आज़माता है। यदि प्लेयर विफल होता है, तो कोच फिर से केवल अनुमान लगाता है।
सुपरइगोर में, उनके बीच एक बातचीत होती है:
- कोच एक योजना लिखता है।
- प्लेयर गेम में इसे आज़माता है।
- परिणाम: यदि प्लेयर सफल होता है, तो कोच को "हाई फाइव" (High Five) मिलता है। यदि प्लेयर विफल होता है, तो कोच को "जेंटल नज़" (Gentle Nudge - हल्का सा इशारा) मिलता है।
- अपडेट: कोच, प्लेयर के अनुभव से सीखता है। उसे एहसास होता है, "ओह, मैंने प्लेयर को टेबल बनाने से पहले पत्थर लेने के लिए कहा, लेकिन यह असंभव है! मुझे अपनी योजना बदलने की ज़रूरत है।"
समय के साथ, कोच यथार्थवादी योजनाएं लिखने में बेहतर होता जाता है, और प्लेयर निर्देशों का पालन करने में बेहतर होता जाता है। वे बिना किसी इंसान के हस्तक्षेप के, एक साथ स्मार्ट बनते हैं।
4. यह एक बड़ी बात क्यों है?
- मानव विशेषज्ञों की आवश्यकता नहीं: आपको डेटा रिकॉर्ड करने के लिए हजारों गेमर्स को काम पर रखने की आवश्यकता नहीं है। सिस्टम खुद का प्रशिक्षण डेटा खुद ही उत्पन्न करता है।
- यह "नए" निर्देशों को संभाल सकता है: यदि आप रोबोट से "डायमंड स्वॉर्ड बनाएं" (कुछ ऐसा जो उसने पहले नहीं देखा है) कहते हैं, तो वह फिर भी इसे कर सकता है। क्योंकि उसने केवल एक विशिष्ट स्क्रिप्ट को याद करने के बजाय गेम के लॉजिक (कौशल को कैसे मिलाएं) को सीखा है।
- यह मजबूत (Robust) है: भले ही आप निर्देश की शब्दावली बदल दें (जैसे, "क्राफ्ट अ फर्नेस" बनाम "मेक अ स्मेलिंग बॉक्स"), सिस्टम समझ जाता है कि लक्ष्य वही है।
निष्कर्ष
सुपरइगोर को एक स्व-सुधारने वाली प्रशिक्षुता (self-improving apprenticeship) के रूप में देखें। एक मास्टर शिल्पकार द्वारा प्रशिक्षु को हाथ से सिखाने के बजाय, प्रशिक्षु (रोबोट) चीजें बनाने की कोशिश करता है, और मास्टर (AI कोच) ब्लूप्रिंट को देखता है, उसकी आलोचना करता है, और उसे अधिक व्यावहारिक बनाने के लिए फिर से लिखता है। अंततः, वे एक आदर्श टीम बन जाते हैं, जो उन जटिल, दीर्घकालिक पहेलियों को हल करने में सक्षम होते हैं जिन्हें वे अकेले हल नहीं कर सकते थे।
यह "परीक्षण और त्रुटि" की अराजक प्रक्रिया को एक संरचित, कुशल सीखने की यात्रा में बदल देता है, जिससे AI एजेंट हमारे जटिल मानवीय निर्देशों का पालन करने में बहुत बेहतर हो जाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।