A Close Look At World Model Recovery In Supervised Fine-Tuned LLM Planners
यह शोध पत्र इस बात की जांच करता है कि क्या सुपरवाइज्ड फाइन-ट्यून्ड (supervised fine-tuned) एलएलएम (LLMs) शास्त्रीय नियोजन (classical planning) के लिए आंतरिक विश्व मॉडल (internal world models) सीखते हैं, जो यह प्रकट करता है कि जबकि ये मॉडल क्रिया की वैधता और अवस्था विधेयों (state predicates) को रैखिक रूप से एनकोड करते हैं, अंतर्निहित विश्व मॉडल को पुनः प्राप्त करने की उनकी क्षमता प्रशिक्षण के दौरान व्यापक अवस्था स्थान कवरेज (state space coverage) द्वारा महत्वपूर्ण रूप से बढ़ जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसने पहले कभी कोई विशिष्ट बोर्ड गेम नहीं खेला है। आप उसे जीतने वाले खेलों के उदाहरण दिखाकर खेलना सीखना चाहते हैं। मुख्य सवाल जो यह शोध पत्र पूछता है वह यह है: जब रोबोट खेलना सीखता है, तो क्या वह वास्तव में खेल के नियमों को समझता है, या वह केवल चालों को रट रहा है?
शोधकर्ता इसे "वर्ल्ड मॉडल रिकवरी" (World Model Recovery) कहते हैं। यह पूछने जैसा है कि: "क्या रोबोट ने दुनिया कैसे काम करती है इसका एक मानसिक मानचित्र बनाया है, या वह केवल सुनी हुई बातों को दोहराने वाला एक तोता है?"
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
प्रयोग: रोबोट को योजना बनाना सिखाना
शोधकर्ताओं ने रोबोट को सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) नामक विधि का उपयोग करके योजना बनाने की समस्याओं (जैसे टावर में ब्लॉक को हिलाना या विमान के साथ पैकेज डिलीवर करना) को हल करना सिखाया। इसे एक रोबोट को आदर्श समाधानों की पाठ्यपुस्तक देने के रूप में समझें।
उन्होंने इन पाठ्यपुस्तकों को बनाने के तीन अलग-अलग तरीके आजमाए:
- "परफेक्ट पाथ" (Perfect Path) की किताब: लक्ष्य तक पहुँचने का केवल सबसे छोटा, सबसे कुशल मार्ग दिखाना (जैसे एक GPS जो केवल सबसे तेज़ रास्ता दिखाता है)।
- "रैंडम वॉक" (Random Walk) की किताब: रोबोट को यादृच्छिक (random) वैध चालें दिखाना, भले ही वे गोल-गोल घूमती हों या लंबा रास्ता लेती हों।
- "स्मार्ट रैंडम वॉक" (Smart Random Walk) की किताब: रैंडम वॉक के समान, लेकिन इसमें एक नियम था जो रोबोट को गोल-गोल घूमने से रोकता था, जिससे उसे मानचित्र के नए क्षेत्रों की खोज करने के लिए मजबूर किया जा सके।
समझने की जाँच करने के दो तरीके
शोधकर्ताओं ने केवल यह नहीं पूछा, "क्या रोबोट ने पहेली सुलझा ली?" उन्होंने दो तरीकों से रोबोट के मस्तिष्क के अंदर झाँका:
1. "एक्स-रे" (आंतरिक प्रतिनिधित्व - Internal Representations)
उन्होंने रोबोट के सोचने के दौरान उसके आंतरिक कोड को देखने के लिए "लीनियर प्रोब" (linear probe) नामक उपकरण का उपयोग किया।
- रूपक (Metaphor): कल्पना कीजिए कि रोबोगी एक शेफ है जो भोजन बना रहा है। शोधकर्ताओं ने केवल भोजन का स्वाद नहीं चखा; उन्होंने शेफ के हाथों को देखा ताकि यह देख सकें कि क्या वह जानता है कि कौन सी सामग्री ताज़ा है और कौन सी सड़ गई है।
- निष्कर्ष: भले ही रोबोट केवल चालों की एक सूची की नकल कर रहा था, उसके आंतरिक "मस्तिष्क" ने वैध चालों (कानूनी चालों) और अवैध चालों (गैर-कानूनी चालों) के बीच अंतर करना सीख लिया था। उसने कुछ विशिष्ट तथ्यों के बारे में भी सच्चाई जान ली थी (जैसे "क्या ब्लॉक A, ब्लॉक B के ऊपर है?")।
- पेंच (The Catch): रोबोट वैध चालों को पहचानने में, अपने शब्दों में यह समझाने में कि वे क्यों वैध हैं, बेहतर था। यह एक ऐसे ड्राइवर की तरह था जो सहज रूप से जानता है कि रेड लाइट नहीं तोड़नी है, लेकिन यातायात कानूनों की व्याख्या नहीं कर सकता।
2. "आवाज़" (जेनरेटिव क्षमताएं - Generative Capabilities)
उन्होंने रोबोट को अगली चाल का अनुमान लगाने के लिए कहा और यह जाँच की कि क्या उसने कानूनी चालों को उच्च आत्मविश्वास और अवैध चालों को कम आत्मविश्वास दिया।
- रूपक: यह पूछने जैसा है कि, "शेफ, यदि मैं आपको एक सड़ा हुआ अंडा दूँ, तो क्या आप कहेंगे 'नहीं, मैं इसका उपयोग नहीं करूँगा'?"
- निष्कर्ष: यहाँ परिणाम मिले-जुले थे।
- "परफेक्ट पाथ्स" पर प्रशिक्षित रोबोट इस मामले में बहुत खराब थे। जब उनसे अनुमान लगाने के लिए पूछा गया, तो वे वैध और अवैध चाल के बीच अंतर नहीं कर सके। वे केवल उस एक विशिष्ट पथ को जानते थे जिसे उन्होंने रटा था।
- "रैंडम वॉक" पर प्रशिक्षित रोबोट उत्कृष्ट थे। क्योंकि उन्होंने चलने के कई अलग-अलग तरीके देखे, उन्होंने खेल के सामान्य नियम सीख लिए। वे आत्मविश्वास से कह सकते थे, "वह चाल अवैध है," भले ही उन्होंने पहले कभी उस सटीक स्थिति को न देखा हो।
सबसे बड़ा आश्चर्य: "उतना नहीं जानते जितना वे कहते हैं"
सबसे दिलचस्प खोज रोबोट के मस्तिष्क और उसकी आवाज़ के बीच का अंतर था।
- कुछ रोबोटों के पास एक "मस्तिष्क" था जो स्पष्ट रूप से नियमों को समझता था (एक्स-रे ने दिखाया कि वे वैध और अवैध के बीच अंतर जानते थे)।
- हालाँकि, उनकी "आवाज़" (चालों के लिए उनके द्वारा दी गई संभावना) इस समझ को दिखाने में विफल रही।
- उपमा: यह एक छात्र की तरह है जो मन में हर उत्तर सही लिख लेता है (आंतरिक ज्ञान) लेकिन घबराहट या भ्रम के कारण गलत उत्तर लिख देता है (अभिव्यक्ति)। शोध पत्र सुझाव देता है कि सिर्फ इसलिए कि एक रोबोट कहता है कि वह नियमों को नहीं जानता, इसका मतलब यह नहीं है कि वह आंतरिक रूप से उन्हें नहीं जानता।
प्रशिक्षण डेटा पर सबक
रोबोट को प्रशिक्षित करने के लिए उपयोग किए गए डेटा का प्रकार अत्यधिक महत्वपूर्ण था:
- केवल "सर्वश्रेष्ठ" समाधानों पर प्रशिक्षण देने से रोबोट एक अच्छा रटने वाला तो बना, लेकिन एक बुरा नियम-अनुपालक बन गया। वह नई स्थितियों को संभालने में असमर्थ था।
- "यादृच्छिक" (random) वैध चालों पर प्रशिक्षण देने (विशेष रूप से "स्मार्ट रैंडम वॉक" जो चक्करों से बचता था) ने रोबोट को एक सच्चा शिक्षार्थी बनाया। इसने दुनिया का एक बेहतर मानसिक मानचित्र बनाया।
- "OOD" टेस्ट (आउट-ऑफ-डिस्ट्रीब्यूशन): जब शोधकर्ताओं ने रोबोट को खेल का एक कठिन संस्करण दिया (प्रशिक्षण में देखे गए ब्लॉकों या पैकेजों से अधिक), तो "परफेक्ट पाथ्स" पर प्रशिक्षित रोबोट पूरी तरह विफल रहे। "स्मार्ट रैंडम वॉक" पर प्रशिक्षित रोबोट बहुत बेहतर रहे, जिससे साबित हुआ कि उन्होंने वास्तव में खेल की अवधारणा को सीखा था, न कि केवल विशिष्ट चालों को।
सारांश
शोध पत्र निष्कर्ष निकालता है कि यदि आप चाहते हैं कि एक AI वास्तव में योजना बनाने और दुनिया में नेविगेट करने के लिए सोचे, तो आपको उसे केवल सबसे छोटा, आदर्श रास्ता नहीं दिखाना चाहिए। आपको उसे कई वैध रास्ते दिखाने होंगे, जिनमें अस्त-व्यस्त और गैर-इष्टतम (non-optimal) रास्ते भी शामिल हों। यह AI को उसके मस्तिष्क के भीतर एक मजबूत "वर्ल्ड मॉडल" बनाने में मदद करता है, भले ही वह कभी-कभी अपने आउटपुट में उस ज्ञान को पूरी तरह से व्यक्त करने में संघर्ष करे।
संक्षेप में: यदि आप एक AI को योजनाकार की तरह सोचना सिखाना चाहते हैं, तो उसे केवल उत्तर कुंजी न दिखाएं; उसे खेल के मैदान में खेलने दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।