A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents
यह शोधपत्र एक ऐसे ढांचे का प्रस्ताव करता है जो भाषा मॉडल एजेंटों में लक्ष्य-निर्देशितता (goal-directedness) का मूल्यांकन करने के लिए व्यवहारिक परीक्षण को व्याख्यात्मक विश्लेषण (interpretability analysis) के साथ जोड़ता है, और ग्रिड-वर्ल्ड केस स्टडी के माध्यम से यह प्रदर्शित करता है कि जबकि एजेंट सुदृढ़ प्रदर्शन प्रदर्शित करते हैं, उनके स्थानिक मानचित्रों (spatial maps) और कार्य योजनाओं (action plans) के आंतरिक प्रतिनिधित्व तर्क प्रक्रिया के दौरान गैर-रेखीय पुनर्गठन (non-linear reorganization) से गुजरते हैं, जो केवल व्यवहारिक अवलोकन से परे आत्मनिरीक्षण संबंधी जांच की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही समझदार रोबोट दोस्त है जिसे भूलभुलैया (maze) सुलझाना बहुत पसंद है। आप उसे कहते हैं, "हरा झंडा ढूँढो!" और वह चलना शुरू कर देता है। लेकिन यहाँ एक बड़ा सवाल है: क्या रोबोट वास्तव में जानता है कि झंडा कहाँ है और वहाँ पहुँचने के लिए योजना बना रहा है, या वह बस अंदाज़ा लगा रहा है और किस्मत से जीत रहा है?
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ लेखक यह पता लगाने की कोशिश करते हैं कि एक भूलभुलैया सुलझाते समय यह रोबोट (एक Large Language Model एजेंट) वास्तव में कैसे सोचता है। उन्होंने केवल यह नहीं देखा कि रोबोट ने क्या किया; उन्होंने उसके "दिमाग" के अंदर झाँककर यह भी देखा कि वह क्या सोच रहा था।
यहाँ उनके अन्वेषण का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. सेटअप: भूलभुलैया में रोबोट
शोधकर्ताओं ने एक डिजिटल ग्रिड दुनिया में एक रोबोट (जिसे GPT-OSS-20B कहा जाता है) को रखा, जो एक विशाल शतरंज के बोर्ड की तरह है।
- लक्ष्य: रोबोट को एक शुरुआती बिंदु से लक्ष्य तक चलना है।
- बाधाएँ: ऐसी दीवारें हैं जिनसे वह टकराकर रुक सकता है।
- परीक्षण: उन्होंने भूलभुलैया को कठिन बनाया, जैसे कि उसे बड़ा करना या उसमें अधिक दीवारें भर देना।
2. भाग एक: रोबोट के कदमों को देखना (व्यवहार संबंधी मूल्यांकन)
सबसे पहले, शोधकर्ताओं ने केवल रोबोट को चलते हुए देखा। उन्होंने रोबोट के रास्ते की तुलना उस "परफेक्ट पाथ" से की जो एक मानव गणितज्ञ द्वारा गणना की गई थी।
- निष्कर्ष: रोबोट काफी अच्छा था। जब भूलभुलैया आसान थी, तो वह सीधे लक्ष्य की ओर चला। जब भूलभुलैया कठिन हुई (बड़ी या अधिक दीवारों वाली), तो उसने अधिक गलतियाँ कीं, लेकिन उसने हार नहीं मानी और न ही वह बिना सोचे-समझे भटकने लगा। वह अभी भी लक्ष्य तक पहुँचने की कोशिश करता हुआ प्रतीत हो रहा था।
- "मिरर" टेस्ट: उन्होंने एक भूलभुलैया ली और उसे दर्पण की छवि (mirror image) की तरह पलट दिया या घुमा दिया। रोबोट ने इसे अभी भी उतनी ही अच्छी तरह से हल किया। इससे यह साबित हुआ कि रोबोट केवल विशिष्ट पैटर्न को याद नहीं कर रहा था; उसने वास्तव में भूलभुलैया की अवधारणा (concept) को समझ लिया था।
- "डिस्ट्रेक्शन" टेस्ट: उन्होंने भूलभुलैया में एक चमकदार "चाबी" रखी।
- परिदृश्य A: चाबी का उपयोग लक्ष्य तक पहुँचने के लिए एक बंद दरवाज़ा खोलने के लिए आवश्यक था। रोबोट ने इसे पूरी तरह से समझ लिया।
- परिदृश्य B: चाबी बेकार थी (कोई दरवाज़ा नहीं था)। रोबोट फिर भी उससे विचलित हो गया! वह अक्सर चाबी की ओर बढ़ने लगा, भले ही उसे उसकी ज़रूरत नहीं थी। यह सुझाव देता है कि रोबोट की यह "आदत" है कि वह चाबियों को महत्वपूर्ण समझता है, भले ही वे ज़रूरी न हों।
3. भाग दो: दिमाग के अंदर झाँकना (प्रतिनिधित्व संबंधी मूल्यांकन)
केवल कदमों को देखना काफी नहीं है। रोबोट गलती से भी लक्ष्य की ओर चल सकता है। इसलिए, शोधकर्ताओं ने रोबोट के आंतरिक विचारों (उसके डिजिटल मस्तिष्क संकेतों) को पढ़ने के लिए एक विशेष उपकरण "प्रोब" (probe) का उपयोग किया, बिना उससे बोलने के लिए कहे।
उन्होंने दो अलग-अलग समयों पर देखा:
- रोबोट सोचने से पहले: जब वह पहली बार मानचित्र को देखता है तो वह क्या देखता है?
- रोबोट के सोचने के बाद: निर्णय लेने से ठीक पहले वह क्या देखता है?
"कॉग्निटिव मैप" (मानसिक चित्र)
उन्होंने पाया कि रोबोट कमरे का एक मोटा, धुंधला मानसिक मानचित्र बनाता है।
- उसे मोटे तौर पर पता है कि वह कहाँ है और लक्ष्य कहाँ है।
- यह कोई हाई-डेफिनिशन फोटो नहीं है; यह एक स्केच की तरह है। वह जानता है कि लक्ष्य "कहीं वहाँ" है, लेकिन सटीक निर्देशांक (coordinates) में वह थोड़ा गलत हो सकता है।
- महत्वपूर्ण खोज: जब रोबोट "तर्क" (reasoning) करने लगता है (गहराई से सोचना), तो यह धुंधला मानचित्र और भी धुंधला हो जाता है। रोबोट पूरे मानचित्र पर ध्यान केंद्रित करना बंद कर देता है और अगले कदम पर बहुत तीव्रता से ध्यान केंद्रित करने लगता है। यह एक ड्राइवर की तरह है जो मुड़ने से पहले पूरे हाईवे को देखने के बजाय पूरी तरह से अपने सामने चल रही कार पर ध्यान केंद्रित करने लगता है।
"प्लान" (काम की सूची)
उन्होंने यह भी जाँच की कि क्या रोबोट अपने दिमाग में अगले कुछ कदमों के लिए एक योजना रख रहा है।
- सोचने से पहले: रोबोट के पास एक दीर्घकालिक योजना (पूरे रास्ते का एक मोटा विचार) थी।
- सोचने के बाद: दीर्घकालिक योजना फीकी पड़ गई, और मस्तिष्क अगले तत्काल कदम के लिए बहुत स्पष्ट हो गया।
- निष्कर्ष: रोबोट केवल प्रतिक्रिया नहीं देता है; उसके पास वास्तव में एक योजना होती है। लेकिन "सोचने" की क्रिया उसके मस्तिष्क को "मैप रीडर" से बदलकर "स्टेप-बाय-स्टेप निष्पादक" (executor) बना देती है।
4. बड़ा निष्कर्ष
लेखक निष्कर्ष निकालते हैं कि यह समझने के लिए कि क्या कोई रोबोट "लक्ष्य-निर्देशित" (goal-directed) है (यानी उसका कोई उद्देश्य है), आप केवल उसके कार्यों को देखकर नहीं समझ सकते। आपको उसके दिमाग के अंदर भी देखना होगा।
- अच्छी खबर: रोबोट के पास एक लक्ष्य होता है। वह मानसिक मानचित्र बनाता है और लक्ष्य तक पहुँचने के लिए कदमों की योजना बनाता है।
- बुरी खबर: उसका मानसिक मानचित्र थोड़ा धुंधला है, और कभी-कभी वह उन चीजों से विचलित हो जाता है जो लक्ष्यों की तरह दिखती हैं (जैसे कि चाबी), भले ही वे ज़रूरी न हों।
- सबक: यदि हम भविष्य में AI एजेंटों पर भरोसा करना चाहते हैं, तो हमें उनके कार्यों और उनके आंतरिक विचारों, दोनों की जाँच करनी होगी ताकि यह सुनिश्चित हो सके कि वे वास्तव में वही कर रहे हैं जो हम चाहते हैं, न कि केवल दिखावा कर रहे हैं या विकर्षणों से भ्रमित हो रहे हैं।
संक्षेप में: रोबोट केवल एक बिना दिमाग वाला चलने वाला यंत्र नहीं है। उसके पास एक मानचित्र है, उसके पास एक योजना है, और उसे पता है कि वह कहाँ जा रहा है—लेकिन उसका मानचित्र थोड़ा धुंधला है, और वह कभी-कभी चमकदार वस्तुओं की वजह से भटक जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।