Set-shifting Behavioral Test for Harnessed Agents
यह शोधपत्र एक सेट-शिफ्टिंग व्यवहारिक परीक्षण प्रस्तुत करता है जो यह मूल्यांकन करता है कि एलएलएम (LLM) एजेंट टूल विश्वसनीयता में छिपे हुए परिवर्तनों के प्रति कैसे अनुकूलित होते हैं, जिससे यह पता चलता है कि एजेंट विशिष्ट दिनचर्या पर दृढ़ता से टिके रहने की प्रवृत्ति रखते हैं जिनके विशिष्ट विफलता मोड होते हैं और जो इस बात से भी प्रभावित होते हैं कि टूलसेट को किस प्रकार फ्रेम किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट बटलर को रात का खाना बनाना सिखा रहे हैं। आप उसे "स्क्रैम्बल अंडे" की दस अलग-अलग रेसिपी वाली एक विशाल कुकबुक देते हैं। पहले, रेसिपी A पूरी तरह से काम करती है। रोबोट इसे सीख जाता है, इसके चरणों को याद कर लेता है और हर बार स्वादिष्ट अंडे बनाता है। लेकिन फिर, बिना रोबोट को बताए, आप रसोई में सामग्री बदल देते हैं। अब रेसिपी A से रबर जैसा, खाने लायक न होने वाला कचरा बनता है, जबकि रेसिपी B, जो बिल्कुल वैसी ही दिखती और सुनाई देती है, अचानक जादू की तरह काम करने लगती है। सवाल यह है: क्या रोबोट इस बदलाव को नोटिस करेगा? क्या वह टूटी हुई रेसिपी का उपयोग करना बंद कर देगा और एक नई रेसिपी आज़माने की कोशिश करेगा, या वह अपनी पुरानी आदत के कारण उस खराब सामग्री के साथ खाना बनाने की कोशिश करता रहेगा, यह मानकर कि गलती उसकी ही हो रही है?
यह वह तरह की पहेली है जिसे आर्टिफिशियल इंटेलिजेंस के क्षेत्र के वैज्ञानिक हल करने की कोशिश कर रहे हैं। वे अध्ययन कर रहे हैं कि कैसे AI एजेंट—स्मार्ट कंप्यूटर प्रोग्राम जो कैलकुलेटर, सर्च इंजन या कोड कंपाइलर जैसे टूल्स का उपयोग कर सकते हैं—बदलाव को संभालते हैं। मनोविज्ञान में, विस्कॉन्सिन कार्ड सॉर्टिंग टेस्ट (Wisconsin Card Sorting Test) नामक एक प्रसिद्ध परीक्षण है, जहाँ इंसानों को यह पता लगाना होता है कि खेल के नियम चुपके से बदल गए हैं। यदि आप रंग के आधार पर कार्ड छाँटने के बजाय आदतवश आकार के आधार पर छाँटना जारी रखते हैं, तो आप आदत के कारण रंग के आधार पर ही छाँटते रहेंगे। इसे "परसेवरेशन" (perseveration), या एक ही ढर्रे में फंस जाना कहा जाता है। बड़ा सवाल यह है कि क्या डिजिटल दिमाग भी ऐसे ही ढर्रों में फंस जाते हैं? यदि कोई AI किसी विशेष टूल का उपयोग करने का आदी हो जाता है, तो क्या वह उसका उपयोग तब भी करता रहेगा जब वह टूल चुपचाप खराब हो गया हो, या क्या वह अनुकूलन कर पाएगा और एक नया समाधान खोज पाएगा?
पेपर की कहानी: गुप्त टूल स्वैप (The Secret Tool Swap)
इस पेपर में, शोधकर्ताओं ने ठीक यही परीक्षण करने के लिए एक डिजिटल प्लेग्राउंड बनाया। उन्होंने एक परिदृश्य तैयार किया जहाँ एक AI एजेंट को एक "हार्नेस" (harness) दिया जाता है—यह एक फैंसी शब्द है उस सिस्टम के लिए जो AI को समस्याओं को हल करने के लिए टूल्स की एक लाइब्रेरी देता है। कल्पना कीजिए कि AI एक जासूस है जो रहस्य सुलझाने की कोशिश कर रहा है, और उसके पास तीन अलग-अलग सूचना प्रदाताओं (इन्हें 'टीम A', 'टीम B' और 'टीम C' मान लें) की टीमें हैं। तीनों टीमें दावा करती हैं कि वे एक ही सुराग ढूंढ सकती हैं, और वे सभी जासूस को एक जैसी ही दिखती और सुनाई देती हैं।
शोधकर्ताओं ने एक ट्विस्ट के साथ एक खेल सेट किया। खेल के पहले भाग के लिए, केवल टीम A ही सच बोल रही है। जासूस (AI) जल्दी ही टीम A पर भरोसा करना सीख जाता है और दूसरों की बात सुनना बंद कर देता है। फिर, चुपके से, शोधकर्ता खेल बदल देते हैं। टीम A सच बोलना बंद कर देती है और फर्जी सुराग देने लगती है, जबकि टीम B विश्वसनीय स्रोत बन जाती है। टीमों के नाम और विवरण नहीं बदलते; केवल उनकी विश्वसनीयता बदल जाती है। शोधकर्ता यह देखना चाहते थे कि क्या जासूस इस बदलाव को नोटिस करेगा और टीम B पर भरोसा करना शुरू करेगा, या क्या वह टीम A को कॉल करता रहेगा, फर्जी सुरागों से परेशान होने के बावजूद अपनी पुरानी आदत को छोड़ने से इनकार कर देगा।
उन्होंने क्या पाया: जिद्दी और स्विच करने वाले (The Stubborn and the Switchers)
शोधकर्ताओं ने दो अलग-अलग AI मॉडल का परीक्षण किया, जिन्हें हम "Mimo" और "DeepSeek" कहेंगे। उन्होंने पाया कि दोनों मॉडल फंस गए, लेकिन वे बहुत अलग तरीकों से फंसे।
- DeepSeek (जल्दी प्रतिबद्ध होने वाला - The Early Committer): यह मॉडल उस जासूस की तरह था जिसने पहले ही दिन एक निर्णय लिया और उसी पर टिका रहा। यदि इसने टीम A पर भरोसा करना शुरू किया, तो यह टीम A पर ही भरोसा करता रहा, यहाँ तक कि बदलाव के बाद भी, और सभी फर्जी सुरागों को अनदेखा कर दिया। हालाँकि, यदि इसकी पहली पसंद संयोग से नई विश्वसनीय टीम होती, तो यह उसी के साथ पूरी तरह से टिका रहता। इससे कोई फर्क नहीं पड़ता था कि शोधकर्ता बाद में नियम बदलते हैं या नहीं; DeepSeek अपनी पहली प्रतिबद्धता में लॉक हो गया था। इसने एक "प्रिफिक्स-लेवल लॉक-इन" (prefix-level lock-in) दिखाया, जिसका अर्थ है कि इसके पहले चुनाव ने इसके पूरे भविष्य के व्यवहार को निर्धारित कर दिया, चाहे वह चुनाव सही हो या गलत।
- Mimo (हालिया इतिहासकार - The Recent Historian): यह मॉडल थोड़ा अधिक लचीला था लेकिन फिर भी इसे समस्या थी। यह उन टूल्स के मिश्रण पर टिके रहने की प्रवृत्ति रखता था जिनका इसने हाल ही में उपयोग किया था। यदि यह टीम A और टीम B का एक साथ उपयोग कर रहा था, तो यह टीम A के टूटने के बाद भी उन्हें मिलाता रहेगा। यह आसानी से नए, सही टीम (टीम C) की ओर नहीं जा सका। इसने "सेल-लेवल लॉक-इन" (cell-level lock-in) दिखाया, जिसका अर्थ है कि यह बदलाव से ठीक पहले चल रही अपनी विशिष्ट दिनचर्या में फंस गया था।
अध्ययन ने दिखाया कि बिना किसी विशेष निर्देश के, ये AI एजेंट जल्दी आदतें बना लेते हैं। एक बार जब उन्हें कोई ऐसा टूल मिल जाता है जो काम करता है, तो वे उसी पर टिके रहते हैं। जब वह टूल चुपचाप खराब हो जाता है, तो वे अक्सर अन्य विकल्पों को खोजने के बजाय बार-बार उसी का उपयोग करने की कोशिश करते रहते हैं, जिससे वे विफल होते रहते हैं।
क्या हम उन्हें बदलना सिखा सकते हैं?
फिर शोधकर्ताओं ने पूछा: "क्या हम इसे ठीक कर सकते हैं?" उन्होंने AI को अनुकूलित करने में मदद करने के लिए दो अलग-अलग तरीके आजमाए।
- "अनुकूलन" निर्देश (The "Adaptive" Instruction): उन्होंने DeepSeek को एक विशिष्ट नियम दिया: "यदि कोई टूल विफल होता है, तो तुरंत उसका उपयोग करना बंद कर दें और दूसरा प्रयास करें।" यह DeepSeek के लिए बहुत अच्छा रहा, जिससे इसे लगभग तुरंत नए, विश्वसनीय टीम पर स्विच करने में मदद मिली। हालाँकि, जब उन्होंने यही निर्देश Mimo पर आजमाया, तो परिणाम अनिर्णायक रहे क्योंकि उन्होंने इसे बहुत कम संख्या में परीक्षणों पर ही परखा। हम यह निश्चित रूप से नहीं कह सकते कि यह काम नहीं किया या हमारे पास बताने के लिए पर्याप्त डेटा नहीं था।
- "पॉलीमथ" निर्देश (The "Polymath" Instruction): उन्होंने एक अन्य नियम आजमाया: "जितने संभव हो सके उतने अलग-अलग टूल्स का उपयोग करने का प्रयास करें; ऊबें नहीं।" इसने AI को अधिक विविधता का उपयोग करने में मदद की, लेकिन इसने वास्तव में इसे सही टूल को तेज़ी से खोजने में मदद नहीं की। यह बस रैंडम (यादृच्छिक) था।
टूल्स का वर्णन करने के तरीके की शक्ति
अंत में, शोधकर्ताओं ने पाया कि टूल्स का वर्णन कैसे किया जाता है, इसके बारे में कुछ बहुत दिलचस्प है। उन्होंने टूल समूहों की "फ्रेमिंग" (framing) को बदला।
- एक संस्करण में, उन्होंने टीमों को प्रतिस्पर्धी (Competing) के रूप में वर्णित किया (जैसे प्रतिद्वंद्वी स्टोर जो आपको एक ही चीज़ बेचने की कोशिश कर रहे हों)।
- दूसरे संस्करण में, उन्होंने उन्हें पूरक (Complementary) के रूप में वर्णित किया (जैसे एक ही मशीन के विभिन्न हिस्से जिन्हें एक साथ काम करने की आवश्यकता होती है)।
उन्होंने पाया कि जब टूल्स को प्रतिस्पर्धी के रूप में वर्णित किया गया था, तो AI, पूरक संस्करण की तुलना में, नई विश्वसनीय टीम पर स्विच करने के लिए सामान्य रूप से अधिक संभावित था। हालाँकि, AI को अभी भी समग्र रूप से संघर्ष करना पड़ा; प्रतिस्पर्धी फ्रेमिंग के साथ भी, सफलता दर काफी कम (मॉडल के आधार पर लगभग 10-26%) रही। यह सुधार कोई जादुई समाधान नहीं था जिसने AI को पूर्ण बना दिया, बल्कि यह एक निरंतर रुझान था जहाँ "प्रतिद्वंद्वी" विवरण ने एजेंटों को "टीमवर्क" विवरण की तुलना में अपनी आदतों को तोड़ने में थोड़ा बेहतर मदद की।
निष्कर्ष (The Bottom Line)
यह पेपर सुझाव देता है कि AI एजेंट, मनुष्यों की तरह, आदतों में फंस सकते हैं। वे हमेशा यह नोटिस नहीं करते कि खेल के नियम चुपके से बदल गए हैं। वे जो जानते हैं उसी पर टिके रहते हैं, भले ही वह काम करना बंद कर दे। हालाँकि, अध्ययन दिखाता है कि हम उन्हें स्पष्ट निर्देश देकर अनुकूलित होने में मदद कर सकते हैं (हालाँकि यह कुछ मॉडलों के लिए बेहतर काम करता है), या टूल्स को उनके सामने कैसे वर्णित किया जाता है, इसे बदलकर। यह हमें याद दिलाता है कि AI के वास्तव में स्मार्ट होने के लिए, उसे पुरानी आदतों को छोड़ने और नए डेटा को अपनाने में सक्षम होना चाहिए, ठीक वैसे ही जैसे एक अच्छा जासूस होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।