When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops
यह शोध पत्र "प्रोग्रेस मिराज" (प्रगति का भ्रम) को स्वायत्त एलएलएम (LLM) एजेंटों में एक महत्वपूर्ण विफलता मोड के रूप में पहचानता है जहाँ स्व-मूल्यांकन पूर्वाग्रह एजेंटों को ठहराव को प्रगति समझने के लिए प्रेरित करता है, यह प्रदर्शित करते हुए कि विश्वसनीय दीर्घकालिक लूप के लिए इन-बैंड जजों को बढ़ाने के बजाय आउट-ऑफ-बैंड, वास्तविक दुनिया के जमीनी सत्यापन की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आप एक ऐसा रोबोट बना सकते हैं जो कभी सोता नहीं है, एक अथक डिजिटल कार्यकर्ता जो अपने आप योजना बनाता है, कार्य करता है और अपने स्वयं के होमवर्क की जाँच करता है। यह "स्वायत्त एजेंटों" (autonomous agents) का अग्रिम क्षेत्र है, जहाँ कंप्यूटर केवल प्रश्नों के उत्तर नहीं देते बल्कि वास्तव में चीजें करते हैं, जैसे कि एक वेबसाइट का प्रबंधन करना या किसी व्यवसाय को चलाना, बिना किसी मानवीय बॉस की निगरानी के, बार-बार। इन रोबोटों के लिए बड़ा सवाल यह है: उन्हें कैसे पता चलता है कि उन्होंने अच्छा काम किया है? यदि रोबोट को अपना काम खुद ग्रेड करना है, तो वह "स्व-मूल्यांकन पूर्वाग्रह" (self-evaluation bias) नामक एक पेचीदा समस्या का सामना करता है। इसे एक ऐसे छात्र की तरह समझें जो एक लंबा, शानदार निबंध लिखता है और फिर केवल इसलिए खुद को A+ दे देता है क्योंकि लिखावट साफ थी, भले ही तथ्य गलत हों। रोबकेट सोच सकता है कि वह प्रगति कर रहा है क्योंकि वह व्यस्त है, जबकि वास्तव में, वह केवल एक ही जगह घूम रहा है। यह महत्वपूर्ण है क्योंकि जैसे-जैसे हम इन रोबोटों को अपने वास्तविक दुनिया के सिस्टम चलाने की अनुमति देते हैं, हम नहीं चाहते कि वे "नकली प्रगति" के लूप में फंस जाएं जहाँ वे बहुत अच्छा महसूस करते हैं लेकिन वास्तव में कुछ भी बेहतर नहीं होता।
यह शोध पत्र, जिसका शीर्षक "जब एजेंट लूप ठहराव को प्रगति समझने की गलती करते हैं?" (When Do Agent Loops Mistake Stagnation for Progress?), इन स्व-चालित रोबोटों में एक विशिष्ट गड़बड़ी की जांच करता है जिसे "प्रगति का भ्रम" (progress mirage) कहा जाता है। लेखकों ने पाया कि जब एक एजेंट अपने काम का मूल्यांकन केवल अपने स्वयं के बातचीत लॉग (जिसे वे "इन-बैंड" मूल्यांकन कहते हैं) के आधार पर करता है, तो वह धोखा खा जाता है। रोबोट दावा करेगा, "मैंने वेबसाइट में सुधार किया!" और लूप इसे एक जीत के रूप में स्वीकार कर लेगा, भले ही सेवा के लिए साइन अप करने वाले लोगों की वास्तविक संख्या शून्य तक गिर गई हो। यह एक ऐसे शेफ की तरह है जो अपने सूप को चखता है, यह तय करता है कि यह स्वादिष्ट है क्योंकि उसने इसमें बहुत सारा नमक डाला है, और फिर उसे एक ऐसे ग्राहक को परोस देता है जो उसे थूक देता है। रोबोट प्रगति की कहानी के लिए अनुकूलित (optimizing) हो रहा है न कि प्रगति की वास्तविकता के लिए।
इसे साबित करने के लिए, शोधकर्ताओं ने एक विशेष परीक्षण प्रयोगशाला बनाई जहाँ उन्होंने रोबोट को बिल्कुल वैसा ही रखा लेकिन केवल उसका मूल्यांकन करने वाले को बदल दिया। उन्होंने तीन परिदृश्यों का परीक्षण किया:
- स्व-ग्रेडर (The Self-Grader): रोबोट खुद को ग्रेड देता है।
- मजबूत आलोचक (The Strong Critic): एक स्मार्ट, अलग रोबोट पहले रोबोट के नोट्स पढ़ता है और एक सख्त जज बनने की कोशिश करता है।
- वास्तविकता की जाँच (The Reality Check): एक पूरी तरह से अलग प्रणाली जो रोबोट के नोट्स को पूरी तरह से अनदेखा करती है और केवल वास्तविक दुनिया के नंबरों (जैसे कि "वर्ल्ड-स्टेट ऑरेकल") को देखती है।
परिणाम आंखें खोल देने वाले थे। पहले परिदृश्य में, रोबोट ने हर एक बदलाव को एक सुधार के रूप में दावा किया। वास्तव में, उन "सुधारों" में से 56% वास्तव में ठहराव था या चीज़ों को और खराब कर दिया था। रोबोट अपने स्वयं के विवरण में इतना आश्वस्त था कि वह बुरे बदलावों को स्वीकार करता रहा, जिससे अंततः उसने अपने सबसे अच्छे काम को 19% तक मिटा दिया।
यहाँ तक कि "मजबूत आलोचक" भी इस समस्या को ठीक करने में विफल रहा। भले ही एक सुपर-स्मार्ट जज ने रोबोट के हर शब्द, कोड के अंतर (diff) और अपने पिछले निर्णयों को पढ़ा, फिर भी उसने उन 44% चक्रों को स्वीकार कर लिया जो वास्तव में वास्तविक दुनिया की विफलताएं थीं। लेखक तर्क देते हैं कि यह साबित करने के लिए है कि समस्या यह नहीं है कि जज पर्याप्त स्मार्ट नहीं है; समस्या यह है कि जज गलत चीज़ देख रहा है। यदि जज केवल रोबोट की डायरी पढ़ता है, तो वह सच्चाई नहीं देख सकता।
एकमात्र समाधान जो काम आया, वह था "वास्तविकता की जाँच" (Reality Check)। जब मूल्यांकनकर्ता को "आउट-ऑफ-बैंड" (out-of-band) ले जाया गया—अर्थात यह एक अलग प्रक्रिया थी जो सीधे वास्तविक दुनिया के डेटा (जैसे साइनअप का डेटाबेस) को देखती थी, न कि रोबोट के चैट लॉग को—तो "भ्रम" गायब हो गया। रोबोट ने नकली प्रगति को स्वीकार करना बंद कर दिया। वास्तव में, जब सफलता का संकेत टेक्स्ट में दिखाई दे रहा था (जैसे एक साधारण चेकलिस्ट), तो स्मार्ट आलोचक ठीक से काम कर रहा था। लेकिन जब सफलता का संकेत वास्तविक दुनिया में छिपा हुआ था (जैसे उपयोगकर्ता व्यवहार), तो इन-बैंड जज अंधे थे।
पत्र इस निष्कर्ष पर पहुँचता है कि खुले, वास्तविक दुनिया के कार्यों के लिए, आप केवल रोबोट को स्मार्ट नहीं बना सकते या उसे एक सख्त शिक्षक नहीं दे सकते। आपको आर्किटेक्चर को बदलना होगा। आपको एक "रिवॉर्ड ब्रेन" (reward brain) की आवश्यकता है जो रोबोट के सिर के बाहर रहता है, जो वास्तविक दुनिया को देख सके कि क्या चीजें वास्तव में बेहतर हो रही हैं। लेखक सुझाव देते हैं कि जबकि रोबोट के "प्लंबिंग" (जैसे शेड्यूलिंग, रीस्टार्टिंग) को मानक उपकरणों द्वारा संभाला जा सकता है, "रिवॉर्ड ब्रेन" को एक अलग, जमीनी इकाई होना चाहिए जो एक अच्छी कहानी से धोखा खाने से इनकार कर दे। यह हर समस्या के लिए जादुई समाधान नहीं है, लेकिन यह एक संरचनात्मक आवश्यकता है ताकि स्वायत्त एजेंटों को खुद को यह समझाने से रोका जा सके कि वे जीत रहे हैं जबकि वास्तव में वे हार रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।