Capable but Unreliable: Canonical Path Deviation as a Causal Mechanism of Agent Failure in Long-Horizon Tasks
यह शोध पत्र प्रदर्शित करता है कि लॉन्ग-होराइजन कार्यों में लैंग्वेज एजेंट की विफलताएं मुख्य रूप से किसी कार्य के कैनोनिकल समाधान पथ (canonical solution path) से स्टोकेस्टिक ड्रिफ्ट (stochastic drift) के कारण होती हैं न कि क्षमता की सीमाओं के कारण, जो यह प्रकट करता है कि इस पथ से विचलित होने वाले प्रक्षेप पथों (trajectories) की निगरानी करना और उन्हें पुनरारंभ करना मॉडल स्केलिंग की आवश्यकता के बिना विश्वसनीयता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "कैपेबल बट अनरिलायबल" (Capable but Unreliable) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।
मुख्य सवाल: बुद्धिमान AI एजेंट क्यों विफल होते हैं?
कल्पना कीजिए कि आपने एक शानदार, विश्व-स्तरीय शेफ को काम पर रखा है। उनके पास सभी सामग्रियां हैं, सबसे अच्छे चाकू हैं, और वे दुनिया की हर रेसिपी जानते हैं। फिर भी, कभी-कभार वे एक बेहतरीन भोजन बनाते हैं, और कभी-कभार वे टोस्ट जला देते हैं या नमक डालना भूल जाते हैं।
आप सोच सकते हैं, "शायद शेफ वास्तव में उतने अच्छे नहीं हैं।" लेकिन इस पेपर के शोधकर्ता तर्क देते हैं: नहीं, शेफ बेहतरीन हैं। समस्या यह नहीं है कि शेफ खाना बना नहीं सकते; समस्या यह है कि थोड़ी सी रैंडमनेस (अनिश्चितता) के कारण उनका आज का दिन "खराब" चल रहा है।
पेपर पूछता है: सक्षम AI एजेंट (सॉफ्टवेयर टूल्स का उपयोग करने वाले रोबोट) उन कार्यों में क्यों विफल हो जाते हैं जिन्हें हल करने के लिए वे पर्याप्त बुद्धिमान हैं?
मूल विचार: "कैनोनिकल पाथ" (The Canonical Path - आदर्श मार्ग)
एक जटिल कार्य (जैसे छुट्टी की योजना बनाना या कंप्यूटर बग ठीक करना) को एक हाइकिंग ट्रेल (पगडंडी) की तरह समझें।
- कैनोनिकल पाथ: यह "गोल्डन रूट" है। यह उन विशिष्ट चरणों का समूह है जिसे लगभग हर कोई जो सफलतापूर्वक हाइक पूरी करता है, अपनाता है। शायद आपको पहाड़ी चढ़ने से पहले पुल पार करना होगा, या चलना शुरू करने से पहले मैप देखना होगा।
- द ड्रिफ्ट (भटकाव): क्योंकि AI थोड़ा पासे (dice) फेंकने जैसा है (यह रैंडम चुनाव करता है), यह कभी-कभी गलत मोड़ ले लेता है। यह मैप देखने से पहले ही पहाड़ी चढ़ने की कोशिश कर सकता है।
पेपर का तर्क है कि अधिकांश विफलताएं इसलिए होती हैं क्योंकि AI "गोल्डन रूट" से भटक जाता है। यह इसलिए विफल नहीं होता क्योंकि उसमें पहाड़ी चढ़ने की क्षमता नहीं है; यह इसलिए विफल होता है क्योंकि वह शुरुआत में ही रास्ता भटक गया था, और एक बार रास्ते से हटने के बाद, वापस रास्ता ढूंढना कठिन होता जाता है।
प्रयोग: "वही शेफ, वही रेसिपी" टेस्ट
इसे साबित करने के लिए, शोधकर्ताओं ने Toolathlon नामक एक विशाल डेटासेट का अध्ययन किया। कल्पना कीजिए कि उन्होंने 22 अलग-अलग टॉप-टियर शेफ (AI मॉडल्स) को ठीक एक ही 108 व्यंजन (टास्क) तीन-तीन बार बनाने के लिए कहा।
- परिणाम: कभी-कभी एक शेफ पहली कोशिश में व्यंजन एकदम सही बनाता है, लेकिन दूसरी कोशिश में उसे जला देता है।
- सुराग: चूंकि यह वही शेफ है और वही रेसिपी है, इसलिए अंतर "कौशल" (skill) का नहीं हो सकता। एकमात्र अंतर रैंडमनेस (पासे का उछाल) था।
यह "नेचुरल एक्सपेरिमेंट" है। यह साबित करता है कि क्षमता (capability) मुद्दा नहीं है; विश्वसनीयता (reliability) मुद्दा है।
दो बड़ी खोजें
शोधकर्ताओं ने पाया कि ये एजेंट कैसे विफल होते हैं, इसके बारे में दो आश्चर्यजनक बातें सामने आईं:
1. यह "एक गलती" से होने वाली आपदा नहीं है (नो अर्ली ब्रांचिंग)
पुरानी थ्योरी: हम सोचते थे कि यदि AI शुरुआत में ही एक गलत कदम उठा लेता है (जैसे सूप के बजाय केक में नमक डाल देना), तो वह तुरंत बर्बाद हो जाता है।
नई खोज: पेपर दिखाता है कि AI आमतौर पर कार्य के पहले आधे हिस्से तक सही रास्ते पर रहता है! भटकाव (drift) धीरे-धीरे होता है।
- उपमा: कल्पना कीजिए कि आप किसी गंतव्य की ओर गाड़ी चला रहे हैं। यदि आप एक मोड़ गलत लेते हैं, तो आप तुरंत दुर्घटनाग्रस्त नहीं होते। आप बस थोड़ा आगे चलते हैं, फिर थोड़ा और, और धीरे-धीरे आप एक अलग शहर में पहुँच जाते हैं। जब तक आपको एहसास होता है कि आप रास्ता भटक गए हैं, तब तक आप गंतव्य से बहुत दूर निकल चुके होते हैं। AI इसलिए विफल नहीं होता क्योंकि उसने एक बड़ी गलती की; वह इसलिए विफल होता है क्योंकि वह धीरे-धीरे सही रास्ते से भटक जाता है।
2. गलतियाँ और गलतियाँ पैदा करती हैं (स्व-सुदृढ़ीकरण)
खोज: एक बार जब AI एक "गलत" कदम उठा लेता है (एक ऑफ-कैनोनिकल टूल कॉल), तो उसके तुरंत बाद दूसरा गलत कदम उठाने की संभावना 22% बढ़ जाती है।
- उपमा: इसे एक पहाड़ी से लुढ़कते हुए स्नोबॉल (बर्फ के गोले) की तरह समझें। पहला छोटा सा बर्फ का टुकला (पहली गलती) कोई बड़ी बात नहीं है। लेकिन जैसे-जैसे यह लुढ़कता है, यह और अधिक बर्फ पकड़ता जाता है। प्रत्येक गलती स्थिति (इंफॉर्मेशन स्टेट) को इस तरह बदल देती है कि अगली गलती होने की संभावना बढ़ जाती है। AI गलत निर्णयों के चक्र में फंस जाता है।
समाधान: "मिड-ट्रिप चेक-इन" (यात्रा के बीच में जांच)
यदि समस्या यह है कि AI धीरे-धीरे रास्ता भटक रहा है, तो समाधान एक "अधिक बुद्धिमान" शेफ को काम पर रखना नहीं है (जो महंगा और कठिन है)। समाधान है: यात्रा के बीच में मैप चेक करना।
शोधकर्ताओं ने एक सरल समाधान का परीक्षण किया:
- AI को काम करते हुए देखें।
- 75% के निशान पर जाँच करें: "क्या यह AI अभी भी गोल्डन रूट का पालन कर रहा है?"
- यदि AI बहुत अधिक भटक गया है, तो इसे रोकें और दोबारा शुरू करें।
परिणाम: इस सरल "रीस्टार्ट" रणनीति ने उन कार्यों के लिए सफलता दर को 8.8% बढ़ा दिया जो विफल हो रहे थे। उन्होंने AI का दिमाग नहीं बदला; उन्होंने बस उसे खाई में गिरने से रोक दिया।
यह क्यों मायने रखता है?
- मॉडल को दोष देना बंद करें: हम अक्सर सोचते हैं कि AI इसलिए विफल होता है क्योंकि वह "बेवकूफ" है। यह पेपर कहता है, "नहीं, यह बुद्धिमान है, लेकिन यह अविश्वसनीय है।" हमें केवल दिमाग को नहीं, बल्कि प्रक्रिया को ठीक करने की आवश्यकता है।
- बेहतर सुरक्षा जाल (Safety Nets): केवल इस उम्मीद में रहने के बजाय कि AI सही करेगा, हमें ऐसे "गार्डरेल्स" बनाने चाहिए जो उसे तब पकड़ लें जब वह रास्ते से भटकना शुरू करे।
- AI परीक्षण का नया तरीका: जब हम AI का परीक्षण करते हैं, तो हमें केवल यह नहीं पूछना चाहिए, "क्या इसने पास किया?" हमें यह पूछना चाहिए, "क्या इसने हर बार पास किया?" यदि यह 3 में से 1 बार पास होता है, तो यह एक सक्षम एजेंट नहीं है; यह एक भाग्यशाली (lucky) एजेंट है।
एक वाक्य में सारांश
AI एजेंट अक्सर इसलिए विफल नहीं होते क्योंकि वे समस्या को हल करने के लिए बहुत मूर्ख हैं, बल्कि इसलिए विफल होते हैं क्योंकि रैंडम शोर (noise) उन्हें सफलता के "गोल्डन पाथ" से धीरे-धीरे भटका देता है, और उन्हें बहुत अधिक भटकने से पहले ही पकड़ लेना बिना किसी स्मार्ट AI के भी समस्या को ठीक कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।