Beyond the Leaderboard: A Synthesis of Tool-Use, Planning, and Reasoning Failures in Large Language Model Agents
यह शोध पत्र 27 अध्ययनों के निष्कर्षों को संश्लेषित करते हुए लार्ज लैंग्वेज मॉडल एजेंटों में छह आवर्ती विफलता समूहों (failure clusters) का एक एकीकृत वर्गीकरण प्रस्तावित करता है, जो यह प्रकट करता है कि व्यक्तिगत उप-कार्यों पर प्रदर्शन अक्सर टूल के उपयोग, योजना, दीर्घ-अवधि तर्क (long-horizon reasoning), समन्वय, सुरक्षा और मापन वैधता में संचयी त्रुटियों के कारण विश्वसनीय एंड-टू-एंड सफलता में परिवर्तित नहीं हो पाता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल व्यवसाय चलाने में मदद करने के लिए बेहद बुद्धिमान, तेज़ बोलने वाले सहायकों (लार्ज लैंग्वेज मॉडल एजेंट्स) की एक टीम रख रहे हैं। आपने सुर्खियाँ देखी होंगी: "हमारा सहायक पिछले वर्ष की तुलना में 60% बेहतर है!" या "इसने रिकॉर्ड समय में कोडिंग की समस्या को हल किया!"
यह शोध पत्र एक गहन ऑडिट की तरह है जो कहता है, "ठहरिए। आइए इसके अंदरूनी हिस्से को देखते हैं।" लेखक तर्क देते हैं कि जबकि ये सहायक विशिष्ट, सरल तरकीबों में बेहतर हो रहे हैं, लेकिन जब उन्हें लंबे, जटिल या वास्तविक दुनिया के अव्यवस्थित काम करने के लिए कहा जाता है, तो वे बिखर जाते हैं। उन्होंने इन विफलताओं को समझने के लिए 27 अलग-अलग अध्ययनों का विश्लेषण किया ताकि एक "विफलता मानचित्र" (failure map) बनाया जा सके कि ये AI एजेंट कहाँ टूट जाते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है:
1. "टूल-यूज़" (उपकरणों का उपयोग) की गड़बड़ी: भ्रमित मैकेनिक
समस्या: एजेंट एक अकेले उपकरण (जैसे हथौड़ा) को उठाने और एक बार कील ठोकने में माहिर होते हैं। लेकिन जब आप उन्हें एक पूरा घर बनाने के लिए कहते हैं, तो वे मतिभ्रम (hallucination) का शिकार होने लगते हैं।
उदाहरण: एक ऐसे मैकेनिक की कल्पना करें जो जानता है कि रिंच (wrench) का उपयोग कैसे किया जाता है। लेकिन यदि आप उन्हें कार का इंजन ठीक करने के लिए कहते हैं, तो वे शायद एक ऐसा उपकरण बना लेंगे जो अस्तित्व में ही नहीं है, या वे स्क्रू पर रिंच लगाने की कोशिश कर सकते हैं क्योंकि वे निर्देश भूल गए हैं।
निष्कर्ष: सबसे स्मार्ट मॉडल भी गलतियाँ करते हैं जब उन्हें सही उपकरण चुनना होता है, सही सेटिंग्स का उपयोग करना होता है, या यह याद रखना होता है कि वे पांच कदम पहले क्या कर रहे थे। वे स्पष्टीकरण मांगने के बजाय अक्सर उपकरणों के बारे में तथ्य गढ़ लेते हैं।
2. "प्लानिंग" (योजना) का जाल: गेंद गिरा देने वाला जादूगर
समस्या: एजेंट एक समय में एक पहेली के टुकड़े को हल करने में अच्छे हैं, लेकिन पूरे पहेली को जोड़ने में बहुत खराब हैं।
उदाहरण: एक जादूगर के बारे में सोचें। वह एक गेंद को हवा में पूरी तरह से रख सकता है। वह दो गेंदों को भी चला सकता है। लेकिन यदि आप उसे एक पतली रस्सी पर चलते हुए पाँच गेंदें उछालने और कविता सुनाने के लिए कहते हैं, तो वह सब कुछ गिरा देता है।
निष्कर्ष: एक एजेंट एक नियम (जैसे, "फ्लाइट बुक करें") और दूसरे नियम (जैसे, "बजट के भीतर रहें") को संतुष्ट कर सकता है, लेकिन जब उसे एक साथ सभी नियमों को संतुष्ट करना होता है, तो योजना ध्वस्त हो जाती है। जितने अधिक चरण शामिल होंगे, पूरी योजना के विफल होने की संभावना उतनी ही अधिक होगी।
3. "लॉन्ग-होरिज़ॉन" (लंबी अवधि) का कोहरा: प्रश्न भूल जाने वाला छात्र
समस्या: जैसे-जैसे कार्य लंबा होता जाता है, एजेंट भ्रमित हो जाता है और भूल जाता है कि वह मूल रूप से क्या करने की कोशिश कर रहा था।
उदाहरण: एक छात्र की कल्पना करें जो 10 घंटे की परीक्षा दे रहा है। 8वें घंटे तक, वह इतना थक जाता है और नोट्स के इतने पन्ने पढ़ चुका होता है कि वह पेज 1 पर दिए गए मूल प्रश्न को ही भूल जाता है। वह वही उत्तर दोहराने या चक्कर काटने लगता है।
निष्कर्ष: भले ही जानकारी तकनीकी रूप से एजेंट की "मेमोरी" (context window) में मौजूद हो, एजेंट मुख्य लक्ष्य से भटक जाता है। वह लूप में फंस जाता है, उन फाइलों को फिर से पढ़ता रहता है जिन्हें वह पहले ही प्रोसेस कर चुका है, या बार-बार एक ही गलती करता रहता है।
4. "टीमवर्क" की आपदा: बेसुरा गायक समूह (Choir)
समस्या: जब आप कई AI एजेंटों को मिलकर काम करने के लिए कहते हैं, तो वे अक्सर स्थिति को बेहतर बनाने के बजाय और बिगाड़ देते हैं।
उदाहरण: एक ऐसे गायक समूह की कल्पना करें जहाँ हर कोई एक एकल गायक (soloist) है। यदि वे एक साथ गाने की कोशिश करते हैं, तो वे तालमेल नहीं बिठा पाते; वे एक-दूसरे के ऊपर चिल्लाते हैं, इस बात पर बहस करते हैं कि कौन क्या गाएगा, और गाना बिगड़ जाता है। "कोऑर्डिनेशन ओवरहेड" (बहस में बिताया गया समय) अधिक गायकों के होने के लाभ को खत्म कर देता है।
निष्कर्ष: मल्टी-एजेंट सिस्टम अक्सर इसलिए विफल होते हैं क्योंकि एजेंट अपनी भूमिकाओं को नहीं समझते, वे आपस में संवाद करने में विफल रहते हैं, या वे इस बात पर सहमत नहीं हो पाते कि काम कब पूरा हुआ।
5. "सेफ्टी" (सुरक्षा) का अंधा मोड़: विनम्र लेकिन खतरनाक बटलर
समस्या: एजेंट विनम्र होते हैं और निर्देशों का पालन करते हैं, भले ही वे निर्देश खतरनाक या अस्पष्ट हों।
उदाहरण: एक ऐसे बटलर की कल्पना करें जो खुश करने के लिए इतना उत्सुक है कि यदि आप कहते हैं, "तिजोरी खोलें," बिना यह बताए कि कौन सी तिजोरी या किसकी तिजोरी, तो वह बगल के बैंक का वॉल्ट भी खोल सकता है। या, यदि कोई अजनबी अखबार में पढ़ रहे लेख में कोई गुप्त कमांड लिख देता है, तो बटलर बिना सोचे समझे उसका पालन कर सकता है।
निष्कर्ष: एजेंट अक्सर तब अनुमान लगाते हैं जब निर्देश अस्पष्ट होते हैं (जो खतरनाक हो सकता है) और वे उन "जहरीले" (poisoned) निर्देशों से आसानी से ठगे जा सकते हैं जो उनके द्वारा पढ़े जा रहे टेक्स्ट में छिपे होते हैं।
6. "स्कोरकार्ड" का भ्रम: परीक्षा में नकल करना
समस्या: लीडरबोर्ड पर दिखने वाले स्कोर बढ़े हुए हो सकते हैं क्योंकि परीक्षण स्वयं दोषपूर्ण हैं।
उदाहरण: कल्पना करें कि एक छात्र गणित की परीक्षा में 'A' ग्रेड प्राप्त करता है। लेकिन बाद में, आपको पता चलता है कि शिक्षक ने अनजाने में उसे उत्तर कुंजी (answer key) दे दी थी, या परीक्षा के प्रश्न इतने आसान थे कि उन्होंने वास्तव में यह साबित नहीं किया कि छात्र को गणित आता है।
निष्कर्ष: कुछ प्रसिद्ध बेंचमार्क "दूषित" (contaminated) हो गए हैं (AI ने प्रशिक्षण के दौरान ही उत्तर देख लिए थे) या उनके टेस्ट कमजोर हैं। जब शोधकर्ता इन समस्याओं को ठीक करते हैं, तो AI की सफलता दर काफी कम हो जाती है।
अच्छी खबर: वे वास्तव में कहाँ बेहतर हो रहे हैं
यह शोध पत्र केवल बुराई नहीं करता। यह स्वीकार करता है कि छोटे, सरल और बहुत विशिष्ट कार्यों में एजेंट वास्तव में बेहतर हो रहे हैं।
- उदाहरण: ये सहायक "सिंगल-टर्न" कार्यों में विश्व स्तरीय बन रहे हैं। यदि आप उनसे कहें कि "लंदन में मौसम का पता लगाएं" या "कोड की इस एक लाइन को ठीक करें," तो वे इसमें बहुत अच्छे हो रहे हैं।
- वास्तविकता: वे काम के "आसान" हिस्सों में बेहतर हो रहे हैं, लेकिन जब काम लंबा, जटिल या टीमवर्क की आवश्यकता वाला होता है, तो वे अभी भी बहुत नाजुक (fragile) हैं।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हमें केवल "लीडरबोर्ड स्कोर" को नहीं देखना चाहिए। हमें यह समझना चाहिए कि छोटे हिस्सों में अच्छा होने का मतलब यह नहीं है कि आप पूरे काम में अच्छे हैं।
- नॉन-लीनियर विफलता: यदि कोई कार्य 10 चरणों वाला है, तो विफलता की संभावना केवल 10 गुना अधिक नहीं होती; यह बहुत अधिक होती है क्योंकि एक छोटी सी गलती भी पूरी श्रृंखला को बर्बाद कर देती है।
- अधिक का मतलब हमेशा बेहतर नहीं: AI को सोचने के लिए अधिक समय देना या मदद के लिए अधिक एजेंट देना हमेशा समस्या को हल नहीं करता; कभी-कभी यह भ्रम को और भी बदतर बना देता है।
- सुरक्षा अलग है: "स्मार्ट" होना अपने आप में यह गारंटी नहीं देता कि एजेंट "सुरक्षित" भी होगा। आपको उन्हें विशेष रूप से सुरक्षित होने के लिए प्रशिक्षित करना होगा।
संक्षेप में: AI एजेंट उन प्रतिभाशाली प्रशिक्षुओं (apprentices) की तरह हैं जो एक अकेली कील ठोकने में तो माहिर हैं, लेकिन उन्हें अपने दम पर घर बनाने से पहले अभी बहुत अधिक पर्यवेक्षण (supervision) की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।