💬 NLP

Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench

यह शोधपत्र AgentProp-Bench प्रस्तुत करता है, जो एक मानव-सत्यापित बेंचमार्क है जो यह प्रकट करता है कि टूल-उपयोग करने वाले LLM एजेंटों के लिए स्वचालित जज अक्सर संयोग के स्तर (chance levels) पर प्रदर्शन करते हैं, यह लक्षणित करता है कि पैरामीटर इंजेक्शन त्रुटियां अंतिम उत्तरों तक कैसे प्रसारित होती हैं, और यह प्रदर्शित करता है कि रनटाइम शमन रणनीतियाँ विशिष्ट मॉडलों में मतिभ्रम (hallucinations) को महत्वपूर्ण रूप से कम कर सकती हैं।

मूल लेखक: Bhaskar Gurram

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bhaskar Gurram

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने बहुत बुद्धिमान, लेकिन थोड़े अनाड़ी रोबोट सहायकों की एक टीम को काम पर रखा है। उनका काम उपकरणों के एक सेट का उपयोग करके समस्याओं को हल करना है, जैसे कि कैलेंडर ऐप, मौसम पूर्वानुमानकर्ता, या मेडिकल डेटाबेस। आप उनसे पूछते हैं, "कल के लिए एक मीटिंग बुक करें," और उन्हें यह करने के लिए कंप्यूटर में सही कमांड टाइप करने होते हैं।

यह पेपर इन रोबोटों को परखने का एक नया तरीका बताता है कि वे कितनी बार गलती करते हैं, वे क्यों गलती करते हैं, और क्या हम उन्हें विफल होने से पहले पकड़ने के लिए एक सुरक्षा जाल (safety net) बना सकते हैं।

यहाँ उनके निष्कर्षों का विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है।

1. समस्या: "खराब जज" (The Bad Judge)

लंबे समय तक, लोग इन रोबोट सहायकों का परीक्षण उनके अंतिम उत्तर को देखकर और यह जाँचकर करते थे कि उसमें सही कीवर्ड्स शामिल हैं या नहीं।

पुराना तरीका: यदि रोबोट को कहना था "लंदन में मौसम धूप वाला है," और उसने कहा "लंदन में मौसम बहुत धूप वाला है," तो पुराना परीक्षण कहता, "बहुत बढ़िया! आपने इसे सही कर लिया।"
वास्तविकता: शोधकर्ताओं ने पाया कि यह तरीका मूल रूप से सिक्का उछालने (flipping a coin) जैसा है। यह इतना अविश्वसनीय है कि यह मानव विशेषज्ञों के साथ केवल 5% समय सहमत होता है (जो कि रैंडम अनुमान लगाने से भी बदतर है)। यह एक शिक्षक की तरह है जो गणित के टेस्ट को केवल इसलिए ग्रेड देता है क्योंकि छात्र ने पेज पर कहीं भी संख्या "5" लिख दी है, इस बात को नजरअंदाज करते हुए कि क्या गणित वास्तव में सही था।

समाधान: उन्होंने एक "सुपर-जज पैनल" बनाया जो उत्तरों पर वोट देने के लिए तीन अलग-अलग AI मॉडल से बना है। यह पैनल बहुत बेहतर है (मानव के साथ लगभग 43% सहमति), लेकिन यह भी पूर्ण नहीं है। यह एक "सख्त शिक्षक" की तरह व्यवहार करता है, अक्सर उत्तरों को गलत घोषित कर देता है, भले ही वे वास्तव में ठीक हों।

2. प्रयोग: "तोड़फोड़ परीक्षण" (The Sabotage Test)

गलतियाँ कैसे फैलती हैं, यह देखने के लिए, शोधकर्ताओं ने केवल रोबोटों के स्वाभाविक रूप से गलती करने का इंतज़ार नहीं किया। उन्होंने जानबूझकर उन्हें सबोटेज (sabotage/तोड़फोड़) किया।

उपमा: कल्पना कीजिए कि एक शेफ (रोबोट) सूप बना रहा है। शोधकर्ताओं ने शेफ के खाना शुरू करने से पहले ही नमक की जगह चीनी बदल दी।
प्रश्न: क्या शेफ उस चीनी को नोटिस करता है और उसे ठीक करता है? या क्या शेफ खाना बनाना जारी रखता है, मीठा सूप परोसता है, और आपसे कहता है कि यह स्वादिष्ट है?

उन्होंने पाया कि जब उन्होंने एक महत्वपूर्ण जानकारी को बदला (जैसे मौसम संबंधी क्वेरी में "लंदन" को "मैनचेस्टर" में बदलना):

62% बार, रोबोट ने बदलाव को नोटिस नहीं किया। उसने गलत जानकारी का उपयोग किया, बाकी का काम किया, और आपको आत्मविश्वास के साथ गलत उत्तर दे दिया।
"डोमिनो प्रभाव" (The Domino Effect): एक बार जब रोबोट ने वह पहली छोटी सी गलती की, तो वह शायद ही कभी सुधर पाया। यह एक डोमिनो गिरने जैसा था; एक बार जब पहला गिरा, तो पूरी लाइन ढह गई।

3. दो अलग-अलग कौशल: "बाउंसर" बनाम "डिटेक्टिव"

शोधकर्ताओं ने पाया कि त्रुटियों के मामले में रोबोटों के पास दो पूरी तरह से अलग कौशल होते हैं, और एक में अच्छा होने का मतलब यह नहीं है कि आप दूसरे में भी अच्छे हैं।

कौशल A: बाउंसर (Rejection): यह रोबोट की क्षमता है कि वह कहे, "रुको, यह टूल कॉल अजीब लग रहा है। मैं इसे नहीं भेज रहा हूँ।"
- उदाहरण: एक रोबोट (Gemini) एक बहुत ही सख्त बाउंसर था। उसने 95% खराब इनपुट को इमारत से बाहर जाने से पहले ही पकड़ लिया।
कौशल B: डिटेक्टिव (Recovery): यह रोबोट की क्षमता है कि वह महसूस करे, "ओह नहीं, मैंने पहले ही गलत अनुरोध भेज दिया है। क्या मैं फिर भी अंतिम उत्तर को ठीक कर सकता हूँ?"
- उदाहरण: दूसरा रोबोट (GPT-4o-mini) एक बहुत ही बुरा डिटेक्टिव था। भले ही उसने एक गलत अनुरोध को जाने दिया हो, वह लगभग कभी भी अंतिम परिणाम को ठीक करने का तरीका नहीं खोज पाया।

बड़ी हैरानी: एक बेहतरीन बाउंसर होना आपको एक अच्छा डिटेक्टिव नहीं बनाता। आपके पास एक ऐसा रोबोट हो सकता है जो त्रुटियों को रोकने में उत्कृष्ट है लेकिन उन्हें ठीक करने में बहुत खराब है, या इसके विपरीत। इसका मतलब है कि हम केवल यह नहीं कह सकते कि एक रोबोट "स्मार्ट" है; हमें इन दोनों कौशलों का अलग-अलग परीक्षण करना होगा।

4. सुरक्षा जाल: "रनटाइम इंटरसेप्टर" (The Runtime Interceptor)

टीम ने एक "सुरक्षा जाल" (जिसे इंटरसेप्टर कहा जाता है) बनाया है जो रोबोट को काम करते समय देखता रहता है। यह एक सुरक्षा गार्ड की तरह है जो शेफ के बगल में खड़ा है, रेसिपी और सामग्री को पढ़ते हुए जा रहा है।

यह कैसे काम करता है: यदि रोबोट एक अजीब पैरामीटर के साथ किसी टूल का उपयोग करने की कोशिश करता है, या यदि रोबोट के आंतरिक विचार भ्रमित करने वाले लगते हैं ("मुझे यकीन नहीं है," "यह गलत लग रहा है"), तो गार्ड ब्रेक लगा देता है।
परिणाम:
- उस रोबोट के लिए जो एक "खराब डिटेक्टिव" था (GPT-4o-mini), सुरक्षा जाल ने 23% अधिक त्रुटियों को पकड़ा। इसने स्थिति को संभाल लिया!
- उस रोबोट के लिए जो पहले से ही एक "सुपर बाउंसर" था (Gemini), सुरक्षा जाल ने कुछ नहीं किया। क्यों? क्योंकि रोबोट पहले से ही त्रुटियों को रोक रहा था, इससे पहले कि गार्ड को देखने का मौका मिलता। गार्ड अनावश्यक था।

5. मुख्य सीख (The Takeaway)

यह पेपर हमें भविष्य के AI के लिए तीन मुख्य बातें सिखाता है:

कीवर्ड चेक का उपयोग बंद करें: जटिल रोबोट कार्यों को परखने के लिए वे बेकार हैं। हमें उन्हें ग्रेड देने के लिए स्मार्ट, मानव-सत्यापित तरीकों की आवश्यकता है।
गलतियाँ तेजी से फैलती हैं: यदि कोई रोबोट एक छोटी सी जानकारी भी गलत प्राप्त करता है, तो यह आमतौर पर पूरे उत्तर को खराब कर देता है। हमें त्रुटियों को जल्दी पकड़ने की आवश्यकता है।
एक ही आकार सबके लिए उपयुक्त नहीं है (One size does not fit all): कुछ रोबोट त्रुटियों को रोकने में अच्छे होते हैं, अन्य उन्हें ठीक करने में। और सुरक्षा जाल तभी काम करते हैं जब रोबोट को वास्तव में उनकी आवश्यकता हो।

संक्षेप में: हम केवल रोबोटों पर उनके काम करने के लिए भरोसा नहीं कर सकते। हमें उन्हें "तोड़फोड़" (sabotage) के साथ परखने, उन्हें मानव-समान जजों से ग्रेड देने और ऐसे सुरक्षा जाल बनाने की आवश्यकता है जो विशेष रूप से रोबोट की कमजोरियों के अनुरूप हों।

यहाँ शोध पत्र "Evaluating Tool-Using Language Agents: Judge Reliability, Propagation Cascades, and Runtime Mitigation in AgentProp-Bench" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

टूल-उपयोग करने वाले लार्ज लैंग्वेज मॉडल (LLM) एजेंटों का वर्तमान मूल्यांकन तीन महत्वपूर्ण कमियों से ग्रस्त है:

अविश्वसनीय मूल्यांकन मेट्रिक्स (Unreliable Evaluation Metrics): अधिकांश बेंचमार्क एजेंट के आउटपुट को परखने के लिए सबस्ट्रिंग या कीवर्ड-मैचिंग ह्यूरिस्टिक्स (heuristics) पर निर्भर करते हैं। लेखक तर्क देते हैं कि ये एजेंटों के लिए अविश्वसनीय हैं, क्योंकि एजेंट अक्सर विस्तृत या पैराफ्रेज किए गए उत्तर देते हैं, जिससे गलत शुद्धता आकलन (correctness assessment) होता है।
सूक्ष्मता का अभाव (Lack of Granularity): मौजूदा बेंचमार्क (जैसे, $\tau$ -bench, AgentBench) केवल एक एकल एंड-टू-एंड शुद्धता स्कोर रिपोर्ट करते हैं। वे यह बताने में विफल रहते हैं कि विफलता कहाँ हुई (जैसे, पैरामीटर जनरेशन बनाम टूल निष्पादन बनाम अंतिम संश्लेषण) या पाइपलाइन में त्रुटियाँ कैसे प्रसारित होती हैं।
अमान्य शमन (Unvalidated Mitigation): रनटाइम शमन रणनीतियों का मूल्यांकन अक्सर समवर्ती नियंत्रणों (concurrent controls) के बजाय ऐतिहासिक बेसलाइनों के विरुद्ध किया जाता है, जिससे हैलुसिनेशन इंटरसेप्टर जैसे हस्तक्षेपों की वास्तविक प्रभावशीलता को अलग करना कठिन हो जाता है।

2. कार्यप्रणाली: AgentProp-Bench (Methodology: AgentProp-Bench)

लेखक AgentProp-Bench पेश करते हैं, जो नियंत्रित प्रयोगों और प्रमाणित मूल्यांकन के माध्यम से इन कमियों को दूर करने के लिए डिज़ाइन किया गया एक व्यापक बेंचमार्क है।

डेटासेट और डिज़ाइन (Dataset and Design)

पैमाना (Scale): चार डोमेन (कैलेंडर, वेदर, मेडिकल, नॉलेज) में 2,000 मुख्य कार्य और एक होल्ड-आउट रिटेल डोमेन, जिससे कुल 2,300 ट्रेसेस (traces) बनते हैं।
मॉडल (Models): 9 प्रोडक्शन LLMs (GPT-4o, GPT-4o-mini, Gemini-2.0/2.5-Flash, DeepSeek-V3, आदि सहित) पर मूल्यांकन किया गया।
नियंत्रित इंजेक्शन (P2 Protocol): प्राकृतिक त्रुटियों पर निर्भर रहने के बजाय, लेखक एक "सेमेंटिक-रॉन्ग" (semantic-wrong) इंजेक्शन प्रोटोकॉल का उपयोग करते हैं। एजेंट के पहले टूल कॉल से पहले, एक सेमेंटिक रूप से महत्वपूर्ण पैरामीटर को स्कीमा-वैलिड लेकिन गलत मान के साथ बदल दिया जाता है (जैसे, "लंदन" को "मैनचेस्टर" में बदलना)। यह त्रुटि प्रसार (error propagation) के कारणत्मक मापन की अनुमति देता है।
मानवीय सत्यापन (Human Validation): स्वचालित जजिंग विधियों को मान्य करने के लिए मानव एनोटेटरों द्वारा 100 ट्रेसेस के एक स्तरीकृत उपसमुच्चय (stratified subset) को मैन्युअल रूप से लेबल किया गया।

मूल्यांकन ढांचा (Evaluation Framework)

अध्ययन त्रुटि प्रसार को मापने के लिए तीन स्वतंत्र स्टेज इंडिकेटर्स को परिभाषित करता है:

$S_1$ (इंजेक्शन लागू हुआ): एजेंट का नियोजित टूल कॉल इंजेक्शन द्वारा संशोधित किया गया था।
$S_2$ (दृश्य निष्पादन): संशोधित कॉल निष्पादित हुई और एक दृश्य प्रभाव उत्पन्न किया (जैसे, टूल एरर या परिवर्तित रिस्पॉन्स)।
$S_3$ (गलत अंतिम उत्तर): एजेंट का अंतिम आउटपुट गलत है।

जजिंग प्रोटोकॉल (Judging Protocols):

ह्यूरिस्टिक (Heuristic): सबस्ट्रिंग मैचिंग (मानक अभ्यास)।
LLM एन्सेम्बल (LLM Ensemble): तीन LLMs (GPT-4o, Gemini-2.5-Flash, GPT-4o-mini) का बहुमत मत।
मानव (Human): ग्राउंड ट्रुथ लेबल्स।
कैलिब्रेशन (Calibration): एन्सेम्बल जज ने एक रूढ़िवादी पूर्वाग्रह (conservative bias) दिखाया (शुद्धता को कम रिपोर्ट करना)। लेखकों ने स्वचालित परिणामों को समायोजित करने के लिए मानव-कैलिब्रेटेड संभावनाओं को प्राप्त किया।

रनटाइम शमन (Runtime Mitigation)

एक तीन-स्तरीय इंटरसेप्टर (Three-layer Interceptor) का परीक्षण एक समवर्ती नियंत्रण ( $n=600$ कार्य प्रति मॉडल) के तहत किया गया था:

L1 (स्कीमा वैलिडेशन): पैरामीटर/टूल त्रुटियों को गिनता है।
L2 (थॉट मॉनिटरिंग): अनिश्चितता कीवर्ड्स के लिए चेन-ऑफ-थॉट को स्कैन करता है।
L3 (आउटपुट कंसिस्टेंसी): उन संख्यात्मक दावों की जाँच करता है जो टूल ऑब्जर्वेशन द्वारा समर्थित नहीं हैं।

3. मुख्य योगदान (Key Contributions)

जज विश्वसनीयता सत्यापन: प्रदर्शित किया गया कि सबस्ट्रिंग-आधारित मूल्यांकन मानव एनोटेशन के साथ संयोग स्तर ( $\kappa = 0.049$ ) पर सहमत है, जबकि तीन-LLM एन्सेम्बल मध्यम सहमति ( $\kappa = 0.432$ ) प्राप्त करता है।
स्टेज-लेवल प्रसार मापन: मात्रात्मक रूप से मापा कि कैसे पैरामीटर-स्तर के इंजेक्शन अंतिम त्रुटियों तक प्रसारित होते हैं, जिससे पता चला कि इंजेक्ट की गई त्रुटि के गलत उत्तर का कारण बनने की संभावना $\approx 0.62$ (मानव-कैलिब्रेटेड) है।
रिजेक्शन-रिकवरी डिकम्पोजिशन: यह सिद्ध किया कि एक मॉडल की रिजेक्ट करने की क्षमता (इनपुट फ़िल्टरिंग) और रिकवर करने की क्षमता (रीजनिंग सुधार) सांख्यिकीय रूप से स्वतंत्र क्षमताएं हैं ( $\rho = 0.126, p=0.747$ )।
समवर्ती नियंत्रण शमन: एक समवर्ती नो-इंटरसेप्टर कंट्रोल के विरुद्ध एक रनटाइम इंटरसेप्टर का मूल्यांकन किया गया, जो विशिष्ट मॉडलों के लिए हैलुसिनेशन में महत्वपूर्ण कमी दिखाता है।
ओपन रिलीज़: सभी कोड, डेटा, ट्रेसेस और मानव लेबल्स सार्वजनिक रूप से उपलब्ध हैं।

4. मुख्य परिणाम (Key Results)

जज विश्वसनीयता (Judge Reliability)

ह्यूरिस्टिक विफलता: सबस्ट्रिंग मैचिंग का कोहेन का $\kappa$ मानव के विरुद्ध 0.049 है, जो प्रभावी रूप से रैंडम है।
एन्सेम्बल सफलता: 3-LLM एन्सेम्बल ने $\kappa = 0.432$ (मध्यम सहमति) प्राप्त किया। हालांकि, इसने एक रूढ़िवादी पूर्वाग्रह (conservative bias) दिखाया, जिसने मानव द्वारा 38% की तुलना में केवल 25% ट्रेसेस को सही चिह्नित किया। यह पूर्वाग्रह वास्तविक शुद्धता को ~13 प्रतिशत अंक कम आंकता है।

त्रुटि प्रसार (Error Propagation)

प्रसार दर (Propagation Rate): मान्य मूल्यांकन के तहत, एक पैरामीटर इंजेक्शन की गलत अंतिम उत्तर में प्रसारित होने की संभावना ~0.62 (मॉडलों के बीच 0.46–0.73 की सीमा) है।
मॉडल भिन्नता: प्रसार दरें काफी भिन्न होती हैं। उदाहरण के लिए, DeepSeek-V3 में GPT-4.1-nano ( $r_{2,3} \approx 0.97$ ) की तुलना में कम प्रसार दर ( $r_{2,3} \approx 0.43$ ) थी।

रिजेक्शन बनाम रिकवरी (Rejection vs. Recovery)

ऑर्थोगोनैलिटी (Orthogonality): रिजेक्शन दर (बुरे इनपुट को पकड़ना) और रिकवरी दर (बुरे आउटपुट को ठीक करना) असंबंधित हैं।
- Gemini-2.0-Flash: उच्च रिजेक्शन (95%), मध्यम रिकवरी (50%)।
- GPT-4.1-nano: मध्यम रिजेक्शन (37.5%), लगभग शून्य रिकवरी (2.9%)।
निहितार्थ: स्कीमा वैलिडेशन में सुधार करने से स्वचालित रूप से रीजनिंग मजबूती में सुधार नहीं होता है; दोनों को स्वतंत्र रूप से अनुकूलित किया जाना चाहिए।

रनटाइम इंटरसेप्टर प्रभावशीलता (Runtime Interceptor Effectiveness)

GPT-4o-mini: इंटरसेप्टर ने हैलुसिनेशन दर को 55.8% से घटाकर 32.8% कर दिया (एक 23.0 प्रतिशत अंक की कमी, $p < 0.001$ )।
Gemini-2.0-Flash: इंटरसेप्टर ने कोई महत्वपूर्ण प्रभाव नहीं दिखाया ( $\Delta = -1.3$ pp)। ऐसा इसलिए है क्योंकि जेमिनी का आक्रामक पैरामीटर रिजेक्शन (95%) इंटरसेप्टर के कार्य करने से पहले ही लक्षित विफलता मोड को समाप्त कर देता है।

5. महत्व और निहितार्थ (Significance and Implications)

बेंचमार्किंग के लिए: यह पेपर तर्क देता कि एजेंट मूल्यांकन के लिए सबस्ट्रिंग ह्यूरिस्टिक्स को मानव लेबल के साथ संयोग-स्तर की सहमति के कारण हटा दिया जाना चाहिए। यह मानव लेबल के विरुद्ध स्पष्ट रूप से मान्य और पूर्वाग्रह के लिए कैलिब्रेटेड LLM-एन्सेम्बल जजों की वकालत करता है।
एजेंट डिज़ाइन के लिए: मजबूती बहु-आयामी है। डेवलपर्स को केवल एक "रोबस्टनेस स्कोर" पर भरोसा नहीं करना चाहिए। उन्हें स्कीमा वैलिडेटर्स (बुरे इनपुट को अस्वीकार करने के लिए) और रीजनिंग मैकेनिज्म (भ्रष्ट टूल आउटपुट से उबरने के लिए) को अलग-अलग इंजीनियर करना चाहिए।
शमन रणनीतियों के लिए: रनटाइम इंटरसेप्टर सार्वभौमिक रूप से प्रभावी नहीं हैं। उनकी उपयोगिता मॉडल की अंतर्निहित रिजेक्शन क्षमताओं पर निर्भर करती है। यदि मॉडल पहले से ही त्रुटियों को अच्छी तरह से फ़िल्टर करता है, तो इंटरसेप्टर बहुत कम मूल्य जोड़ता है; यदि मॉडल त्रुटियों को पास करने के प्रति प्रवृत्त है, तो इंटरसेप्टर अत्यधिक प्रभावी होता है।
व्यापक प्रभाव: ये निष्कर्ष एजेंटों से परे सूचना पुनर्प्राप्ति (Information Retrieval - IR) और RAG सिस्टम तक विस्तृत हैं, जहाँ आउटपुट परिवर्तनशीलता अक्सर कीवर्ड मैचिंग को अविश्वसनीय बना देती है।

निष्कर्षतः, AgentProp-Bench टूल-उपयोग करने वाले एजेंटों में त्रुटियाँ कैसे प्रसारित होती हैं, इसे समझने के लिए एक कठोर, मान्य ढांचा प्रदान करता है, यह प्रदर्शित करते हुए कि वर्तमान मूल्यांकन विधियाँ त्रुटिपूर्ण हैं और मॉडल की मजबूती के लिए इनपुट रिजेक्शन और आउटपुट रिकवरी दोनों पर दोहरी दृष्टि की आवश्यकता है।