💻 computer science

Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

यह शोधपत्र 'क्रिटिक एक्सपीरियंस बैंक' (Critic Experience Bank) का परिचय देता है, जो एक प्रशिक्षण-मुक्त (training-free), स्व-विकसित (self-evolving) ढांचा है जो पिछले अनुभवों के मेमोरी बैंक को भरने के लिए पश्चदृष्टि फीडबैक (hindsight feedback) का लाभ उठाकर LLM एजेंटों के लिए स्टेप-लेवल कॉन्फिडेंस एस्टीमेशन को बढ़ाता है, जिससे बिना किसी ग्राउंड ट्रुथ लेबल की आवश्यकता के कैलिब्रेशन और रैंकिंग प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

प्रकाशित 2026-07-15

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक उच्च-दांव वाला वीडियो गेम खेल रहे हैं जहाँ आपका पात्र (character) एक AI एजेंट है। इस खेल में, आपके द्वारा उठाया गया हर एक कदम—बटन क्लिक करना, कमांड टाइप करना, या स्क्रीन को टैप करना—आपके आस-पास की दुनिया को बदल देता है। यदि आप एक भी गलत चाल चलते हैं, तो आप किसी बंद कमरे में फंस सकते हैं, कोई महत्वपूर्ण फ़ाइल डिलीट कर सकते हैं, या अपने पात्र को एक ऐसे बेकार के काम में झोंक सकते हैं जिससे आपका सारा समय बर्बाद हो जाए। डरावनी बात क्या है? आपको यह तब तक पता नहीं चलेगा कि आपने गलती कर दी है जब तक कि आप वह काम कर ही नहीं चुके होते।

लंबे समय तक, AI विशेषज्ञों ने इसे हल करने की कोशिश की: AI से यह पूछकर कि, "आप कितने आश्वस्त हैं कि यह चाल अच्छी है?" क्रिया करने से ठीक पहले। लेकिन यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण एक यात्री से यह पूछने जैसा है, "क्या आप आश्वस्त हैं कि यह रास्ता खजाने की ओर जाता है?" बिना कभी उसे उस नक्शे को देखने दिए जहाँ पहले अन्य यात्रियों ने यात्रा की थी। AI आत्मविश्वासी महसूस कर सकता है क्योंकि रास्ता अभी अच्छा दिख रहा है, लेकिन उसे यह पता नहीं है कि उस रास्ते के अंत में कोई खाई हो सकती है, जो पिछले अनुभवों पर आधारित हो।

समस्या: "स्मृतिहीन" आलोचक (The "Amnesiac" Critic)

लेखकों का तर्क है कि इंटरैक्टिव एजेंटों के लिए मानक AI आत्मविश्वास जांच (confidence checks) दोषपूर्ण हैं। वे "रिस्पॉन्स-लेवल" जांच हैं, जिसका अर्थ है कि वे केवल उस टेक्स्ट का मूल्यांकन करते हैं जिसे AI बोलने वाला है, और उस वास्तविकता को अनदेखा कर देते हैं जो क्रिया (action) लेने के बाद घटित होती है।

इसे एक ऐसे शेफ की तरह सोचें जो परोसने से पहले सूप चखता है, लेकिन उसे यह याद नहीं रहता कि पिछली बार जब उसने नमक डाला था, तो ग्राहक को वह पसंद आया था या उसने उसे थूक दिया था। शोध पत्र दिखाता है कि जब आप वेबसाइटों को नेविगेट करने या फोन को नियंत्रित करने जैसे जटिल कार्यों के लिए इन मानक "टेस्ट" को लागू करते हैं, तो AI का आत्मविश्वास अनिश्चित होता है। यह अक्सर तब गलत होता है जब उसे सही होना चाहिए, और तब सही होता है जब उसे गलत होना चाहिए।

समाधान: "क्रिटिक एक्सपीरियंस बैंक" (CEB)

इसे ठीक करने के लिए, शोधकर्ताओं ने क्रिटिक एक्सपीरियंस बैंक (CEB) नामक कुछ बनाया।

कल्पना कीजिए कि AI के पास एक जादुई, स्वयं-अपडेट होने वाली डायरी है। यह कैसे काम करता है:

क्रिया (The Action): AI एजेंट कुछ करने की कोशिश करता है (जैसे "Buy" बटन पर क्लिक करना)।
अनुमान (The Guess): क्लिक करने से पहले, एक "क्रिटिक" AI (एक स्मार्ट जज) स्थिति को देखता है और अनुमान लगाता है, "मुझे 80% यकीन है कि यह एक अच्छा कदम है।"
वास्तविकता की जाँच (The Reality Check): एजेंट वास्तव में क्लिक करता है। दुनिया बदल जाती है। क्या उसने वस्तु खरीदी? या क्या इससे पेज क्रैश हो गया?
दृष्टि-दोष (The Hindsight): पूरी मिशन खत्म होने के बाद, एक "हाइंडसाइट AI" पूरी यात्रा को पीछे मुड़कर देखता है। वह कहता है, "हे, वह 'Buy' क्लिक वास्तव में काम कर गया!" या "नहीं, वह एक जाल था।"
स्मृति (The Memory): इस परिणाम को एक्सपीरियंस बैंक में एक छोटे नोट के रूप में लिखा जाता है: "इस तरह की स्थिति में, वह क्रिया करना उत्पादक (या अनुपयोगी) था।"

अब, अगली बार जब एजेंट ऐसी ही स्थिति का सामना करता है, तो क्रिटिक केवल अनुमान नहीं लगाता। वह अपनी डायरी खोलता है, पिछले सबसे मिलते-जुलते नोट्स ढूंढता है, और कहता है, "ओह, मैं देख सकता हूँ! पिछली बार हमने ऐसा ही कुछ किया था, और वह काम कर गया। लेकिन उससे पहले वाले समय में, यह विफल हो गया था। इसलिए, इस बार मैं केवल 60% आश्वस्त हूँ।"

जादू यह है कि क्रिटिक AI का अपना दिमाग कभी नहीं बदलता (इसके "वेट्स" स्थिर रहते हैं)। इसे फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह केवल अपने पिछले सफलताओं और विफलताओं की डायरी पढ़कर स्मार्ट होता जाता है।

शोध पत्र किन चीजों को खारिज करता है

लेखक बहुत स्पष्ट हैं कि यहाँ क्या काम नहीं करता है। वे स्पष्ट रूप से इनके विरुद्ध तर्क देते हैं:

AI को "गहरा सोचने" (Chain of Thought) के लिए कहना: हालांकि AI को अपने तर्क समझाने में मदद करने से थोड़ा फायदा होता है, लेकिन यह पर्याप्त नहीं है यदि AI के पास इस बात का रिकॉर्ड नहीं है कि समान क्रियाओं के बाद वास्तव में क्या हुआ था।
"टोकन अनिश्चितता" (Token Uncertainty) को देखना: यह एक फैंसी तरीका है यह कहने का कि "AI की आंतरिक गणित कितनी डगमगा रही है।" शोध पत्र कहता है कि इन कार्यों के लिए यह बहुत खराब है। यह एक ड्राइवर के कौशल को उसके हाथों की थरथराहट से आंकने जैसा है, जबकि यह अनदेखा कर दिया जाता है कि क्या उसने वास्तव में लक्ष्य पर प्रहार किया।
नए मॉडल को प्रशिक्षित करना: आपको एक नए AI को शुरू से सिखाने के लिए हफ्तों खर्च करने की आवश्यकता नहीं है। यह तरीका आपके पास मौजूद AI के साथ काम करता है, बस उसे एक मेमोरी बैंक देकर।

परिणाम: हम कितने आश्वस्त हैं?

शोधकर्ताओं ने तीन बहुत अलग प्रकार के "गेम्स" पर परीक्षण किया: वेबसाइट नेविगेशन (Mind2Web), मोबाइल फोन नियंत्रण (AMEX), और कंप्यूटर टर्मिनल में कमांड टाइप करना (InterCode-Bash)। उन्होंने एजेंटों को चलाने के लिए तीन अलग-अलग AI दिमागों का उपयोग किया।

परिणाम बताते हैं कि CEB एक बड़ा सुधार है।

कैलिब्रेशन (Calibration): AI की दुनिया में, "कैलिब्रेशन" का अर्थ है "क्या आत्मविश्वास का नंबर वास्तविकता से मेल खाता है?" यदि AI कहता है "90% आश्वस्त," तो उसे 90% बार सही होना चाहिए। शोध पत्र ने इसे ECE (Expected Calibration Error) नामक स्कोर का उपयोग करके मापा। कम स्कोर बेहतर है।
आंकड़े: CEB ने बिना प्रशिक्षण वाले सर्वश्रेष्ठ मौजूदा तरीके की तुलना में त्रुटि को 54% तक कम कर दिया। उदाहरण के लिए, एक विशिष्ट AI मॉडल (GPT-5.4) के साथ Mind2Web डेटासेट पर, त्रुटि 0.319 से घटकर 0.176 रह गई।
रैंकिंग: यह अच्छे और बुरे कदमों को छाँटने में भी बेहतर (जिसे AUC द्वारा मापा जाता है, जहाँ उच्च स्कोर बेहतर है) रहा, और Mind2Web पर 0.704 जैसे स्कोर प्राप्त किए, जो अन्य सभी तरीकों को पछाड़ देता है।

इसने एक ऐसा परिदृश्य भी सिम्युलेट किया जहाँ एक मानव (या एक पूर्ण "ओरेकल") केवल AI के सबसे कम आत्मविश्वास वाले कदमों की समीक्षा करता है। जब AI ने CEB का उपयोग किया, तो पूरे कार्य की सफलता दर काफी बढ़ गई। उदाहरण के लिए, यदि AI को अपने 3 सबसे खराब अनुमानों की समीक्षा के लिए भेजने की अनुमति दी गई, तो सफलता दर आधार के 2.1% से बढ़कर 23.7% हो गई, जो पूर्ण "ओरेकल" स्कोर 34.9% के बहुत करीब है।

"स्वयं-विकसित" ट्विस्ट (The "Self-Evolving" Twist)

सबसे दिलचस्प हिस्सा यह है कि बैंक खाली शुरू होता है। जैसे-जैसे AI अधिक कार्य करता है, बैंक भरता जाता है, और AI बेहतर होता जाता है। शोध पत्र सुझाव देता है कि जैसे-जैसे AI अधिक अनुभव प्राप्त करता है, उसका आत्मविश्वास अधिक विश्वसनीय होता जाता है। यह एक ऐसा सिस्टम है जो अपने इतिहास से सीखता है, बिना किसी इंसान द्वारा होमवर्क ग्रेड कराने की आवश्यकता के।

संक्षेप में, शोध पत्र सुझाव देता है कि यदि आप चाहते हैं कि एक AI एजेंट वास्तविक दुनिया में सुरक्षित और विश्वसनीय हो, तो आपको केवल यह नहीं पूछना चाहिए कि वह कितना आश्वस्त है। आपको उसे उसकी पिछली गलतियों और जीत की एक डायरी देनी चाहिए, ताकि वह अपने अंतर्ज्ञान (gut feeling) पर तभी भरोसा कर सके जब उसके पास उसका प्रमाण हो।

तकनीकी सारांश: क्रिटिक एक्सपीरियंस बैंक (CEB)

समस्या का निरूपण (Problem Formulation)

लार्ज लैंग्वेज मॉडल (LLM) एजेंट तेजी से बाहरी वातावरण (वेब, मोबाइल GUI, शेल) में कार्य कर रहे हैं जहाँ क्रियाएं (actions) उस स्थिति (state) को बदल देती हैं जिस पर बाद के सभी निर्णय निर्भर करते हैं। इन सेटिंग्स में, एक भी त्रुटिपूर्ण कदम बजट को बर्बाद कर सकता है या अंतिम कार्य विफलता देखे जाने से बहुत पहले अपरिवर्तनीय प्रभाव (irreversible side effects) उत्पन्न कर सकता है। फलस्वरूप, अंतिम कार्य की सफलता विश्वसनीयता का एक अपर्याप्त संकेत है।

मुख्य चुनौती स्टेप-लेवल कॉन्फिडेंस एस्टीमेशन (चरण-स्तर का आत्मविश्वास अनुमान) है: एक प्रस्तावित क्रिया को निष्पादित करने से पहले यह उत्पादन योग्य (productive) होगी या नहीं, इसकी एक कैलिब्रेटेड संभावना उत्पन्न करने की आवश्यकता। मौजूदा आत्मविश्वास अनुमान विधियाँ (जैसे, टोकन लॉजिट्स, मौखिक आत्मविश्वास, निरंतरता जाँच) मुख्य रूप से रिस्पॉन्स-लेवल स्कोरिंग के लिए डिज़ाइन की गई हैं। वे तत्काल संदर्भ के आधार पर एक एकल प्रस्तावित चरण का मूल्यांकन करती हैं, लेकिन निष्पादन के परिणामों का लेखा-जोखा रखने में विफल रहती हैं—विशेष रूप से, यह कि क्या समान स्थितियों में समान क्रियाओं ने वास्तव में वातावरण की प्रतिक्रिया के बाद कार्य को आगे बढ़ाया। यह संरचनात्मक अंतराल जैसे ही इंटरेक्शन आगे बढ़ता है, अस्थिर कैलिब्रेशन का कारण बनता है, क्योंकि मानक संकेत स्थिर रिस्पॉन्स जनरेशन से डायनेमिक एजेंट निष्पादन में स्पष्ट रूप से स्थानांतरित नहीं होते हैं।

कार्यप्रणाली: क्रिटिक एक्सपीरियंस बैंक (CEB)

लेखक क्रिटिक एक्सपीरियंस बैंक (CEB) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, सेल्फ-इवॉल्विंग क्रिटिक फ्रेमवर्क है जिसे इन्फरेंस स्टेज के दौरान संचालित करने के लिए डिज़ाइन किया गया है, जिसमें ग्राउंड ट्रुथ स्टेप लेबल्स या ट्रेन करने योग्य वेरीफायर की आवश्यकता नहीं होती है।

मुख्य तंत्र (Core Mechanism)

CEB एक फिक्स्ड LLM क्रिटिक को हिंडसाइट-लेबल वाले निष्पादन अनुभवों (hindsight-labeled execution experiences) के मेमोरी बैंक के साथ संवर्धित करता है। यह फ्रेमवर्क इस धारणा पर काम करता है कि एजेंट अक्सर संबंधित संदर्भों में आवर्ती निर्णयों का सामना करते हैं। प्रत्येक पुनरावृत्ति को केवल वर्तमान क्वेरी से आंकने के बजाय, क्रिटिक अपने पिछले निर्णयों और उनके देखे गए परिणामों से पूर्ववृत्त (precedents) प्राप्त करता है।

पाइपलाइन दो चरणों से मिलकर बनी है:

ऑनलाइन स्कोरिंग (Online Scoring): प्रत्येक चरण $t$ पर, एजेंट कार्य $q$ , वर्तमान स्थिति $s_t$ , और इतिहास $h_{<t}$ के आधार पर एक क्रिया $a_t$ प्रस्तावित करता है। निष्पादन से पहले, फ्रोजन LLM क्रिटिक कॉन्फिडेंस स्कोर $\hat{z}_t$ का अनुमान लगाता है। ऐसा करने के लिए, क्रिटिक को वर्तमान संदर्भ और एक्सपीरियंस बैंक से प्राप्त कॉन्ट्रास्टिव उदाहरणों (contrastive examples) के साथ प्रॉम्प्ट किया जाता है। ये उदाहरण एक कंपोजिट की (task, state, action) का उपयोग करके प्राप्त किए जाते हैं और इनमें उत्पादक ( $B^+$ ) और अनुत्पादक ( $B^-$ ) दोनों पिछले रिकॉर्ड शामिल होते हैं। प्रॉम्प्ट में शॉर्ट लूप्स का पता लगाने के लिए एक रिपिटेशन फ्लैग भी शामिल है।
हिंडसाइट अपडेट (Hindsight Update): एक ट्राजेक्टरी $\tau$ पूरी होने के बाद, एक "हिंडसाइट LLM" ( $g_\phi$ ) अवस्थाओं, क्रियाओं और अवलोकनों के पूर्ण अनुक्रम को देखता है। यह इस बात पर वोट ( $V$ सैंपल्स पर बहुमत मत के माध्यम से) देता है कि प्रत्येक चरण उत्पादक था या नहीं, जिससे छद्म-लेबल (pseudo-labels) $\hat{y}_t$ उत्पन्न होते हैं। ये रिकॉर्ड, जिनमें स्टेट समरी, एक्शन, ऑब्जर्वेशन, छद्म-लेबल और क्रिटिक का मूल प्री-एक्जीक्यूशन स्कोर शामिल है, बैंक में जोड़ दिए जाते हैं।

प्रमुख डिज़ाइन विशेषताएं

सेल्फ-इवॉल्विंग (Self-Evolving): क्रिटिक के वेट्स (weights) फ्रीज रहते हैं; इसका व्यवहार केवल प्राप्त अनुभवों के विस्तार के माध्यम से विकसित होता है।
कॉन्ट्रास्टिव रिट्रीवल (Contrastive Retrieval): बैंक को उत्पादक और अनुत्पादक सेटों में विभाजित किया गया है। क्रिटिक को स्पष्ट रूप से सफल होने वाले समान कार्यों और विफल होने वाले समान कार्यों के उदाहरण दिखाए जाते हैं, जिससे यह परिणामों के आधार पर कैलिब्रेट कर पाता है।
कोई प्रशिक्षण आवश्यक नहीं (No Training Required): इस पद्धति के लिए एक्टर या क्रिटिक को फाइन-ट्यून करने की आवश्यकता नहीं है और न ही डिप्लॉयमेंट के दौरान ग्राउंड ट्रुथ स्टेप लेबल्स की आवश्यकता है।

मुख्य योगदान

समस्या का निरूपण: पेपर LLM एजेंटों के लिए स्टेप-लेवल कॉन्फिडेंस एस्टीमेशन को क्रिया के निष्पादन से पहले उसकी उत्पादकता का अनुमान लगाने के कार्य के रूप में औपचारिक रूप से परिभाषित करता है, जो इसे मानक रिस्पॉन्स-लेवल कॉन्फिडेंस से अलग करता है।
CEB फ्रेमवर्क: एक ट्रेनिंग-फ्री क्रिटिक फ्रेमवर्क का परिचय जो एक फिक्स्ड LLM क्रिटिक को संवर्धित करने के लिए पूर्व ट्राजेक्टरीज से हिंडसाइट-लेबल किए गए निष्पादन अनुभव का उपयोग करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): तीन विविध एजेंट बेंचमार्क (Mind2Web, AMEX, InterCode-Bash) और तीन क्रिटिक बैकबोन (GPT-4.1, GPT-5.4, Qwen3-Next) पर CEB द्वारा स्टेट-ऑफ-द-आर्ट कैलिब्रेशन (Expected Calibration Error - ECE, Brier score) और रैंकिंग (AUC) प्राप्त करने का प्रदर्शन।

प्रयोगात्मक परिणाम

मूल्यांकन में वेब नेविगेशन, मोबाइल GUI कंट्रोल और शेल इंटरेक्शन कार्य शामिल हैं।

कैलिब्रेशन प्रदर्शन: CEB ने लगातार सभी ट्रेनिंग-फ्री बेसलाइन्स (जिसमें Perplexity, Mean Entropy, Verbalized Confidence, P(True), और CoT शामिल हैं) को पछाड़ दिया।
- GPT-4.1 के साथ InterCode-Bash डेटासेट पर, CEB ने सबसे मजबूत बेसलाइन के सापेक्ष ECE को 54% कम कर दिया।
- GPT-5.4 के साथ Mind2Web पर, CEB ने 0.176 का ECE प्राप्त किया, जो अगले सर्वश्रेष्ठ बेसलाइन (P(True) के लिए 0.396) से काफी कम है।
- CEB ने ECE, Brier score और AUC के मामले में सभी डेटासेट-क्रिटिक संयोजनों में सर्वश्रेष्ठ प्रदर्शन बनाए रखा।
लेबल परिभाषाओं के प्रति मजबूती: CEB का लाभ तब भी बना रहा जब वैकल्पिक वैध पथों को श्रेय देने वाले उदार "LLM-as-judge" लेबल का उपयोग किया गया, जो दर्शाता है कि यह विधि सख्त रेफरेंस मैचिंग का आर्टिफैक्ट नहीं है।
कंपोनेंट एब्लेशन (Component Ablation): एक्सपीरियंस बैंक को पूरी तरह से हटाने से सबसे बड़ा प्रदर्शन ह्रास हुआ, जिससे पुष्टि हुई कि पिछले निष्पादन परिणाम पुन: कैलिब्रेशन के लिए महत्वपूर्ण हैं। बैंक की कॉन्ट्रास्टिव प्रकृति (सफलता और विफलता दोनों को देखना) को सबसे महत्वपूर्ण घटक के रूप में पहचाना गया।
सेल्फ-इवॉल्विंग व्यवहार: जैसे-जैसे कार्य स्ट्रीम आगे बढ़ी और बैंक हिंडसाइट-लेबल डेटा से भर गया, CEB का कैलिब्रेशन एरर एक स्टैटिक क्रिटिक की तुलना में काफी कम हो गया, जो दर्शाता है कि सिस्टम बिना वेट अपडेट के समय के साथ बेहतर होता है।
डाउनस्ट्रीम उपयोगिता: चयनात्मक निष्पादन कार्यों (कम आत्मविश्वास वाले चरणों को मानव समीक्षा के लिए टालने) में, CEB ने बेसलाइन्स की तुलना में गलत चरणों की अधिक प्रभावी ढंग से पहचान की, जिससे एक निश्चित समीक्षा बजट लागू होने पर उच्च अंतिम कार्य सफलता दर प्राप्त हुई।

महत्व और दावे

पेपर दावा करता है कि CEB एजेंटों की तैनाती में एक महत्वपूर्ण अंतर को संबोधित करता है: क्रिया द्वारा वातावरण बदलने से पहले स्टेप-लेवल कॉन्फिडेंस की आवश्यकता। अपने स्वयं के इंटरेक्शन इतिहास को कैलिब्रेशन साक्ष्य के रूप में उपयोग करके, CEB एक फिक्स्ड क्रिटिक को अपने स्कोरिंग व्यवहार को गतिशील रूप से अनुकूलित करने में सक्षम बनाता है।

लेखक इस दृष्टिकोण को विशेष रूप से उन डिप्लॉयमेंट व्यवस्थाओं में मूल्यवान बताते हैं जहाँ:

एक्टर और क्रिटिक फिक्स्ड API मॉडल हैं।
ग्राउंड ट्रूथ स्टेप लेबल्स उपलब्ध नहीं हैं।
नए वेरीफायर को प्रशिक्षित करना अव्यवहारिक है।

परिणाम बताते हैं कि रिट्रीव किया गया निष्पादन अनुभव एक ऐसा सिग्नल प्रदान करता है जो वर्तमान रिस्पॉन्स-स्टाइल कॉन्फिडेंस विधियों से बेहतर है, जो जटिल, स्टेट-चेंजिंग वातावरण में सुरक्षित और अधिक विश्वसनीय स्वायत्त एजेंटों के लिए एक व्यावहारिक मार्ग प्रदान करता है। पेपर निष्कर्ष निकालता है कि CEB का प्राथमिक लाभ टेम्पोरल (समय के साथ साक्ष्य एकत्र करना) है न कि सुपरवाइजरी (बेहतर लेबल पर निर्भरता), जो प्रभावी रूप से एजेंट के अपने पिछले गलतियों और सफलताओं को भविष्य के निर्णय लेने के लिए एक 'प्रायर' (prior) में बदल देता है।