📊 statistics

E-valuator: Reliable Agent Verifiers with Sequential Hypothesis Testing

यह शोध पत्र E-valuator को प्रस्तुत करता है, जो एक हल्का और मॉडल-अज्ञेय (model-agnostic) ढांचा है जो अनुक्रमिक परिकल्पना परीक्षण (sequential hypothesis testing) और ई-प्रक्रियाओं (e-processes) का उपयोग करके ब्लैक-बॉक्स सत्यापनकर्ता स्कोर को सांख्यिकीय रूप से वैध निर्णय नियमों में परिवर्तित करता है ताकि एजेंटिक AI प्रक्षेप पथों (agentic AI trajectories) की विश्वसनीय रूप से निगरानी की जा सके, गलत अलार्म दरों को नियंत्रित किया जा सके, और विफल होने वाले अनुक्रमों को समय से पूर्व समाप्त करने में सक्षम बनाया जा सके।

मूल लेखक: Shuvom Sadhuka, Drew Prinster, Clara Fannjiang, Gabriele Scalia, Bonnie Berger, Aviv Regev, Hanchen Wang

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuvom Sadhuka, Drew Prinster, Clara Fannjiang, Gabriele Scalia, Bonnie Berger, Aviv Regev, Hanchen Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जटिल पहेलियों को हल करने, कोड लिखने, या यहाँ तक कि अस्पताल में मदद करने के लिए स्वायत्त रोबोटों (autonomous robots) की एक टीम को काम पर रख रहे हैं। ये रोबोट (जिन्हें "Agents" कहा जाता है) आपको केवल अंतिम उत्तर नहीं देते; वे चरणों की एक श्रृंखला लेते हैं, जैसे कि कोई जासूस सुराग इकट्ठा करता है। कभी-कभी, रोबोट शुरुआत में ही गलत रास्ते पर निकल जाता है। यदि आप उसे चलते रहने देते हैं, तो वह समय, पैसा और कंप्यूटर पावर (टोकन) बर्बाद करता है, इससे पहले कि वह अंततः विफल हो जाए।

समस्या यह है: आप रोबोट को संसाधन बर्बाद करने से पहले कब रोकना जानेंगे?

वर्तमान में, हमारे पास "वेरिफायर" (verifiers) हैं—छोटे AI जज जो रोबोट के चरणों को देखते हैं और उसे एक स्कोर (जैसे कि ग्रेड) देते हैं। लेकिन ये स्कोर केवल अनुमान हैं। वे कह सकते हैं, "यह बुरा लग रहा है," लेकिन वे इस बात की गारंटी नहीं दे सकते कि यह वास्तव में विफल हो जाएगा। यदि आप एक खराब अनुमान के आधार पर रोबोट को रोक देते हैं, तो आप गलती से एक ऐसे रोबोट को निकाल सकते हैं जो वास्तव में सफल होने वाला था। यह एक "फॉल्स अलार्म" (गलत चेतावनी) है।

मिलिए e-valuator से। इसे एक सांख्यिकीय सुरक्षा हार्नेस (statistical safety harness) के रूप में सोचें जो उन डगमगाते अनुमानों को एक ठोस निर्णय नियम में बदल देता है।

यह यहाँ बताया गया है कि यह कैसे काम करता है, सरल अवधारणाओं में विभाजित है:

1. समस्या: "क्राई वुल्फ" (भेड़िया आया) की दुविधा

कल्पना कीजिए कि एक सुरक्षा गार्ड (वेरिफायर) एक रोबोट को काम करते हुए देख रहा है। गार्ड चिल्लाता है, "यह संदिग्ध लग रहा है!" जो उसके अंतर्ज्ञान (gut feeling) पर आधारित है।

यदि आप हर बार रोबोट को रोकते हैं जब गार्ड चिल्लाता है, तो आप एक ऐसे रोबोट को रोक सकते हैं जो वास्तव में बहुत अच्छा कर रहा था (एक फॉल्स अलार्म)।
यदि आप कभी भी रोबोट को नहीं रोकते हैं, तो आप विफलताओं पर संसाधनों को बर्बाद करते हैं।

पेपर का तर्क है कि पिछले तरीके यह गारंटी नहीं दे सकते थे कि गार्ड कितनी बार गलती करेगा। e-valuator खेल बदल देता है क्योंकि यह वादा करता है: "मैं गारंटी देता हूँ कि हम केवल 5% समय ही एक सफल रोबोट को रोकेंगे (या जो भी सीमा आप सेट करें)।"

2. समाधान: एक टाइमलाइन पर "परिकल्पना परीक्षण" (Hypothesis Test)

केवल एक स्कोर को देखने के बजाय, e-valuator रोबोट की यात्रा को समय के साथ unfolding होती एक कहानी की तरह मानता है। यह हर चरण पर एक विशिष्ट प्रश्न पूछता है:

परिकल्पना A: यह रोबोट एक "सफलता पथ" (Success Path) पर है।
परिकल्पना B: यह रोबोट एक "विफलता पथ" (Failure Path) पर है।

यह केवल वर्तमान स्कोर को नहीं देखता; यह अब तक के स्कोर के पैटर्न को देखता है। यह एक चतुर गणितीय ट्रिक का उपयोग करता है जिसे सीक्वेंशियल हाइपोथीसिस टेस्टिंग (Sequential Hypothesis Testing) कहा जाता है।

3. जादुई उपकरण: "डेंसिटी रेश्यो" (स्पीडोमीटर)

यह तय करने के लिए कि रोबोट किस पथ पर है, e-valuator एक विशेष "स्पीडोमीटर" बनाता है जिसे डेंसिटी रेश्यो (density ratio) कहा जाता है।

कल्पना कीजिए कि आपके पास दो मानचित्र हैं: सफल यात्राओं के लिए और विफल यात्राओं के लिए।
स्पीडोमीटर रोबोट के वर्तमान पथ की दोनों मानचित्रों के विरुद्ध तुलना करता है।
यदि रोबोट का पथ "विफलता मानचित्र" (Failure Map) जैसा दिखता है, तो स्पीडोमीटर की सुई ऊपर की ओर जाती है।
यदि यह "सफलता मानचित्र" (Success Map) जैसा दिखता है, तो सुई नीचे रहती है।

पेपर का दावा है कि यह विशिष्ट स्पीडोमीटर विफलता का पता लगाने का सबसे तेज़ संभव तरीका है। यह किसी भी अन्य विधि की तुलना में विफल होते रोबोट के विरुद्ध साक्ष्य तेजी से एकत्र करता है।

4. सुरक्षा जाल: "PAC थ्रेशोल्ड"

यहाँ पेचीदा हिस्सा है: रोबोट का पथ यादृच्छिक (random) है, और हमें ठीक से नहीं पता कि इसमें कितना समय लगेगा। यदि हम एक निश्चित रेखा निर्धारित करते हैं, तो हम बहुत से अच्छे रोबोटों को रोक सकते हैं।

e-valuator PAC (Probably Approximately Correct) थ्रेशोल्डिंग का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप एक नए स्पीड कैमरा को कैलिब्रेट कर रहे हैं। आप कानूनी रूप से गाड़ी चलाने वाले 100 कारों की तस्वीरें लेते हैं (सफल रोबोट)। आप उन 100 कानूनी कारों में से दर्ज की गई उच्चतम गति देखते हैं।
फिर आप अपनी "रोकने वाली" रेखा को उस उच्चतम कानूनी गति से थोड़ा ऊपर सेट करते हैं।
गारंटी: क्योंकि आपने इस रेखा की गणना वास्तविक डेटा के आधार पर की है, इसलिए आप गणितीय रूप से वादा कर सकते हैं: "मैं 5% से अधिक समय तक एक कानूनी ड्राइवर को तेज गति वाला घोषित नहीं करूँगा।"

यही इस पेपर का सबसे बड़ा दावा है: यह एक गणितीय गारंटी प्रदान करता है कि आप गलती से एक अच्छे रोबोट को नहीं रोकेंगे।

5. परिणाम: पैसा और समय बचाना

लेखकों ने छह अलग-अलग डेटासेट्स (जैसे गणित की समस्याएं और चिकित्सा प्रश्न) का उपयोग करके तीन अलग-अलग प्रकार के रोबोटों के साथ e-valuator का परीक्षण किया।

बेहतर नियंत्रण: अन्य तरीकों के विपरीत जो कभी-कभी अच्छे रोबोटों को गलती से रोक देते थे (उच्च फॉल्स अलार्म), e-valuator ने हर बार नियमों का पालन किया।
तेज़ पहचान: क्योंकि इसका "स्पीडोमीटर" बहुत कुशल है, इसने अन्य विधियों की तुलना में विफल होते रोबोटों को जल्दी पकड़ लिया।
टोकन की बचत: विफल होते रोबोटों को जल्दी रोककर, इसने भारी मात्रा में कंप्यूटर टोकन (वह ईंधन जो इन AI मॉडलों को चलाता है) बचाए। एक परीक्षण में, इसने मूल सटीकता का 90% प्राप्त करते हुए केवल 80% टोकन का उपयोग किया।

सारांश

e-valuator एक हल्का सॉफ्टवेयर रैपर है जो किसी भी मौजूदा AI जज के ऊपर बैठता है। यह जज के डगमगाते स्कोर को लेता है और उन्हें एक सख्त, गणितीय रूप से गारंटीकृत नियम में बदल देता है। यह सुनिश्चित करता है कि:

आप शायद ही कभी एक ऐसे रोबोट को रोकते हैं जो सफल होने वाला था।
आप पैसे बचाने के लिए विफल होते रोबोटों को जितनी जल्दी हो सके पकड़ लेते हैं।

यह रोबोट को स्मार्ट नहीं बनाता है; यह बस रोबोट को रोकने के निर्णय को विश्वसनीय और भरोसेमंद बनाता है।

तकनीकी सारांश: E-valuator: अनुक्रमिक परिकल्पना परीक्षण के साथ विश्वसनीय एजेंट सत्यापनकर्ता

समस्या विवरण

एजेंटिक AI सिस्टम उपयोगकर्ता के प्रॉम्प्ट को हल करने के लिए क्रियाओं के अनुक्रमों (ट्रैजेक्टरीज) को निष्पादित करते हैं। जबकि सत्यापनकर्ता मॉडल (जैसे कि प्रोसेस-रिवॉर्ड मॉडल या जज LLMs) इन ट्रैजेक्टरीज की गुणवत्ता का मूल्यांकन करने के लिए ह्यूरिस्टिक स्कोर प्रदान करते हैं, उनमें कठोर सांख्यिकीय गारंटी का अभाव होता है। विशेष रूप से, किसी ट्रैजेक्टरी को असफल घोषित करने के निर्णय के लिए सत्यापनकर्ता स्कोर का उपयोग करना फॉल्स अलार्म रेट (FAR)—यानी एक सफल ट्रैजेक्टरी को गलत तरीके से अस्वीकार करने की संभावना—को नियंत्रित नहीं करता है। यह उच्च-दांव वाले डोमेन (जैसे स्वायत्त प्रयोगशालाएं, जीन एडिटिंग) में महत्वपूर्ण है जहाँ त्रुटिपूर्ण अस्वीकरण बहुत महंगे हो सकते हैं। इसके अलावा, मौजूदा दृष्टिकोणों के लिए अक्सर सत्यापनकर्ताओं का महंगा फाइन-ट्यूनिंग या मॉडल वेट्स तक व्हाइट-बॉक्स एक्सेस की आवश्यकता होती है, और वे अत्यधिक कम्प्यूटेशनल लागत उठाए बिना लंबे, परिवर्तनशील लंबाई वाली ट्रैजेक्टरीज में विफलताओं का शीघ्र पता लगाने में संघर्ष करते हैं।

कार्यप्रणाली

लेखक e-valuator पेश करते हैं, जो एक हल्का सांख्यिकीय रैपर है जो किसी भी ब्लैक-बॉक्स सत्यापनकर्ता स्कोर को एक निर्णय नियम में बदल देता है जिसमें प्रमाणित FAR नियंत्रण होता है। यह विधि समस्या को एक अनुक्रमिक परिकल्पना परीक्षण (sequential hypothesis testing) कार्य के रूप में फ्रेम करती है:

शून्य परिकल्पना ( $H_N$ ): ट्रैजेक्टरी सफल है ( $Y=1$ )।
वैकल्पिक परिकल्पना ( $H_A$ ): ट्रैजेक्टरी असफल है ( $Y=0$ )।

यह विधि तीन प्राथमिक चरणों में कार्य करती है:

1. अनुक्रमिक परिकल्पना परीक्षण ढांचा

लक्ष्य $t$ स्टेप तक देखे गए सत्यापनकर्ता स्कोर $S_{[1:t]}$ के आधार पर टेस्ट स्टैटिस्टिक्स $(M_t)_{t=1}^T$ का एक अनुक्रम बनाना है। एक ट्रैजेक्टरी को तब खारिज (असफल के रूप में चिह्नित) किया जाता है यदि $M_t$ किसी भी बिंदु $t$ पर थ्रेशोल्ड $c_\alpha$ से अधिक हो जाता है। प्राथमिक उद्देश्य यह सुनिश्चित करना है कि:
$\Pr_{H_N} [\exists t \in [T] : M_t > c_\alpha] \leq \alpha$
जहाँ $\alpha$ उपयोगकर्ता द्वारा निर्दिष्ट त्रुटि स्तर है।

2. लॉग-ऑप्टिमल टेस्ट स्टैटिस्टिक (डेंसिटी रेश्यो)

परीक्षण की शक्ति (विफलताओं को जल्दी पकड़ने की क्षमता) को अधिकतम करने के लिए, लेखक $M_t$ को असफल ट्रैजेक्टरीज के स्कोर के वितरण ( $p_0$ ) और सफल ट्रैजेक्टरीज के वितरण ( $p_1$ ) के बीच एक डेंसिटी रेश्यो के रूप में निर्मित करते हैं:
$M_t = \frac{p_0(S_{[1:t]})}{p_1(S_{[1:t]})}$
यह प्रक्रिया एक e-process (विशेष रूप से $H_N$ के तहत एक टेस्ट मार्टिंगेल) है। लेखक सिद्ध करते हैं कि यह डेंसिटी रेश्यो प्रक्रिया लॉग-ऑप्टिमल है, जिसका अर्थ है कि यह अपेक्षा (expectation) में अन्य किसी भी e-process की तुलना में शून्य परिकल्पना के विरुद्ध साक्ष्य को तेजी से संचित करती है। चूंकि $p_0$ और $p_1$ अज्ञात हैं, e-valuator एक कैलिब्रेशन सेट का उपयोग करके $\hat{M}_t$ का अनुमान लगाता है। यह क्लासिफायर-आधारित डेंसिटी रेश्यो एस्टीमेशन के माध्यम से प्राप्त किया जाता है, जहाँ एक क्लासिफायर $\hat{g}_t$ सफलता की संभावना $P(Y=1|S_{[1:t]})$ की भविष्यवाणी करता है, और अनुपात को बेयस नियम का उपयोग करके निकाला जाता है।

3. FAR नियंत्रण के लिए PAC थ्रेशोल्डिंग

चूंकि डेंसिटी रेश्यो अनुमानित होते हैं (जिससे संभावित त्रुटि आती है) और ट्रैजेक्टरीज की लंबाई यादृच्छिक होती है, इसलिए मानक थ्रेशोल्ड (जैसे $1/\alpha$ ) FAR नियंत्रण की गारंटी नहीं दे सकते हैं। लेखक एक प्रोबेबली-एप्रोक्सिमेटली-करेक्ट (PAC) थ्रेशोल्डिंग प्रक्रिया प्रस्तावित करते हैं:

सफल ट्रैजेक्टरीज के एक कैलिब्रेशन सेट का उपयोग प्रत्येक ट्रैजेक्टरी के लिए अधिकतम स्टैटिस्टिक $M^{(i)} = \max_t M_t$ की गणना करने के लिए किया जाता है।
थ्रेशोल्ड $c_\alpha$ को इन मैक्सिमा के $(1-\alpha)$ -क्वांटाइल के एक उच्च-संभाव्यता ऊपरी बाउंड के रूप में सेट किया जाता है, जो बाइनोमियल टेल बाउंड द्वारा निर्धारित होता है।
यह सुनिश्चित करता है कि कम से कम $1-\delta$ प्रायिकता के साथ, एम्पिरिकल FAR को स्तर $\alpha$ पर नियंत्रित किया जाता है, भले ही डेंसिटी रेश्यो अनुमानित हों।

मुख्य योगदान

प्रमाणित फॉल्स अलार्म रेट नियंत्रण: यह पेपर किसी भी ब्लैक-बॉक्स सत्यापनकर्ता को फॉल्स अलार्म रेट पर कठोर गारंटी के साथ एक निर्णय नियम में बदलने के लिए एक ढांचा प्रदान करता है, जो विश्वसनीय एजेंटों को तैनात करने में मौजूद एक महत्वपूर्ण अंतर को संबोधित करता है।
लॉग-ऑप्टिमल अनुक्रमिक परीक्षण: डेंसिटी रेश्यो को e-processes के रूप में उपयोग करके, विधि असफल ट्रैजेक्टरीज के विरुद्ध साक्ष्य को तेजी से संचित करने में सक्षम होती है, जिससे विफल पथों को जल्दी समाप्त करने में मदद मिलती है।
अनुमानित प्रक्रियाओं के लिए PAC थ्रेशोल्डिंग: लेखक एक थ्रेशोल्डिंग प्रक्रिया विकसित करते हैं जो तब भी वैध रहती है जब अंतर्निहित डेंसिटी रेश्यो विश्लेषणात्मक रूप से ज्ञात होने के बजाय डेटा से सीखे गए होते हैं।
हल्का कार्यान्वयन (Lightweight Implementation): इसके लिए न्यूनतम कंप्यूट की आवश्यकता होती है (एक मानक लैपटॉप पर चल सकता है) और इसके लिए एजेंट या सत्यापनकर्ता को फाइन-ट्यून करने, या मॉडल वेट्स तक व्हाइट-बॉक्स एक्सेस की आवश्यकता नहीं होती है।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न सत्यापनकर्ताओं का उपयोग करते हुए छह डेटासेट्स (GSM8k, MATH, AIME, HotpotQA, MedQA, MMLU-Pro) और तीन एजेंटों (Aviary, OctoTools, Claude Sonnet 4) पर e-valuator का मूल्यांकन किया।

FAR नियंत्रण: कच्चे (raw) सत्यापनकर्ताओं, कैलिब्रेटेड सत्यापनकर्ताओं या रैंडमाइज्ड विले बेसलाइन्स के विपरीत, e-valuator ने सभी डेटासेट्स पर वांछित थ्रेशोल्ड $\alpha$ के नीचे एम्पिरिकल फॉल्स अलार्म रेट को लगातार बनाए रखा। अन्य विधियाँ अक्सर FAR बाधा का उल्लंघन करती हैं।
सांख्यिकीय शक्ति (Statistical Power): उन विधियों में जिन्होंने FAR को सफलतापूर्वक नियंत्रित किया, e-valuator ने उच्चतम पावर (असफल ट्रैजेक्टरीज को सही ढंग से चिह्नित करने की दर) प्राप्त की। उदाहरण के लिए, MATH डेटासेट पर $\alpha=0.4$ पर, e-valuator ने 0.31 पर FAR को नियंत्रित करते हुए 0.78 पावर प्राप्त की, जबकि रॉ (raw) सत्यापनकर्ता ने 0.84 पावर प्राप्त की लेकिन FAR को 0.60 तक बढ़ा दिया।
टोकन दक्षता: विफलताओं को जल्दी पहचानकर ( $H_A$ के तहत छोटा औसत रन लेंथ), e-valuator ने टोकन के उपयोग को काफी कम कर दिया। MATH डेटासेट पर, इसने मूल सटीकता का 86% रिकवर करने के लिए केवल 84% टोकन का उपयोग किया, जबकि बेसलाइन विधियों को तुलनीय सटीकता प्राप्त करने के लिए >98% टोकन की आवश्यकता थी।

महत्व और दावे

पेपर का दावा है कि e-valuator एक हल्का ढांचा (lightweight framework) प्रदान करता है जो ह्यूरिस्टिक सत्यापनकर्ता स्कोर और सांख्यिकीय रूप से भरोसेमंद निर्णय नियमों के बीच के अंतर को पाटता है। इसका महत्व विश्वसनीय एजेंटों को उच्च-दांव वाले परिवेश में तैनात करने में सक्षम बनाने में निहित है जहाँ फॉल्स अलार्म को सख्ती से नियंत्रित किया जाना चाहिए। लेखक इस बात पर जोर देते हैं कि e-valuator भविष्य के सत्यापनकर्ताओं के सुधारों को पूरक (complements) बनाता है; जैसे-जैसे सत्यापनकर्ता की गुणवत्ता में सुधार होगा, e-valuator के निर्णय नियम समान कठोर FAR गारंटी बनाए रखते हुए स्वाभाविक रूप से उच्च शक्ति प्रदान करेंगे। यह कार्य सही ट्रैजेक्टरीज उत्पन्न करने की समस्या को हल करने का दावा नहीं करता है, बल्कि उन्हें तब मॉनिटर करने और समाप्त करने के लिए एक मजबूत तंत्र प्रदान करता है जब उनके विफल होने की संभावना अधिक होती है।