💬 NLP

LLM-as-a-Verifier: A General-Purpose Verification Framework

यह शोध पत्र "LLM-as-a-Verifier" प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो टोकन लॉजिट अपेक्षाओं (token logit expectations) के माध्यम से निरंतर स्कोरिंग का लाभ उठाकर सत्यापन को एक नए स्केलिंग अक्ष (scaling axis) के रूप में स्थापित करता है, जिससे विविध एजेंटिक बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है और बेहतर कार्य निगरानी एवं सुदृढीकरण शिक्षण (reinforcement learning) नमूना दक्षता सक्षम होती है।

मूल लेखक: Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

प्रकाशित 2026-07-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास प्रतिभाशाली लेकिन कभी-कभी अति-आत्मविश्वासी AI सहायक हैं जो जटिल समस्याओं को हल करने की कोशिश कर रहे हैं, जैसे कि कोड लिखना, एक रोबोट को ठीक करना, या किसी मरीज का निदान करना। आप जानते हैं कि यदि आप उनसे एक ही समस्या को 100 बार करने के लिए कहते हैं, तो उनमें से कम से कम एक उन्हें सही ढंग से कर लेगा। असली चुनौती उत्तर प्राप्त करना नहीं है; बल्कि यह जानना है कि कौन सा उत्तर वास्तव में सबसे अच्छा है, बिना हर बार किसी मानव विशेषज्ञ को जांच करने के लिए नियुक्त किए।

यह पेपर एक नया टूल पेश करता है जिसे LLM-as-a-Verifier कहा जाता है। इसे एक "सुपर-जज" के रूप में समझें जो केवल विजेता नहीं चुनता; बल्कि यह समझता है कि क्यों एक उत्तर दूसरे से बेहतर है, भले ही उनके बीच का अंतर बहुत सूक्ष्म हो।

यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "टाई" (Tie) का जाल

आमतौर पर, जब हम किसी AI से दूसरे AI के काम का न्याय करने के लिए कहते हैं, तो हम उससे एक साधारण स्कोर देने को कहते हैं, जैसे कि "1 से 5 स्टार"।

दोष: यदि दो उत्तर दोनों "अच्छे" हैं लेकिन एक थोड़ा बेहतर है, तो जज अक्सर दोनों को "4" दे देता है। यह एक टाई (Tie) पैदा करता है। सिस्टम अंतर नहीं कर पाता, इसलिए वह रैंडमली (यादृच्छिक रूप से) चुन लेता है।
पेपर का समाधान: AI को केवल एक संख्या चुनने के लिए मजबूर करने के बजाय, नया तरीका AI को हर संभावित स्कोर की संभावना (probability) देखने के लिए कहता है। यह एक जज से पूछने जैसा है कि "क्या यह अच्छा है?" कहने के बजाय कि "इसकी 4, 4.1, 4.2, या 4.9 होने की कितनी संभावना है?" इन सभी सूक्ष्म संभावनाओं का औसत निकालकर, सिस्टम एक निरंतर स्कोर (continuous score) (जैसे 4.87) प्राप्त करता है (न कि एक मोटा पूर्णांक जैसे 5)। यह 'टाई' को समाप्त करता है और सूक्ष्म अंतरों को पहचान लेता है।

2. गुणवत्ता बढ़ाने के लिए तीन "नॉब्स" (Knobs)

पेपर दिखाता है कि आप इस "सुपर-जज" को तीन विशिष्ट "नॉब्स" (स्केलिंग एक्सिस) को बढ़ाकर और भी बेहतर बना सकते हैं:

नॉब 1: ग्रैनुलैरिटी (Granularity - सूक्ष्मता/रूलर): केवल इंच के निशानों वाले रूलर के बजाय, मिलीमीटर के निशानों वाला रूलर उपयोग करें। स्कोरिंग स्केल जितना विस्तृत होगा (20 स्तरों तक), जज उतना ही बेहतर तरीके से एक "अच्छे" उत्तर को "शानदार" उत्तर से अलग कर पाएगा।
नॉब 2: रिपिटिशन (Repetition - पैनल): केवल एक जज से निर्णय लेने के लिए कहने के बजाय, उसी जज से काम को 16 बार देखने और उनके विचारों का औसत निकालने के लिए कहें। यह जज के किसी भी रैंडम बुरे दिन या क्षणिक भ्रम को दूर कर देता है।
नॉब 3: डिकम्पोजिशन (Decomposition - चेकलिस्ट): यह पूछने के बजाय कि "क्या यह पूरा प्रोजेक्ट परफेक्ट है?", इसे तोड़ दें। तीन अलग-अलग प्रश्न पूछें: "क्या इसने आवश्यकताओं को पूरा किया?", "क्या फॉर्मेट सही है?", और "क्या कोई त्रुटियां हैं?" फिर उत्तरों को मिलाएं। यह जज को एक बड़ी समस्या से विचलित होने और छोटी बारीकियों को मिस करने से रोकता है।

3. विजेता चुनने के लिए "टूर्नामेंट"

यदि आपके पास एक समस्या के 100 अलग-अलग समाधान हैं, तो प्रत्येक एक को दूसरे के विरुद्ध जांचने में बहुत समय लगेगा (और बहुत पैसा खर्च होगा)।

पेपर का समाधान: उन्होंने एक स्मार्ट टूर्नामेंट बनाया जिसे प्रोबेबिलिस्टिक पिवट टूर्नामेंट (Probabilistic Pivot Tournament) कहा जाता है।
- कल्पना करें कि धावकों का एक घेरा है। पहले, वे एक त्वरित लैप दौड़ते हैं जहाँ हर कोई अपने पड़ोसी के खिलाफ एक बार दौड़ता है। यह जल्दी से शीर्ष कुछ धावकों की पहचान करता है।
- फिर, सिस्टम अपनी ऊर्जा केवल शीर्ष धावकों पर केंद्रित करता है, उन्हें एक-दूसरे के खिलाफ दौड़ने देता है ताकि पूर्ण चैंपियन को खोजा जा सके।
- यह उच्च सटीकता के साथ सबसे अच्छा समाधान खोजने के लिए समय और पैसा बचाता है।

4. वास्तविक दुनिया के परिणाम

लेखकों ने इस "सुपर-जज" का परीक्षण तीन बहुत अलग दुनियाओं में किया, और यह सभी में मौजूदा सर्वोत्तम तरीकों को हरा देता है:

कोडिंग: इसने जटिल कंप्यूटर कार्यों (Terminal-Bench V2) के लिए सर्वोत्तम कोड समाधान चुनने में मदद की, जिससे 86.5% सफलता दर प्राप्त हुई।
रोबोटिक्स: इसने रोबोट के चलने के वीडियो देखे और सही ढंग से पहचाना कि कौन सा रोबोट बेहतर प्रगति कर रहा है (RoboRewardBench), जिसने उन मॉडलों को भी पीछे छोड़ दिया जिन्हें रोबोट डेटा पर वर्षों तक प्रशिक्षित किया गया था।
चिकित्सा: इसने सर्वोत्तम चिकित्सा सलाह योजनाओं (MedAgentBench) को चुनने में मदद की, जिससे 73.3% सफलता दर प्राप्त हुई।

5. बोनस फीचर्स: एक "प्रोग्रेस बार" और एक "कोच"

पेपर इस सिस्टम की दो अतिरिक्त महाशक्तियों पर प्रकाश डालता है:

प्रोग्रेस बार (Progress Bar): क्योंकि जज इतने विस्तृत स्कोर देता है, यह आपको बता सकता है कि एक एजेंट किसी कार्य में कितना आगे है। यदि कोई AI कोड लिख रहा है, तो स्कोर लगातार बढ़ता जाता है। यदि वह फंस जाता है या गलती करता है, तो स्कोर स्थिर हो जाता है या गिर जाता है। यह जटिल AI कार्यों के लिए एक लाइव "प्रोग्रेस बार" के रूप में कार्य करता है, जिससे मनुष्यों को पता चल जाता है कि क्या कोई AI घंटों बर्बाद करने से पहले फंस गया है।
सीखने के लिए कोच (Coach for Learning): यह सिस्टम अन्य AI को प्रशिक्षित करने के लिए "डेंस रिवॉर्ड" (dense reward) के रूप में कार्य कर सकता है। केवल कार्य के अंत में "आप विफल रहे" कहने के बजाय, यह प्रगति के हर छोटे कदम के लिए छोटे, निरंतर अंक देता है। यह रोबोट और गणित हल करने वाले AI को बहुत तेज़ी से सीखने में मदद करता है (रोबोट के लिए लगभग 1.8 गुना तेज़) क्योंकि उन्हें अधिक बार फीडबैक मिलता है।

सारांश

LLM-as-a-Verifier अन्य AI के काम की जांच करने के लिए AI का उपयोग करने का एक नया तरीका है। केवल अंतिम उत्तर के बजाय उनके सोचने की विस्तार (संभावनाओं) को देखकर, और कार्यों को छोटे हिस्सों में तोड़ने और टूर्नामेंट चलाने जैसी स्मार्ट रणनीतियों का उपयोग करके, यह पहले से कहीं अधिक तेज़ी और सटीकता से सर्वोत्तम समाधान खोजता है। यह बिना किसी विशेष कार्य के लिए पुन: प्रशिक्षित (retrain) हुए काम करता है, जो इसे कोडिंग, रोबोटिक्स और चिकित्सा के लिए एक सार्वभौमिक उपकरण बनाता है।

तकनीकी सारांश: LLM-as-a-Verifier

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में हालिया प्रगति ने प्री-ट्रेनिंग डेटा, पोस्ट-ट्रेनिंग ऑप्टिमाइज़ेशन और टेस्ट-टाइम कंप्यूट के माध्यम से क्षमताओं को सुधारने के लिए 'स्केलिंग' को प्राथमिक प्रतिमान (paradigm) के रूप में स्थापित किया है। हालाँकि, जबकि जनरेशन क्षमताओं को इन स्केलिंग लॉज़ से महत्वपूर्ण लाभ हुआ है, वेरिफिकेशन (सत्यापन)—किसी समाधान की शुद्धता या गुणवत्ता को निर्धारित करने की क्षमता—एक अल्प-अन्वेषित और सीमित स्केलिंग अक्ष (axis) बना हुआ है।

वर्तमान सत्यापन विधियाँ मौलिक सीमाओं से ग्रस्त हैं:

मानक LM जज: ये मॉडल आमतौर पर डिस्क्रीट (विविक्त) स्कोर (जैसे 1–5 या 1–10) आउटपुट करने के लिए प्रॉम्प्ट किए जाते हैं। यह दृष्टिकोण स्कोरिंग टोकन के पूर्ण वितरण (full distribution) को एक एकल मान में समाहित कर देता है, जिससे मोटे मूल्यांकन, उच्च टाई रेट (tie rates), और जटिल समाधानों के बीच खराब विभेदन होता है।
लर्नड रिवॉर्ड मॉडल्स: ये अपने प्रशिक्षण डेटा द्वारा बाधित होते हैं और अक्सर विभिन्न डोमेन (जैसे कोडिंग, रोबोटिक्स, मेडिकल) में सामान्यीकरण करने में विफल रहते हैं।
सूक्ष्मता का अभाव (Lack of Granularity): मौजूदा सिस्टम अक्सर लॉन्ग-होरिजन एजेंटिक कार्यों में उच्च-गुणवत्ता और निम्न-गुणवत्ता वाले ट्राजेक्टरीज के बीच अंतर करने के लिए आवश्यक सूक्ष्म फीडबैक प्रदान करने में विफल रहते हैं।

यह शोध पत्र तर्क देता है कि वेरिफिकेशन एक विशिष्ट स्केलिंग अक्ष है जिसे यदि अनलॉक कर दिया जाए, तो अतिरिक्त मॉडल ट्रेनिंग की आवश्यकता के बिना कैंडिडेट पूल्स से इष्टतम समाधानों के चयन में महत्वपूर्ण सुधार किया जा सकता है।

2. कार्यप्रणाली: LLM-as-a-Verifier

लेखक LLM-as-a-Verifier पेश करते हैं, जो एक सामान्य-उद्देश्य वाला फ्रेमवर्क है जो बिना किसी अतिरिक्त प्रशिक्षण के एजेंटिक कार्यों के लिए सूक्ष्म, सघन (dense) फीडबैक प्रदान करता है। मुख्य नवाचार डिस्क्रीट स्कोरिंग से हटकर एक प्रोबेबिलिस्टिक फॉर्मूलेशन (संभाव्यता प्रारूप) की ओर जाना है जो स्कोरिंग टोकन लॉगिट्स के पूर्ण वितरण का लाभ उठाता है।

2.1. प्रोबेबिलिस्टिक रिवॉर्ड एस्टीमेशन (संभाव्यता आधारित पुरस्कार अनुमान)

LLM को एक एकल डिस्क्रीट टोकन (जैसे "5") उत्पन्न करने के लिए प्रॉम्प्ट करने के बजाय, यह फ्रेमवर्क मॉडल को एक परिभाषित रेंज (जैसे 1–20) के भीतर एक स्कोर आउटपुट करने के लिए प्रॉम्प्ट करता है और सभी संभावित स्कोरिंग टोकन के लॉगिट्स (logits) को निकालता है। एक ट्राजेक्टरी $\tau$ के लिए रिवॉर्ड $R(x, \tau)$ इन स्कोरिंग टोकनों के वितरण पर एक्सपेक्टेशन (अपेक्षा) के रूप में परिकलित किया जाता है:

$R(x, \tau) = \frac{1}{CK} \sum_{c=1}^{C} \sum_{k=1}^{K} \sum_{g=1}^{G} p_\theta(v_g | x, c, \tau) \varphi(v_g)$

जहाँ:

$p_\theta(v_g | x, c, \tau)$ स्कोर टोकन $v_g$ को दिया गया प्रायिकता (probability) है।
$\varphi(v_g)$ टोकन को एक स्केलर मान में मैप करता है।
$G$ स्कोर ग्रैनुलैरिटी (स्कोर की सूक्ष्मता) है (स्कोर टोकन की संख्या)।
$K$ रिपीटेड इवैल्यूएशन (पुनरावृत्ति मूल्यांकन) की संख्या है।
$C$ क्राइटेरिया डिकंपोजिशन (मानदंडों का विखंडन) की संख्या है।

इन निरंतर (continuous) रिवॉर्ड्स को फिर कैंडिडेट के बीच सर्वश्रेष्ठ ट्राजेक्टरी चुनने के लिए ब्रैडली-टेरी मॉडल का उपयोग करके पेयरवाइज प्रेफरेंस प्रोबेबिलिटीज़ में परिवर्तित किया जाता है।

2.2. वेरिफिकेशन स्केलिंग के तीन अक्ष (Three Axes of Verification Scaling)

फ्रेमवर्क वेरिफिकेशन सटीकता में सुधार के लिए तीन स्वतंत्र आयामों की पहचान करता है और उन्हें स्केल करता है:

स्कोर ग्रैनुलैरिटी ( $G$ ): स्कोर टोकन की संख्या बढ़ाकर (जैसे 5 से 20) और वितरण के ऊपर एक्सपेक्टेशन लेकर, यह फ्रेमवर्क टाई रेट को कम करता है और सही और गलत समाधानों के बीच सिग्नल-टू-नॉइज़ रेशियो (SNR) में सुधार करता है। यह मॉडल को एक मोटा पूर्णांक (integer) चुनने के बजाय सूक्ष्म विश्वास (जैसे "मामूली रूप से बेहतर") व्यक्त करने की अनुमति देता है।
रिपीटेड इवैल्यूएशन ( $K$ ): स्वतंत्र मूल्यांकनों का औसत निकालने से रिवॉर्ड एस्टीमेट का वेरिएंस कम हो जाता है। यह ग्रैनुलैरिटी का पूरक है क्योंकि यह उस शोर (noise) और प्रॉम्प्ट-विशिष्ट पूर्वाग्रह को कम करता है जो एक सिंगल पास में दिख सकता है।
क्राइटेरिया डिकंपोजिशन ( $C$ ): एक एकल मोनोलिथिक रूब्रिक के बजाय, यह फ्रेमवर्क मूल्यांकन को सरल उप-मानदंडों (जैसे कोडिंग कार्यों के लिए स्पेसिफिकेशन, आउटपुट और एरर्स) में विभाजित करता है। यह प्रॉम्प्ट बायस को कम करता है और वेरीफायर को ट्राजेक्टरी की गुणवत्ता के पूरक पहलुओं को कैप्चर करने की अनुमति देता है।

2.3. प्रोबेबिलिस्टिक पिवट टूर्नामेंट (PPT)

एक सीमित बजट के तहत $N$ उम्मीदवारों के पूल से सर्वश्रेष्ठ समाधान को कुशलतापूर्वक चुनने के लिए, लेखक प्रोबेबिलिस्टिक पिवट टूर्नामेंट का प्रस्ताव करते हैं। यह एल्गोरिदम वेरिफिकेशन लागत को $O(N^2)$ (फुल राउंड-रॉबिन) से घटाकर $O(Nk) $तक कम कर देता है, जहाँ$ k \ll N$:

रिंग पास (Ring Pass): पोजीशनल बायस को रद्द करने के लिए उम्मीदवारों को एक रैंडम हैमिल्टोनियन साइकिल में स्कोर किया जाता है (यह सुनिश्चित करना कि प्रत्येक उम्मीदवार एक बार "A" स्लॉट में और एक बार "B" स्लट में दिखाई दे)।
पिवट सिलेक्शन (Pivot Selection): रिंग-पास स्कोर के आधार पर शीर्ष- $k$ उम्मीदवारों को "पिवोट्स" के रूप में चुना जाता है।
पिवट राउंड्स (Pivot Rounds): सभी नॉन-पिवोट्स की तुलना पिवोट्स के साथ की जाती है, और पिवोट्स की तुलना आपस में की जाती है।
सिलेक्शन (Selection): उच्चतम नॉर्मलाइज्ड विन मास वाला उम्मीदवार चुना जाता है।

3. मुख्य योगदान

फ्रेमवर्क का परिचय: LLM-as-a-Verifier का प्रस्ताव, जो सूक्ष्म फीडबैक प्रदान करने के लिए स्कोरिंग टोकन लॉगिट्स का लाभ उठाने वाला एक ट्रेनिंग-फ्री फ्रेमवर्क है।
स्केलिंग अक्ष: तीन स्केलिंग अक्षों (ग्रैनुलैरिटी, रिपिटिशन, डिकंपोजिशन) की पहचान और अनुभवजन्य सत्यापन, जो व्यवस्थित रूप से वेरिफिकेशन सटीकता में सुधार करते हैं।
लागत-कुशल रैंकिंग: प्रोबेबिलिस्टिक पिवट टूर्नामेंट का विकास, जो बड़े पूल्स से सर्वश्रेष्ठ कैंडिडेट को कुशलतापूर्वक चुनने में सक्षम बनाता है।
दोहरी उपयोगिता: यह प्रदर्शित करना कि सूक्ष्म वेरीफायर सिग्नल न केवल एक सेलेक्टर के रूप में बल्कि एक प्रोग्रेस एस्टीमेटर (वैल्यू-ऑर्डर कोरिलेशन) और डेंस रिवॉर्ड सिग्नल (RL के लिए) के रूप में भी कार्य करता है।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन कोडिंग, रोबोटिक्स और मेडिकल डोमेन में फैले चार बेंचमार्क पर किया गया, जिसने डोमेन-विशिष्ट फाइन-ट्यूनिंग के बिना लगातार स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन हासिल किया।

टर्मिनल-बेंच V2 (कोडिंग): 86.5% सटीकता प्राप्त की, जो बेस्ट बेसलाइन (84.7%) से बेहतर है और ऑरेकल हेडरूम (92.1%) के एक महत्वपूर्ण हिस्से को रिकवर करती है।
SWE-Bench Verified (कोडिंग): 78.2% सटीकता प्राप्त की, जो क्लॉड ओपस 4.5 (76.8%) और जेमिनी 3 फ्लैश (75.8%) जैसे बेसलाइन्स से बेहतर है।
RoboRewardBench (रोबोटिक्स): 87.4% प्रेफरेंस एक्यूरेसी प्राप्त की, जो जीरो-शॉट होने के बावजूद ट्रेन्ड रिवॉर्ड मॉडल्स जैसे RoboReward-8B (81.4%) और Robometer-4B (78.8%) से बेहतर है।
MedAgentBench (मेडिकल): 73.3% सटीकता प्राप्त की, जो क्लॉड ओपस 4.8 (70.2%) सहित अग्रणी मॉडल्स से बेहतर है।

स्केलिंग विश्लेषण:

ग्रैनुलैरिटी को $G=1$ से $G=20$ तक बढ़ाने से वेरिफिकेशन सटीकता 73.1% से बढ़कर 77.5% हो गई।
रिपीटेड इवैल्यूएशन को $K=1$ से $K=16$ तक बढ़ाने से सटीकता 74.7% से बढ़कर 77.5% हो गई।
मानदंडों को तीन कारकों में डिकंपोज़ करने से सटीकता बढ़कर 78.3% हो गई।

अतिरिक्त क्षमताएं:

प्रोग्रेस ट्रैकिंग: वेरीफायर स्कोर ने कार्य की प्रगति के साथ मजबूत सहसंबंध दिखाया (सफल कोडिंग ट्राजेक्टरीज पर 0.848 का Spearman VOC और रोबोटिक्स ट्राजेक्टरीज पर 0.966), जिससे एजेंट व्यवहार की रियल-टाइम मॉनिटरिंग संभव हुई।
रीइन्फोर्समेंट लर्निंग (RL): जब एक डेंस रिवॉर्ड सिग्नल के रूप में उपयोग किया गया, तो LLM-as-a-Verifier ने रोबोटिक्स (LIBERO) पर ऑफ-पॉलिसी SAC के लिए ~1.8x और गणितीय तर्क (MATH) पर ऑन-पॉलिसी GRPO के लिए ~1.1x सैंपल एफिशिएंसी में सुधार किया।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि वेरिफिकेशन LLMs के लिए एक विशिष्ट और कम उपयोग किया जाने वाला स्केलिंग अक्ष है। डिस्क्रीट, मोटे निर्णयों से हटकर निरंतर, संभाव्यता आधारित स्कोरिंग की ओर बढ़कर, LLM-as-a-Verifier शक्तिशाली मॉडल्स द्वारा जनरेट किए गए कैंडिडेट पूल्स में मौजूद "हेडरूम" को अनलॉक करता है।

इस कार्य का महत्व इसकी सामान्यता (generality) और दक्षता (efficiency) में निहित है:

यह एक ट्रेनिंग-फ्री तंत्र प्रदान करता है जो केवल वेरीफायर द्वारा लॉगिट्स को प्रोसेस करने के तरीके को बदलकर विविध डोमेन (कोडिंग, रोबिक्स, मेडिसिन) में एजेंट प्रदर्शन को बेहतर बनाने में सक्षम है।
यह वेरीफायर को एक साधारण बाइनरी सेलेक्टर से बदलकर एक डेंस सिग्नल में बदल देता है जो प्रोग्रेस की निगरानी करने और RL के माध्यम से पॉलिसी ऑप्टिमाइज़ेशन को निर्देशित करने में सक्षम है।
यह प्रदर्शित करता है कि वेरिफिकेशन आयामों (ग्रैनुलैरिटी, रिपिटिशन, डिकंपोजिशन) को स्केल करने से निरंतर लाभ मिलता है, जो फाउंडेशन मॉडल्स को फिर से प्रशिक्षित करने की कम्प्यूटेशनल लागत के बिना स्वायत्त एजेंटों को बेहतर बनाने का एक व्यावहारिक मार्ग प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि LLM-as-a-Verifier स्वायत्त एजेंटों के मूल्यांकन, निगरानी और प्रशिक्षण में सुधार के लिए एक स्केलेबल तंत्र प्रदान करता है।