🤖 AI

Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents

यह शोध पत्र "Reinforced Agent" प्रस्तुत करता है, जो एक इन्फरेंस-टाइम फ्रेमवर्क है जो निष्पादन से पहले टूल कॉल्स का मूल्यांकन करने के लिए एक विशिष्ट समीक्षक (reviewer) का उपयोग करता है, जिससे वास्तविक समय में त्रुटि सुधार सक्षम होता है और नए हेल्पफुलनेस-हार्मफुलनेस मेट्रिक्स के माध्यम से यह प्रदर्शित करता है कि निष्पादन को समीक्षा से अलग करने से बेस एजेंट को पुन: प्रशिक्षित किए बिना मॉडल चयन और प्रॉम्प्ट अनुकूलन के माध्यम से व्यवस्थित प्रदर्शन लाभ प्राप्त किया जा सकता है।

मूल लेखक: Anh Ta, Junjie Zhu, Shahin Shayandeh

प्रकाशित 2026-05-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anh Ta, Junjie Zhu, Shahin Shayandeh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, तेज़ रोबोट सहायक (टूल-कॉलिंग एजेंट) है जिसका काम आपके लिए कार्य करना है, जैसे मौसम की जाँच करना, उड़ान बुक करना, या अलार्म सेट करना। यह रोबोट बेहतरीन है, लेकिन कभी-कभी यह गलतियाँ कर देता है: यह गलत टूल चुन सकता है, गलत यूनिट्स का उपयोग कर सकता है (जैसे सेल्सियस के बजाय फारेनहाइट), या ऐसी चीज़ करने की कोशिश कर सकता है जिसके लिए किसी टूल की आवश्यकता ही नहीं है।

आमतौर पर, जब हमें पता चलता है कि रोबोट ने गलती की है, तो यह बाद में होता है। हम त्रुटि देखते हैं, रोबोट के निर्देशों को ठीक करते हैं, और उम्मीद करते हैं कि अगली बार ऐसा न हो। यह एक शिक्षक द्वारा छात्र के कक्षा छोड़ने के बाद टेस्ट ग्रेड करने जैसा है। नुकसान हो चुका है और छात्र मौके पर अपना उत्तर नहीं बदल सकता।

यह पेपर एक नया तरीका पेश करता है: द रीइन्फोर्स्ड एजेंट (The Reinforced Agent)।

मुख्य विचार: कमरे में मौजूद एक "संपादक" (The "Editor" in the Room)

इंतज़ार करने के बजाय कि अंत तक रुकें, शोधकर्ताओं ने पहले रोबोट कुछ भी करने से पहले ही कमरे में एक दूसरा, विशेषीकृत रोबोट (रिव्यूअर एजेंट) रख दिया है।

एक फिल्म संपादक (मूवी एडिटर) के बारे में सोचें जो निर्देशक के बगल में बैठा है।

निर्देशक (टूल एजेंट) कहता है, "मैं यह सीन काटने जा रहा हूँ!"
संपादक (रिव्यूअर एजेंट) उन्हें रोकता है और कहता है, "रुको! आप गलत सीन काट रहे हैं। साथ ही, आप गलत कैमरा एंगल का उपयोग कर रहे हैं। आइए 'रिकॉर्ड' बटन दबाने से पहले इसे ठीक करें।"
निर्देशक योजना को ठीक करता है।
फिर, क्रिया होती है।

यह वास्तविक समय में होता है, टूल का उपयोग करने से ठीक पहले। यदि योजना अच्छी है, तो संपादक कहता है "जाओ!" और टूल चलता है। यदि योजना खराब है, तो संपादक फीडबैक देता है, और निर्देशक तुरंत फिर से प्रयास करता है।

बड़ा समझौता: मददगार बनाम हानिकारक (Helpful vs. Harmful)

शोधकर्ताओं ने महसूस किया कि संपादक होना हमेशा पूर्ण नहीं होता। कभी-कभी, संपादक बहुत अधिक बारीक हो सकता है और निर्देशक को एक अच्छी योजना बदलने के लिए कह सकता है, जिससे वह और खराब हो जाती है। या, संपादक गलती को मिस कर सकता है।

इसे मापने के लिए, उन्होंने दो सरल स्कोर बनाए:

मददगार (Helpfulness): कितनी बार संपादक ने वास्तविक गलती पकड़ी और उसे सुधारा?
हानिकारक (Harmfulness): कितनी बार संपादक ने एक योजना को बिगाड़ दिया जो वास्तव में पहले से ही सही थी?

उन्होंने पाया कि संपादक के लिए उपयोग किए जाने वाले "दिमाग" का प्रकार बहुत मायने रखता है। उन्होंने एक मानक स्मार्ट मॉडल (GPT-4o) और एक "रीज़निंग" मॉडल (o3-mini) का परीक्षण किया जो अधिक सावधानी से सोचता है।

रीज़निंग मॉडल एक बहुत ही सावधान, तार्किक संपादक की तरह था। इसने अच्छी योजनाओं को खराब किए बिना कई गलतियों को पकड़ा। हर 3 गलतियों को ठीक करने के लिए, इसने केवल 1 नई गलती की (3:1 का अनुपात)।
मानक मॉडल थोड़ा जल्दबाज़ी करने वाला था। इसने कम गलतियों को सुधारा और अनजाने में अधिक सही योजनाओं को बिगाड़ दिया (2:1 का अनुपात)।

परिणाम: बेहतर सटीकता, लेकिन धीमी गति

जब उन्होंने दो अलग-अलग प्रकार के कार्यों पर इस प्रणाली का परीक्षण किया:

सिंगल-टर्न टास्क (जैसे एक बार "मौसम क्या है?" पूछना): सिस्टम यह जानने में काफी बेहतर हो गया कि कब किसी टूल की आवश्यकता नहीं है (5.5% का सुधार)।
मल्टी-टर्न टास्क (जैसे यात्रा बुक करने के कई चरणों वाली एक लंबी बातचीत): सिस्टम में 7.1% का सुधार हुआ।

कमी (लेटेंसी/विलंबता):
क्योंकि सिस्टम को रुकना पड़ता है, संपादक की राय मांगनी पड़ती है, और जवाब के लिए प्रतीक्षा करनी पड़ती है, इसलिए इसमें अधिक समय लगता है।

एक साधारण, एक बार के कार्य के लिए, प्रक्रिया 6 गुना धीमी हो गई।
एक लंबी, जटिल बातचीत के लिए, धीमापन कम ध्यान देने योग्य था (लगभग 2.4 गुना धीमा) क्योंकि "संपादक" का समय बातचीत के कई चरणों में बंट जाता है।

गुप्त नुस्खा: ऑटो-ऑप्टिमाइज़ेशन (Auto-Optimization)

शोधकर्ताओं ने यह भी पाया कि संपादक के निर्देशों (प्रॉम्प्ट) को हाथ से लिखना कठिन है। उन्होंने संपादक के निर्देशों को स्वचालित रूप से फिर से लिखने के लिए GEPA नामक एक प्रणाली का उपयोग किया। सिस्टम ने उन समयों को देखा जब संपादक विफल रहा, पता लगाया कि क्यों, और एक बेहतर नियम पुस्तिका लिखी। इस प्रणाली ने मुख्य रोबोट को फिर से प्रशिक्षित किए बिना संपादक के प्रदर्शन में 1.5% से 2.8% का अतिरिक्त सुधार किया।

सारांश

यह पेपर दिखाता है कि काम होने से पहले काम की जाँच करने के लिए "दूसरी जोड़ी आँखों" को जोड़ने से, AI एजेंट बहुत अधिक सटीक हो सकते हैं।

पक्ष (Pros): कम गलतियाँ, मुख्य AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं, और "संपादक" को स्वतंत्र रूप से अपग्रेड किया जा सकता है।
विपक्ष (Cons): परिणाम प्राप्त करने में अधिक समय लगता है।
सर्वश्रेष्ठ उपयोग: यह उन जटिल, महत्वपूर्ण कार्यों के लिए एकदम सही है जहाँ गति से अधिक सटीकता मायने रखती है (जैसे उड़ान बुक करना या डेटाबेस प्रबंधित करना), लेकिन यह सरल, त्वरित प्रश्नों के लिए बहुत धीमा हो सकता है।

यह पेपर यह दावा नहीं करता कि यह चिकित्सा निदान या क्लिनिकल उपयोगों के लिए काम करता है; यह पूरी तरह से इस बात पर केंद्रित है कि AI एजेंट सॉफ़्टवेयर टूल्स और API के साथ कैसे इंटरैक्ट करते हैं।

यहाँ शोध पत्र "Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

टूल-कॉलिंग लार्ज लैंग्वेज मॉडल्स (LLMs) सही टूल्स चुनने, सटीक पैरामीटर्स बनाने और यह पहचानने में कि कब कोई टूल प्रासंगिक नहीं है, व्यवस्थित चुनौतियों का सामना करते हैं। वर्तमान मूल्यांकन विधियाँ मुख्य रूप से post-hoc (निष्पादन के बाद होने वाली) हैं, जिसका अर्थ है कि त्रुटियों की पहचान सुधार के लिए बहुत देर से होती है।

मौजूदा समाधान दो श्रेणियों में आते हैं, जिनमें महत्वपूर्ण सीमाएँ हैं:

प्रशिक्षण-आधारित दृष्टिकोण (जैसे, GRPO): इनके लिए भारी कंप्यूटेशनल संसाधनों और धीमी परिनियोजन (deployment) चक्रों की आवश्यकता होती है।
इन्फरेंस-टाइम सेल्फ-करेक्शन (जैसे, Self-Refine, Reflexion): हालांकि ये प्रशिक्षण-मुक्त हैं, लेकिन ये स्टेट रिकवरी (state recovery) के साथ संघर्ष करते हैं। यदि कोई एजेंट एक विनाशकारी क्रिया (जैसे, अलार्म डिलीट करना) करता है, तो वह वैकल्पिक ट्रेजेक्टरीज को बनाए रखने के लिए एक अव्यावहारिक रूप से बड़े कॉन्टेक्स्ट विंडो के बिना स्थिति को आसानी से पूर्ववत नहीं कर सकता है।

मुख्य समस्या बिना पुन: प्रशिक्षण या जटिल स्टेट प्रबंधन के, निष्पादन से पहले टूल कॉल्स का सक्रिय रूप से मूल्यांकन और सुधार करने के तंत्र की कमी है।

2. कार्यप्रणाली: रीइन्फोर्स्ड एजेंट आर्किटेक्चर (Methodology: Reinforced Agent Architecture)

लेखक एक ड्युओ-एजेंट आर्किटेक्चर (duo-agent architecture) का प्रस्ताव करते हैं जो निष्पादन (execution) को समीक्षा (review) से अलग करता है। यह प्रणाली एक विशेष रिव्यूअर एजेंट (Reviewer Agent) पेश करती है जो इन्फरेंस लूप के भीतर संचालित होता है।

मुख्य वर्कफ़्लो (Core Workflow)

प्रोविजनल कॉल (Provisional Call): प्राथमिक टूल-कॉलिंग एजेंट एक टूल कॉल जेनरेट करता है।
रिव्यू लूप (Review Loop): कॉल निष्पादित होने से पहले, रिव्यूअर एजेंट इसका मूल्यांकन करता है।
- यदि त्रुटियाँ पाई जाती हैं, तो रिव्यूअर फीडबैक प्रदान करता है (जैसे, "US शहरों के लिए फारेनहाइट का उपयोग करें")।
- टूल-कॉलिंग एजेंट इस फीडबैक के आधार पर कॉल को संशोधित करता है।
- यह लूप $N$ बार या कॉल स्वीकृत होने तक दोहराया जाता है।
निष्पादन (Execution): केवल स्वीकृत टूल कॉल्स को ही निष्पादन वातावरण (execution environment) में भेजा जाता है।

मूल्यांकित फीडबैक तंत्र (Feedback Mechanisms Evaluated)

यह पेपर तीन सहयोग रणनीतियों की तुलना करता है:

प्रोग्रेसिव फीडबैक ( $r_N$ ): पुनरावृत्ति सुधार जहाँ रिव्यूअर सिस्टम मैसेज फीडबैक प्रदान करता है, और एजेंट संशोधन करता है।
बेस्ट-ऑफ-N सिलेक्शन ( $s_N$ ): एजेंट $N$ उम्मीदवार जेनरेट करता है; एक सेलेक्टर सबसे अच्छे को चुनता है।
बेस्ट-ऑफ-N ग्रेडिंग ( $g_N$ ): एजेंट $N$ उम्मीदवार जेनरेट करता है; एक ग्रेडर सबसे अच्छे को चुनने के लिए संख्यात्मक स्कोर और तर्क (rationales) प्रदान करता है।

ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन (APO)

मैनुअल प्रॉम्प्ट इंजीनियरिंग की श्रम-गहन प्रकृति को संबोधित करने के लिए, लेखक GEPA (जेनेटिक-पारेटो प्रॉम्प्ट इवोल्यूशन) का उपयोग करते हैं। यह प्रणाली उन मामलों का अवलोकन करके रिव्यूअर के प्रॉम्प्ट को स्वचालित रूप से परिष्कृत करती है जहाँ रिव्यूअर ने गलत निर्णय लिए थे, जिससे बेस एजेंट के प्रॉम्प्ट को बदले बिना अधिक सुदृढ़ निर्देश तैयार करने के लिए पुनराव्यता की जाती है।

3. प्रमुख योगदान और मेट्रिक्स (Key Contributions & Metrics)

यह पेपर रिव्यूअर एजेंट जोड़ने के ट्रेड-ऑफ को मापने के लिए एक नया ढांचा पेश करता है।

हेल्पफुलनेस-हार्मफुलनेस मेट्रिक्स (Helpfulness-Harmfulness Metrics)

यह मापने के लिए कि क्या एक रिव्यूअर शुद्ध सकारात्मक मूल्य प्रदान करता है, लेखक निम्नलिखित को परिभाषित करते हैं:

हेल्पफुलनेस (Helpfulness): बेस एजेंट की त्रुटियों का प्रतिशत जिन्हें रिव्यूअर सफलतापूर्वक ठीक करता है।
हार्मफुलनेस (Harmfulness): बेस एजेंट के सही उत्तरों का प्रतिशत जिन्हें रिव्यूअर गलत तरीके से फ्लैग करता है और खराब कर देता है।
बेनिफिट-टू-रिस्क रेशियो (Benefit-to-Risk Ratio): हेल्पफुलनेस और हार्मफुलनेस का अनुपात।

यह मीट्रिक प्रकट करता है कि एक रिव्यूअर तभी मूल्यवान है जब वह उन त्रुटियों की तुलना में काफी अधिक त्रुटियों को ठीक करता है जो वह स्वयं उत्पन्न करता है।

मॉडल चयन (Model Selection)

अध्ययन मानक भाषा मॉडलों (GPT-4o) बनाम रीजनिंग मॉडल्स (o3-mini, GPT-5 mini) की तुलना करता है। परिकल्पना यह है कि रीजनिंग मॉडल्स, अपनी व्यवस्थित सत्यापन क्षमताओं के साथ, उच्च हेल्पफुलनेस और निम्न हार्मफुलनेस प्रदर्शित करेंगे।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस दृष्टिकोण का मूल्यांकन दो बेंचमार्क पर किया गया: BFCL (सिंगल-टर्न, स्टेटलेस) और $\tau^2$ -Bench (मल्टी-टर्न, डोमेन पॉलिसी के साथ स्टेटफुल)।

प्रदर्शन लाभ (Performance Gains)

BFCL (सिंगल-टर्न):
- इरेलेवेंस डिटेक्शन (Irrelevance Detection) में +5.5% सुधार प्राप्त किया (84.9% $\to$ 90.4%)।
- रेलेवेंस सूट में +1.6% सुधार प्राप्त किया।
- रीजनिंग मॉडल्स: o3-mini रिव्यूअर ने 3.1:1 का बेनिफिट-टू-रिस्क रेशियो (36.8% हेल्पफुलनेस बनाम 11.7% हार्मफुलनेस) प्राप्त किया, जो GPT-4o (2.1:1) से बेहतर था।
$\tau^2$ -Bench (मल्टी-टर्न):
- डोमेन (एयरलाइन, रिटेल, टेलीकॉम) में औसतन +7.1% सुधार प्राप्त किया (48.7% $\to$ 55.8%)।
- प्रोग्रेसिव फीडबैक ने स्टेटफुल परिदृश्यों में बेस्ट-ऑफ-N सिलेक्शन रणनीतियों से काफी बेहतर प्रदर्शन किया।
- सिस्टम ने पॉलिसी कंस्ट्रेंट उल्लंघन (Policy Constraint Violations) (जैसे, बुकिंग से पहले सीट उपलब्धता की जाँच करना) को प्रभावी ढंग से 13% कम किया।

अनुकूलन का प्रभाव (Impact of Optimization)

GEPA ऑप्टिमाइज़ेशन: ऑटोमेटेड प्रॉम्प्ट ऑप्टिमाइज़ेशन ने BFCL पर अतिरिक्त +1.5% से +2.8% का लाभ प्रदान किया, विशेष रूप से जटिल पैरेलल टूल-कॉलिंग परिदृश्यों में जहाँ मैनुअल प्रॉम्प्ट सूक्ष्म विसंगतियों को पकड़ने में विफल रहे।

लेटेंसी विश्लेषण (Latency Analysis)

सिंगल-टर्न: लेटेंसी 6.2 $\times$ बढ़ गई (1.27s $\to$ 7.87s) क्योंकि रिव्यूअर ओवरहेड सिंगल इन्फरेंस कॉल पर हावी रहता है।
मल्टी-टर्न: लेटेंसी 2.4 $\times$ बढ़ गई (158.7s $\to$ 384.3s)। यह ओवरहेड ~40 टर्न प्रति एपिसोड के माध्यम से एमोर्टाइज (amortized) हो जाता है, जिससे यह जटिल वर्कफ़्लो के लिए अधिक व्यवहार्य हो जाता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य यह प्रदर्शित करता है कि निष्पादन और समीक्षा को अलग करना पुन: प्रशिक्षण के बिना टूल-कॉलिंग एजेंटों को बेहतर बनाने के लिए एक अत्यधिक प्रभावी रणनीति है।

सक्रिय त्रुटि शमन (Proactive Error Mitigation): निष्पादन से पहले कॉल्स की समीक्षा करके, सिस्टम विनाशकारी स्टेट परिवर्तनों को रोकता है, जो सेल्फ-करेक्शन की अंतर्निहित स्टेट रिकवरी समस्या को हल करता है।
मॉड्यूलर सुधार (Modular Improvement): संगठन बेस एजेंट के प्रशिक्षण या आर्किटेक्चर को बदले बिना बेहतर रिव्यूअर मॉडल्स को शामिल करके या रिव्यूअर प्रॉम्प्ट्स को (GEFA के माध्यम से) अनुकूलित करके एजेंट की विश्वसनीयता में सुधार कर सकते हैं।
रिव्यूअर के रूप रूप में रीजनिंग मॉडल्स: अध्ययन इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि रीजनिंग मॉडल्स (जैसे, o3-mini) अपने बाधाओं (constraints) को व्यवस्थित रूप से सत्यापित करने की क्षमता के कारण बेहतर रिव्यूअर हैं, जिसके परिणामस्वरूप उच्च बेनिफिट-टू-रिस्क रेशियो मिलता है।
परिनियोजन व्यवहार्यता (Deployment Viability): हालांकि लेटेंसी बढ़ती है, लेकिन सटीकता-महत्वपूर्ण, मल्टी-टर्न वर्कफ़्लो के लिए यह ट्रेड-ऑफ स्वीकार्य है। भविष्य का कार्य रिव्यूअर को वास्तविक समय के परिनियोजन के लिए छोटे, तेज़ मॉडल्स में डिस्टिल (distill) करने का सुझाव देता है।

संक्षेप में, "Reinforced Agent" पोस्ट-होक रिकवरी से प्रोएक्टिव इवैल्यूएशन की ओर प्रतिमान (paradigm) को बदल देता है, जो अधिक विश्वसनीय स्वायत्त एजेंटों के लिए एक व्यावहारिक, प्रशिक्षण-मुक्त मार्ग प्रदान करता है।