🤖 AI

Closing the Reflection Gap: A Free Calibration Bonus for Agentic RL

यह शोध पत्र RefGRPO को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो स्व-चिंतन (self-reflection) और वास्तविक परिवेश फीडबैक के बीच अंतर के आधार पर प्राप्त एक मुक्त अंशांकन बोनस (free calibration bonus) का उपयोग करके LLM एजेंटों में प्रतिबिंब अंतराल (reflection gap) को समाप्त करती है, जिससे बिना किसी बाहरी पुरस्कार मॉडल (external reward model) की आवश्यकता के आत्म-मूल्यांकन सटीकता और कार्य प्रदर्शन दोनों में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yinglun Zhu

प्रकाशित 2026-06-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yinglun Zhu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पहेली सुलझाना सिखा रहे हैं, जैसे कि कोई जटिल क्रॉसवर्ड या गणित की समस्या। रोबोट पहेली को हल करने की कोशिश करता है, उसे कंप्यूटर से एक परिणाम मिलता है (जैसे "सही!" या "त्रुटि: सिंटैक्स"), और फिर आप रोबोट से पूछते हैं: "क्या तुम्हें लगता है कि तुमने इसे सही किया?"

यह शोध पत्र, "क्लोजिंग द रिफ्लेक्शन गैप" (Closing the Reflection Gap), एक मजेदार लेकिन निराशाजनक समस्या की खोज करता है: रोबोट अपने काम का आकलन करने में बहुत बुरा है, यहाँ तक कि उत्तर कुंजी (answer key) देखने के बाद भी।

यहाँ समस्या और समाधान का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए।

समस्या: "ईमानदार गलती" का जाल (The "Honest Mistake" Trap)

आमतौर पर, जब हम AI को प्रशिक्षित करते हैं, तो हमें केवल इस बात से फर्क पड़ता है कि अंतिम उत्तर सही है या गलत।

रोबोट का तर्क: "यदि मुझे कंप्यूटर से 'गलत' का संकेत मिलता है, तो इसका मतलब है कि मैंने गलती की है। मुझे खुद को स्मार्ट समझना बंद कर देना चाहिए।"
वास्तविकता: कभी-कभी रोबोट ने वास्तव में सही उत्तर प्राप्त किया होता है, लेकिन कंप्यूटर ने एक भ्रमित करने वाला त्रुटि संदेश दिया, या रोबोट ने फीडबैक को गलत पढ़ लिया। रोबोट, अत्यधिक विनम्र (या "कम आत्मविश्वासी") होने के कारण, कहता है, "मुझसे गलती हो गई," भले ही उसने वास्तव में पहेली सुलझा ली हो।

लेखक इसे "रिफ्लेक्शन गैप" (Reflection Gap) कहते हैं।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। उसने एक प्रश्न सही हल किया, लेकिन शिक्षक की ग्रेडिंग पद्धति (rubric) थोड़ी अव्यवस्थित है। छात्र उस पद्धति को देखता है, भ्रमित हो जाता है, और अपनी नोटबुक में अपने उत्तर को "गलत" के रूप में चिह्नित कर देता है। वह अपनी क्षमता पर विश्वास खो देता है, भले ही उसे उत्तर पता था।
मुद्दा: मानक प्रशिक्षण विधियाँ (जिन्हें "आउटकम-ओनली आरएल" कहा जाता है) रोबोट को पहेली सुलझाने में तो बेहतर बनाती हैं, लेकिन वे वास्तव में उसे खुद का आकलन करने में और भी खराब बना देती हैं। रोबोट अपनी अच्छी अंतर्दृष्टि को अनदेखा करना सीख जाता है क्योंकि वह "गलत" के संकेत से डरता है।

समाधान: RefGRPO (द "होनेस्टी बोनस")

लेखकों ने एक नई प्रशिक्षण विधि बनाई जिसे RefGRPO कहा जाता है। इसे रोबोट के रिपोर्ट कार्ड में एक विशेष "ईमानदारी बोनस" जोड़ने के रूप में समझें।

केवल रोबोट को सही उत्तर देने के लिए पुरस्कृत करने के बजाय, वे उसे इस बारे में ईमानदार होने के लिए एक बोनस देते हैं कि वह क्या सोचता है।

"फ्री" बोनस:
- रोबोट कंप्यूटर के फीडबैक को देखता है और कहता है, "मुझे लगता है कि मैंने इसे सही किया (1) या गलत (0)।"
- कंप्यूटर फिर जाँच करता है: "क्या रोबोट का अनुमान वास्तविक परिणाम से मेल खाता है?"
- जादू: यदि रोबोट कहता है "मुझे लगता है कि मैंने गलत किया" और उसने वास्तव में गलत किया था, तो यह ईमानदारी है। रोबोट को अपने स्व-आकलन में सटीक होने के लिए एक बोनस पॉइंट मिलता है, भले ही कार्य विफल रहा हो।
- यदि रोबोट कहता है "मुझे लगता है कि मैंने सही किया" और उसने वास्तव में सही किया, तो यह भी ईमानदारी है। बोनस पॉइंट!
- यह "फ्री" क्यों है: उन्हें रोबोट को ग्रेड देने के लिए किसी मानव शिक्षक को नियुक्त करने या किसी फैंसी नए AI को बनाने की आवश्यकता नहीं थी। उन्होंने बस रोबोट के अपने अनुमान की तुलना कंप्यूटर के परिणाम से की। यह ऐसा है जैसे रोबोट अपना होमवर्क उत्तर कुंजी के विरुद्ध स्वयं चेक कर रहा है और कुंजी से मेल खाने के लिए गोल्ड स्टार प्राप्त कर रहा है।
"डायनेमिक शेड्यूल" (द ट्रेनिंग कैंप स्ट्रैटेजी):
- चरण 1 (प्रारंभिक प्रशिक्षण): "ईमानदारी बोनस" बहुत बड़ा है। रोबly को पहले खुद को सटीक रूप से आंकना सीखने के लिए मजबूर किया जाता है। यह एक कोच के चिल्लाने जैसा है, "अनुमान लगाना बंद करो! मुझे ठीक-ठीक बताओ कि क्या हुआ!"
- चरण 2 (बाद का प्रशिक्षण): बोनस छोटा होता जाता है। अब जब रोबोट यह जान गया है कि ईमानदार कैसे होना है, तो कोच उसे पहेली को तेज़ी से और बेहतर तरीके से हल करने पर ध्यान केंद्रित करने देता है।
- परिणाम: रोबोट पहेली सुलझाने और यह जानने, दोनों में माहिर बन जाता है कि उसने इसे सुलझा लिया है।

परिणाम: एक स्मार्ट, अधिक आत्मविश्वासी रोबोट

जब उन्होंने "टेक्स्ट-टू-एसक्यूएल" (अंग्रेजी प्रश्नों को डेटाबेस कोड में बदलना) नामक कार्य पर इसका परीक्षण किया, तो परिणाम प्रभावशाली थे:

पहले (मानक प्रशिक्षण): रोबोट बहुत अनिश्चित था। वह कहता था, "मुझे लगता है कि यह गलत है," भले ही वह वास्तव में सही था—44.4% बार। वह एक "फॉल्स अलार्म" मशीन था।
बाद में (RefGRPO): रोबोट बहुत सटीक हो गया। वह केवल तभी कहता था कि "मुझे लगता है कि यह गलत है" जब वह वास्तव में गलत था। "फॉल्स अलार्म" की दर घटकर केवल 7.7% रह गई।
बोनस: क्योंकि अब रोबोट अपने निर्णय पर भरोसा कर सकता है, इसलिए वह स्वयं का एक 'वेरिफायर' (सत्यापनकर्ता) बन सकता है। यदि वह कहता है, "मुझे 100% यकीन है कि यह सही है," तो आप उस पर भरोसा कर सकते हैं। यदि वह कहता है, "मुझे यकीन नहीं है," तो आप उस प्रयास को अनदेखा कर सकते हैं और फिर से प्रयास कर सकते हैं।

यह क्यों मायने रखता है (पेपर के अनुसार)

पेपर का दावा है कि यह एक ऐसा रोबोट बनाता है जो अपना स्वयं का वेरिफायर (Verifier) है।

स्व-सुधार (Self-Improvement): क्योंकि रोबोट अब यह सटीक रूप से बता सकता है कि वह कब सही है या गलत, वह हर उत्तर की जाँच के लिए मानव की आवश्यकता के बिना, खुद को बेहतर तरीके से सिखाने के लिए अपने "मुझे लगता है कि मैंने इसे सही किया" सिग्नल का उपयोग कर सकता है।
चयनात्मक भविष्यवाणी (Selective Prediction): एक परीक्षण में, रोबोट उन उत्तरों के प्रति केवल "प्रतिबद्ध" होने का विकल्प चुन सकता है जिनके बारे में वह आश्वस्त है। यह अंतिम परिणामों को बहुत अधिक विश्वसनीय बनाता है।

संक्षेप में: यह पेपर AI को एक शर्मीले, भ्रमित छात्र के रूप में व्यवहार करना बंद करने के लिए सिखाता है जो अपने सही उत्तरों पर संदेह करता है। इसके बजाय, यह AI को साक्ष्य देखने, यह जानने के बारे में ईमानदार रहने और अपने निर्णय पर भरोसा करने के लिए सिखाता है कि वह क्या जानता है।

तकनीकी सारांश: RefGRPO के साथ रिफ्लेक्शन गैप को कम करना

1. समस्या विवरण: रिफ्लेक्शन गैप (Reflection Gap)

लार्ज लैंग्वेज मॉडल्स (LLMs) को तेजी से ऐसे एजेंटों के रूप में तैनात किया जा रहा है जो बाहरी वातावरण के साथ इंटरैक्ट करते हैं, और निष्पादन परिणामों (execution results), त्रुटि संदेशों (error messages) और टूल आउटपुट जैसे ठोस फीडबैक प्राप्त करते हैं। एक सक्षम एजेंट को अपने प्रदर्शन का सटीक आकलन करने के लिए इस फीडबैक का लाभ उठाना चाहिए। हालांकि, लेखक एक निरंतर रहने वाले "रिफ्लेक्शन गैप" की पहचान करते हैं: LLM एजेंट ठोस वातावरण फीडबैक देखने के बाद भी अक्सर अपने आउटपुट का गलत आकलन करते हैं।

अति-आत्मविश्वास (overconfidence) के सुप्रसिद्ध मुद्दे के विपरीत, लेखक पाते हैं कि एजेंट अक्सर महत्वपूर्ण अल्प-आत्मविश्वास (underconfidence) प्रदर्शित करते हैं, यानी वे सही उत्तरों को भी गलत के रूप में चिह्नित कर देते हैं। मानक सुदृढीकरण लर्निंग (Reinforcement Learning - RL) एल्गोरिदम, विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO), इस समस्या को हल करने में विफल रहते हैं। जबकि मानक RL कार्य सटीकता (task accuracy) में सुधार करता है, यह एजेंट की पोस्ट-फीडबैक रिफ्लेक्शन गुणवत्ता को खराब छोड़ देता है।

मूल कारण: लेखक इसका श्रेय आउटकम-ओनली (outcome-only) RL में क्रेडिट-असाइनमेंट मिसमैच (credit-assignment mismatch) को देते हैं। मानक GRPO में, एडवांटेज सिग्नल केवल अंतिम कार्य परिणाम ( $r$ ) से प्राप्त होता है। फलस्वरूप:

ईमानदार त्रुटि संकेत (Honest Error Flags): यदि एक एजेंट सही ढंग से त्रुटि को चिह्नित करता है ( $s_{ref}=0$ ) लेकिन परिणाम विफलता ( $r=0$ ) होती है, तो नकारात्मक एडवांटेज एजेंट को सही त्रुटि संकेतों को दबाने के लिए प्रशिक्षित करता है।
अल्प-आत्मविश्वासी संकेत (Underconfident Flags): यदि एक एजेंट सफलता को त्रुटि के रूप में गलत तरीके से चिह्नित करता है ( $s_{ref}=0$ ) लेकिन परिणाम सफलता ( $r=1$ ) होता है, तो सकारात्मक एडवांटेज एजेंट को अपनी सफलताओं पर संदेह करने के लिए प्रशिक्षित करता है।
मानक RL कार्य की शुद्धता के लिए अनुकूलित होता है लेकिन अनजाने में ईमानदार आत्म-आकलन को दंडित करता है।

2. कार्यप्रणाली: RefGRPO

इस गैप को भरने के लिए, लेखक RefGRPO प्रस्तावित करते हैं, जो मानक RL को दो प्रमुख घटकों के साथ संवर्धित करता है: एक फ्री कैलिब्रेशन बोनस और एक डायनेमिक शेड्यूल।

A. फ्री कैलिब्रेशन बोनस (Free Calibration Bonus)

मुख्य नवाचार एक बोनस है जिसे एजेंट के पोस्ट-फीडबैक रिफ्लेक्शन ( $s_{ref}$ ) और वास्तविक परिणाम ( $r$ ) के बीच अंतर करके गणना किया जाता है।

तंत्र (Mechanism): प्रत्येक रोलआउट $k$ के लिए, एक बाइनरी कैलिब्रेशन बोनस $c_k = \mathbb{I}(s_{ref,k,H} = r_k)$ की गणना की जाती है। इस बोनस को ग्रुप नॉर्मलाइजेशन से पहले आउटकम रिवॉर्ड में जोड़ा जाता है:
$\tilde{r}_k = r_k + \alpha(t) \cdot c_k$
महत्व: यह बोनस "फ्री" है क्योंकि इसके लिए किसी अतिरिक्त रिवॉर्ड मॉडल, LLM जज, या बाहरी एनोटेशन की आवश्यकता नहीं है; यह पूरी तरह से एजेंट के अपने रिफ्लेक्शन और ज्ञात वातावरण परिणाम पर निर्भर करता है। यह सुनिश्चित करता है कि अच्छी तरह से कैलिब्रेटेड रोलआउट्स (जहाँ एजेंट परिणाम का सही अनुमान लगाता है) को कार्य की सफलता या विफलता की परवाह किए बिना एक सकारात्मक सापेक्ष एडवांटेज प्राप्त हो।

B. डायनेमिक शेड्यूल (Dynamic Schedule)

लेखक देखते हैं कि एक स्थिर (static) कैलिब्रेशन बोनस कार्य सटीकता को थोड़ा कम कर सकता है, क्योंकि रिवॉर्ड सिग्नल आंशिक रूप से कैलिब्रेशन गुणवत्ता की ओर मुड़ जाता है। इसे संतुलित करने के लिए, वे $\alpha(t)$ के लिए एक डायनेमिक शेड्यूल पेश करते हैं:

दो-चरणीय शेड्यूल (Two-Stage Schedule):
1. फ्रंट-लोडिंग ( $t \le \gamma \cdot T$ ): प्रशिक्षण के शुरुआती चरण में कैलिब्रेशन सीखने को प्राथमिकता देने के लिए एक बड़ा गुणांक ( $\alpha_0$ ) उपयोग किया जाता है।
2. डिके (Decay) ( $t > \gamma \cdot T$ ): गुणांक घटकर एक छोटे मान ( $\alpha_1$ , अक्सर 0) पर आ जाता है, जिससे मॉडल को पहले चरण में सीखी गई कैलिब्रेशन क्षमता को बनाए रखते हुए कार्य प्रदर्शन को अधिकतम करने पर ध्यान केंद्रित करने की अनुमति मिलती है।

C. मूल्यांकन मेट्रिक्स (Evaluation Metrics)

यह पेपर कार्य सटीकता और रिफ्लेक्शन कैलिब्रेशन के लिए एक एकीकृत मीट्रिक के रूप में ChowScore (सांख्यिकीय लर्निंग से अनुकूलित) पेश करता है। यह सही प्रतिबद्धताओं ( $s_{ref}=1, r=1$ ) को पुरस्कृत करता है और ईमानदार त्रुटि संकेतों को एक निश्चित क्रेडिट $\beta$ प्रदान करता है, जो प्रभावी रूप से एजेंट की यह जानने की क्षमता को मापता है कि उसने कार्य को हल कर लिया है।

3. मुख्य परिणाम

प्रयोग पांच बेंचमार्क (Spider-Dev, Spider-DK, Spider-Realistic, Spider-Test, Bird-Dev) पर Qwen2.5-Coder (3B/7B) और Llama-3.2-3B मॉडल का उपयोग करके टेक्स्ट-टू-SQL कार्यों पर किए गए।

कैलिब्रेशन में सुधार: RefGRPO अल्प-आत्मविश्वास दर को नाटकीय रूप से कम करता है। Qwen2.5-Coder-7B के मल्टी-टर्न सेटिंग में, अल्प-आत्मविश्वास दर GRPO+ के 44.4% से गिरकर 7.7% हो गई।
कार्य सटीकता (Task Accuracy): मानक RL के विपरीत, जो अक्सर सटीकता के लिए कैलिब्रेशन का त्याग करता है, RefGRPO दोनों में सुधार करता है। 7B मॉडल के लिए कार्य सटीकता 75.1% से बढ़कर 76.5% हो गई।
एकीकृत मीट्रिक: ChowScore में महत्वपूर्ण सुधार हुआ (जैसे, Qwen-7B के लिए 73.0% से 76.5%), जो कार्य को हल करने और यह जानने कि समाधान सही है या नहीं, दोनों में एक साथ लाभ को प्रदर्शित करता है।
विशेषज्ञों के साथ तुलना: विशेषीकृत 7B SQL मॉडल्स (OmniSQL-7B और SQL-R1-7B) की तुलना में, RefGRPO ने उच्चतम "कैलिब्रेशन डेल्टा" ( $\Delta = \text{Acc}_{ref} - \text{Acc}$ ) प्राप्त किया, जो इंगित करता है कि इसका रिफ्लेक्शन वास्तव में सूचनात्मक है न कि केवल उच्च सटीकता का उपोत्पाद।

4. महत्व और निहितार्थ

पेपर का दावा है कि RefGRPO एजेंट को शुद्ध आत्म-आकलन के बजाय वातावरण फीडबैक पर आधारित, उसका अपना वेरिफायर (verifier) बनाता है। यह कैलिब्रेटेड रिफ्लेक्शन दो डाउनस्ट्रीम क्षमताओं को सक्षम बनाता है:

वेरिफायर-मुक्त आत्म-सुधार (Verifier-Free Self-Improvement): क्योंकि रिफ्लेक्शन कैलिब्रेटेड है, यह एक विश्वसनीय छद्म-रिवॉर्ड (pseudo-reward) सिग्नल के रूप में काम कर सकता है। लेखक प्रदर्शित करते हैं कि एक RefGRPO चेकपॉइंट से शुरू होकर, आगे का आत्म-सुधार प्रशिक्षण (आउटकम सुपरविजन के बिना $s_{ref}$ का उपयोग करके) महत्वपूर्ण सटीकता लाभ (+2.8 अंक) देता है, जबकि मानक GRPO चेकपॉइंट्स सुधारने में विफल रहते हैं क्योंकि उनके छद्म-रिवॉर्ड्स मिसकैलिब्रेशन के कारण कोलैप्स हो जाते हैं।
प्रभावी टेस्ट-टाइम चयनात्मक भविष्यवाणी (Effective Test-Time Selective Prediction): एक कैलिब्रेटेड एजेंट इन्फरेंस के दौरान अपने स्वयं के फिल्टर के रूप में कार्य कर सकता है। केवल उन रोलआउट्स के लिए प्रतिबद्ध होकर जिन्हें सही के रूप में चिह्नित किया गया है ( $s_{ref}=1$ ), RefGRPO अन्य बेसलाइन्स की तुलना में उच्च "चयनात्मक भविष्यवाणी लिफ्ट" (कमिट किए गए नमूनों पर सटीकता) प्राप्त करता है, जो बाहरी सत्यापन की आवश्यकता के बिना त्रुटियों को प्रभावी ढंग से फ़िल्टर करता है।

5. सीमाएं और भविष्य का कार्य

लेखक नोट करते हैं कि कंप्यूट बाधाओं के कारण उनका सबसे बड़ा प्रशिक्षित मॉडल 7B है, और बड़े पैमाने पर इस पद्धति को मान्य करना एक भविष्य का कदम बना हुआ है। इसके अतिरिक्त, वर्तमान कार्य बाइनरी रिफ्लेक्शन स्कोर ( $s_{ref} \in \{0, 1\}$ ) पर केंद्रित है, और रियल-वैल्यूड कॉन्फिडेंस स्कोर तक दृष्टिकोण का विस्तार करना एक संभावित दिशा के रूप में सुझाया गया है।

संक्षेप में, RefGRPO एक सरल, एनोटेशन-मुक्त तंत्र प्रदान करता है जो एजेंट के आत्म-आकलन को वास्तविकता के साथ संरेखित करता है, जो मानक RL में एक संरचनात्मक क्रेडिट-असाइनमेंट समस्या को हल करता है और अधिक मजबूत, स्व-सत्यापन योग्य एजेंटिक व्यवहार को सक्षम बनाता है।