🤖 AI

ReGRPO: Reflection-Augmented Policy Optimization for Tool-Using Agents

GRPO एक नवीन ढांचा है जो वॉर्म-स्टार्टिंग के लिए एक संरचित रिफ्लेक्टिव डेटा इंजन को रिफ्लेक्शन-ऑगमेंटेड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन एल्गोरिदम के साथ जोड़कर टूल-इस्तेमाल करने वाले एजेंटों को उन्नत करता है, जिससे एजेंटों को 'नियर-मिस' विफलताओं से प्रभावी ढंग से सीखने और रिफ्लेक्शन टोकन एवं सुधारात्मक कार्यों को संयुक्त रूप से अनुकूलित करने में सक्षम बनाया जाता है ताकि मौजूदा बेसलाइनों से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Binjie Zhang, Mike Zheng Shou

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Binjie Zhang, Mike Zheng Shou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े अनाड़ी रोबोट सहायक को डिजिटल गैजेट्स (जैसे वेब सर्च, इमेज रीडर या कोड एक्जीक्यूटर) के टूलबॉक्स का उपयोग करके जटिल पहेलियों को हल करना सिखा रहे हैं। यह रोबोट एक "विज़न-लैंग्वेज मॉडल" है, जिसका अर्थ है कि वह चित्र देख सकता है और टेक्स्ट पढ़ सकता है, लेकिन कभी-कभी वह इन टूल्स का उपयोग करने में गलतियाँ करता है।

यह पेपर एक नई प्रशिक्षण विधि पेश करता है जिसे ReGRPO (रिफ्लेक्शन-ऑगमेंटेड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। यह यहाँ कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:

समस्या: वह रोबोट जिसे अपनी गलतियों को सुधारना नहीं आता

वर्तमान में, जब हम इन रोबोटों को प्रशिक्षित करते हैं, तो हम उन्हें ज्यादातर केवल परफेक्ट उदाहरण दिखाते हैं कि किसी कार्य को कैसे हल किया जाए। यह एक छात्र को केवल उत्तर कुंजी दिखाने जैसा है जहाँ हर चरण सही ढंग से किया गया था।

समस्या: यदि रोबोट कोई टूल इस्तेमाल करने की कोशिश करता है और विफल हो जाता है (उदाहरण के लिए, वह एक रसीद पढ़ने की कोशिश करता है लेकिन कैमरा एंगल गलत है, इसलिए उसे कुछ दिखाई नहीं देता), तो उसे नहीं पता कि क्या करना है। वह बस बिना सोचे-समझे आगे बढ़ता रहता है या हार मान लेता है।
अंतराल: पुराने प्रशिक्षण तरीके रोबोट को यह नहीं सिखाते कि गलती से कैसे उबरना है। वे उसे केवल यह सिखाते हैं कि जब सब कुछ सही चल रहा हो तो कैसे सफल होना है।

समाधान: "एरर-रिफ्लेक्शन-करेक्शन" लूप

लेखकों ने एक नया सिस्टम बनाया है जो रोबोट को रुकने, सोचने और खुद को सुधारने के लिए प्रशिक्षित करता है। वे इसे रिफ्लेक्शन (Reflection) कहते हैं।

इसे एक जीपीएस नेविगेशन सिस्टम की तरह समझें:

गलती (Near-Miss): रोबोट एक मोड़ लेने की कोशिश करता है, लेकिन रास्ता बंद है (टूल विफल हो जाता है)।
रिफ्लेक्शन (The "Aha!" Moment): टकराने के बजाय, रोबोट रुकता है और पूछता है: "यह क्यों विफल हुआ? ओह, मैंने इमेज के गलत हिस्से पर टेक्स्ट पढ़ने की कोशिश की। इसका प्रमाण यह है कि टेक्स्ट खाली है। मेरी योजना कैमरा बॉक्स को दाईं ओर ले जाने की है।"
करेक्शन (Correction): रोबोट तुरंत नई योजना को आजमाता है और सफल होता है।

उन्होंने इसे कैसे बनाया (The "Structured Data Engine")

रोबोट को यह कौशल सिखाने के लिए, शोधकर्ताओं ने केवल प्राकृतिक रूप से विफल होने का इंतजार नहीं किया। उन्होंने एक सिमुलेशन लैब बनाई:

उन्होंने एक परफेक्ट टास्क लिया और जानबूझकर उसे बिगाड़ दिया (उदाहरण के लिए, उन्होंने रोबोट को फोटो के गलत हिस्से को देखने के लिए कहा)।
उन्होंने देखा कि रोबोट कहाँ विफल हुआ और रिकॉर्ड किया कि वास्तव में क्या गलत हुआ।
उन्होंने एक "टीचर एआई" (एक बहुत ही स्मार्ट मॉडल) का उपयोग करके रोबोट के लिए एक स्ट्रक्चर्ड नोट लिखा। इस नोट के तीन विशिष्ट भाग हैं:
1. एरर टाइप (Error Type): यह किस प्रकार की गलती थी? (जैसे, "मैंने गलत जगह देखा।")
2. एविडेंस (Evidence): यह क्या साबित करता है? (जैसे, "मेरे द्वारा पढ़ा गया टेक्स्ट खाली था।")
3. फिक्स प्लान (Fix Plan): इसे कैसे हल करें? (जैसे, "कैमरा बॉक्स को टेक्स्ट की ओर ले जाएं।")
इसके बाद उन्होंने रोबोट को इस "गलती + नोट + फिक्स" अनुक्रम को बार-बार दिखाया जब तक कि उसने इसे स्वचालित रूप से करना नहीं सीख लिया।

प्रशिक्षण खेल (Group Relative Policy Optimization)

एक बार जब रोबोट ने बुनियादी बातें सीख लीं, तो उन्होंने उसे और बेहतर बनाने के लिए एक प्रशिक्षण खेल में डाल दिया।

खेल: वे रोबोट को एक ही पहेली को 10 बार हल करने के लिए कहते हैं।
स्कोरिंग: कुछ बार वह तुरंत सफल हो जाता है। अन्य बार, वह विफल होता है, रुकता है, "रिफ्लेक्ट" करता है, और फिर उसे ठीक करता है।
रिवॉर्ड (Reward): रोबोट को पहेली हल करने के लिए अंक मिलते हैं, लेकिन यदि वह अनावश्यक रूप से "सोचने" (रिफ्लेक्ट करने) में बहुत अधिक समय बिताता है, तो उसके अंक कट जाते हैं।
लक्ष्य: रोबोट यह सीखता है कि उसे कब रुकना और रिफ्लेक्ट करना चाहिए, और यह भी कि उसकी रिफ्लेक्शन संक्षिप्त और उपयोगी होनी चाहिए। वह अपने प्रयासों की तुलना करना सीखता है: "हे, जिस वर्ज़न में मैंने रिफ्लेक्ट किया और ठीक किया, उसमें बिना सोचे-समझे चलते रहने वाले वर्ज़न की तुलना में अधिक अंक मिले।"

परिणाम: एक स्मार्ट, सेल्फ-हीलिंग रोबोट

शोधकर्ताओं ने इस नए रोबोट (ReGRPO) का परीक्षण दो कठिन चुनौतियों पर किया:

GTA: कार्यों में रसीदें, चार्ट और UI स्क्रीन पढ़ना शामिल है।
GAIA: कार्यों में जटिल दस्तावेज़ जैसे PDF और स्प्रेडशीट शामिल हैं।

परिणाम:

नया रोबोट इन कार्यों को हल करने में पिछले ओपन-सोर्स रोबोटों की तुलना में काफी बेहतर था।
वह न केवल टूल्स का उपयोग करने में बेहतर हुआ; बल्कि वह टूल्स के विफल होने पर रिकवर करने में भी बेहतर हुआ।
महत्वपूर्ण रूप से, उसने यह सब बिना किसी इंसान या दूसरे कंप्यूटर की मदद के किया, जो उसके काम की जांच कर सके। उसने सीखा कि वास्तविक समय में त्रुटियों को ठीक करने के लिए अपने स्वयं के "रिफ्लेक्शन" पर भरोसा कैसे किया जाए।

सारांश

संक्षेप में, यह पेपर एआई एजेंटों को एक सेल्फ-करेक्टिंग मैकेनिक (स्वयं सुधारने वाला मैकेनिक) की तरह सिखाता है। केवल कार को पूरी तरह से चलाना सीखने के बजाय, मैकेनिक यह सीखता है कि एक अजीब आवाज को कैसे पहचानना है, समस्या का निदान कैसे करना है, और बिना सुपरवाइजर को बुलाए तुरंत उसे कैसे ठीक करना है। यह एआई को वास्तविक दुनिया में बहुत अधिक विश्वसनीय बनाता है जहाँ चीजें हमेशा योजना के अनुसार नहीं होती हैं।

तकनीकी सारांश: ReGRPO – टूल-उपयोग करने वाले एजेंटों के लिए रिफ्लेक्शन-ऑगमेंटेड पॉलिसी ऑप्टिमाइज़ेशन

1. समस्या विवरण (Problem Statement)

टूल-ऑगमेंटेड विजन-लैंग्वेज मॉडल्स (VLMs) का लक्ष्य बाहरी टूल्स (जैसे, OCR, वेब सर्च, कोड निष्पादन) को बुलाकर जटिल, मल्टी-मोडल, मल्टी-स्टेप कार्यों को हल करना है। हालांकि, वर्तमान दृष्टिकोण मजबूती (robustness) और रिकवरी के संबंध में दो प्राथमिक सीमाओं से ग्रस्त हैं:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) की सीमाएं: मौजूदा SFT विधियां (जैसे, MAT-AGENT) अत्यधिक सफल ट्राजेक्टरीज (trajectories) पर निर्भर करती हैं। वे तब रिकवरी के लिए बहुत कम या कोई संकेत नहीं देती हैं जब एक एजेंट इष्टतम पथ से भटक जाता है या किसी टूल विफलता (जैसे, लेआउट में मामूली बदलाव के कारण खाली OCR परिणाम) का सामना करता है। मॉडल सफल ट्रेसेस का पालन करना तो सीखता है, लेकिन उसमें स्थानीय त्रुटियों का निदान करने और उन्हें सुधारने की क्षमता का अभाव होता है।
मानक सुदृढ़ीकरण शिक्षण (Standard RL) की सीमाएं: मानक RL दृष्टिकोण अक्सर केवल स्पार्स (sparse), ट्राजेक्टरी-स्तरीय पुरस्कार (success/failure) प्रदान करते हैं। लंबे समय तक चलने वाले कार्यों (long-horizon tasks) में, एक स्केलर विफलता पुरस्कार यह पहचान नहीं पाता कि कौन सा विशिष्ट चरण विफल हुआ या उसे कैसे ठीक किया जाए। यह अस्पष्टता सीखने की प्रक्रिया को धीमा और अस्थिर बना देती है, क्योंकि एजेंट यह अंतर नहीं कर पाता कि गलत टूल चुना गया था या गलत तर्क (argument)।

मूल चुनौती यह है कि टूल-उपयोग करने वाले एजेंटों को न केवल कार्य निष्पादित करने में सक्षम बनाना है, बल्कि उन्हें महंगे बाहरी सत्यापनकर्ताओं (verifiers) या टेस्ट-टाइम पर ट्रायल-एंड-एरर पर निर्भर हुए बिना, एक ही इन्फरेंस पास के भीतर विफलताओं का निदान करने, संरचित प्रतिबिंब (structured reflections) उत्पन्न करने और सुधारात्मक क्रियाएं निष्पादित करने में सक्षम बनाना है।

2. कार्यप्रणाली: ReGRPO

लेखक ReGRPO (Reflection-augmented Group Relative Policy Optimization) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो डायग्नोस्टिक रिफ्लेक्शन को एक फिक्स्ड प्रॉम्प्टिंग ह्यूरिस्टिक के बजाय एक सीखने योग्य वेरिएबल (learnable variable) के रूप में मानता है। यह कार्यप्रणाली तीन मुख्य घटकों से बनी है:

A. संरचित रिफ्लेक्टिव डेटा इंजन (Structured Reflective Data Engine)

SFT में रिकवरी डेटा की कमी को दूर करने के लिए, लेखक एक डेटा इंजन पेश करते हैं जो टूल-निष्पादन विफलताओं को ग्राउंडेड सुपरविजन में बदल देता है।

विफलता प्रेरण (Failure Induction): ग्राउंड-ट्रुथ ट्राजेक्टरीज से शुरू होकर, सिस्टम टूल चॉइस या आर्गुमेंट्स को बाधित करके "नियर-मिस" (near-miss) क्रियाओं को सिंथेसाइज करता है (जैसे, बाउंडिंग बॉक्स को शिफ्ट करना)। इन्हें एक सैंडबॉक्स में निष्पादित किया जाता है ताकि वास्तविक, ग्राउंडेड विफलता अवलोकन (जैसे, खाली OCR, API एरर) उत्पन्न किए जा सकें।
रिफ्लेक्शन-ऑफ-थॉट (RoT) ट्रिपलेट्स: एक टीचर VLM (डिफ़ॉल्ट: GPT-4o) विफलता के संदर्भ का विश्लेषण करता है और एक संरचित ट्रिपलेट उत्पन्न करता है:
- ErrorType: श्रेणीबद्ध निदान (जैसे, GroundingDrift, ToolMismatch)।
- Evidence: उस विजुअल या टेक्स्टुअल ऑब्जर्वेशन का स्पष्ट संदर्भ जिसने त्रुटि को ट्रिगर किया (जैसे, "क्षेत्र #box1 के लिए OCR आउटपुट खाली है")।
- FixPlan: त्रुटि को ठीक करने के लिए एक ठोस रणनीति (जैसे, "बाउंडिंग बॉक्स का विस्तार करें")।
सुपरविजन: इन ट्रिपलेट्स को सुधारा गया एक्शन के साथ जोड़ा जाता है ताकि एक "Failure → Reflection → Correction" ट्राजेक्टरी बनाई जा सके, जिसका उपयोग वॉर्म-स्टार्ट SFT के लिए किया जाता है।

B. रिफ्लेक्शन-ऑगमेंटेड GRPO ट्रेनिंग

ReGRPO एल्गोरिदम (Group Relative Policy Optimization) को रिफ्लेक्शन टोकन और सुधारात्मक क्रियाओं को संयुक्त रूप से अनुकूलित करने के लिए विस्तारित करता है।

लोकल ट्राजेक्टरी फॉर्मूलेशन: परमाणु क्रियाओं (atomic actions) को स्कोर करने के बजाय, पॉलिसी $K$ कैंडिडेट लोकल ट्राजेक्टरीज का एक समूह सैंपल करती है। यदि एक प्रारंभिक क्रिया $a^{(0)}$ विफल होती है, तो पॉलिसी एक रिफ्लेक्शन $z$ और एक सुधारात्मक क्रिया $a^{(1)}$ उत्पन्न करती है।
कंपोजिट रिवॉर्ड फंक्शन: रिवॉर्ड $R(\tau)$ $R (τ)$ कार्य सफलता, निष्पादन दक्षता और वैकल्पिक सत्यापन को संतुलित करता है:
$R(\tau) = \lambda_{exec} \mathbb{1}_{\{success\}} - \eta C(\tau) + \lambda_{val} V(x_i, \tau)$
- रिफ्लेक्शन कॉस्ट ( $C(\tau)$ ): रिफ्लेक्शन $z$ की टोकन लंबाई को दंडित करता है, जिससे एजेंट केवल आवश्यकता होने पर ही रिफ्लेक्ट करता है।
- वेरिफायर वैल्यू ( $V$ ): एक वैकल्पिक, केवल ट्रेनिंग-के-लिए सिग्नल जो मेटाडेटा से नियत रूप से (deterministically) कंप्यूट किया जाता है (RL के दौरान कोई LLM कॉल नहीं) ताकि लर्निंग को स्थिर किया जा सके।
ऑप्टिमाइजेशन: पॉलिसी को ग्रुप-रिलेटिव एडवांटेज का उपयोग करके अपडेट किया जाता है। एक ही समूह के भीतर अनरिकवर्ड विफलताओं के मुकाबले रिकवर्ड ट्राजेक्टरीज की तुलना करके, मॉडल सीखता है कि कौन से रिफ्लेक्शन उपयोगी हैं और उन्हें कुशलतापूर्वक कैसे उत्पन्न किया जाए।

C. जीरो-वेरिफायर इन्फरेंस स्टेज (Zero-Verifier Inference Stage)

तैनाती (deployment) के समय, ReGRPO दक्षता सुनिश्चित करने के लिए सिंगल-पाथ, जीरो-वेरिफायर मोड में संचालित होता है।

डिटरमिनिस्टिक ट्रिगर: एक लाइटवेट गेट $g_i$ $g_{i}$ यह निर्णय लेता है कि क्या एक लोकल रिफ्लेक्शन-करेक्शन ब्लॉक खोलना है। ट्रिगर तब सक्रिय होता है यदि:
1. एक टूल एरर का पता चलता है।
2. ऑब्जर्वेशन खाली है।
3. एक्शन में पॉलिसी का कॉन्फिडेंस ( $u_i$ ) एक एडेप्टिव थ्रेशोल्ड ( $\kappa_i$ ) से नीचे गिर जाता है।
रिकवरी: यदि ट्रिगर होता है, तो एजेंट एक सिंगल लोकल ब्लॉक निष्पादित करता है: $a^{(0)} \to o^{(0)} \to z \to a^{(1)} \to o^{(1)}$ । यह बाहरी वेरिफायर कॉल या सर्च के बिना सेल्फ-करेक्शन की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

यह पेपर तीन प्राथमिक योगदान देता है:

स्ट्रक्चर्ड रिफ्लेक्टिव डेटा इंजन: एक पाइपलाइन जो कच्चे टूल-निष्पादन विफलताओं को ग्राउंडेड "Error-Reflection-Correction" सुपरविजन में बदल देती है, जिससे एजेंट शुरुआत से ही रिकवरी रणनीतियों को सीख पाते हैं।
ReGRPO एल्गोरिदम: एक नया ऑप्टिमाइज़ेशन फ्रेमवर्क जो GRPO ऑब्जेक्टिव में स्ट्रक्चर्ड रिफ्लेक्शन को एकीकृत करता है। यह रिफ्लेक्शन जनरेशन और सुधारात्मक क्रियाओं को संयुक्त रूप से अनुकूलित करता है, रिफ्लेक्शन को एक स्टेटिक प्रॉम्प्ट के बजाय एक डिसीजन वेरिएबल के रूप में मानता है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: समान बैकबोन (Qwen2-VL-7B) और टूल सूट सेटिंग्स के तहत, ReGRPO GTA और GAIA बेंचमार्क पर तुलनात्मक ओपन-सोर्स कंट्रोलर्स में सर्वश्रेष्ठ परिणाम प्राप्त करता है, जो MAT-AGENT और SPORT जैसे मजबूत बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो मल्टीमॉडल बेंचमार्क पर ReGRPO का मूल्यांकन किया:

GTA (229 कार्य): विजुअल परसेप्शन और लोकल ऑपरेशंस (जैसे, रसीद पढ़ना) पर ध्यान केंद्रित करता है।
GAIA (446 कार्य): PDF, PPTX और XLSX में डॉक्यूमेंट अंडरस्टैंडिंग, वेब नेविगेशन और लॉजिकल रीजनिंग पर ध्यान केंद्रित करता है।

मुख्य निष्कर्ष:

परफॉरमेंस: डिफॉल्ट वेरिफ़ायर-फ्री ReGRPO ( $\lambda_{val}=0$ ) ने GTA पर 67.66% आंसर एक्यूरेसी और GAIA पर 23.35% प्राप्त की। यह SPORT बेसलाइन की तुलना में महत्वपूर्ण सुधार है (GTA पर +7.40% और GAIA पर +2.74%)।
एब्लेशन स्टडीज (Ablation Studies):
- RoT SFT: वॉर्म-स्टार्ट SFT के लिए स्ट्रक्चर्ड रिफ्लेक्शन डेटा जोड़ने से स्टैंडर्ड SFT की तुलना में प्रदर्शन में सुधार हुआ, जो स्पष्ट त्रुटि निदान के महत्व को दर्शाता है।
- स्ट्रक्चर्ड बनाम फ्री-फॉर्म: स्ट्रक्चर्ड रिफ्लेक्शन (स्कीमा-कंस्ट्रेंड) ने फ्री-फॉर्म रिफ्लेक्शन से बेहतर प्रदर्शन किया, जो इंगित करता है कि ErrorType-Evidence-FixPlan स्कीमा प्रभावी लर्निंग के लिए महत्वपूर्ण है।
- वेरिफायर इंडिपेंडेंस: हालांकि एक वैकल्पिक टीचर-डेरिवड वेरिफायर रिवॉर्ड जोड़ने से मामूली लाभ हुआ, मुख्य ReGRPO पाइपलाइन बिना इसके भी अत्यधिक प्रभावी रही, जो जीरो-वेरिफायर डिप्लॉयमेंट स्ट्रैटेजी को प्रमाणित करती है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ReGRPO टूल-उपयोग करने वाले एजेंटों के एक महत्वपूर्ण अंतर को संबोधित करता है: भंगुर (brittle) सुपरवाइज्ड ट्रेसेस या महंगे बाहरी सत्यापन पर निर्भर हुए बिना विफलताओं से उबरने की क्षमता।

इंटर्नलाइजिंग करेक्शन: पिछले तरीकों के विपरीत जो रिफ्लेक्शन को टेस्ट-टाइम ह्यूरिस्टिक मानते हैं, ReGRPO सुधार लूप को पॉलिसी पैरामीटर्स में आंतरिक (internalize) कर देता है। मॉडल यह सीखता है कि कब रिफ्लेक्ट करना है और कैसे ऐसे ग्राउंडेड डायग्नोस्टिक्स उत्पन्न करने हैं जो सफल रिकवरी की ओर ले जाएं।
दक्षता (Efficiency): एक डिटरमिनिस्टिक ट्रिगर और सिंगल-पाथ निष्पादन रणनीति का उपयोग करके, ReGRPO कम लेटेंसी और डिप्लॉयमेंट दक्षता बनाए रखता है, जिससे बाहरी वेरिफायर या मल्टी-पाथ सर्च का कम्प्यूटेशनल ओवरहेड बच जाता है।
सामान्यीकरण (Generalizability): फ्रेमवर्क को बैकबोन (Qwen2-VL-7B पर प्रदर्शित) और टूल सूट के संबंध में मॉडल-अग्नोस्टिक बनाया गया है, जो मजबूत, स्वयं-सुधार करने वाले मल्टीमोडल एजेंटों को प्रशिक्षित करने के लिए एक स्केलेबल दृष्टिकोण प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि स्ट्रक्चर्ड रिफ्लेक्शन, जब ग्रुप-रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन के माध्यम से अनुकूलित किया जाता है, तो वास्तविक दुनिया के मल्टी-स्टेप कार्यों में निहित डिस्ट्रीब्यूशन शिफ्ट और टूल विफलताओं को संभालने के लिए एक मजबूत तंत्र प्रदान करता है।