💬 NLP

RC-GRPO: Reward-Conditioned Group Relative Policy Optimization for Multi-Turn Tool Calling Agents

यह शोध पत्र RC-GRPO का प्रस्ताव करता है, जो एक नवीन ढांचा है जो प्रक्षेपवक्र पीढ़ी (trajectory generation) को अनुकूलित करने और रोलआउट्स में विविधता लाने के लिए डिस्क्रीट रिवॉर्ड टोकन को इंजेक्ट करके LLMs में मल्टी-टर्न टूल कॉलिंग को बढ़ाता है, जिससे कम भीतर-समूह रिवॉर्ड भिन्नता के कारण होने वाली वैनिशिंग अपडेट समस्या पर विजय प्राप्त होती है और BFCLv4 बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Haitian Zhong, Jixiu Zhai, Lei Song, Jiang Bian, Qiang Liu, Tieniu Tan

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haitian Zhong, Jixiu Zhai, Lei Song, Jiang Bian, Qiang Liu, Tieniu Tan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन कठोर रोबोट सहायक को एक जटिल, बहु-चरणीय पहेली को हल करने के लिए उपकरणों (जैसे कैलकुलेटर, कैलेंडर, या सर्च इंजन) का उपयोग करना सिखा रहे हैं।

समस्या: "परफेक्ट स्टूडेंट" का जाल

आमतौर पर, इस रोबोट को सिखाने के लिए, आप पहले उसे आदर्श समाधानों के उदाहरण दिखाते हैं (सुपरवाइज्ड फाइन-ट्यूनिंग, या SFT)। रोबोट इन्हें पूरी तरह से सीख लेता है और एक "ए-ग्रेड छात्र" बन जाता है।

फिर, आप इसे GRPO नामक एक विधि का उपयोग करके और भी बेहतर सिखाने की कोशिश करते हैं। GRPO को ऐसे समझें जैसे एक कोच छात्रों का एक समूह इकट्ठा करता है, उन्हें एक ही पहेली देता है, और उन्हें अलग-अलग समाधान आज़माने के लिए कहता है। कोच उनके परिणामों की तुलना करता है: "तुमने अच्छा किया, तुमने खराब किया, तुम औसत रहे।" जो छात्र बेहतर प्रदर्शन करते हैं उन्हें बढ़ावा मिलता है; जो खराब प्रदर्शन करते हैं उन्हें कुछ और प्रयास करने के लिए प्रेरित किया जाता है।

पकड़ (The Catch): क्योंकि रोबोट को "परफेक्ट" उदाहरणों पर इतनी अच्छी तरह से प्रशिक्षित किया गया था, इसलिए जब भी आप समूह को प्रयास करने के लिए कहते हैं, वे सभी बिल्कुल एक ही समाधान के साथ वापस आते हैं। वे सभी एक ही तरह से "परफेक्ट" और उबाऊ होते हैं।

कोच समूह को देखता है और कहता है: "खैर, हर कोई 10/10 लाया है।"
चूंकि उनके बीच कोई अंतर नहीं है, इसलिए कोच किसी को भी सुधार करने के लिए नहीं कह सकता। सीखने का संकेत (learning signal) लुप्त हो जाता है। रोबोट एक नए तरीके से पहेली को हल करने के लिए प्रयोग करने में असमर्थ होकर फंस जाता है क्योंकि वह उस "परफेक्ट" रास्ते से भटकने से बहुत डरता है जिसे वह पहले से जानता है।

समाधान: RC-GRPO (द "मूड रिंग" स्ट्रैटेजी)

लेखक इस समस्या को ठीक करने के लिए एक नई विधि प्रस्तावित करते हैं जिसे RC-GRPO कहा जाता है। रोबोट को खुद से कुछ अलग करने की उम्मीद करने के बजाय, वे काम शुरू करने से पहले रोबोट को एक "मूड रिंग" या एक विशिष्ट निर्देश टोकन देते हैं।

चरण 1: रोबोट को आदेश पर अलग व्यवहार करना सिखाना (RCTP)
सबसे पहले, वे रोबोट को कहानियों के एक मिश्रित संग्रह पर प्रशिक्षित करते हैं: कुछ जहाँ वह सफल रहा (High Reward) और कुछ जहाँ वह विफल रहा (Low Reward)। महत्वपूर्ण रूप से, वे प्रत्येक कहानी के साथ एक विशेष टैग जोड़ते हैं, जैसे <|High Reward|> या <|Low Reward|>।

रोबोट सीखता है: "जब मैं <|High Reward|> टैग देखता हूँ, तो मुझे परफेक्ट होने की कोशिश करनी चाहिए। जब मैं <|Low Reward|> टैग देखता हूँ, तो मुझे एक अलग, शायद अधिक जोखिम भरा या सरल रास्ता अपनाना चाहिए।"
अब, रोबोट केवल एक कठोर छात्र नहीं है; वह एक गिरगिट (chameleon) है जो टैग के आधार पर अपने व्यवहार के विभिन्न "मोड्स" के बीच स्विच कर सकता है।

चरण 2: कोच का नया खेल (रिवॉर्ड-कंडीशन्ड GRPO)
अब, जब कोच (RL एल्गोरिदम) पहेली सुलझाने के लिए समूह को इकट्ठा करता है, तो वे केवल "जाओ!" नहीं कहते।

वे प्रत्येक छात्र को एक अलग टैग सौंपते हैं।
छात्र A को <|High Reward|> मिलता है और वह परफेक्ट होने की कोशिश करता है।
छात्र B को <|Low Reward|> मिलता है और वह एक अलग, शायद थोड़ा अस्त-व्यस्त दृष्टिकोण आज़माता है।
छात्र C को फिर से <|High Reward|> मिलता है, लेकिन शायद वह एक थोड़ा अलग परफेक्ट रास्ता आज़माता है।
क्योंकि छात्र अब अपने टैग के आधार पर अलग व्यवहार करने के लिए अनुकूलित (conditioned) हैं, इसलिए समूह में विविधता होती है।
कोच अब देख सकता है: "छात्र A को 10 मिला, छात्र B को 2 मिला, छात्र C को 9 मिला।"
अब एक स्पष्ट अंतर है! कोच उपयोगी फीडबैक दे सकता है: "छात्र B, छात्र A की तरह बनने की कोशिश करो।"
यह सीखने के इंजन को सुचारू रूप से चलता रहता है।

यह क्यों काम करता है (उपमा)

पुराने तरीके में, रोबोट एक ऐसे गायक दल (choir) की तरह था जहाँ हर कोई बिल्कुल एक ही सुर को पूरी तरह से गा रहा था। कंडक्टर यह नहीं बता सकता था कि कौन बेहतर गा रहा है क्योंकि वे सभी एक जैसे थे।

नई RC-GRPO विधि में, कंडक्टर प्रत्येक गायक को एक अलग शीट म्यूजिक (High बनाम Low reward टैग) देता है। अचानक, गायक दल विविध सुनाई देता है। कंडक्टर अंतर सुन सकता है, सबसे अच्छे सुरों को चुन सकता है, और गायकों को सुधारने के लिए मार्गदर्शन कर सकता है।

परिणाम

पेपर ने इसका परीक्षण BFCLv4 नामक एक बेंचमार्क पर किया, जो उपकरणों का उपयोग करने वाले AI एजेंटों के लिए एक कठिन परीक्षा की तरह है।

पुराना तरीका: रोबोट फंस गया और बहुत अधिक सुधार नहीं कर सका।
नया तरीका (RC-GRPO): रोबोट बहुत तेज़ी से सीखा और अधिक पहेलियाँ सही ढंग से हल कीं।
बड़ी जीत: एक विशिष्ट टेस्ट मॉडल (Qwen-2.5-7B) पर, इस नई विधि ने ओपन-सोर्स रोबोट को उन सभी प्रसिद्ध, महंगे "क्लोज्ड-सोर्स" रोबोट्स (जैसे बड़ी टेक कंपनियों के) को हराने में सक्षम बनाया जो आमतौर पर इन परीक्षाओं में जीतते हैं।

सारांश

यह पेपर इस समस्या को हल करता है जहाँ AI उदाहरणों की नकल करने में बहुत अच्छा हो जाता है और सीखना बंद कर देता है। AI को एक साधारण "रिवॉर्ड टैग" के आधार पर जानबूझकर अलग व्यवहार करने के लिए सिखाकर, वे AI को विभिन्न रास्तों का पता लगाने के लिए मजबूर करते हैं, जिससे वह तेज़ी से सीख पाता है और उपकरणों का उपयोग करने में अधिक स्मार्ट बन जाता है।

तकनीकी सारांश: मल्टी-टर्न टूल कॉलिंग एजेंटों के लिए RC-GRPO

1. समस्या विवरण

मल्टी-टर्न टूल कॉलिंग (multi-turn tool calling) लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए महत्वपूर्ण चुनौतियाँ पेश करती है क्योंकि इसमें रिवॉर्ड्स की कमी (sparsity of rewards) और एक्सप्लोरेशन की उच्च लागत होती है। हालांकि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) एक लोकप्रिय सुदृढीकरण शिक्षण (Reinforcement Learning - RL) विधि है जो अलग से क्रिटिक नेटवर्क की आवश्यकता को समाप्त करती है, लेकिन यह सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से शुरू किए गए मल्टी-टर्न टूल एजेंटों पर लागू होने पर एक गंभीर विफलता मोड का सामना करती है।

मुख्य मुद्दा "परफेक्शन का विरोधाभास" (paradox of perfection) है। जब एक LLM को इष्टतम प्रदर्शन (optimal demonstrations) पर SFT-प्रशिक्षित किया जाता है, तो यह एक अत्यधिक पीक्ड पॉलिसी (एक मजबूत "गोल्डन-पाथ" प्रायर) विकसित कर लेता है। GRPO प्रशिक्षण के दौरान, यह रोलआउट समूहों में कम विविधता (low diversity) की ओर ले जाता है; कई सैंपल किए गए ट्राजेक्टरीज अक्सर समान रिवॉर्ड प्राप्त करते हैं (जैसे, सभी 0 या सभी 1)। इसके परिणामस्वरूप, समूह के भीतर मानक विचलन ( $\sigma_g$ ) शून्य के करीब पहुँच जाता है, जिससे ग्रुप-नॉर्मलाइज्ड एडवांटेज सिग्नल विकृत ( $A_j \approx 0$ ) हो जाता है। इससे ग्रेडिएंट्स लुप्त (vanishing gradients) हो जाते हैं और सीखना रुक जाता है, विशेष रूप से आंशिक रूप से अवलोकन योग्य (partially observable) वातावरण में जहाँ स्थानीय आत्मविश्वास (local confidence) दोहराव वाले, छोटे-क्षितिज वाले व्यवहारों की ओर ले जा सकता है।

2. कार्यप्रणाली: RC-GRPO

लेखक RC-GRPO (रिवॉर्ड-कंडीशनड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) का प्रस्ताव करते हैं, जो एक दो-चरणीय पाइपलाइन है जिसे भीतर-समूह विविधता (within-group diversity) को सैंपलिंग टेम्परेचर के उपोत्पाद के बजाय एक नियंत्रणीय चर के रूप में मानने के लिए डिज़ाइन किया गया है।

चरण 1: रिवॉर्ड-कंडीशनड ट्राजेक्टरी पॉलिसी (RCTP) फाइन-ट्यूनिंग

RL से पहले, बेस LLM को रिवॉर्ड-कंडीशनड ट्राजेक्टरी पॉलिसी (RCTP) में फाइन-ट्यून किया जाता है।

डेटा निर्माण: एक मिश्रित-गुणवत्ता वाला डेटासेट बनाया जाता है जिसमें ट्राजेक्टरीज को डिस्क्रीट रिवॉर्ड गोल टोकन्स (जैसे, सफलता के लिए <|high reward|> और विफलता के लिए <|low reward|>) के साथ जोड़ा जाता है।
उद्देश्य: मॉडल को इतिहास और विशिष्ट रिवॉर्ड टोकन दोनों पर आधारित क्रियाओं के लॉग-लाइक्लीहुड को अधिकतम करने के लिए प्रशिक्षित किया जाता है: $\pi_\theta(a_t | h_t, r)$ ।
परिणाम: पॉलिसी मांग के अनुसार विशिष्ट गुणवत्ता वाली ट्राजेक्टरीज उत्पन्न करना सीख जाती है। <|high reward|> पर कंडीशन करने से इष्टतम क्रियाएं निकलती हैं, जबकि <|low reward|> प्रशंसनीय विफलता मोड (failure modes) उत्पन्न करता है।

चरण 2: रिवॉर्ड-कंडीशनड GRPO

RCTP, RL चरण के लिए इनिशियलाइजेशन के रूप में कार्य करता है।

नियंत्रित सैंपलिंग: प्रत्येक प्रॉम्प्ट के लिए, $G$ ट्राजेक्टरीज का एक समूह जेनरेट किया जाता है। मानक GRPO के विपरीत, जो एक एकल अनकंडीशनल पॉलिसी से सैंपल करता है, RC-GRPO एक निश्चित वितरण $P_{sample}(r)$ से प्रत्येक ट्राजेक्टरी के लिए एक डिस्क्रीट रिवॉर्ड टोकन $r_j$ सैंपल करता है।
कंडीशनड रोलआउट: प्रत्येक ट्राजेक्टरी $\tau_j$ को उसके विशिष्ट टोकन $r_j$ पर आधारित होकर जेनरेट किया जाता है (अर्थात, $a_{t,j} \sim \pi_\theta(\cdot | h_{t,j}, r_j)$ )।
एडवांटेज कैलकुलेशन: क्योंकि समूह में विभिन्न रिवॉर्ड मोड्स (उच्च बनाम निम्न) पर आधारित ट्राजेक्टरीज शामिल हैं, इसलिए समूह के भीतर रिवॉर्ड वेरिएंस को स्पष्ट रूप से इंजेक्ट किया जाता है। यह सुनिश्चित करता है कि ग्रुप-नॉर्मलाइज्ड एडवांटेज $A_j = \frac{R(\tau_j) - \mu_g}{\sigma_g + \epsilon}$ गैर-विकृत (non-degenerate) और सूचनात्मक बना रहे।
रिवॉर्ड फंक्शन: एक एकीकृत ट्राजेक्टरी-लेवल रिवॉर्ड $R(\tau)$ का उपयोग किया जाता है, जो स्टेट कंसिस्टेंसी ( $R_{state}$ ) और आवश्यक एक्शन कवरेज ( $R_{action}$ ) के गुणनफल के रूप में परिभाषित है, जिसके परिणामस्वरूप एक बाइनरी सक्सेस सिग्नल (सफलता के लिए 1, विफलता के लिए 0) मिलता है।

3. प्रमुख योगदान

RC-GRPO फ्रेमवर्क: एक रिवॉर्ड-कंडीशनड दृष्टिकोण का परिचय जो डिस्क्रीट रिवॉर्ड टोकन्स के माध्यम से एक्सप्लोरेशन को एक नियंत्रणीय स्टीयरिंग समस्या में बदल देता है, जिससे पीक्ड पॉलिसियों में लुप्त होते एडवांटेज की समस्या को रोका जा सकता है।
दो-चरणीय पाइपलाइन: RCTP फाइन-ट्यूनिंग (मिश्रित-गुणवत्ता वाले डेटा पर) के बाद रिवॉर्ड-कंडीशनड GRPO का एक विशिष्ट वर्कफ़्लो, जो यह सुनिश्चित करता है कि पॉलिसी प्रभावी ग्रुप-रिलेटिव अपडेट के लिए आवश्यक विविध व्यवहार उत्पन्न कर सके।
अनुभवजन्य सत्यापन (Empirical Validation): LLaMA-3.1-8B-Instruct और Qwen2.5-7B-Instruct का उपयोग करके बर्कले फंक्शन कॉलिंग लीडरबोर्ड v4 (BFCLv4) मल्टी-टर्न बेंचमार्क पर व्यापक प्रयोग।
सैद्धांतिक और डायनेमिक विश्लेषण:
- सैद्धांतिक: एक वेरिएंस-आधारित विश्लेषण (प्रपोजिशन 4.2 और 4.3) जो दर्शाता है कि मानक GRPO तब कोलैप्स हो जाता है जब $\sigma_g \to 0$ होता है (पीक्ड SFT पॉलिसियों के कारण), जबकि रिवॉर्ड कंडीशनिंग समूह के भीतर वेरिएंस पर एक निचली सीमा (lower bound) की गारंटी देता है।
- डायनेमिक: साक्ष्य जो दिखाते हैं कि RC-GRPO प्रदर्शन में सुधार करता है और साथ ही पॉलिसी एंट्रॉपी (entropy) को भी कम करता है, जो यह सिद्ध करता है कि लाभ बढ़ी हुई रैंडमनेस के बजाय स्ट्रक्चर्ड वेरिएंस इंजेक्शन से संचालित हैं।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन BFCLv4 मल्टी-टर्न स्प्लिट पर किया गया।

Qwen2.5-7B-Instruct: पूर्ण RC-GRPO पाइपलाइन ने 85.00% समग्र सटीकता प्राप्त की। इसने बेस मॉडल (11.25%) और मानक SFT+GRPO (48.75%) को काफी पीछे छोड़ दिया, और यहाँ तक कि सभी मूल्यांकित क्लोज्ड-सोर्स API मॉडल्स (जिनमें से सर्वश्रेष्ठ Opus-4.5, 61.25% प्राप्त किया) को भी पछाड़ दिया।
LLaMA-3.1-8B-Instruct: विधि ने 48.75% सटीकता प्राप्त की, जो SFT+GRPO (35.00%) और बेस मॉडल (0.00%) से बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- RCTP की आवश्यकता: मानक SFT इनिशियलाइजेशन में रिवॉर्ड कंडीशनिंग जोड़ने से नगण्य लाभ हुआ। हालाँकि, RC-GRPO के तहत इनिशियलाइजेशन को RCTP-FT में बदलने से भारी सुधार हुआ (+Qwen2.5-7B पर +38.75%)।
- मैकेनिज्म: ट्रेनिंग डायनेमिक्स के विश्लेषण से पता चला कि RC-GRPO कम एंट्रॉपी और रिवॉर्ड के बीच नेगेटिव कोरिलेशन के साथ उच्च प्रदर्शन प्राप्त करता है, जो मानक GRPO के विपरीत है जहाँ प्रदर्शन उच्च एंट्रॉपी पर निर्भर करता है।

5. महत्व और दावे

यह पेपर एक मौलिक सीमा को संबोधित करने का दावा करता है जो मजबूत, SFT-इनिशियलाइज्ड एजेंटों को लागू करने में ग्रुप-आधारित RL को प्रभावित करती है: पर्याप्त विविधता की कमी के कारण लर्निंग सिग्नल का कोलैप्स होना।

नियंत्रित विविधता (Controlled Diversity): यह कार्य प्रदर्शित करता है कि RL रोलआउट्स में विविधता को स्टोकैस्टिक सैंपलिंग टेम्परेचर के बजाय कंडीशनिंग टोकन्स के माध्यम से स्पष्ट रूप से नियंत्रित किया जा सकता है, जो अक्सर पीक्ड पॉलिसियों के लिए अपर्याप्त होता है।
रैंडमनेस के बजाय स्थिरता: लेखक तर्क देते हैं कि देखे गए सुधार बढ़ी हुई रैंडमनेस (एंट्रॉपी) के कारण नहीं हैं, बल्कि स्ट्रक्चर्ड वेरिएंस के माध्यम से सूचनात्मक, गैर-लुप्त होने वाले एडवांटेज सिग्नल्स की बहाली के कारण हैं।
व्यावहारिक प्रभाव: जटिल मल्टी-टर्न टूल कॉलिंग कार्यों पर क्लोज्ड-सोर्स API मॉडल्स से बेहतर प्रदर्शन करने में सक्षम बनाकर, यह विधि क्रिटिक नेटवर्क के कम्प्यूटेशनल ओवरहेड या मानक GRPO की अस्थिरता के बिना मजबूत एजेंटिक सिस्टम को प्रशिक्षित करने का एक स्केलेबल मार्ग प्रदान करती है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि हालांकि वे विधि की स्थिरता के लिए एक वेरिएंस-आधारित सैद्धांतिक स्पष्टीकरण प्रदान करते हैं, वे मल्टी-टर्न एजेंट ट्रेनिंग डायनेमिक्स के पूर्ण सिद्धांत का दावा नहीं करते हैं। मुख्य योगदान स्पार्स रिवॉर्ड वातावरण में "लुप्त होते अपडेट" (vanishing update) की समस्या के समाधान के रूप में कंट्रोलेबल जनरेशन और ग्रुप-बेस्ड RL को एक एकीकृत समाधान के रूप में प्रस्तुत करना है।