तकनीकी सारांश: कब कार्रवाई न करें यह सीखना: एजेंटिक सुदृढ़ीकरण शिक्षण (Reinforcement Learning) में टूल के दुरुपयोग को कम करना

1. समस्या की परिभाषा: एजेंटिक RL में टूल का दुरुपयोग

लार्ज लैंग्वेज मॉडल्स (LLMs) में हालिया प्रगति ने एजेंटिक सुदृढ़ीकरण शिक्षण (Agentic Reinforcement Learning - RL) फ्रेमवर्क के विकास को प्रेरित किया है, जो मॉडल्स को जटिल तर्क कार्यों को हल करने के लिए बाहरी उपकरणों (जैसे सर्च इंजन, पायथन इंटरप्रेटर) के साथ बातचीत करने में सक्षम बनाते हैं। जबकि ये फ्रेमवर्क समस्या-समाधान क्षमताओं में सुधार करते हैं, वे एक महत्वपूर्ण समस्या पेश करते हैं जिसे टूल एब्यूज (tool abuse) या उपकरण का दुरुपयोग कहा जाता है।

मानक एजेंटिक RL में, मॉडल्स को मुख्य रूप से कार्य की सफलता के लिए पुरस्कृत किया जाता है। फलस्वरूप, एजेंट अक्सर जटिल तर्क के बजाय टूल आह्वान (tool invocation) को एक डिफ़ॉल्ट तर्क रणनीति के रूप में उपयोग करना सीख जाते हैं, यहाँ तक कि उन प्रश्नों के लिए भी जिन्हें आंतरिक तर्क (जैसे सरल अंकगणित या बुनियादी तथ्यात्मक प्रश्न) के माध्यम से कुशलतापूर्वक हल किया जा सकता है। यह व्यवहार निम्नलिखित कारणों की ओर ले जाता है:

• अनावश्यक गणना (Unnecessary Computation): अनावश्यक टूल कॉल विलंबता (latency) और परिनियोजन लागत (deployment costs) को बढ़ाते हैं, विशेष रूप से जब बाहरी सेवाओं का उपयोग प्रति उपयोग के आधार पर बिल किया जाता है।
• अकुशल अन्वेषण (Inefficient Exploration): टूल उपयोग पर समान दंड या कठोर सीमाएं (जैसे OTC या मानक GRPO में) कठिन प्रश्नों के लिए आवश्यक टूल उपयोग और आसान प्रश्नों के लिए अनावश्यक उपयोग के बीच अंतर करने में विफल रहती हैं। ऐसे समान प्रतिबंध वास्तव में चुनौतीपूर्ण कार्यों पर उपयोगी अन्वेषण को दबा सकते हैं या मामूली कार्यों पर दुरुपयोग को रोकने में विफल हो सकते हैं।
• प्रशिक्षण संकेतों का अभाव (Lack of Training Signals): मानक रोलआउट प्रक्रियाएं आमतौर पर टूल-उपलब्ध सेटिंग्स के तहत प्रक्षेपवक्र (trajectories) का नमूना लेती हैं। टूल-मुक्त प्रक्षेपवक्रों के बिना, प्रशिक्षण प्रक्रिया में यह निर्धारित करने के लिए प्रत्यक्ष साक्ष्य की कमी होती है कि क्या कोई प्रश्न मॉडल के आंतरिक तर्क द्वारा ही हल किया जा सकता है, जिससे आवश्यक टूल उपयोग और दुरुपयोग के बीच अंतर करना कठिन हो जाता है।

2. कार्यप्रणाली: कुशल एजेंटिक पॉलिसी ऑप्टिमाइज़ेशन (EAPO)

इन चुनौतियों से निपटने के लिए, लेखक EAPO का प्रस्ताव करते हैं, जो एक मल्टी-टूल एजेंटिक RL फ्रेमवर्क है जिसे तर्क प्रभावशीलता और टूल-उपयोग दक्षता के बीच संतुलन बनाने के लिए डिज़ाइन किया गया है। EAPO तीन मुख्य तंत्र पेश करता है:

2.1 दक्षता-जागरूक रोलआउट (Efficiency-Aware Rollout)

मानक रोलआउट के विपरीत जहाँ सभी प्रक्षेपवक्र टूल का आह्वान कर सकते हैं, EAPO यह सुनिश्चित करता है कि प्रत्येक प्रश्न के लिए, $M$ प्रक्षेपवक्रों का रोलआउट समूह कम से कम $n$ टूल-मुक्त प्रक्षेपवक्रों को शामिल करता है।

• कार्यान्वयन: प्रशिक्षण के दौरान, प्रॉम्प्ट स्पष्ट रूप से प्रक्षेपवक्रों के एक उपसमूह के लिए टूल उपयोग को प्रतिबंधित करता है, और रोलआउट मॉड्यूल इन नमूनों के लिए टूल निष्पादन को अक्षम कर देता है।
• तंत्र: यह टूल-संवर्धित और टूल-मुक्त समाधानों के बीच एक स्पष्ट अंतर पैदा करता है। यह मॉडल को यह सीखने की अनुमति देता है कि क्या टूल आह्वान किसी विशिष्ट प्रश्न के लिए वास्तविक प्रदर्शन सुधार प्रदान करता है।
• दक्षता गुणांक (Efficiency Coefficient): प्रत्येक प्रक्षेपवक्र के लिए एक दक्षता गुणांक $\varepsilon(T_i) = \exp(-\beta(c_i - c_{min}))$ की गणना की जाती है, जहाँ $c_i$ टूल कॉल्स की संख्या है और $c_{min}$ समूह में सही प्रक्षेपवस्यों के बीच न्यूनतम टूल कॉल्स है। यह समूह में सबसे कुशल सही समाधान के सापेक्ष अनावश्यक टूल कॉल्स वाले प्रक्षेपवक्यों को दंडित करता है।

2.2 कठिनाई-जागरूक पुरस्कार शेपिंग (Difficulty-Aware Reward Shaping)

कठिन कार्यों पर सीखने में बाधा डालने वाले अत्यधिक आक्रामक दंडों से बचने के लिए, EAPO पुरस्कार संकेत में प्रश्न की अंतर्निहित कठिनाई को शामिल करता है।

• प्रश्न की कठिनाई ($d(q)$): इसे $1 - \frac{1}{M}\sum I(T_i)$ के रूप में परिभाषित किया गया है, जहाँ $I(T_i)$ प्रक्षेपवक्र की शुद्धता को दर्शाता है। यदि एक समूह में अधिकांश प्रक्षेपवक्र गलत हैं, तो प्रश्न को कठिन माना जाता है।
• पुरस्कार समायोजन: समायोजित पुरस्कार $\tilde{R}_i$ की गणना इस प्रकार की जाती है:
  $$\tilde{R}_i = [d(q) + (1 - d(q))\varepsilon(T_i)] R_i$$
  • आसान प्रश्नों के लिए (कम $d(q)$), पुरस्कार दक्षता गुणांक $\varepsilon(T_i)$ द्वारा भारी रूप से नियंत्रित होता है, जो अनावश्यक टूल उपयोग को कड़ाई से दंडित करता है।
  • कठिन प्रश्नों के लिए (उच्च $d(q)$), पुरस्कार मूल शुद्धता पुरस्कार $R_i$ पर अधिक निर्भर करता है, जो टूल-सहायता समाधानों का अन्वेषण करने के प्रोत्साहन को बनाए रखता है भले ही उनमें अधिक कॉल्स शामिल हों।

2.3 विश्वास-जागरूक लाभ पुनर्रचना (Confidence-Aware Advantage Reweighting)

EAPO मॉडल की पीढ़ी विश्वास ($C_t = \log p_t(y_t)$) के आधार पर टोकन के भार को समायोजित करके पॉलिसी लर्निंग को परिष्कृत करता है।

• रणनीति:
  • सही उत्तर: वे टोकन जिनका विश्वास कम ($\rho$-quantile से नीचे) है, उन्हें अप-वेट ($W_{pos}$) किया जाता है, जो अनिश्चित लेकिन सही तर्क चरणों से मिलने वाले लर्निंग सिग्नल पर जोर देता है।
  • गलत उत्तर: वे टोकन जिनका विश्वास उच्च ($1-\rho$-quantile से ऊपर) है, उन्हें डाउन-वेट ($W_{neg}$) किया जाता है, जिससे अति-आत्मविश्वासी त्रुटियों के प्रभाव को कम किया जा सके।
• लक्ष्य: यह पुनर्रचना उच्च-सूचना-घनत्व वाले टोकन पर ध्यान केंद्रित करके और आत्मविश्वासी गलतियों से होने वाले शोर को कम करके अधिक प्रभावी पॉलिसी सीखने में मदद करती है।

3. प्रमुख योगदान

1. दक्षता-जागरूक रोलआउट तंत्र: एक नवीन प्रशिक्षण रणनीति जो टूल-मुक्त प्रक्षेपवक्र पेश करती है ताकि मॉडल आवश्यक टूल उपयोग और अत्यधिक निर्भरता के बीच अंतर कर सके।
2. EAPO फ्रेमवर्क: एक संयुक्त अनुकूलन ढांचा जो तर्क प्रदर्शन और टूल-उपयोग दक्षता को एक साथ सुधारने के लिए कठिनाई-जागरूक पुरस्कार शेपिंग और विश्वास-जागरूक टोकन पुनर्रचना को जोड़ता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): नौ बेंचमार्क (गणितीय और ज्ञान-गहन) और कई मॉडल परिवारों (Qwen2.5-3B/7B, Llama3.1-8B) में व्यापक प्रयोग जो सटीकता-दक्षता ट्रेड-ऑफ में निरंतर सुधार प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने बेस (कोई टूल नहीं), TIR (प्रॉम्प्ट-आधारित टूल उपयोग), GRPO, Reinforce++, ToolStar, ARPO, और AEPO सहित बेसलाइन्स के विरुद्ध EAPO का मूल्यांकन किया।

• प्रदर्शन लाभ: EAPO ने सभी बेंचमार्क में लगातार सर्वश्रेष्ठ या दूसरा सर्वश्रेष्ठ प्रदर्शन किया।
  • GRPO की तुलना में, EAPO ने औसत प्रदर्शन में 10.45% (Qwen2.5-3B), 7.27% (Qwen2.5-7B), और 9.69% (Llama3.1-8B) का सुधार किया।
  • गणितीय तर्क (Pass@1) और ज्ञान-गहन कार्यों (F1) पर, EPO ने ARPO और AEPO जैसे मजबूत बेसलाइन्स को पछाड़ दिया।
• दक्षता लाभ: EAPO ने सटीकता से समझौता किए बिना अनावश्यक टूल उपयोग को काफी कम कर दिया।
  • GRPO की तुलना में, EAPO ने औसत टूल कॉल्स में 18.33% (Qwen2.5-3B), 18.33% (Qwen2.5-7B), और 24.59% (Llama3.1-8B) की कमी की।
  • यह कमी 3B मॉडलों की तुलना में 7B मॉडलों पर अधिक स्पष्ट थी, जो बताता है कि छोटे मॉडलों में कम अनावश्यक टूल उपयोग को समाप्त करने की आवश्यकता होती है।
• एब्लेशन अध्ययन (Ablation Studies): कोल्ड-स्टार्ट SFT को हटाने से सबसे बड़ी गिरावट आई। रिवॉर्ड शेपिंग को हटाने से QA कार्यों पर टूल कॉल्स में भारी वृद्धि हुई। एडवांटेज रीवेटिंग को हटाने से पॉलिसी अधिक रूढ़िवादी हो गई।
• हाइपरपैरामीटर संवेदनशीलता: फ्रेमवर्क टूल पेनल्टी पैरामीटर $\beta$ और कॉन्फिडेंस रीवेटिंग वेट के प्रति मजबूत है, बशर्ते वे उचित रेंज के भीतर हों।

5. महत्व और दावे

यह शोध दावा करता है कि EAPO यह प्रदर्शित करता है कि एजेंटिक मॉडल्स टूल-एकीकृत तर्क के लाभों से समझौता किए बिना कब टूल का उपयोग नहीं करना है यह सीख सकते हैं।

• प्रतिमान में बदलाव (Shift in Paradigm): यह कार्य केवल टूल की आवृत्ति को कम करने से आगे बढ़कर प्रश्न की कठिनाई और अंतर्निहित क्षमता के आधार पर अनावश्यक टूल उपयोग की पहचान करने और उसे दंडित करने की ओर बढ़ता है।
• व्यावहारिक परिनियोजन: सटीकता-दक्षता ट्रेड-ऑफ में सुधार करके, EAPO एजेंटिक RL को व्यावहारिक परिनियोजन के लिए अधिक उपयुक्त बनाता है जहाँ टूल का उपयोग गैर-मामूली कम्प्यूटेशनल और वित्तीय लागत उत्पन्न करता है।
• सीमाएँ: लेखक नोट करते हैं कि वर्तमान बेंचमार्क मुख्य रूप से कठिन समस्याओं पर केंद्रित हैं। प्रभावशीलता और दक्षता दोनों का मूल्यांकन करने के लिए एक "आसान-से-कठिन" डेटासेट की आवश्यकता है, जो भविष्य के मूल्यांकन प्रतिमानों के लिए एक क्षेत्र है।

संक्षेप में, EPO एक संरचित दृष्टिकोण प्रदान करता है जो एजेंटों को आंतरिक तर्क और बाहरी टूल आह्वान के बीच संतुलन बनाना सिखाता है, यह सुनिश्चित करता है कि टूल तर्क के पूरक के रूप में उपयोग किए जाएं न कि एक डिफ़ॉल्ट बैसाखी के रूप में।