AdaTIR: Adaptive Tool-Integrated Reasoning via Difficulty-Aware Policy Optimization

तकनीकी सारांश: AdaTIR

समस्या विवरण

यद्यपि टूल-इंटीग्रेटेड रीजनिंग (TIR) ने जटिल कार्यों में लार्ज लैंग्वेज मॉडल्स (LLMs) की क्षमताओं को महत्वपूर्ण रूप से बढ़ाया है, वर्तमान एजेंटों में "कॉग्निटिव ऑफलोडिंग" (cognitive offloading) की एक घातक प्रवृत्ति देखी जाती है। यह घटना उन सरल कार्यों के लिए भी बाहरी उपकरणों (tools) के अनावश्यक आह्वान को शामिल करती है जिन्हें आंतरिक तर्क (internal reasoning) के माध्यम से हल किया जा सकता था। यह व्यवहार अनावश्यक विलंबता (latency) उत्पन्न करता है, पर्यावरणीय शोर (environmental noise) को बढ़ाता है, और मॉडल की अंतर्निहित तर्क निरंतरता को कम करने का जोखिम उठाता है।

इस समस्या को कम करने वाले मौजूदा दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करते हैं:

• अनुमान-समय की बाधाएं (जैसे, प्रॉम्प्ट-स्तरीय सीमाएं) अक्सर संदर्भ विचलन (context drift) या तर्क के मृत अंत (reasoning dead-ends) की ओर ले जाती हैं जब मॉडल में आंतरिक तर्क की कमी होती है।
• प्रशिक्षण-समय रिवॉर्ड शेपिंग (जैसे, अंधाधुंध दंड) एक दुविधा पैदा करता है: सरल कार्यों पर अतिरेक (redundancy) को दबाने के लिए पर्याप्त दंड अक्सर मॉडल की बाहरी सहायता की आवश्यकता वाले जटिल कार्यों को हल करने की क्षमता को अनजाने में बाधित कर देता है।
• चिह्न उलटने की समस्या (Sign Reversal Problem): सहज रिवॉर्ड शेपिंग में, दक्षता दंड (efficiency penalties) शुद्धता पुरस्कारों (correctness rewards) से अधिक प्रभावी हो सकते हैं। जैसे-जैसे प्रशिक्षण आगे बढ़ता है और ग्रुप रोलआउट लगातार सही होते जाते हैं, सटीकता-आधारित लाभ संकेत (advantage signal) कम हो जाता है। इसके परिणामस्वरूप, औसत से अधिक टूल उपयोग वाले सही रोलआउट्स को नकारात्मक लाभ प्राप्त हो सकते हैं, जिससे वैध तर्क पथ दब जाते हैं या प्रशिक्षण अस्थिरता या मोड कोलैप्स (mode collapse) होता है।

कार्यप्रणाली: AdaTIR

लेखक AdaTIR (एडाप्टिव टूल-इंटीग्रेटेड रीजनिंग) प्रस्तावित करते हैं, जो एक ढांचा है जो स्थिर टूल आह्वान से बदलकर कठिनाई-जागरूक तर्क आंतरिककरण (difficulty-aware reasoning internalization) की ओर जाता है। यह ढांचा इस मूल अंतर्दृष्टि पर कार्य करता है कि टूल का आह्वान स्वाभाविक रूप से कठिनाई पर निर्भर होना चाहिए।

1. कठिनाई-जागरूक दक्षता पुरस्कार (Difficulty-Aware Efficiency Reward)

AdaTIR स्थिर दंड लगाने के बजाय कार्य जटिलता के आधार पर टूल बजट को गतिशील रूप से समायोजित करता है।

• बाह्य कठिनाई अनुमान (Extrinsic Difficulty Estimation): कार्य की कठिनाई ($\phi_q$) को एक प्रशिक्षण बैच के भीतर समूह सफलता दर के पूरक के रूप में अनुमानित किया जाता है। कम $\phi_q$ एक सरल कार्य को दर्शाता है; उच्च $\phi_q$ एक जटिल कार्य को दर्शाता है।
• सशर्त दंड (Conditional Penalty): रिवॉर्ड फंक्शन में एक साइन-आधारित (sine-based) दंड कारक लागू किया जाता है, लेकिन यह केवल सरल कार्यों पर सही प्रक्षेपवक्र (trajectories) के लिए होता है (जहाँ $\phi_q < \phi_{low}$)।
  • सरल कार्यों के लिए, मॉडल को अनावश्यक टूल उपयोग के लिए दंडित किया जाता है, जिससे उसे तर्क को आंतरिक रूप से आत्मसात करने के लिए मजबूर किया जाता है।
  • जटिल कार्यों के लिए, बाधाओं को शिथिल किया जाता है ताकि यह सुनिश्चित हो सके कि मॉडल आवश्यक होने पर बाहरी उपकरणों का लाभ उठाकर अपनी मजबूती बनाए रखे।
  • यह डिज़ाइन सुनिश्चित करता है कि शुद्धता प्राथमिक उद्देश्य बनी रहे, जिससे "रिवॉर्ड हैकिंग" को रोका जा सके।

2. क्लिप्ड एडवांटेज शेपिंग (Clipped Advantage Shaping - CAS)

चिह्न उलटने की समस्या और प्रशिक्षण अस्थिरता को हल करने के लिए, लेखक क्लिप्ड एडवांटेज शेपिंग (CAS) पेश करते हैं। सीधे स्केलर रिवॉर्ड को संशोधित करने के बजाय, CAS 'ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन' (GRPO) ऑब्जेक्टिव में एडवांटेज टर्म को पुनर्गठित करता है।

• डिकपलिंग (Decoupling): एडवांटेज को एक सटीकता घटक ($A_{acc}$) और एक दक्षता घटक ($A_{eff}$) में विभाजित किया गया है।
• क्लिपिंग तंत्र (Clipping Mechanism): दक्षता सिग्नल को सटीकता सिग्नल के सापेक्ष क्लिप किया जाता है:
  $$A^{CAS}_i = A^{acc}_i + r_{acc,i} \cdot \beta \cdot \text{clip}(A^{eff}_i, -\delta|A^{acc}_i| - \eta, \delta|A^{acc}_i| + \eta)$$
• चिह्न संरक्षण (Sign Preservation): सटीकता लाभ के सापेक्ष दक्षता दंड को सीमित करके, CAS यह सुनिश्चित करता है कि सही प्रक्षेपवक्र हमेशा एक सकारात्मक लाभ (या कम से कम दक्षता लागत के कारण बड़े नकारात्मक लाभ से ग्रस्त नहीं होते) बनाए रखें। यह नीति को उन उप-इष्टतम अवस्थाओं में ढलने से रोकता है जहाँ वैध तर्क पथों को दबा दिया जाता है।

मुख्य योगदान

1. AdaTIR फ्रेमवर्क: एक कठिनाई-जागरूक नीति जो टूल आह्वान को अनुकूल रूप से नियंत्रित करती है, प्रभावी रूप से सरल कार्यों पर "कॉग्निटिव ऑफलोडिंग" को दबाती है जबकि जटिल कार्यों के लिए लचीलापन बनाए रखती है।
2. क्लिप्ड एडवांटेज शेपिंग (CAS): एडवांटेज टर्म का एक गणितीय पुनर्गठन जो चिह्न निरंतरता बनाए रखता है, जिससे प्रशिक्षण अस्थिरता और मोड कोलैप्स को हल किया जाता है जो अक्सर सहज रिवॉर्ड शेपिंग में देखे जाते हैं।
3. तर्क आंतरिककरण (Reasoning Internalization): यह प्रदर्शन करना कि मॉडल सफलतापूर्वक तर्क क्षमताओं को आंतरिक रूप से आत्मसात कर सकता है, जो टूल एक्सेस को सख्ती से अक्षम (disabled) करने पर भी बेसलाइन से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम

इस पद्धति का मूल्यांकन Qwen2.5-3B और Qwen2.5-7B बैकबोन का उपयोग करके गणितीय तर्क बेंचमार्क (AIME 2024/2025, AMC23, GSM8K) पर किया गया।

• दक्षता लाभ: AdaTIR ने बेसलाइन की तुलना में सरल कार्यों (GSM8K) पर औसत टूल कॉल (ATC) को 97.6% तक और जटिल चुनौतियों (AIME 2024) पर 28.2% तक कम कर दिया।
• सटीकता बनाए रखना: पद्धति ने सभी बेंचमार्क में सटीकता को बनाए रखा या बढ़ाया। विशेष रूप से, AIME 2024 पर, AdaTIR-7B ने टूल उपयोग को कम करते हुए सटीकता में 3.3% की पूर्ण वृद्धि (33.8% $\to$ 37.1%) की।
• आंतरिककरण: बजट संवेदनशीलता विश्लेषण (जहाँ टूल कॉल को 0 पर सेट किया गया था) में, AdaTIR ने AIME 2024 पर बेसलाइन से 4.8% बेहतर प्रदर्शन किया, जो पुष्टि करता है कि मॉडल ने टूल पर निर्भरता विकसित करने के बजाय तर्क क्षमताओं को आंतरिक रूप से आत्मसात किया है।
• OTC के साथ तुलना: AdaTIR ने सटीकता और टूल उत्पादकता (TP) दोनों में OTC (ओवरयूज़ टूल कंट्रोल) बेसलाइन को पछाड़ दिया, और OTC में देखी गई प्रदर्शन गिरावट (जैसे, 14.2% सटीक मिलान में कमी) से बचा।

महत्व और दावे

पेपर का दावा है कि AdaTir एजेंटिक रीजनिंग में दक्षता और मजबूती के बीच संतुलन बनाने की मौलिक चुनौती को सफलतापूर्वक संबोधित करता है। कार्य की कठिनाई के साथ कम्प्यूटेशनल व्यय को संरेखित करके, यह ढांचा कॉस्ट-परफॉरमेंस पारेटो फ्रंटियर (Pareto frontier) को आगे बढ़ाता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण तर्क क्षमताओं के आंतरिककरण की सुविधा प्रदान करता है, जिससे मॉडल टूल-अगमेंटेड कौशल को अपने स्वयं के पैरामीटर्स में संकुचित (distill) कर सकते हैं। यह संसाधन प्रतिबंधों के तहत अनुकूलित तर्क की अनुमति देता है और "कॉग्निटिव ऑफलोडिंग" को कम करता है जो वर्तमान एजेंटों को प्रभावित करता है। CAS का परिचय एक महत्वपूर्ण पूर्व शर्त के रूप में हाइलाइट किया गया है, जो एजेंटिक रीजनिंग कार्यों में स्थिर प्रशिक्षण सुनिश्चित करता है, यह सुनिश्चित करता है कि दक्षता अनुकूलन शुद्धता या प्रशिक्षण स्थिरता की कीमत पर न हो।

हालाँकि प्राथमिक मूल्यांकन गणितीय तर्क पर केंद्रित है, सर्च-आधारित QA (Search-R1) पर प्रारंभिक परिणाम अन्य डोमेन में इसके संभावित विस्तार का सुझाव देते हैं, जैसे कि सामान्य ज्ञान पुनर्प्राप्ति (common-knowledge retrieval) को आंतरिक करना। हालाँकि, लेखक खुले कोडिंग में व्यापक सत्यापन की आवश्यकता और ह्यूरिस्टिक कठिनाई अनुमानकों (heuristic difficulty estimators) पर निर्भरता के संबंध में अपनी सीमाओं को विनम्रतापूर्वक नोट करते हैं।