तकनीकी सारांश: पैटर्न-जागरूक टूल-एकीकृत तर्क (Pattern-Aware Tool-Integrated Reasoning)

समस्या की परिभाषा

टूल-एकीकृत तर्क (TIR) लार्ज रीजनिंग मॉडल्स (LRMs) को बेहतर बनाने के लिए एक महत्वपूर्ण प्रतिमान (paradigm) के रूप में उभरा है, जो उन्हें बाहरी सत्यापनकर्ताओं (verifiers), जैसे कि कोड इंटरप्रेटर्स, के साथ बातचीत करने में सक्षम बनाता है ताकि निष्पादित (executable) और सत्यापन योग्य तर्क चरणों का उत्पादन किया जा सके। जबकि पूर्व शोध मुख्य रूप से इस बात पर केंद्रित रहा है कि टूल्स को कब बुलाया जाए (जैसे, समय और मल्टी-राउंड कॉल्स), यह कार्य इस समझ में एक महत्वपूर्ण अंतराल की पहचान करता है कि एक बार बुलाए जाने के बाद टूल्स का उपयोग कैसे किया जाता है।

लेखक देखते हैं कि मॉडल अक्सर पैटर्न मिसमैच (pattern mismatch) से ग्रस्त होते हैं, जहाँ टूल को लागू करने के लिए उपयोग की जाने वाली रणनीति समस्या की विशिष्ट मांगों के साथ संरेखित नहीं होती है। यह शोध पत्र दो अलग-अलग उपयोग पैटर्न को औपचारिक रूप देता है:

1. कैलकुलेटर-पैटर्न (Calculator-pattern): सीधे गणना या मध्यवर्ती अंकगणितीय चरणों के सत्यापन के लिए कोड का उपयोग करना।
2. एल्गोरिद्मिक-पैटर्न (Algorithmic-pattern): इसे हल करने के लिए पूरी समस्या के तर्क को एक पूर्ण प्रोग्राम में एनकोड करना।

शोध यह प्रदर्शित करता है कि विफलताएं अक्सर तर्क क्षमता की कमी के कारण नहीं, बल्कि गलत पैटर्न चुनने के कारण होती हैं। उदाहरण के लिए, कैलकुलेटर-पैटर्न के माध्यम से $1000!$ की सीधी गणना करने का प्रयास करने से ओवरफ्लो त्रुटियां (overflow errors) होती हैं, जबकि बीजगणितीय सरलीकरण (algebraic simplification) वाले एल्गोरिद्मिक दृष्टिकोण से सफलता मिलती है। इसके विपरीत, $\pi$ में अभाज्य संख्या (prime) खोजने के लिए एक सिम्बोलिक एल्गोरिद्मिक दृष्टिकोण संदर्भ सीमाओं (context limits) के कारण विफल हो सकता है, जबकि एक स्कैनिंग (कैलकुलेटर-शैली) दृष्टिकोण सफल होता है।

कार्यप्रणाली (Methodology)

पैटर्न मिसमैच को संबोधित करने के लिए, लेखक एक दो-चरणीय शिक्षण ढांचे (two-stage learning framework) का प्रस्ताव करते हैं:

1. प्रशिक्षण सेट निर्माण (Training Set Construction)

लेखक एक डेटासेट का निर्माण करते हैं जहाँ प्रत्येक समस्या $x$ को दो अलग-अलग समाधानों के साथ जोड़ा गया है:

• चुना गया समाधान ($y^+$): वह समाधान जो एक शिक्षक मॉडल द्वारा सबसे उपयुक्त माने गए पैटर्न का उपयोग करता है।
• प्रति-समाधान ($y^-$): वह समाधान जो वैकल्पिक पैटर्न का उपयोग करता है।
  निरंतरता सुनिश्चित करने के लिए दोनों समाधान एक मानकीकृत आउटपुट स्कीमा (तर्क $\to$ पायथन ब्लॉक $\to$ आउटपुट $\to$ अंतिम उत्तर) का पालन करते हैं।

2. चरण एक: कोड सक्षमता प्राप्ति (Code Competence Acquisition)

मॉडल को दोनों पैटर्न के संयुक्त डेटासेट ($D_{SFT} = \{(x_i, y_{alg}), (x_i, y_{calc})\}$) पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से प्रशिक्षित किया जाता है।

• उद्देश्य: रिस्पॉन्स टोकन पर नेगेटिव लॉग-लाइक्लीहुड (negative log-likelihood) को कम करना।
• लक्ष्य: यह सुनिश्चित करना कि मॉडल किसी विशिष्ट रणनीति के प्रति पक्षपाती हुए बिना दोनों पैटर्न के लिए विश्वसनीय कोड उत्पन्न करना सीखे, जिससे टूल के उपयोग के लिए एक स्थिर आधार स्थापित हो सके।

3. चरण दो: पैटर्न प्राथमिकता संरेखण (Pattern Preference Alignment)

SFT के बाद, मॉडल डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन (DPO) के माध्यम से पैटर्न चयन रणनीति को सीखने के लिए प्रशिक्षित किया जाता है।

• तंत्र: एक फ्रोजन रेफरेंस पॉलिसी ($\pi_{ref}$, SFT मॉडल) का उपयोग करते हुए, मॉडल को "विजेता" (पैटर्न-उपयुक्त) समाधान की संभावना को "हारने वाले" (मिसमैच्ड) समाधान की तुलना में बढ़ाने के लिए प्रशिक्षित किया जाता है।
• उद्देश्य: $\sigma(\beta [\log \pi_\theta(y^+) - \log \pi_\theta(y^-) - (\log \pi_{ref}(y^+) - \log \pi_{ref}(y^-))])$ को अधिकतम करना।
• लक्ष्य: मॉडल के पैटर्न चयन को शिक्षक की प्राथमिकताओं के साथ संरेखित करना, जिससे इसे समस्या के संदर्भ के आधार पर अपनी रणनीति अनुकूलित करने में सक्षम बनाया जा सके।

प्रमुख योगदान

1. पैटर्न मिसमैच का औपचारिकीकरण: यह कार्य उस घटना की पहचान करता है और उसे औपचारिक रूप देता है जहाँ गलत टूल-उपयोग रणनीतियां अन्यथा सुदृढ़ तर्क को बाधित कर देती हैं, जो कैलकुलेटर और एल्गोरिद्मिक पैटर्न के बीच अंतर करती हैं।
2. दो-चरणीय ढांचा: एक नया ढांचा प्रस्तावित करना जो पहले SFT के माध्यम से दोहरी-पैटर्न कोड सक्षमता बनाता है और फिर DPO के माध्यम से रणनीति चयन को परिष्कृत करता है, जिससे एक अलग रिवॉर्ड मॉडल की आवश्यकता समाप्त हो जाती है।
3. अनुभवजन्य सत्यापन: यह प्रदर्शन करना कि टूल्स का उपयोग कैसे किया जाता है, इसका मॉडलिंग करने से चुनौतीपूर्ण गणितीय बेंचमार्क पर कोड विश्वसनीयता और एंड-टास्क सटीकता दोनों में महत्वपूर्ण सुधार होता है।

प्रयोगात्मक परिणाम

इस ढांचे का मूल्यांकन प्रशिक्षण के लिए OpenR1-Math-220k डेटासेट पर किया गया और आउट-ऑफ-डोमेन बेंचमार्क: MATH500, AIME24, और AMC23 पर परीक्षण किया गया। बेस मॉडल R1-Distill-Qwen-1.5B का उपयोग किया गया था।

मुख्य प्रदर्शन मेट्रिक्स:

• Code@1 (निष्पादनीय कोड जनरेशन):
  • MATH500 पर, Code@1 64.0% (केवल SFT) से बढ़कर 70.5% (SFT + DPO) हो गया।
  • AIME24 पर, Code@1 26.7% से बढ़कर 50.0% हो गया।
  • GSM8K पर, Code@1 72.0% से बढ़कर 80.1% हो गया।
• Pass@1 (कुल सटीकता):
  • AIME24 पर, कुल सटीकता 26.7% से बढ़कर 50.0% हो गई।
  • MATH500 पर, सटीकता 58.2% से बढ़कर 63.2% हो गई।

परिणाम संकेत देते हैं कि जबकि SFT मॉडल को निष्पादनीय कोड उत्पन्न करने में सक्षम बनाने के लिए महत्वपूर्ण है, DPO को जोड़ने से मॉडल की सही रणनीति चुनने की क्षमता में उल्लेखनीय वृद्धि होती है, जिससे पैटर्न मिसमैच के कारण होने वाली विफलताओं में कमी आती है।

महत्व और दावे

यह शोध दावा करता है कि टूल-एकीकृत तर्क की प्रभावशीलता केवल टूल्स को बुलाने की क्षमता पर नहीं, बल्कि इस बात पर निर्भर करती है कि उन टूल्स को लागू करने के तरीके का रणनीतिक संरेखण कैसा है। कैलकुलेटर और एल्गोरिद्मिक पैटर्न के बीच चयन को स्पष्ट रूप से मॉडल करके, प्रस्तावित दृष्टिकोण एक हल्का लेकिन प्रभावी तरीका प्रदान करता है जो तर्क सटीकता में काफी सुधार करता है। लेखक का तर्क है कि उनका पैटर्न-जागरूक दृष्टिकोण पूरक पैटर्न (complementary pattern) में स्विच करके विफलता के मामलों (जो ओवरफ्लो या संदर्भ सीमाओं के कारण होते हैं) को सफलताओं में बदल देता है, जो यह प्रमाणित करता है कि LRMs में रणनीतिक अनुकूलन, कम्प्यूटेशनल क्षमता जितना ही महत्वपूर्ण है।