तकनीकी सारांश: STRIDE

समस्या विवरण (Problem Statement)

सत्यापनीय पुरस्कारों के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) बड़े भाषा मॉडलों (LLMs) की तर्क क्षमताओं को बढ़ाने के लिए एक शक्तिशाली पोस्ट-ट्रेनिंग प्रतिमान के रूप में उभरा है। हालाँकि, मौजूदा RLVR विधियाँ, जैसे कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), आमतौर पर पूरे रीजनिंग ट्राजेक्टरी (तर्क पथ) में पुरस्कार असाइन करने के लिए केवल अंतिम उत्तर की शुद्धता पर निर्भर करती हैं। यह दृष्टिकोण स्पार्स सुपरविजन (विरल पर्यवेक्षण) का परिणाम है, जो सभी टोकन को उनके वास्तविक योगदान के बावजूद समान रूप रूप से मानता है। इसके परिणामस्वरूप, मॉडल लाभकारी रणनीतिक पैटर्न और हानिकारक या अनावश्यक पैटर्न के बीच अंतर करने में विफल रहते हैं।

मध्यवर्ती पर्यवेक्षण संकेतों—जैसे कि प्रोसेस रिवॉर्ड मॉडल्स (PRMs), हाई-एंट्रॉपी टोकन, या सिमेंटिक अनसर्टेन्टी (अर्थ संबंधी अनिश्चितता)—को पेश करने के हालिया प्रयासों ने अपनी सीमाएं दिखाई हैं। जैसा कि पेपर के विश्लेषण (चित्र 1 और 2) में प्रदर्शित किया गया है, ये संकेत अक्सर अंतर्निहित रूप से सत्यापन योग्य नहीं होते हैं। उदाहरण के लिए, हाई-एंट्रॉपी टोकन और विशिष्ट रणनीतिक शब्द (जैसे, "therefore," "however") सही और गलत दोनों ट्राजेक्टरीज में समान आवृत्ति के साथ दिखाई देते हैं। हालांकि वे निर्णय बिंदुओं (decision points) का संकेत दे सकते हैं, वे विश्वसनीय रूप से यह निर्धारित नहीं कर सकते कि एक विशिष्ट तर्क चरण अंतिम परिणाम में सकारात्मक या नकारात्मक योगदान देता है या नहीं। इससे गलत क्रेडिट असाइनमेंट होता है, जहाँ मॉडल उन स्पूरियस (मिथ्या) तर्क पैटर्न को सुदृढ़ कर सकता है जो संयोगवश सही उत्तरों की ओर ले जाते हैं, या उन हानिकारक पैटर्न को दंडित करने में विफल रहता है जो गलत उत्तरों की ओर ले जाते हैं।

कार्यप्रणाली: STRIDE

इन सीमाओं को दूर करने के लिए, लेखक STRIDE (स्ट्रैटेजिक ट्राजेक्टरी रीजनिंग वाया डिस्क्रिमिनेटिव एस्टीमेशन) प्रस्तावित करते हैं, जो एक सूक्ष्म-स्तरीय (fine-grained) RLVR फ्रेमवर्क है जो सीधे सत्यापन योग्य परिणामों से पर्यवेक्षण प्राप्त करता है। STRIDE का मूल डिस्क्रिमिनेटिव स्ट्रैटेजिक रीजनिंग रिइन्फोर्समेंट लर्निंग (DSR-RL) फ्रेमवर्क है, जो निम्नलिखित चरणों के माध्यम से संचालित होता है:

1. डिस्क्रिमिनेटिव रीजनिंग एस्टीमेशन (Discriminative Reasoning Estimation)

STRIDE किसी दिए गए प्रश्न के लिए एक सैंपलड रिस्पॉन्स ग्रुप के भीतर सफल ($D^+$) और विफल ($D^-$) तर्क ट्राजेक्टरीज के बीच अंतर करता है। यह $n$-ग्राम रणनीतिक पैटर्न का मूल्यांकन करके उनके परिणाम-विभेदक अधिमान (outcome-discriminative preference) का अनुमान लगाता है।

• आवृत्ति-आधारित विभेदनशीलता ($S_{freq}$): फ्रेमवर्क एक पैटर्न $g$ की सफल बनाम विफल ट्राजेक्टरीज में उपस्थिति की आवृत्ति के लॉग-अनुपात के आधार पर एक स्कोर की गणना करता है:
  $$S_{freq}(g) = \text{clip}\left(\log \frac{P(g|D^+) + \delta}{P(g|D^-) + \delta}, -\epsilon, \epsilon\right)$$
  एक उच्च सकारात्मक मान इंगित करता है कि पैटर्न सफलता के साथ दृढ़ता से सहसंबंधित है, जबकि एक नकारात्मक मान विफलता के साथ सहसंबंध का सुझाव देता है।

• रणनीतिक विलक्षणता एंट्रॉपी ($H_{sal}$): यह सुनिश्चित करने के लिए कि पहचाने गए पैटर्न केवल नियमित निरंतरता नहीं बल्कि निर्णय-प्रासंगिक हैं, STRIDE जनरेशन एंट्रॉपी को शामिल करता है। एक $n$-gram की सैलियेंसी एंट्रॉपी उसके घटक टोकन की औसत एंट्रॉपी है। उच्च एंट्रॉपी सक्रिय, अनिश्चित और निर्णय-महत्वपूर्ण तर्क चरणों का सुझाव देती है।

• महत्व स्कोर ($S_A$): अंतिम महत्व स्कोर दोनों संकेतों को जोड़ता है। एक पैटर्न केवल तभी सार्थक रणनीतिक पैटर्न माना जाता है यदि उसकी सैलियेंसी एंट्रॉपी एक थ्रेशोल्ड $\tau$ से अधिक हो:
  $$S_A(g) = \mathbb{I}(H_{sal}(g) \geq \tau) \cdot S_{freq}(g)$$
  यह सुनिश्चित करता है कि केवल वे पैटर्न जो निर्णय-प्रासंगिक (उच्च एंट्रॉपी) और परिणाम-विभेदक (आवृत्ति अंतर) दोनों हैं, उन्हें ही ऑप्टिमाइज़ेशन सिग्नल प्राप्त हों।

2. रणनीतिक लाभ पुनर्रचना (Strategic Advantage Reweighting)

मानक RLVR में, अंतिम उत्तर की शुद्धता के आधार पर रिस्पॉन्स स्तर पर एडवांटेज वैल्यू की गणना की जाती है। STRIDE इसे $n$-gram स्तर पर विभेदित एडवांटेज वैल्यूज असाइन करके संशोधित करता है। एक रणनीतिक पैटर्न $g$ से संबंधित टोकन के लिए अंतिम एडवांटेज ($A_{final}$) की गणना इस प्रकार की जाती है:
$$A_{final} = A_{base} + S_A(g)$$
जहाँ $A_{base}$ मानक रिस्पॉन्स-लेवल एडवांटेज है। यह तंत्र लाभकारी रणनीतिक पैटर्न को अतिरिक्त पुरस्कार और हानिकारक पैटर्न को कड़े दंड प्रदान करता है, जिससे RLVR प्रतिमान की सत्यापन क्षमता को बनाए रखते हुए सटीक क्रेडिट असाइनमेंट संभव होता है।

मुख्य योगदान (Key Contributions)

1. सिग्नल सीमाओं की पहचान: पेपर इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि मौजूदा मध्यवर्ती संकेत (एंट्रॉपी, पूर्व-निर्धारित टोकन) लाभकारी और हानिकारक तर्क के बीच अंतर करने के लिए अपर्याप्त हैं क्योंकि उनमें अंतर्निहित सत्यापन क्षमता की कमी है।
2. DSR-RL फ्रेमवर्क: एक नया फ्रेमवर्क पेश करना जो $n$-gram पैटर्न के विभेदक अधिमान का अनुमान लगाने के लिए सफल और विफल ट्राजेक्टरीज के बीच तुलना करता है।
3. हाइब्रिड सिग्नल एकीकरण: गैर-महत्वपूर्ण पैटर्न को फ़िल्टर करने और निर्णय-प्रासंगिक रणनीतियों पर ध्यान केंद्रित करने के लिए फ्रीक्वेंसी-आधारित विभेदन अनुमान के साथ रीजनिंग-सैलियेंसी एंट्रॉपी का अनूठा संयोजन।
4. सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट: विशिष्ट रणनीतिक पैटर्न को विभेदित एडवांटेज असाइन करने का एक तंत्र, जो यूनिफॉर्म टोकन ऑप्टिमाइज़ेशन से आगे बढ़ता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विविध मॉडलों (Qwen2.5-7B, Llama-3.1-8B, Qwen3-4B), कार्यों (गणितीय तर्क, मल्टीमॉडल तर्क, एजेंट कार्य) और बेंचमार्क में STRIDE का मूल्यांकन किया।

• गणितीय तर्क (Mathematical Reasoning): STRIDE ने सभी परीक्षण किए गए मॉडलों पर मजबूत बेसलाइन्स (GRPO, DAPO, HICRA-GRPO, HET-DAPO) को लगातार पछाड़ दिया। उदाहरण के लिए, Qwen2.5-7B-Instruct पर, STRIDE ने 44.71 का औसत स्कोर प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन (HET-DAPO) से 2.53 अंक अधिक है। Llama-3.1-8B और Qwen3-4B पर भी इसी तरह के लाभ देखे गए।
• मल्टीमॉडल और वैज्ञानिक तर्क: Qwen2.5-VL-7B को बेस के रूप में उपयोग करते हुए, STRIDE ने सामान्य-डोमेन बेंचमार्क (MMMU-Pro, MMMU, EMMA) और वैज्ञानिक बेंचमार्क (MMK-12) पर प्रदर्शन में सुधार किया। विशेष रूप से, इसने बायो (Bio) स्कोर को 54.0 से बढ़ाकर 72.3 कर दिया, जो विशेषज्ञ बेसलाइन्स जैसे MM-Eureka और SRPO से बेहतर है।
• एजेंट कार्य: इंटरैक्टिव निर्णय लेने वाले परिदृश्यों (WebShop, ALFWorld, BabyAI) में, STRIDE ने उच्चतम औसत स्कोर (84.3) प्राप्त किया, जो ऑफलाइन RL बेसलाइन्स जैसे AgentSTaR और टोकन-लेवल RL विधियों जैसे HET-DAPO से बेहतर है।
• एब्लेशन अध्ययन (Ablation Studies): किसी भी घटक (फ्रीक्वेंसी एस्टीमेशन, एंट्रॉपी फिल्टरिंग, या $n$-gram मॉडलिंग) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो पूर्ण फ्रेमवर्क की आवश्यकता की पुष्टि करता है।
• संवेदनशीलता विश्लेषण (Sensitivity Analysis): STRIDE ने विभिन्न संख्या में सैंपलड रोलआउट्स (4 से 10) के बावजूद मजबूती प्रदर्शित की, और मध्यम सैंपलिंग बजट के साथ भी लगातार GRPO से बेहतर प्रदर्शन किया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि STRIDE वर्तमान विधियों में निहित "स्पार्स सुपरविजन" और "यूनिफॉर्म ऑप्टिमाइज़ेशन" समस्याओं को हल करके सत्यापन योग्य सुदृढीकरण शिक्षण (verifiable reinforcement learning) में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। इसका महत्व निम्नलिखित में निहित है:

• सत्यापनीयता (Verifiability): अनवेरिफाइड मध्यवर्ती संकेतों पर निर्भर करने वाली विधियों के विपरीत, STRIDE सभी पर्यवेक्षण को सत्यापन योग्य अंतिम परिणाम से प्राप्त करता है, जिससे यह सुनिश्चित होता है कि प्रशिक्षण सिग्नल सत्य पर आधारित है।
• परिशुद्धता (Precision): लाभकारी और हानिकारक रणनीतिक पैटर्न के बीच अंतर करके, यह अधिक सटीक क्रेडिट असाइनमेंट सक्षम बनाता है, जिससे मॉडल केवल यह नहीं सीखते कि उत्तर क्या है, बल्कि यह भी सीखते हैं कि सही ढंग से तर्क कैसे करना है।
• सामान्यीकरण (Generalizability): फ्रेमवर्क न केवल टेक्स्ट-ओनली गणितीय तर्क में प्रभावी है, बल्कि यह विजन-लैंग्वेज मॉडल्स (VLMs) और जटिल एजेंट-आधारित सिस्टम तक भी विस्तारित होता है, जो विशिष्ट डोमेन से परे व्यापक अनुप्रयोग का सुझाव देता है।

लेखक निष्कर्ष निकालते हैं कि STRIDE LLMs में तर्क क्षमताओं को बढ़ाने के लिए एक मजबूत, सामान्यीकरण योग्य दृष्टिकोण प्रदान करता है, हालांकि वे ओपन-एंडेड जनरेशन परिदृश्यों के संबंध में सीमाओं को स्वीकार करते हैं जहाँ स्वचालित सत्यापन कठिन है और बड़े रोलआउट बजट के तहत पैटर्न अनुमान की दक्षता एक चुनौती है।