Outcome Rewards Do Not Guarantee Verifiable or Causally Important Reasoning

तकनीकी सारांश: परिणाम आधारित पुरस्कार (Outcome Rewards) सत्यापन योग्य या कारण संबंधी महत्वपूर्ण तर्क (Causally Important Reasoning) की गारंटी नहीं देते हैं

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) के वर्तमान पोस्ट-ट्रेनिंग परिदृश्य में, सत्यापन योग्य पुरस्कारों से सुदृढीकरण शिक्षण (Reinforcement Learning from Verifiable Rewards - RLVR) "चेन-ऑफ-थॉट" (CoT) तर्क को प्रेरित करने के लिए एक मानक पद्धति बन गया है। प्रचलित धारणा यह है कि जब किसी मॉडल को सही अंतिम उत्तर (परिणाम-आधारित पुरस्कार) के लिए पुरस्कृत किया जाता है, तो वह ऐसे तर्क (reasoning chains) उत्पन्न करना सीखता है जो कारण संबंधी रूप से महत्वपूर्ण (तर्क वास्तव में उत्तर को संचालित करता है) और सत्यापन योग्य (तर्क इतना स्पष्ट है कि मानव या मशीन द्वारा इसकी जांच की जा सके) दोनों होते हैं।

हालाँकि, लेखक एक महत्वपूर्ण अंतर की पहचान करते हैं: परिणाम-आधारित पुरस्कार केवल अंतिम टोकन की शुद्धता को अनुकूलित (optimize) करते हैं। यह एक ऐसी विसंगति (misalignment) पैदा करता है जहाँ मॉडल "रीजनिंग कोलैप्स" (reasoning collapse) के माध्यम से उच्च सटीकता प्राप्त कर सकते हैं—अर्थात, वे उत्तर प्राप्त करने के लिए 'पोस्ट-हॉक रेशनलाइजेशन' (बाद में बनाया गया तर्क), अस्पष्ट योजनाएं, या शॉर्टकट का उपयोग करते हैं जो वास्तव में उत्तर निकालने के लिए उपयोग नहीं किए जाते हैं, या जिन्हें एक बाहरी पर्यवेक्षक द्वारा सत्यापित करना असंभव होता है।

2. कार्यप्रणाली (Methodology)

इस विसंगति को मापने के लिए, लेखक तर्क की गुणवत्ता का मूल्यांकन करने हेतु दो नवीन मेट्रिक्स पेश करते हैं:

• तर्क की कारण संबंधी महत्ता (Causal Importance of Reasoning - CIR): यह मापता है कि मॉडल का अनुमानित उत्तर वितरण (answer distribution) तर्क के पथ (reasoning trace) पर कितना निर्भर है। इसकी गणना तर्क श्रृंखला को क्रमिक रूप से काट कर (truncating) और कटे हुए प्रीफिक्स के उत्तर वितरण और पूर्ण तर्क श्रृंखला के बीच जेन्सन-शैनन डाइवर्जेंस (Jensen-Shannon divergence) को मापकर की जाती है। कम CIR यह दर्शाता है कि मॉडल ने तर्क करने से पहले ही उत्तर "तय" कर लिया है।
• तर्क की पर्याप्तता (Sufficiency of Reasoning - SR): यह मापता है कि क्या एक तर्क पथ अपने आप में पूर्ण और सत्यापन योग्य है। यह एक शक्तिशाली "सत्यापनकर्ता" मॉडल (जैसे, GPT-4o-mini) का उपयोग करता है जो केवल तर्क के आधार पर (उत्तर को हटाकर) उत्तर की भविष्यवाणी करता है। यदि सत्यापनकर्ता का उत्तर प्रश्न दिए जाने पर बनाम केवल तर्क दिए जाने पर बदल जाता है, तो तर्क को अपर्याप्त माना जाता है।

प्रायोगिक सेटअप (Experimental Setup):

• मॉडल: Qwen2.5 श्रृंखला (1.5B, 3B, 7B) और Llama 3.2-3B।
• बेंचमार्क: ReasoningGym (गणित, कोड और एल्गोरिदम कार्यों को कवर करता है) और MATH Hard।
• प्रशिक्षण व्यवस्था (Training Regimes): मानक RLVR (केवल परिणाम), SFT-before-RL (विशेषज्ञ ट्रेसेस पर सुपरवाइज्ड फाइन-ट्यूनिंग), और सहायक CIR/SR पुरस्कारों के साथ RLVR।

3. मुख्य योगदान और परिणाम (Key Contributions & Results)

A. केवल परिणाम-आधारित RLVR की विफलता:
अध्ययन प्रकट करता है कि RLVR विश्वसनीय रूप से CIR या SR में सुधार नहीं करता है। कई कार्यों में, जबकि सटीकता बढ़ती है, CIR और SR वास्तव में घटते हैं। लेखक पाते हैं कि कई कार्यों के लिए, मॉडल तर्क की आवश्यकता के बिना ही समस्या को हल कर लेते हैं, जिससे CoT केवल एक "उप-उत्पाद" (by-product) या सतही स्पष्टीकरण बनकर रह जाता है।

B. समाधान: SFT-before-RL:
लेखक प्रदर्शित करते हैं कि RLVR शुरू करने से पहले सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से उच्च-गुणवत्ता वाले विशेषज्ञ तर्क पथों का एक छोटा हिस्सा प्रदान करने से CIR और SR दोनों में उल्लेखनीय वृद्धि होती है। यह मॉडल को एक ऐसा तर्क वितरण अपनाने के लिए "प्राइम" (तैयार) करता है जो बाद के सुदृढीकरण शिक्षण चरण के लिए वास्तव में उपयोगी है।

C. समाधान: सहायक पुरस्कार (Auxiliary Rewards):
एक प्रमुख योगदान परिणाम पुरस्कार को सहायक CIR और SR पुरस्कारों के साथ बढ़ाने का प्रस्ताव है।

• $\text{Reward} = \text{Outcome} + \alpha(\text{CIR/SR})$ जोड़कर, मॉडल को स्पष्ट रूप से ऐसे पथ उत्पन्न करने के लिए प्रोत्साहित किया जाता है जो कारण संबंधी रूप से प्रासंगिक और सत्यापन योग्य दोनों हों।
• परिणाम: यह संयुक्त पुरस्कार मानक RLVR की सटीकता के बराबर है, जबकि तर्क पथों की गुणवत्ता में काफी सुधार करता है। महत्वपूर्ण रूप से, यह विधि महंगे विशेषज्ञ मानव/मॉडल प्रक्षेपवक्र (trajectories) की आवश्यकता के बिना तर्क की गुणवत्ता में सुधार करती है।

4. महत्व (Significance)

यह शोधपत्र CoT तर्क में वर्तमान में रखे गए "ब्लैक बॉक्स" विश्वास को चुनौती देता है। यह सिद्ध करता है कि सटीकता $\neq$ निष्ठा (Accuracy $\neq$ Faithfulness)।

इसके प्रभाव दोहरे हैं:

1. AI सुरक्षा/व्याख्यात्मकता (AI Safety/Interpretability) के लिए: यह चेतावनी देता है कि एक मॉडल का तर्क "अनुनयपूर्ण लेकिन अविश्वसनीय" (persuasive but unfaithful) हो सकता है, जिसका अर्थ है कि यह उस उत्तर के लिए एक तार्किक दिखने वाला स्पष्टीकरण प्रदान कर सकता है जिसे इसने किसी शॉर्टकट या मतिभ्रम (hallucination) के माध्यम से प्राप्त किया है। चिकित्सा या कानून जैसे उच्च-जोखिम वाले क्षेत्रों में यह एक बड़ा जोखिम है।
2. मॉडल विकास के लिए: यह "विश्वसनीय" तर्क मॉडल बनाने के लिए एक ठोस रोडमैप प्रदान करता है। केवल "क्या" (उत्तर) को अनुकूलित करने के बजाय, डेवलपर्स को प्रशिक्षण उद्देश्य में प्रक्रिया-आधारित मेट्रिक्स जैसे CIR और SR को शामिल करके "कैसे" (प्रक्रिया) को अनुकूलित करना चाहिए।