🤖 AI

Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

यह शोध पत्र ISPO को प्रस्तुत करता है, जो एक नवीन पॉलिसी ऑप्टिमाइज़ेशन विधि है जो ज़ीरो-एडवांटेज कोलैप्स (Zero-Advantage Collapse) और हैलुसिनेटेड सर्टेन्टी (Hallucinated Certainty) को समाप्त करने के लिए पॉलिसी की अपनी संभावनाओं से प्राप्त इंट्रिन्सिक सिग्नल्स के साथ बाइनरी रिवार्ड्स को सघन बनाता है, जिससे चुनौतीपूर्ण गणितीय बेंचमार्क पर लार्ज लैंग्वेज मॉडल्स के लॉन्ग-चेन रीजनिंग प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hao Chen, Zhanming Shen, Liyao Li, Yanyu Chen, Xuhang Zhu, Xiaomeng Hu, Qi Zhang, Ru Peng, Xiaoyu Shen, Haobo Wang, Junbo Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन जिद्दी छात्र (AI) को जटिल गणितीय समस्याओं को हल करना सिखा रहे हैं। छात्र अंतिम उत्तर देने से पहले एक लंबी, चरण-दर-चरण "सोचने की प्रक्रिया" (thinking process) लिखता है।

वर्तमान मानक पद्धति (जिसे GRPO कहा जाता है) में, शिक्षक केवल अंत में फीडबैक देता है: "सही!" या "गलत।"

यह "सब-या-कुछ-नहीं" वाला फीडबैक दो बड़ी समस्याएँ पैदा करता है:

"ग्रुप साइलेंस" की समस्या (जीरो-एडवांटेज कोलैप्स):
मान लीजिए कि आप छात्र को 8 समान समस्याएँ हल करने के लिए कहते हैं।

यदि सभी 8 सही हैं, तो शिक्षक सभी को कहता है, "बहुत बढ़िया!" लेकिन क्योंकि सभी का स्कोर एक जैसा है, शिक्षक यह नहीं बता सकता कि किन विशिष्ट सोचने के चरणों (thinking steps) ने बेहतर काम किया। छात्र कुछ भी नया नहीं सीख पाता क्योंकि तुलना करने के लिए कोई अंतर नहीं है।
यदि सभी 8 गलत हैं, तो शिक्षक सभी को कहता है, "फिर से प्रयास करें।" फिर से, किसी को पता नहीं चलता कि वे क्यों असफल हुए या कौन सा विशिष्ट चरण गलत दिशा में चला गया। छात्र अनुमान लगाने के लूप में फंस जाता है।
पेपर का समाधान: केवल अंतिम ग्रेड को देखने के बजाय, पेपर सुझाव देता है कि भले ही सभी का अंतिम ग्रेड समान हो, फिर भी सूक्ष्म अंतरों को खोजने के लिए सोचने की प्रक्रिया स्वयं को देखा जाए।

"आत्मविश्वासी रूप से गलत" होने की समस्या (हैलुसिनेटेड सर्टेनिटी):
जैसे-जैसे छात्र अभ्यास करता है, वह गलतियाँ करना शुरू कर सकता है लेकिन अपनी निश्चितता (certainty) बढ़ा सकता है। वह कह सकता है, "मुझे 100% यकीन है कि 2+2=5 है," पूर्ण आत्मविश्वास के साथ।

पुराने सिस्टम में, शिक्षक केवल अंत में "गलत" देखता है। वह यह नहीं देख पाता कि छात्र प्रक्रिया के दौरान बहुत जल्दी अत्यधिक आत्मविश्वासी हो गया था। छात्र अन्य संभावनाओं की खोज करना बंद कर देता है और बस अपनी आत्मविश्वासी गलतियों को दोहराता रहता है।
पेपर का समाधान: शिक्षक को विशिष्ट महत्वपूर्ण चरणों पर "आत्मविश्वासी रूप से गलत" होने के लिए दंडित करने की आवश्यकता है, जिससे छात्र को अन्य संभावनाओं के प्रति खुला रहने के लिए प्रोत्साहित किया जा सके, भले ही वह फंस गया हो।

समाधान: ISPO (इंट्रिन्सिक सिग्नल पॉलिसी ऑप्टिमाइज़ेशन)

लेखक एक नई पद्धति प्रस्तावित करते हैं जिसे ISPO कहा जाता है। इसे तर्क (reasoning) के लिए "मोमेंटम बूस्ट" देने के रूप में समझें। अंतिम परीक्षा के ग्रेड का इंतज़ार करने के बजाय, शिक्षक छात्र के अपने मस्तिष्क (AI की अपनी संभावनाओं) से प्राप्त दो आंतरिक "सिग्नल्स" का उपयोग करके निरंतर, सघन (dense) फीडबैक देता है।

यहाँ वे दो "उपकरण" दिए गए हैं जिनका शिक्षक उपयोग करता है:

1. "सोचने-उत्तर का लिंक" (सीक्वेंस-लेवल सिग्नल)

रूपक (Metaphor): कल्पना कीजिए कि छात्र एक कहानी (सोचने का क्रम/thinking trace) लिखता है और फिर एक निष्कर्ष (उत्तर) निकालता है।
यह कैसे काम करता है: शिक्षक जाँचता है: "यदि मैं कहानी को हटा दूँ, तो क्या निष्कर्ष अभी भी समझ में आता है?"
- यदि कहानी उत्तर को भारी रूप से प्रभावित करती है (उच्च लिंक), तो इसका मतलब है कि छात्र ने वास्तव में समस्या पर विचार किया।
- यदि कहानी उत्तर को बिल्कुल नहीं बदलती, तो इसका मतलब है कि छात्र ने बस उत्तर का अनुमान लगाया और बाद में उसके अनुरूप कहानी लिख दी।
लाभ: भले ही पूरे समूह को एक ही "गलत" ग्रेड मिला हो, फिर भी शिक्षक देख सकता है कि छात्र A की कहानी वास्तव में उनके उत्तर के लिए बहुत सहायक थी, जबकि छात्र B की कहानी निरर्थक थी। यह "ग्रुप साइलेंस" को तोड़ता है और सभी को सीखने का एक कारण देता है।

2. "कॉन्फिडेंस चेक" (टोकन-लेवल सिग्नल)

रूपक: कल्पना कीजिए कि छात्र एक रस्सी (tightrope) पर चल रहा है। कुछ महत्वपूर्ण क्षणों (tokens) पर, उसे एक कठिन विकल्प चुनना होता है।
यह कैसे काम करता है:
- यदि उत्तर सही है: शिक्षक छात्र को उन महत्वपूर्ण चरणों पर आत्मविश्वासी और स्पष्ट होने के लिए पुरस्कृत करता है।
- यदि उत्तर गलत है: शिक्षक छात्र के आत्मविश्वास को देखता है। यदि छात्र बहुत आत्मविश्वासी है लेकिन गलत है, तो शिक्षक ब्रेक लगा देता है (एक "हिंज पेनल्टी")। यह छात्र को यह महसूस करने के लिए मजबूर करता है, "रुको, मुझे इतना यकीन नहीं होना चाहिए कि मैं सही हूँ।"
लाभ: यह "आत्मविश्वासी रूप से गलत" होने की समस्या को रोकता है। यह छात्र को मजबूर करता है कि जब वह फंसा हुआ हो, तो वह विनम्र रहे और अन्य विकल्पों की खोज करे, न कि निश्चितता की गहरी खाई में उतरता रहे।

परिणाम

लेखकों ने इस परीक्षण को तीन अलग-अलग AI मॉडल पर पांच कठिन गणितीय बेंचमार्क (जैसे AIME और ओलंपियाड परीक्षा) का उपयोग करके टेस्ट किया।

परिणाम: नई पद्धति (ISPO) ने लगातार पुराने तरीकों को पछाड़ दिया।
जहाँ यह सबसे अधिक चमका: यह सबसे कठिन समस्याओं पर सबसे अधिक मददगार साबित हुआ। यह समझ में आता है क्योंकि कठिन समस्याओं पर, पुरानी पद्धति अक्सर "ग्रुप साइलेंस" में फंस जाती है (सभी गलत होते हैं, इसलिए कोई नहीं सीख पाता)। ISPO ने उन सूक्ष्म "सोचने-उत्तर लिंक्स" को ढूंढकर और "आत्मविश्वासी गलतियों" को सुधारकर सीखने की गति को बनाए रखा।

संक्षेप में: यह पेपर AI मॉडल को केवल अंतिम स्कोर से नहीं, बल्कि उनकी सोचने की प्रक्रिया की गुणवत्ता से सीखना सिखाता है। यह एक ऐसे कोच की तरह काम करता है जो केवल यह नहीं कहता कि "आप खेल हार गए," बल्कि यह कहता है कि "आपकी दूसरी तिमाही की रणनीति शानदार थी, लेकिन तीसरी तिमाही में आप बहुत आत्मविश्वासी हो गए थे—चलिए इसे ठीक करते हैं।" यह सीखने के मोमेंटम को बनाए रखता है, भले ही अंतिम परिणाम विफलता ही क्यों न हो।

तकनीकी सारांश: तर्क के लिए मोमेंटम: पॉलिसी ऑप्टिमाइज़ेशन में डेंस इंट्रिन्सिक सिग्नल्स

समस्या विवरण (Problem Statement)

सत्यापनीय पुरस्कारों (Verifiable Rewards) के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable-Rewards - RLVR) लार्ज लैंग्वेज मॉडल्स (LLMs) में लंबी श्रृंखला वाली तर्क प्रक्रिया (long-chain reasoning) को विकसित करने के लिए एक प्रमुख प्रतिमान बन गया है, जो मुख्य रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करता है। हालाँकि, बाइनरी आउटकम रिवॉर्ड्स (सही/गलत) पर निर्भरता दो संरचनात्मक विफलता मोड उत्पन्न करती है जो प्रशिक्षण दक्षता और तर्क की गुणवत्ता में बाधा डालती हैं:

जीरो-एडवांटेज कोलैप्स (Zero-Advantage Collapse): रोलआउट्स के एक समूह में, यदि सभी ट्रेजेक्टरीज एक ही परिणाम साझा करती हैं (जैसे, सभी सही या सभी गलत), तो ग्रुप-रिलेटिव एडवांटेज शून्य ( $\sigma_R = 0$ ) हो जाता है। इसके परिणामस्वरूप एक वैनिशिंग ग्रेडिएंट (vanishing gradient) होता है, जिससे पूरे समूह का कंप्यूटेशनल प्रयास व्यर्थ चला जाता है। यह परिदृश्य जैसे-जैसे प्रशिक्षण आगे बढ़ता है, अधिक बार होता है—या तो प्रॉम्प्ट्स संतृप्त (saturate) होने पर (आसान प्रॉम्प्ट्स) या अनसुलझे रहने पर (कठिन प्रॉम्प्ट्स)।
हैलुसिनेटेड सर्टेनिटी (Hallucinated Certainty): प्रशिक्षण के अंतिम चरणों में, उच्च-दांव वाले निर्णय टोकन्स (high-stakes decision tokens) पर मॉडल की पॉलिसी एंट्रॉपी गलत रोलआउट्स के बावजूद भी कम हो जाती है। मॉडल "आत्मविश्वास के साथ गलत" (confidently wrong) हो जाता है, जिससे त्रुटिपूर्ण तर्क पैटर्न स्थिर (ossify) हो जाते हैं। बाइनरी रिवॉर्ड्स एक आत्मविश्वासी त्रुटि और एक अनिश्चित त्रुटि के बीच अंतर नहीं कर सकते, जिससे इस विशिष्ट पैथोलॉजी को दंडित करने में विफलता होती है।

दोनों मोड का मूल कारण यह है कि एक बाइनरी आउटकम रिवॉर्ड यह तो बताता है कि एक ट्रेजेक्टरी सफल हुई या नहीं, लेकिन यह कोई जानकारी नहीं देता कि वह उत्तर तक कैसे पहुँची, जिससे पॉलिसी को प्रोसेस-लेवल सिग्नल प्राप्त नहीं होते।

कार्यप्रणाली: ISPO (इंट्रिन्सिक सिग्नल पॉलिसी ऑप्टिमाइज़ेशन)

लेखक ISPO का प्रस्ताव करते हैं, जो GRPO में एक रिवॉर्ड-लेवल ऑगमेंटेशन है जो पूरी तरह से पॉलिसी के अपने कंडीशनल प्रोबेबिलिटीज से गणना किए गए दो इंट्रिन्सिक सिग्नल्स का उपयोग करके स्पार्स आउटकम रिवॉर्ड को डेंस बनाता है। इसके लिए किसी बाहरी रिवॉर्ड मॉडल या प्रोसेस एनोटेशन की आवश्यकता नहीं है।

1. सीक्वेंस-लेवल सिग्नल: कंडीशनल IFD

Zero-Advantage Collapse को संबोधित करने के लिए, ISPO एक सीक्वेंस-लेवल सिग्नल पेश करता है जो यह मापता है कि थिंकिंग ट्रेजेक्टरी ( $T$ ), अंतिम उत्तर ( $A$ ) को कितना सूचित करती है।

परिभाषा: कंडीशनल इंस्ट्रक्शन फॉलोइंग डिफिकल्टी (IFD) को थिंकिंग ट्रेस के साथ बनाम उसके बिना उत्तर की भविष्यवाणी करने के लॉग-प्रोबेबिलिटी गैप के रूप में परिभाषित किया गया है:
$\text{IFD}_{\text{cond}}(\tau) = \frac{1}{|A|} [\log p_\theta(A|Q, T) - \log p_\theta(A|Q)]$
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि इस टर्म का अपेक्षित मान कंडीशनल कुलबैक-लीब्लर (KL) डाइवर्जेंस $D_{KL}(p_\theta(\cdot|Q, T) \parallel p_\theta(\cdot|Q))$ के बराबर है। यह पहचान औपचारिक रूप से गारंटी देती है कि भले ही आउटकम रिवॉर्ड होमोजेनियस ( $\sigma_{\text{outcome}}=0$ ) हो, कंपोजिट रिवॉर्ड का वेरिएंस गैर-शून्य ( $\sigma_R > 0$ ) बना रहता है, जब तक कि थिंकिंग ट्रेसेज भिन्न हों, जिससे ग्रेडिएंट सुरक्षित रहता है।

2. टोकन-लेवल सिग्नल: डायरेक्शनल शेपिंग

Hallucinated Certainty को संबोधित करने के लिए, ISPO टोकन स्तर पर एक फाइन-ग्रेंड, आउटकम-कंडीशन्ड रिवॉर्ड जोड़ता है, जो "क्रिटिकल टोकन्स" के एक उपसमूह तक सीमित है।

क्रिटिकल टोकन चयन: टोकन्स को दो फिल्टरों के इंटरसेक्शन के माध्यम से चुना जाता है:
1. एंट्रॉपी फिल्टर ( $\mathcal{A}$ ): उच्च स्थानीय अनिश्चितता (टॉप- $k\%$ एंट्रॉपी) वाले टोकन्स चुनता है।
2. ड्रिफ्ट फिल्टर ( $\mathcal{C}_\Delta$ ): उन टोकन्स को चुनता है जहाँ वर्तमान पॉलिसी फ्रोजन बेस पॉलिसी से काफी विचलित (drift) हुई है।
  इनका इंटरसेक्शन उन टोकन्स को अलग करता है जो अनिश्चित भी हैं और सक्रिय रूप से RL द्वारा आकार दिए जा रहे हैं, जो उच्च-लीवरेज निर्णय बिंदुओं का प्रतिनिधित्व करते हैं।
डायरेक्शनल रिवॉर्ड:
- सही रोलआउट्स: सुचारू निष्पादन (fluent execution) को सुदृढ़ करने के लिए क्रिटिकल टोकन्स पर लो-परप्लेक्सिटी (उच्च संभाव्यता) को रिवॉर्ड देता है।
- गलत रोलआउट्स: उच्च एंट्रॉपी को रिवॉर्ड देता है। महत्वपूर्ण रूप से, लो-एंट्रॉपी टोकन्स पर एक हिंज पेनल्टी (hinge penalty) $\max(0, \tau_H - H_t)$ लागू की जाती है। यह "कॉन्फिडेंटली-रॉन्ग" भविष्यवाणियों (गलत पथों पर लो-एंट्रॉपी) को असममित रूप से दंडित करता है, जबकि अनिश्चित गलत टोकन्स को अपेक्षाकृत अप्रभावित छोड़ देता है, जो सीधे हैलुसिनेटेड सर्टेनिटी मोड को लक्षित करता है।

3. कंपोजिट रिवॉर्ड

अंतिम रिवॉर्ड $R(\tau)$ बाइनरी आउटकम $R_o$ को इंट्रिन्सिक सिग्नल्स के साथ जोड़ता है:
$R(\tau) = R_o + \lambda_1 (2R_o - 1) \text{IFD}_{\text{cond}}(\tau) + \lambda_2 R_{\text{token}}(\tau)$
साइन फैक्टर $(2R_o - 1)$ यह सुनिश्चित करता है कि मजबूत थिंकिंग-आंसर डिपेंडेंस को सही उत्तरों के लिए पुरस्कृत किया जाए लेकिन गलत उत्तरों के लिए दंडित किया जाए।

मुख्य योगदान

विफलता मोड का औपचारिकीकरण: पेपर ने बाइनरी-आउटकम RLVR के संरचनात्मक विफलताओं के रूप में Zero-Advantage Collapse और Hallucinated Certainty की पहचान और विश्लेषण किया है।
इंट्रिन्सिक सिग्नल डिज़ाइन: यह ISPO का प्रस्ताव करता है, जो एक सीक्वेंस-लेवल कंडीशनल IFD (एक सटीक कंडीशनल-KL आइडेंटिटी के साथ) और एक हैलुसिनेटेड-सर्टेनिटी हिंज के साथ टोकन-लेवल डायरेक्शनल रिवॉर्ड को एकीकृत करता है।
सैद्धांतिक ग्रेडिएंट प्रिजर्वेशन: यह एक प्रस्ताव प्रदान करता है जो सिद्ध करता है कि ISPO जीरो-एडवांटेज बैचों में गैर-शून्य ग्रेडिएंट बनाए रखता है, प्रभावी रूप से उस ट्रेनिंग डेटा को "अनलॉक" करता है जिसे मानक GRPO त्याग देता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोग कई मॉडल स्केल्स और बेंचमार्क्स पर निरंतर प्रदर्शन लाभ प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने पांच गणितीय तर्क बेंचमार्क्स: AIME24, AIME25, AMC23, MATH-500, और OlympiadBench पर तीन Qwen2.5 बेस मॉडल्स (1.5B, 7B Math, और 7B General) पर ISPO का मूल्यांकन किया।

प्रदर्शन: ISPO ने लगातार प्रतिस्पर्धी बेसलाइन्स (जिसमें Vanilla GRPO, Dr. GRPO, PACR, Scaf-GRPO, और PREPO शामिल हैं) को पछाड़ दिया।
- Qwen2.5-Math-7B पर, ISPO ने 55.4% का Pass@1 प्राप्त किया (बेंचमार्क्स का औसत), जो सबसे मजबूत बेसलाइन (Scaf-GRPO 51.3% पर) से 4.1 अंक अधिक है।
- सबसे बड़े लाभ कठिन बेंचमार्क्स (AIME24/AIME25) पर देखे गए, जहाँ Zero-Advantage Collapse सबसे अधिक होता है। उदाहरण के लिए, 7B मॉडल के साथ AIME24 पर, ISPO ने 48.9% प्राप्त किया, जबकि Scaf-GRPO का स्कोर 43.3% था।
दक्षता: ISPO ने उन बैचों में ग्रेडिएंट्स को रिकवर किया जिन्हें अन्यथा GRPO द्वारा छोड़ दिया जाता। जबकि Vanilla GRPO ने जीरो-एडवांटेज के कारण ~24.7% रोलआउट्स को छोड़ दिया, ISPO ने केवल ~4.4% वॉल-क्लॉक ओवरहेड (उत्तर-मात्र संभाव्यता के लिए एक अतिरिक्त फॉरवर्ड पास के कारण) के साथ 100% उपयोगी रोलआउट्स बनाए रखे।
मल्टी-सैंपल इवैल्यूएशन: pass@32 मूल्यांकन में, ISPO ने महत्वपूर्ण सुधार दिखाया (उदाहरण के लिए, ProGRPO पर AIME24 pass@32 पर +13.7%), जो इंगित करता है कि विधि सफलतापूर्वक सैंपल-लेवल विविधता को बनाए रखती है और कॉन्फिडेंटली-रॉन्ग रीजनिंग में पतन को रोकती है।
एब्लेशन स्टडीज: कंडीशनल IFD या डायरेक्शनल टोकन शेपिंग में से किसी एक को हटाने से प्रदर्शन में गिरावट आई, जिससे पुष्टि होती है कि दोनों घटक आवश्यक हैं। एंट्रॉपी और ड्रिफ्ट फिल्टर का इंटरसेक्शन अकेले किसी भी फिल्टर के उपयोग की तुलना में बेहतर पाया गया।

महत्व और दावे

पेपर का दावा है कि ISPO मॉडल के अपने प्रोबेबिलिटी सरफेस को एक डेंस सूचना स्रोत के रूप में उपयोग करके RLVR की मौलिक सीमा को संबोधित करता है। लेखक इन डेंस इंट्रिन्सिक सिग्नल्स को तर्क के लिए "मोमेंटम" के रूप में वर्णित करते हैं जो सीखने की प्रक्रिया को सक्रिय रखता है जहाँ आउटकम ग्रेडिएंट्स लुप्त हो जाते हैं।

इस कार्य का महत्व इसकी क्षमता में निहित है:

प्रशिक्षण को स्थिर करना: Zero-Advantage Collapse को रोककर, ISPO यह सुनिश्चित करता है कि कठिन प्रॉम्प्ट्स (जो अक्सर सभी-गलत समूहों का परिणाम देते हैं) लर्निंग सिग्नल प्रदान करना जारी रखते हैं, न कि उन्हें त्याग दिया जाता है।
पैथोलॉजी को ठीक करना: स्पष्ट रूप से आत्मविश्वासी त्रुटियों को दंडित करके, ISPO "Hallucinated Certainty" विफलता मोड को कम करता है, जिससे अधिक मजबूत तर्क ट्रेजेक्टरीज मिलती हैं।
ऑर्थोगोनल इंटीग्रेशन: यह विधि रोलआउट जनरेशन प्रक्रिया या बाहरी रिवॉर्ड मॉडल्स में बदलाव की आवश्यकता के बिना, RLVR पाइपलाइन में एक सामान्यीकरण योग्य सुधार के रूप में मौजूदा ऑप्टिमाइज़र-लेवल रिफाइनमेंट्स और डेटा-क्यूरेशन रणनीतियों के साथ ऑर्थोगोनल रूप से जुड़ती है।

लेखक सीमाओं का उल्लेख करते हैं, विशेष रूप से कि यह दृष्टिकोण वर्तमान में केवल सत्यापन योग्य परिणामों वाले कार्यों तक सीमित है और इसे मुख्य रूप से Qwen2.5 मॉडल्स के साथ गणितीय तर्क कार्यों पर मान्य किया गया है।