💻 computer science

Mitigating Think-Answer Mismatch in Large Language Model Reasoning Through Noise-Aware Advantage Reweighting

यह शोध पत्र स्टेबल ग्रुप-रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (S-GRPO) प्रस्तुत करता है, जो एक नवीन विधि है जो शोर-सचेत (noise-aware) एडवांटेज वेट्स को व्युत्पन्न करके बड़े रीजनिंग मॉडल्स में "थिंक-आंसर मिसमैच" को कम करती है, जिससे शोर युक्त रिवॉर्ड स्थितियों में मानक GRPO की तुलना में बेहतर सुदृढ़ता और प्रदर्शन प्राप्त होता है।

मूल लेखक: Danhao Zhu, Peijun Shen, Si Shen

प्रकाशित 2026-08-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Danhao Zhu, Peijun Shen, Si Shen

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक कठिन गणितीय पहेली हल करना सिखा रहे हैं। आप उसके सोचने के हर एक कदम को बैठकर ग्रेड नहीं करना चाहते; इसके बजाय, आप बस अंतिम उत्तर देखते हैं। यदि रोबोट सही उत्तर देता है, तो आप उसे एक 'हाई-फाइव' (एक इनाम) देते हैं। यदि वह गलत होता है, तो आप उसे धीरे से "फिर से कोशिश करें" कहते हैं। आधुनिक AI मॉडल इसी तरह से तर्क करना सीखते हैं: वे कई अलग-अलग प्रयास उत्पन्न करते हैं, देखते हैं कि कौन से लक्ष्य तक पहुँचते हैं, और फिर विजेताओं की नकल करना सीखते हैं। यह तरीका 'ग्रुप-रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन' (GRPO) कहलाता है। यह एक ऐसी कक्षा की तरह है जहाँ शिक्षक केवल अंतिम परीक्षा के स्कोर को ग्रेड करता है, न कि बिखरे हुए रफ कार्य को।

लेकिन यहाँ एक पेंच है: कभी-कभी एक छात्र गलत कारणों से सही उत्तर प्राप्त कर लेता है। हो सकता है कि उन्होंने अनुमान लगाया हो, या शायद उन्होंने पहले चरण में गलती की हो लेकिन तीसरे चरण में उसे अनजाने में ठीक कर दिया हो। AI की दुनिया में, इसे "थिंक-आंसर मिसमैच" (सोच-उत्तर बेमेल) कहा जाता है। रोबोट सोचता है कि वह जीनियस है क्योंकि उसे इनाम मिला, लेकिन वास्तव में वह सिर्फ भाग्यशाली था। यदि शिक्षक (AI ट्रेनर) को इस बात का एहसास नहीं होता है, तो रोबोट गलत सबक सीख लेता है। यह शोध पत्र पूछता है: क्या होता है जब शिक्षक इन भाग्यशाली अनुमानों से थोड़ा भ्रमित हो जाता है, और हम प्रशिक्षण को कैसे ठीक कर सकते हैं ताकि रोबोट सही तरीके से सोचना सीख सके, भले ही फीडबैक थोड़ा शोर भरा (noisy) क्यों न हो?

इस अध्ययन के पीछे के शोधकर्ताओं, दानहाओ झू, पेइजुन शेन और सी शेन ने पाया कि इन रोबोट्स को प्रशिक्षित करने का मानक तरीका (GRPO) में एक गुप्त कमजोरी है। उन्होंने पाया कि जब रोबोट के प्रयासों का एक समूह बहुत असंतुलित होता है—मान लीजिए सात गलत उत्तर और केवल एक सही उत्तर—तो वह एक अकेला "भाग्यशाली" सही उत्तर सिस्टम को यह विश्वास दिलाने के लिए धोखा दे सकता है कि यह एक बड़ी सफलता है। यह ऐसा है जैसे यदि आप एक सिक्का आठ बार उछालते हैं और आपको सात 'टेल्स' और एक 'हेड्स' मिलता है; वह एक 'हेड्स' एक चमत्कार जैसा लग सकता है, लेकिन वास्तव में वह केवल एक इत्तेफाक है। एक असंतुलित समूह में, यह इत्तेफाक सीखने के संकेत को इतना खराब तरीके से विकृत कर देता है कि रोबोट प्रभावी ढंग से सीखना बंद कर देता है, खासकर यदि "भाग्यशाली अनुमान" अक्सर होते हैं।

इसे हल करने के लिए, टीम ने एक नया तरीका विकसित किया जिसे स्टेबल ग्रुप-रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (S-GRPO) कहा जाता है। S-GRPO को एक सुपर-स्मार्ट शिक्षक के रूप में समझें जो न केवल स्कोर देखता है बल्कि पूरे क्लास के "वाइब" (माहौल) की भी जाँच करता है। यदि क्लास में ज्यादातर लोग असफल हो रहे हैं और केवल एक छात्र सफल हुआ है, तो शिक्षक को संदेह होता है। "क्या यह छात्र वास्तव में बुद्धिमान है, या उसने बस अनुमान लगाया है?" S-गरपो एक विशेष गणितीय ट्रिक का उपयोग करता है यह गणना करने के लिए कि कमरे में कितना शोर या भ्रम हो सकता है। यदि समूह असंतुलित है, तो यह तरीका स्वचालित रूप से उस एकल "विजेता" की आवाज़ को कम कर देता है ताकि वह बाकी सभी पर हावी न हो सके। यह अनिवार्य रूप से कहता है, "मैं इस इनाम पर कम विश्वास करूँगा क्योंकि समूह संदिग्ध लग रहा है।"

शोधकर्ताओं ने इस विचार का परीक्षण करने के लिए एक कक्षा का अनुकरण किया जहाँ "सही उत्तरों" में से 20% वास्तव में केवल भाग्यशाली अनुमान (शोर) थे। इस अराजक वातावरण में, मानक GRPO विधि पूरी तरह से विफल रही; रोबोट्स ने सीखना बंद कर दिया और भ्रमित हो गए। हालाँकि, S-GRPO शांत रहा। इसने शोर वाले संकेतों को अनदेखा किया और रोबोट्स को सही रास्ते पर बनाए रखा। जब उन्होंने विभिन्न रोबोट दिमागों (जैसे Qwen और Llama मॉडल्स) का उपयोग करके वास्तविक गणितीय समस्याओं पर इसका परीक्षण किया, तो S-GRPO ने लगातार पुराने तरीकों को पछाड़ दिया। इसने रोबोट के गणित के स्कोर में हर क्षेत्र में लगभग 2.2% से 2.5% का सुधार किया।

शायद सबसे रोमांचक खोज यह है कि प्रशिक्षण कितना स्थिर हो गया। जहाँ पुराना तरीका अव्यवस्थित फीडबैक के साथ लड़खड़ा जाता था, वहीं S-GRPO ने सीखने की प्रक्रिया को सुचारू बना दिया। रोबोट केवल गणित में बेहतर नहीं हुए; उन्होंने अधिक स्थिरता से सोचना भी सीखा, बिना अपने आत्मविश्वास के उतार-चढ़ाव के। शोध पत्र सुझाव देता है कि केवल यह स्वीकार करके कि "भाग्यशाली अनुमान" होते हैं और उनके अनुसार गणित को समायोजित करके, हम बहुत अधिक विश्वसनीय AI विचारक बना सकते हैं। यह केवल एक छोटा सा बदलाव नहीं है; यह AI प्रशिक्षण को वास्तविक दुनिया के लिए पर्याप्त मजबूत बनाने का एक तरीका है, जहाँ उत्तर हमेशा पूर्ण नहीं होते, और भाग्य की भी भूमिका होती है।

तकनीकी सारांश: शोर-जागरूक लाभ पुनर्रweighting (Noise-Aware Advantage Reweighting) के माध्यम से बड़े भाषा मॉडल तर्क में 'थिंक-आंसर मिसमैच' को कम करना

1. समस्या विवरण: थिंक-आंसर मिसमैच और GRPO की संवेदनशीलता

जबकि ग्रुप-रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) ने एक अलग क्रिटिक मॉडल की आवश्यकता को समाप्त करके बड़े पैमाने के रीजनिंग मॉडल्स (जैसे, DeepSeek-R1, Qwen3) को प्रशिक्षित करने के लिए एक आधार बन गया है, यह एक महत्वपूर्ण धारणा पर निर्भर करता है: कि अंतिम उत्तर की शुद्धता तर्क प्रक्रिया (reasoning process) की गुणवत्ता का एक विश्वसनीय प्रतिनिधि है। लेखक एक मौलिक दोष की पहचान करते हैं जिसे थिंक-आंसर मिसमैच (Think-Answer Mismatch) कहा जाता है। यह घटना तब होती है जब एक मॉडल त्रुटिपूर्ण तर्क चरणों का उत्पादन करता है जो संयोग से सही अंतिम उत्तर देते हैं (फॉल्स पॉजिटिव/false positive) या जब वैध तर्क एक गलत अंतिम उत्तर की ओर ले जाते हैं (फॉल्स नेगेटिव/false negative)।

लेखक तर्क देते हैं कि मानक GRPO इस मिसमैच के प्रति विशेष रूप से संवेदनशील है, विशेष रूप से असंतुलित रिस्पॉन्स समूहों (unbalanced response groups) में। GRPO में, $N$ सैंपल किए गए रिस्पॉन्स के समूह के भीतर लाभ (advantages) को सामान्यीकृत (normalize) करके गणना की जाती है। लेखक प्रदर्शित करते हैं कि एक अत्यधिक असंतुलित समूह (जैसे, 7 गलत उत्तरों में से 1 सही उत्तर) में एक एकल फॉल्स पॉजिटिव, एडवांटेज सिग्नल को असमान रूप से विकृत कर देता है। गणितीय विश्लेषण से पता चलता है कि ऐसा मिसमैच संतुलित समूह की तुलना में देखे गए एडवांटेज को 60% तक बढ़ा सकता है। यह एक विरोधाभास पैदा करता है जहाँ लर्निंग सिग्नल सबसे मजबूत होता है (कई विफलताओं के बीच एक दुर्लभ सफलता) फिर भी भ्रष्टाचार के प्रति सबसे अधिक संवेदनशील होता है। प्रायोगिक परीक्षणों से पता चलता है कि 20% सिंथेटिक रिवॉर्ड नॉइज़ स्तरों के तहत, मानक GRPO की लर्निंग प्रक्रिया पूरी तरह से विफल हो जाती है, और कोई सार्थक प्रगति नहीं कर पाती है।

2. कार्यप्रणाली: स्टेबल ग्रुप-रिलेटिव पॉलिसी ऑप्टिमाइजेशन (S-GRPO)

इस संवेदनशीलता को संबोधित करने के लिए, लेखक S-GRPO (Stable Group-Relative Policy Optimization) का प्रस्ताव करते हैं, जो एक सिद्धांत-आधारित संवर्धन है जो इष्टतम, शोर-जागरूक लाभ भार (noise-aware advantage weights) प्राप्त करता है।

2.1 सममित रिवॉर्ड नॉइज़ मॉडल (Symmetric Reward Noise Model)

यह दृष्टिकोण थिंक-आंसर मिसमैच को सममित लेबल नॉइज़ (symmetric label noise) के रूप में मॉडल करता है। यह मानता है कि प्रत्येक देखा गया रिवॉर्ड $r_i$ , एक निश्चित प्रायिकता $p$ (जहाँ $0 \le p < 0.5$ ) के साथ लेटेंट (latent) वास्तविक रिवॉर्ड $r^*_i$ का एक स्वतंत्र फ्लिप है। एक समूह के देखे गए औसत रिवॉर्ड $\bar{r}$ के आधार पर, अपेक्षित वास्तविक औसत रिवॉर्ड $t$ का अनुमान निम्नलिखित संबंध का उपयोग करके लगाया जाता है:
$t = \frac{\bar{r} - p}{1 - 2p}$

2.2 इष्टतम पुनर्रweighting (Optimal Reweighting)

मुख्य नवाचार प्रत्येक समूह के लिए एक इष्टतम भार $w^*$ का व्युत्पत्ति है। लक्ष्य पुनर्रweighted देखे गए एडवांटेज और अनऑब्जर्व्ड (unobserved) वास्तविक एडवांटेज के बीच अपेक्षित वर्ग त्रुटि (expected squared error) को न्यूनतम करना है। इस लॉस को कम करने वाले भार के लिए समाधान खोजकर, लेखक एक क्लोज्ड-फॉर्म समाधान प्राप्त करते हैं:
$w^*(N, k, p) = \frac{(1 - 2p)t(1 - t)}{\sqrt{\bar{r}(1 - \bar{r}) + \epsilon}\sqrt{t(1 - t) + \epsilon}}$
यह भार देखे गए और वास्तविक रिवॉर्ड के बीच सहसंबंध गुणांक (correlation coefficient) का प्रतिनिधित्व करता है, जिसे नॉइज़ फैक्टर $(1-2p)$ द्वारा स्केल किया गया है।

2.3 भार के प्रमुख गुण

व्युत्पन्न भार $w^*$ तीन महत्वपूर्ण व्यवहार प्रदर्शित करता है:

नॉइज़-एडेप्टिव एटेनुएशन (Noise-Adaptive Attenuation): भार $(1-2p)$ द्वारा सीमित है, जो मान लिए गए नॉइज़ स्तर के बढ़ने के साथ लर्निंग सिग्नल को स्वचालित रूप से कम (down-weight) कर देता है।
सहमति के माध्यम से विश्वास (Confidence through Consensus): भार समूह संरचना के संबंध में अवतल (concave) है, जो अत्यधिक असंतुलित समूहों के लिए सबसे छोटा और संतुलित समूहों ( $k \approx N/2$ ) के लिए सबसे बड़ा होता है। यह इस अंतर्ज्ञान को औपचारिक रूप देता कि संतुलित समूह अधिक विश्वसनीय सिग्नल प्रदान करते हैं।
नॉइज़-गेटिंग मैकेनिज्म (Noise-Gating Mechanism): जब देखा गया सफलता दर (success rate) अनुमानित नॉइज़ दर $p$ से नीचे गिर जाता है, तो भार शून्य हो जाता है। यह प्रभावी रूप से उन समूहों से अपडेट को गेट आउट (बाहर) कर देता है जहाँ सिग्नल सांख्यिकीय रूप से अविश्वसनीय है (उदाहरण के लिए, यदि $p=0.20$ है, तो अत्यधिक असंतुलित समूहों को पूरी तरह से अनदेखा कर दिया जाता है)।

ऑप्टिमाइजेशन ऑब्जेक्टिव इस भार $w^*$ को एडवांटेज टर्म में शामिल करके मानक PPO क्लिप्ड सरोगेट ऑब्जेक्टिव को अनुकूलित करता है।

3. मुख्य योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

भेद्यता का औपचारिकीकरण (Formalization of Vulnerability): यह GRPO की थिंक-आंसर मिसमैच के प्रति विशिष्ट संवेदनशीलता को पहचानने और गणितीय रूप से औपचारिक बनाने वाला पहला कार्य है, जो यह प्रदर्शित करता है कि कैसे समूह असंतुलन रिवॉर्ड नॉइज़ के प्रभाव को बढ़ाता है।
S-GRPO एल्गोरिदम: GRPO का एक सिद्धांत-आधारित विस्तार जो बिना किसी आर्किटेक्चरल बदलाव या अतिरिक्त गणना के मजबूत पॉलिसी अपडेट सुनिश्चित करने के लिए इष्टतम, शोर-जागरूक एडवांटेज वेट्स प्राप्त करता है।
प्रायोगिक सत्यापन: विभिन्न रीजनिंग बेंचमार्क और मॉडल स्केल्स पर प्रदर्शन, मजबूती और प्रशिक्षण स्थिरता में सुधार प्रदर्शित करने वाले व्यापक प्रयोग।

4. प्रायोगिक परिणाम

लेखकों ने तीन विविध बेस मॉडल्स: Qwen2.5-Math-7B-Base, Qwen2.5-Math-1.5B-Instruct, और Llama-3.2-3B-Base का उपयोग करके गणितीय तर्क बेंचमार्क (AMC, MATH500, Minerva, OlympiadBench) पर S-GRPO का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): S-GRPO ने लगातार मानक GRPO और ह्यूristic-आधारित Dr. GRPO को पछाड़ दिया। उल्लेखनीय सुधारों में शामिल थे:
- Qwen-Math-7B-Base पर +2.5%।
- Llama-3.2-3B-Base पर +2.2%।
- Qwen-Math-1.5B-Instruct पर +2.4%।
शोर के प्रति मजबूती (Robustness to Noise): 20% सिंथेटिक रिवॉर्ड नॉइज़ के नियंत्रित प्रयोगों में, मानक GRPO सीखने में विफल रहा, जबकि S-GRPO न्यूनतम प्रदर्शन गिरावट के साथ स्थिर लर्निंग प्रोग्रेस बनाए रखने में सफल रहा।
प्रशिक्षण गतिशीलता (Training Dynamics): पॉलिसी एंट्रॉपी के विश्लेषण से पता चला कि S-GRPO, मानक GRPO में देखे गए अनियमित उतार-चढ़ाव की तुलना में स्मूथ एंट्रॉपी रिडक्शन को बढ़ावा देता है। यह अन्वेषण (exploration) से शोषण (exploitation) की ओर अधिक स्थिर संक्रमण और अधिक विश्वसनीय तर्क पैटर्न के उद्भव का संकेत देता है।

5. महत्व और दावे

पेपर का दावा है कि S-GRPO वर्तमान बड़े रीजनिंग मॉडल्स की एक महत्वपूर्ण एल्गोरिथमिक भेद्यता के लिए एक सिद्धांत-आधारित समाधान (principled solution) प्रदान करता है। पिछले ह्यूristic दृष्टिकोणों (जैसे Dr. GRPO या DAPO) के विपरीत, जिनमें नॉइज़ थ्योरी में सैद्धांतिक आधार की कमी है, S-GRPO अपने पुनर्रweighting रणनीति को अपेक्षित त्रुटि को कम करने के लिए प्रथम सिद्धांतों (first principles) से व्युत्पन्न करता है।

लेखक इस बात पर जोर देते हैं कि जैसे-जैसे रीजनिंग मॉडल्स महत्वपूर्ण बुनियादी ढांचा बनते जा रहे हैं, शोर वाले रिवॉर्ड सिग्नल्स के तहत स्थिर लर्निंग बनाए रखने की क्षमता विश्वसनीय तैनाती के लिए आवश्यक है। यह कार्य प्रदर्शित करता है कि एल्गोरिथमिक कमजोरियों के एक सरल, सैद्धांतिक रूप से आधारित विश्लेषण से प्रभावी समाधान मिल सकते हैं जो RLHF पाइपलाइनों की सटीकता और मजबूती दोनों में सुधार करते हैं, विशेष रूप से जटिल तर्क कार्यों के संदर्भ में जहाँ "थिंक-आंसर मिसमैच" प्रचलित है।