💻 computer science

OPPO: Bayesian Value Recursion for Token-Level Credit Assignment in LLM Reasoning

यह शोध पत्र ऑरेकल-प्रॉम्प्टेड पॉलिसी ऑप्टिमाइज़ेशन (OPPO) का प्रस्ताव करता है, जो एक सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) ढांचा है जो ऑरेकल-कंडीशन्ड लाइकलीहुड रेश्यो से टोकन-स्तरीय लाभ (एडवांटेज) प्राप्त करने के लिए बायेसियन वैल्यू रिकर्सन का लाभ उठाता है, जिससे सीखे गए वैल्यू नेटवर्क की आवश्यकता समाप्त हो जाती है और यह जटिल तर्क बेंचमार्क पर GRPO जैसी मौजूदा विधियों की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yu Li, Rui Miao, Tian Lan, Zhengling Qi

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Li, Rui Miao, Tian Lan, Zhengling Qi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक बहुत लंबी, जटिल गणित की समस्या हल करना सिखा रहे हैं। छात्र कागज पर चरण-दर-चरण समाधान लिखता है। अंत में, आप अंतिम उत्तर की जाँच करते हैं। यदि वह सही है, तो आप उसे एक गोल्ड स्टार देते हैं। यदि वह गलत है, तो आप उसे एक लाल "X" देते हैं।

वर्तमान तरीकों की समस्या
अधिकांश वर्तमान AI प्रशिक्षण विधियाँ (जैसे लोकप्रिय "GRPO" एल्गोरिदम) एक ऐसे शिक्षक की तरह काम करती हैं जो केवल अंतिम ग्रेड देखता है। जब छात्र को गोल्ड स्टार मिलता है, तो शिक्षक कहता है, "बहुत बढ़िया! आपने उस लंबे समाधान के हर एक चरण में अच्छा प्रदर्शन किया।" जब उन्हें लाल "X" मिलता है, तो शिक्षक कहता, "बुरा काम किया! आपने हर एक चरण में गलती की।"

यह अक्षम है। एक 500-चरणों वाले समाधान में, शायद केवल 5 चरण ही "महत्वपूर्ण" क्षण थे जहाँ छात्र ने एक शानदार तर्क दिया या एक महत्वपूर्ण त्रुटि की। अन्य 495 चरण केवल रूटीन कॉपी करने या स्पष्ट बदलावों के थे। हर चरण को समान रूप से प्रशंसा या दंड देकर, शिक्षक पाठ को कमजोर कर देता है। छात्र भ्रमित हो जाता है कि कौन से विशिष्ट चरण वास्तव में मायने रखते थे।

नया समाधान: OPPO
OPPO (ओरेकल-प्रॉम्प्टेड पॉलिसी ऑप्टिमाइज़ेशन) पेश करता है। OPPO को एक सुपर-स्मार्ट शिक्षण सहायक के रूप में सोचें जो न केवल अंतिम ग्रेड देखता है, बल्कि यह भी देखता है कि छात्र द्वारा प्रत्येक शब्द लिखे जाने के साथ उसका आत्मविश्वास कैसे बदलता है।

OPPO इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "ओरेकल" (उत्तर कुंजी)

कल्पना कीजिए कि शिक्षक के पास एक गुप्त उत्तर कुंजी (एक "ओरेकल") है। जैसे-जैसे छात्र प्रत्येक चरण लिखता है, शिक्षक गुप्त रूप से जाँचता है: "यदि छात्र इस सटीक बिंदु से आगे बढ़ता है, तो इस बात की क्या संभावना है कि वह अंततः सही उत्तर प्राप्त कर लेगा?"

2. "रनिंग बिलीफ" (आत्मविश्वास का मीटर)

अंत तक प्रतीक्षा करने के बजाय, OPPO प्रत्येक शब्द के साथ एक कॉन्फिडेंस मीटर को अपडेट करता है।

शुरुआत: मीटर एक तटस्थ 50/50 के अनुमान से शुरू होता है।
चरण 1: छात्र एक अच्छा चरण लिखता है। शिक्षक उत्तर कुंजी की जाँच करता है और कहता है, "ठीक है, इसके आधार पर, सफलता की संभावना बढ़कर 60% हो गई है।"
चरण 2: छात्र एक भ्रमित करने वाला चरण लिखता है। शिक्षक कहता है, "हम्म, इससे संभावना घटकर 40% हो गई है।"
चरण 3: छात्र एक शानदार तर्क देता है। शिक्षक संभावना को उछालकर 90% कर देता है।

यह सफलता की संभावना का एक रनिंग एस्टीमेट बनाता है जो मॉडल द्वारा उत्पन्न प्रत्येक टोकन (शब्द/संख्या) के साथ बदलता है।

3. "क्रेडिट असाइनमेंट" (श्रेय किसे मिलता है?)

यही वह जादुई हिस्सा है। OPPO यह तय करने के लिए इस रनिंग कॉन्फिडेंस मीटर का उपयोग करता है कि किसे गोल्ड स्टार मिलना चाहिए।

"महत्वपूर्ण" क्षण: जब कॉन्फिडेंस मीटर तेजी से बदल रहा हो (जैसे, 40% से 90% तक), तो OPPO जानता है कि यह एक क्रिटिकल मोमेंट था। यह उस विशिष्ट चरण को भारी श्रेय (या दोष) देता है।
"बोरिंग" क्षण: जब कॉन्फिडेंस मीटर पहले से ही 99% पर अटका हो (छात्र निश्चित रूप से जीत जाएगा) या 1% पर (वे निश्चित रूप से हार जाएंगे), तो OPPO महसूस करता है कि अगले कुछ चरणों का अधिक महत्व नहीं है। यह उन्हें शून्य क्रेडिट देता है।

यह बेहतर क्यों है?

पुराना तरीका: "आपको गोल्ड स्टार मिला, इसलिए आपके द्वारा लिखा गया हर शब्द अच्छा था।" (बहुत अधिक शोर/नॉइज़)।
OPPO का तरीका: "आपको गोल्ड स्टार मिला। पहले 100 शब्द ठीक थे, लेकिन 101वाँ शब्द वह जीनियस मूव था जिसने दिन बचा लिया। हम उसी की प्रशंसा करेंगे।"

"टीचर" चलाने के दो तरीके

पेपर इस "गुप्त कॉन्फिडेंस मीटर" प्राप्त करने के दो तरीके प्रस्तावित करता है:

सेल्फ-ओरेकल: AI अपने स्वयं के मस्तिष्क का उपयोग करके उत्तर कुंजी का अनुमान लगाने की कोशिश करता है। यह तेज़ और सस्ता है, जैसे एक छात्र अपनी बनाई हुई कुंजी के विरुद्ध अपना होमवर्क चेक करता है।
टीचर-ओरेकल: AI चरणों की जाँच करने के लिए एक बहुत बड़े, स्मार्ट, फ्रोजन AI मॉडल का उपयोग करता है। यह धीमा लेकिन अधिक सटीक है, जैसे एक पीएचडी प्रोफेसर होमवर्क को ग्रेड करता है।

परिणाम

शोधकर्ताओं ने गणित, विज्ञान और कोडिंग समस्याओं पर इसका परीक्षण किया।

छोटी समस्याएँ: नया तरीका थोड़ा बेहतर था।
लंबी, जटिल समस्याएँ: नया तरीका काफी बेहतर था।

यह समझ में आता है क्योंकि लंबी समस्याओं में "बोरिंग" चरणों के अधिक चरण होते हैं जहाँ पुराना तरीका क्रेडिट देने में समय बर्बाद करता है, और "महत्वपूर्ण" चरणों के अधिक चरण होते हैं जहाँ नया तरीका ध्यान बिल्कुल वहीं केंद्रित करके चमकता है जहाँ इसकी आवश्यकता होती है।

सारांश

OPPO एक ऐसे कोच की तरह है जो 2 घंटे के खेल को एक एकल घटना की तरह नहीं देखता। इसके बजाय, वे खेल के हर पल पर नज़र रखते हैं, यह पहचानते हुए कि किस सेकंड में खिलाड़ी ने गेम-चेंजिंग मूव किया। वे खिलाड़ी के जूते के फीते बांधने की प्रशंसा करना बंद कर देते हैं (जो आवश्यक था लेकिन जीत का कारण नहीं था) और उस विशिष्ट पास की प्रशंसा करना शुरू करते हैं जिसने गोल की ओर ले जाकर जीत दिलाई। यह सीखने की प्रक्रिया को विशेष रूप से लंबे, कठिन कार्यों के लिए बहुत तेज़ और स्मार्ट बनाता है।

तकनीकी सारांश: ऑरेकल-प्रॉम्प्टेड पॉलिसी ऑप्टिमाइज़ेशन (OPPO)

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) तर्क क्षमता को बढ़ाने के लिए 'वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग' (RLVR) एक मानक प्रतिमान के रूप में उभरा है। हालाँकि, प्रमुख एल्गोरिदम, ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), एक मौलिक क्रेडिट असाइनमेंट दोष से ग्रस्त है: यह पूरे रीजनिंग चेन के प्रत्येक टोकन को एक ही, ट्राजेक्टरी-स्तरीय एडवांटेज (advantage) प्रदान करता है। लंबे रीजनिंग अनुक्रमों में, केवल टोकन का एक छोटा उपसमूह (जैसे, रणनीति चयन, प्रमुख बीजगणितीय चरण) ही परिणाम को कारणतः निर्धारित करता है। सभी स्थितियों में एक ही स्केलर एडवांटेज प्रसारित करके, GRPO महत्वपूर्ण चरणों पर सीखने के संकेत को कम कर देता है और गैर-सूचनात्मक चरणों में शोर (noise) इंजेक्ट कर देता है। यह समस्या तब और खराब हो जाती है जब रीजनिंग चेन लंबी होती जाती है।

मौजूदा विकल्प इसे संबोधित करने का प्रयास करते हैं लेकिन उन्हें अपनी स्वयं की सीमाएं झेलनी पड़ती हैं:

परिष्कृत GRPO वेरिएंट (जैसे, Dr.GRPO, DAPO) इम्पोर्टेंस रेश्यो या क्लिपिंग को संशोधित करते हैं लेकिन फिर भी टोकन केAcross समान एडवांटेज असाइन करते हैं।
टोकन-लेवल विधियाँ अक्सर महंगे मोंटे कार्लो रीसैंपलिंग, इम्पलिसिट रिवॉर्ड मॉडल के ऑनलाइन अपडेटिंग, या सेगमेंट-लेवल एग्रीगेशन की मांग करती हैं।
ऑन-पॉलिसी डिस्टिलेशन विधियाँ (जैसे, SDPO) ग्राउंड-ट्रुथ उत्तर पर आधारित एक विशेषाधिकार प्राप्त शिक्षक (teacher) का उपयोग करके प्रति-टोकन सिग्नल (लॉग-लाइक्लीहुड रेश्यो) उत्पन्न करती हैं। हालाँकि, ये विधियाँ प्रत्येक टोकन के सिग्नल को आइसोलेटेड (अलग-थलग) मानती हैं, जो संचयी साक्ष्य (cumulative evidence) से कटा हुआ होता है, और वर्तमान स्थिति की निश्चितता के बावजूद समान भार लागू करती हैं।

कार्यप्रणाली: ऑरेकल-प्रॉम्प्टेड पॉलिसी ऑप्टिमाइज़ेशन (OPPO)

OPPO एक ऐसा ढांचा प्रस्तावित करता है जो ट्राजेक्टरी-स्तरीय पुरस्कारों और अलग-थलग टोकन-स्तरीय संकेतों के बीच के अंतर को पाटता है, जिसमें ऑरेकल सिग्नल को मॉडल के भविष्य की सफलता के बारे में उसके विश्वास के एक स्वाभाविक बेयसियन अपडेट (Bayesian update) के रूप में माना जाता है।

1. बेयसियन वैल्यू रिकर्सन (Bayesian Value Recursion)

मुख्य अंतर्दृष्टि यह है कि डिस्टिलेशन में उपयोग किया जाने वाला प्रति-टोकन ऑरेकल सिग्नल (सफलता-कंडीशनल पॉलिसी और स्टूडेंट के बीच लॉग-लाइक्लीहुड रेश्यो) एक बेयस फैक्टर (Bayes factor) के रूप में कार्य करता है। एक ट्राजेक्टरी के साथ इन संकेतों को संचित करके, बिना किसी सीखे गए वैल्यू नेटवर्क के, प्रत्येक स्थिति पर सफलता की संभावना ( $V_t$ ) का एक क्लोज्ड-फॉर्म, रनिंग एस्टीमेट प्राप्त किया जा सकता है।

माना कि $V_t = P(R=1 | x, y_{<t})$ है, जो प्रिफिक्स के आधार पर भविष्य की सफलता की संभावना है। रिकर्सन लॉग-ऑड्स ( $\ell_t$ ) को एडिटिव रूप से अपडेट करता है:
$\ell_{t+1} = \ell_t + \log \lambda_t$
जहाँ $\lambda_t$ एक ऑरेकल स्कोरर $\hat{\pi}$ से प्राप्त अनुमानित बेयस फैक्टर है:
$\lambda_t = \frac{\hat{\pi}(y_t | x, y_{<t}, y^*)}{\hat{\pi}(y_t | x, y_{<t})}$
यहाँ, $y^*$ वास्तविक उत्तर है। सफलता की संभावना सिग्मॉइड फंक्शन के माध्यम से प्राप्त की जाती है: $V_t = \sigma(\ell_t)$ ।

2. टोकन-लेवल एडवांटेज

आदर्श टोकन-लेवल एडवांटेज टेम्पोरल डिफरेंस (temporal difference) $A_t = V_{t+1} - V_t$ है। रिकर्सन का उपयोग करते हुए, OPPO एक क्लोज्ड-फॉर्म एडवांटेज व्युत्पन्न करता है:
$A_t = \sigma(\ell_t + \log \lambda_t) - \sigma(\ell_t)$
यह फॉर्मूलेशन टेलिस्कोपिंग बजट प्रॉपर्टी $\sum A_t = R - V_0$ को संतुष्ट करता है, जिससे यह सुनिश्चित होता है कि ट्राजेक्टरी के माध्यम से वितरित कुल क्रेडिट पूर्व (prior) के सापेक्ष परिणाम के बिल्कुल बराबर है।

एक फर्स्ट-ऑर्डर विश्लेषण प्रकट करता है कि एडवांटेज इस प्रकार फैक्टराइज़ होता है:
$A_t \approx V_t(1 - V_t) \cdot \log \lambda_t$

$\log \lambda_t$ : प्रति-टोकन भेदभाव सिग्नल (ऑन-पॉलिसी डिस्टिलेशन में ग्रेडिएंट सिग्नल के समान)।
$V_t(1 - V_t)$ : एक स्टेट वेट जो सिग्नल को मॉड्युलेट करता है। यह भार तब चरम पर होता है जब मॉडल अनिश्चित होता है ( $V_t \approx 0.5$ ) और तब लुप्त हो जाता है जब ट्राजेक्टरी सफलता या विफलता के प्रति प्रतिबद्ध हो जाती है ( $V_t \to 0$ या $1$)। यह स्वचालित रूप से महत्वपूर्ण टोकनों पर क्रेडिट केंद्रित करता है और संतृप्त क्षेत्रों (saturated regions) में शोर को दबा देता है।

3. ऑरेकल एस्टिमेटर्स

OPPO $\lambda_t$ के अनुमान के लिए दो मोड प्रदान करता है:

सेल्फ-ऑरेकल (Self-Oracle): स्टूडेंट मॉडल $\pi_\theta$ मानक संदर्भ और $y^*$ के साथ संवर्धित संदर्भ दोनों को स्कोर करता है। इसके लिए प्रति ट्राजेक्टरी एक अतिरिक्त फॉरवर्ड पास की आवश्यकता होती है और यह ऑन-पoliसी डिस्टिलेशन रिवॉर्ड को एक सख्त विशेष मामले के रूप में रिकवर करता है।
टीचर-ऑरेकल (Teacher-Oracle): एक अधिक शक्तिशाली, फ्रोजन मॉडल (जैसे, एक बड़ा LLM) स्कोरर $\hat{\pi}$ के रूप में कार्य करता है। यह सफलता-कंडीशनल डिस्ट्रीब्यूशन का उच्च-गुणवत्ता वाला अनुमान प्रदान करके एप्रोक्सीमेशन एरर ( $\epsilon_t$ ) को कम करता है, हालांकि इसके लिए एक अलग स्कोरिंग मॉडल की लागत आती है।

4. एल्गोरिद्मिक इंटीग्रेशन

"सेल्फ-डिस्टिलेशन" विफलता मोड को रोकने के लिए—जहाँ गलत ट्राजेक्टरीज के टोकन जो $y^*$ के साथ सह-संबंधित होते हैं, सकारात्मक रिवॉर्ड प्राप्त करते हैं—OPPO डायरेक्शन एंकरिंग (Direction Anchoring) का उपयोग करता है। टोकन-लेवेल एडवांटेज का साइन (sign) सीक्वेंस-लेवल GRPO एडवांटेज ( $A_{seq}$ ) से बंधा होता है, यह सुनिश्चित करता है कि एनवायरनमेंट रिवॉर्ड ही वह एकमात्र निर्णायक बना रहे कि किसी ट्राजेक्टरी को सुदृढ़ किया जाए या दंडित किया जाए। अंतिम अपडेट एक क्लिप्ड सरोगेट ऑब्जेक्टिव का उपयोग करता है जो PPO के समान है, लेकिन इसमें यूनिफॉर्म ट्राजेक्टरी एडवांटेज के स्थान पर बेयसियन टोकन-लेवल एडवांटेज का उपयोग किया जाता है।

मुख्य योगदान

सैद्धांतिक एकीकरण: पेपर यह प्रदर्शित करता है कि डिस्टिलेशन में प्रति-टोकन ऑरेकल रिवॉर्ड एक साथ एक एक्सपर्ट लॉग-रेशियो सरोगेट (optimal advantage के लिए) और सफलता की संभावना के लिए एक बेयसियन पर्याप्त सांख्यिकी (sufficient statistic) है।
क्लोज्ड-फॉर्म रिकर्सन: एक बेयसियन वैल्यू रिकर्सन का व्युत्पन्न जो बिना सीखे गए क्रिटिक्स या अतिरिक्त रोलआउट्स के टोकन-लेवल एडवांटेज उत्पन्न करता है, जो टेलिस्कोपिंग बजट बाधा को संतुष्ट करता है।
क्रेडिट कंसंट्रेशन: एक स्टेट-वेटेड एडवांटेज ( $V_t(1-V_t) \log \lambda_t$ ) का परिचय जो स्वाभाविक रूप से महत्वपूर्ण (pivotal) टोकनों पर लर्निंग सिग्नल को केंद्रित करता है और निर्धारित क्षेत्रों में वेरिएंस को कम करता है।
व्यावहारिक ढांचा: प्रति ट्राजेक्टरी केवल एक अतिरिक्त फॉरवर्ड पास की आवश्यकता के साथ, डायरेक्शन एंकरिंग और एविडेंस क्लिपिंग के साथ GRPO पाइपलाइन में इस रिकर्सन का एकीकरण।

प्रयोगात्मक परिणाम

लेखकों ने सात बेंचमार्क (Math, Science, Code) पर दो बेस मॉडल्स (Qwen3-4B और Phi-4-mini) पर OPPO का मूल्यांकन किया।

प्रदर्शन लाभ: OPPO लगातार GRPO, Dr.GRPO, DAPO, और SDPO से बेहतर प्रदर्शन करता है।
- AMC'23 पर, Teacher-OPPO ने DAPO की तुलना में Qwen3 के लिए +5.7 पॉइंट्स और Phi-4 के लिए +6.5 पॉइंट्स का सुधार दिखाया।
- AIME'24 पर, Teacher-OPPO ने DAPO की तुलना में Qwen3 के लिए +5.2 पॉइंट्स और Phi-4 के लिए +4.5 पॉइंट्स का सुधार दिखाया।
लंबाई निर्भरता (Length Dependency): लाभ प्रतिक्रिया की लंबाई के साथ निरंतर बढ़ते हैं। सबसे लंबे रिस्पॉन्स बिन (1025+ टोकन) पर, OPPO बेसलाइन्स से सबसे बड़ा अंतर दिखाता है, जो इस परिकल्पना की पुष्टि करता है कि स्टेट वेट प्रभावी ढंग से लंबे, संतृप्त रीजनिंग चेन में शोर को दबा देता है।
ऑरेकल की गुणवत्ता: प्रदर्शन ऑरेकल स्कोरर की क्षमता के साथ स्केल करता है। Teacher-OPPO (32B मॉडल का उपयोग करके) लगातार Self-OPPO (4B स्टूडेंट का उपयोग करके) से बेहतर प्रदर्शन करता है, जो उच्च-गुणवत्ता वाले संकेतों को अवशोषित करने की फ्रेमवर्क की क्षमता की पुष्टि करता है।
एब्लेशन (Ablation): डायरेक्शन एंकरिंग को हटाने से कठिन कार्यों (जैसे, AIME'24) पर प्रदर्शन गिर जाता है (GRPO से नीचे), जो ट्राजेक्टरी के परिणाम से साइन को बांधने की आवश्यकता की पुष्टि करता है। स्टेट ट्रैकिंग को हटाने (केवल $\log \lambda_t$ का उपयोग करने) से लाभ काफी कम हो जाता है, विशेष रूप से लंबी चेनों पर।

महत्व और दावे

पेपर का दावा है कि OPPO, RLVR में टोकन-लेवल क्रेडिट असाइनमेंट के लिए एक सिद्धांत-आधारित, क्रिटिक-मुक्त विधि प्रदान करता है। ऑरेकल सिग्नल्स के बेयसियन इंटरप्रिटेशन का लाभ उठाकर, यह प्राप्त करता है:

स्वचालित क्रेडिट कंसंट्रेशन: यह हाइपरपैरामीटर ट्यूनिंग या सीखे गए वैल्यू नेटवर्क की आवश्यकता के बिना गतिशील रूप से अनिश्चित, महत्वपूर्ण चरणों पर ध्यान केंद्रित करता है।
दक्षता: यह प्रति ट्राजेक्टी एक अतिरिक्त फॉरवर्ड पास की लागत पर टोकन-लेवल रेजोल्यूशन प्राप्त करता है, जो मोंटे कार्लो विधियों के भारी इन्फरेंस ओवरहेड या वैल्यू नेटवर्क को प्रशिक्षित करने की मेमोरी लागत से बचता है।
पूरकता: यह विधि मौजूदा फ्रेमवर्क के ऊपर लेयर की जा सकने वाली अनुकूलनीय है (जैसे, DAPO के क्लिपिंग के विपरीत), जो अनुकूलन मैकेनिक्स के साथ पूरक लाभ प्रदान करती है।

लेखक OPPO को लंबे समय तक चलने वाले (long-horizon) रीजनिंग में "डाइल्यूशन" (तनुकरण) की समस्या के समाधान के रूप में प्रस्तुत करते हैं। यह ढांचा प्रशिक्षण के समय का एक तंत्र है जो मॉडल के इन्फरेंस-टाइम डिप्लॉयमेंट को बदले बिना पॉलिसी ऑप्टिमाइज़ेशन में सुधार करता है।