💬 NLP

Process Rewards with Learned Reliability

यह शोधपत्र BetaPRM को प्रस्तुत करता है, जो एक वितरण संबंधी प्रोसेस रिवॉर्ड मॉडल (distributional Process Reward Model) है जो स्टेप-लेवल सफलता की संभावनाओं और उनकी विश्वसनीयता दोनों का पूर्वानुमान लगाता है ताकि एडेप्टिव कंप्यूटेशन एलोकेशन (Adaptive Computation Allocation) को सक्षम बनाया जा सके, जो भविष्यवाणी के आत्मविश्वास के आधार पर गणना को गतिशील रूप से समायोजित करके बेस्ट-ऑफ-एन (Best-of-N) रीजनिंग में सटीकता-टोकन ट्रेडऑफ़ में महत्वपूर्ण सुधार करता है।

मूल लेखक: Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinyuan Li, Langlin Huang, Chengsong Huang, Shaoyang Xu, Donghong Cai, Yuyi Yang, Wenxuan Zhang, Jiaxin Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र के लंबे, बहु-चरणीय गणितीय निबंध को ग्रेड दे रहे हैं। आप केवल अंतिम उत्तर पर ही नहीं, बल्कि हर एक चरण पर फीडबैक देना चाहते हैं। AI के लिए यही प्रोसेस रिवॉर्ड मॉडल्स (PRMs) करते हैं: वे एक चरण-दर-चरण कोच की तरह कार्य करते हैं, जो AI को बताते हैं, "चरण 1 में अच्छा काम किया," या "चरण 2 में यह गलत लग रहा है।"

हालाँकि, यह शोध पत्र बताता है कि वर्तमान में इन कोचों के काम करने के तरीके में एक दोष है। वे एक एकल संख्या (जैसे, 8/10 का स्कोर) देते हैं और ऐसा व्यवहार करते हैं जैसे वह संख्या 100% निश्चित हो। लेकिन वास्तव में, कोच अनुमान लगा रहा हो सकता है। यदि AI एक अजीब रास्ता अपनाता है जो ठीक लग सकता है लेकिन अंततः गलत साबित हो सकता है, तो पुराना कोच अभी भी उसे उच्च स्कोर देता है, और AI आँख मूंदकर उस पर भरोसा करता है।

लेखक एक नया कोच प्रस्तावित करते हैं जिसे BETAPRM कहा जाता है जो केवल एक स्कोर नहीं देता; यह एक स्कोर और एक विश्वास स्तर (confidence level) देता है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "अनुमान लगाने वाला" कोच

कल्पना कीजिए कि आप एक सिक्के के उछाल के हेड (heads) आने की भविष्यवाणी करने की कोशिश कर रहे हैं।

पुरानी विधि (Standard PRM): आप सिक्का 8 बार उछालते हैं, और यह 5 बार हेड आता है। पुराना कोच कहता है, "प्रायिकता (probability) ठीक 62.5% है।" यह इस छोटे से नमूने को एक पूर्ण, अपरिवर्तनीय तथ्य के रूप में मानता है।
समस्या: यदि आप सिक्के को फिर से 8 बार उछालते हैं, तो आपको 4 हेड या 6 हेड मिल सकते हैं। पुराना कोच यह नहीं जानता। यह "62.5%" को एक कठोर तथ्य के रूप में मानता है, भले ही यह एक बहुत छोटे और शोर वाले नमूने पर आधारित हो। यह AI को अनिश्चित स्थितियों में अत्यधिक आत्मविश्वासी बना देता है।

2. समाधान: "ईमानदार" कोच (BETAPRM)

BETAPRM खेल बदल देता है। केवल एक संख्या देने के बजाय, यह संभावनाओं की एक सीमा (range) देता है और आपको बताता है कि वह उस सीमा के बारे में कितना आश्वस्त है।

उपमा: कल्पना कीजिए कि कोच एक रबर बैंड पकड़े हुए है।
- बैंड का केंद्र: यह अनुमानित स्कोर है (जैसे, "यह चरण 70% सही होने की संभावना है")।
- बैंड का कसाव (Tightness): यह विश्वसनीयता (reliability) है।
  - कसा हुआ बैंड (उच्च विश्वास): कोच बहुत आश्वस्त है। रबर बैंड 70% के निशान के चारों ओर कसकर खिंचा हुआ है। यदि आप सिक्का फिर से उछालते हैं, तो यह संभवतः 70% के पास ही रहेगा।
  - ढीला बैंड (कम विश्वास): कोच अनिश्चित है। रबर बैंड चौड़ा होकर फैला हुआ है, जो 40% से 90% तक सब कुछ कवर कर रहा है। कोच कह रहा है, "मुझे लगता है कि यह 70% है, लेकिन मैं बहुत गलत भी हो सकता हूँ।"

इस "कसाव" (जिसे पेपर में concentration कहा गया है) को सीखकर, मॉडल यह कहना सीख जाता है, "मैं इस चरण के प्रति आश्वस्त हूँ," या "मैं यहाँ केवल अनुमान लगा रहा हूँ, इसलिए मुझ पर बहुत अधिक भरोसा न करें।"

3. यह कैसे सीखता है: "मोंटे कार्लो" प्रशिक्षण

कोच ईमानदार होना कैसे सीखता है?

पेपर मोंटे कार्लो कंटीन्यूएशन (Monte Carlo continuations) नामक एक विधि का उपयोग करता है। कल्पना कीजिए कि AI एक समस्या को हल करने की कोशिश करता है, चरण 3 पर रुकता है, और फिर उसी बिंदु से समस्या को 16 अलग-अलग तरीकों से पूरा करने की कोशिश करता है।
उन 16 प्रयासों में से कुछ सफल होते हैं; कुछ विफल होते हैं।
पुराना कोच: उन 16 प्रयासों को देखता है, सफलताओं को गिनता है (मान लीजिए 10), और उसे "10/16 = 0.625" के रूप में याद कर लेता है।
BETAPROM: उन 16 प्रयासों को देखता है और सोचता है, "ठीक है, मैंने 10 सफलताएँ देखीं। यह एक अच्छा संकेत है, लेकिन क्योंकि मैंने केवल 16 प्रयास देखे हैं, इसमें बहुत अधिक अनिश्चितता (randomness) है। मुझे इस शोर को ध्यान में रखते हुए अपने रबर बैंड को ढीला रखना चाहिए।"

यह स्कोर और अनिश्चितता के बीच इस संतुलन को सीखने के लिए बीटा-बाइनोमियल (Beta-Binomial) वितरण नामक एक गणितीय उपकरण का उपयोग करता है।

4. सुपरपावर: एडेप्टिव कंप्यूटेशन (ACA)

पेपर इस "ईमानदार कोच" का उपयोग करने का एक नया तरीका पेश करता है जिसे एडैप्टिव कंप्यूटेशन एलोकेशन (ACA) कहा जाता है।

इसे एक रोड ट्रिप के बजट की तरह समझें। आपके पास सबसे अच्छा रास्ता खोजने के लिए गैस (या धन) की एक निश्चित मात्रा है।

पुरानी विधि (निश्चित बजट): आप 16 अलग-अलग कारें भेजते हैं ताकि सबसे अच्छा रास्ता खोजा जा सके, चाहे जो भी हो। भले ही कार नंबर 1 पहले मील के बाद ही स्पष्ट रूप से विजेता हो, आप फिर भी अन्य 15 कारों को भेज देते हैं ताकि सुरक्षित रहा जा सके। यह गैस बर्बाद करता है।
नई विधि (ACA):
1. आप कारों का एक छोटा समूह भेजते हैं (मान लीजिए 4)।
2. आप "ईमानदार कोच" (BETAPRM) की जाँच करते हैं।
3. परिदृश्य A (उच्च विश्वास): कोच कहता है, "कार नंबर 1 विजेता है, और मैं बहुत आश्वस्त (tight rubber band) हूँ कि कोई अन्य कार इसे मात नहीं दे सकती।"
  - कार्रवाई: तुरंत रुकें! गैस बचाएं। आपको अन्य 12 कारें भेजने की आवश्यकता नहीं है।
4. परिदृश्य B (कम विश्वास): कोच कहता है, "कार नंबर 1 अच्छी दिख रही है, लेकिन मेरा रबर बैंड ढीला है। मुझे यकीन नहीं है कि कार नंबर 2 या 3 वास्तव में बेहतर हो सकती है।"
  - कार्रवाई: रुकें नहीं। अनिश्चित रास्तों को खोजने के लिए और अधिक कारें भेजें।

परिणाम

पेपर ने चार अलग-अलग AI मॉडलों और चार गणितीय बेंचमार्क पर इसका परीक्षण किया।

बेहतर चयन: "टाइट रबर बैंड" वाले स्कोर पर अधिक भरोसा करके, AI ने पुरानी विधि की तुलना में सही उत्तर अधिक बार चुने।
गैस की बचत: नई विधि (ACA) ने समस्याओं को हल करने के लिए आवश्यक कंप्यूटर पावर (टोकन) को 33.57% तक बचाया। इसने उन समस्याओं पर समय बर्बाद करना बंद कर दिया जहाँ उत्तर पहले से ही स्पष्ट था, और केवल कठिन, अनिश्चित समस्याओं पर ही अपना दिमाग लगाया।

सारांश

BETAPOTM एक स्मार्ट कोच है जो केवल ग्रेड नहीं देता; यह बताता है कि उस ग्रेड पर कितना भरोसा किया जा सकता है। यह जानकर कि वह कब अनुमान लगा रहा है, AI आसान समस्याओं पर ऊर्जा बर्बाद करना बंद कर सकता है और अपनी पूरी मानसिक शक्ति केवल कठिन, अनिश्चित समस्याओं पर केंद्रित कर सकता है।

तकनीकी सारांश: लर्न की गई विश्वसनीयता के साथ प्रोसेस रिवॉर्ड्स (BETAPRM)

1. समस्या विवरण (Problem Statement)

प्रोसेस रिवॉर्ड मॉडल्स (PRMs) रीजनिंग कार्यों के लिए स्टेप-लेवल फीडबैक प्रदान करते हैं, जो कैंडिडेट सिलेक्शन और पॉलिसी ऑप्टिमाइज़ेशन को निर्देशित करते हैं। हालाँकि, मौजूदा PRMs आमतौर पर प्रत्येक रीजनिंग स्टेप के लिए एक सिंगल पॉइंट एस्टीमेट (जैसे, एक स्केलर प्रोबेबिलिटी) आउटपुट करते हैं। यह इंटरफ़ेस दो महत्वपूर्ण सीमाओं को प्रस्तुत करता है:

अनिश्चितता का अभाव (Lack of Uncertainty Quantification): एक सिंगल स्केलर स्कोर, एक आत्मविश्वासी (confident) भविष्यवाणी और एक अनिश्चित भविष्यवाणी के बीच अंतर नहीं कर सकता है। डाउनस्ट्रीम मेथड्स को दोषपूर्ण स्टेप-लेवल प्रेडिक्शन्स को विश्वसनीय निर्णय संकेतों के रूप में मानने के लिए मजबूर किया जाता है, भले ही मॉडल का कॉन्फिडेंस कम हो।
नॉइज़ी फाइनाइट-सैंपल सुपरविजन (Noisy Finite-Sample Supervision): मानक PRM ट्रेनिंग अक्सर सुपरविजन उत्पन्न करने के लिए मोंटे कार्लो कंटीन्यूएशन (Monte Carlo continuations) पर निर्भर करती है। यदि एक प्रीफिक्स से $N$ कंटीन्यूएशन सैंपल किए जाते हैं और $K$ सफल होते हैं, तो एम्पिरिकल रेशियो $\hat{q} = K/N$ को रिग्रेशन के लिए एक पॉइंट टारगेट के रूप में माना जाता है। हालाँकि, $\hat{q}$ केवल वास्तविक प्रीफिक्स सक्सेस प्रोबेबिलिटी का एक नॉइज़ी एस्टीमेट है। एक ही प्रीफिक्स से बार-बार सैंपलिंग करने पर रैंडमनेस के कारण अलग-अलग $K$ मान प्राप्त हो सकते हैं, फिर भी मानक ट्रेनिंग मॉडल को इस विशिष्ट नॉइज़ी रेशियो के बजाय अंतर्निहित वितरण (underlying distribution) को फिट करने के लिए मजबूर करती है।

परिणामस्वरूप, डाउनस्ट्रीम एप्लिकेशन उच्च-रिवॉर्ड वाले स्टेप्स जो विश्वसनीय रूप से सही हैं और वे जो उच्च-रिवॉर्ड वाले लेकिन अनिश्चित हैं, के बीच अंतर नहीं कर पाते हैं, जिससे सबऑप्टिमल टेस्ट-टाइम स्केलिंग और कंप्यूटेशन एलोकेशन होता है।

2. कार्यप्रणाली: BETAPRM (Methodology: BETAPRM)

लेखक BETAPRM का प्रस्ताव करते हैं, जो एक डिस्ट्रिब्यूशनल प्रोसेस रिवॉर्ड मॉडल है जो स्टेप-लेवल सक्सेस प्रोबेबिलिटी और उस प्रेडिक्शन की विश्वसनीयता (reliability) दोनों का अनुमान लगाता है।

2.1 बीटा-बाइनोमियल काउंट मॉडल (Beta-Binomial Count Model)

पॉइंट टारगेट $\hat{q} = K/N$ के लिए रिग्रेशन करने के बजाय, BETAPRM प्रीफिक्स सक्सेस प्रोबेबिलिटी $q_t$ को एक बीटा वितरण (Beta distribution) के रूप में एक लेटेंट वेरिएबल के रूप में मॉडल करता है:
$q_t \sim \text{Beta}(\alpha_t, \beta_t)$
$N$ ट्रायल्स में देखे गए सफल कंटीन्यूशंस की संख्या $K_t$ को $q_t$ पर कंडिशन किया गया एक बिनोमियल ड्रॉ के रूप में मॉडल किया जाता है:
$K_t | q_t \sim \text{Binomial}(N, q_t)$
लेटेंट $q_t$ को मार्जलिनाइज (marginalize) करके, मॉडल देखे गए काउंट्स पर एक बीटा-बाइनोमियल वितरण सीखता है। यह मॉडल को देखे गए रेशियो $K_t/N$ के बजाय देखे गए काउंट $K_t$ के लिए लाइकलीहुड असाइन करने की अनुमति देता है।

2.2 पैरामीट्राइजेशन (Parameterization)

बीटा वितरण को इसके मीन $\mu_t$ और कंसन्ट्रेशन $\kappa_t$ द्वारा री-पैरामीटराइज़ किया जाता है:

मीन ( $\mu_t$ ): यह अपेक्षित सफलता की संभावना (expected success probability) का प्रतिनिधित्व करता है, जो एक मानक स्केलर PRM स्कोर के रूप में कार्य करता है।
कंसन्ट्रेशन ( $\kappa_t$ ): यह विश्वास की शार्पनेस (sharpness of belief) को नियंत्रित करता है। एक उच्च $\kappa_t$ एक केंद्रित (concentrated) यानी विश्वसनीय विश्वास को दर्शाता है, जबकि एक निम्न $\kappa_t$ एक फ्लैट (flattened) यानी अनिश्चित विश्वास को दर्शाता है जो परिणामों की एक विस्तृत श्रृंखला की व्याख्या कर सकता है।

मॉडल आर्किटेक्चर एक मानक लैंग्वेज मॉडल बैकबोन का उपयोग करता है। मीन $\mu_t$ को "Yes" रिवॉर्ड टोकन के सॉफ्टमैक्स प्रोबेबिलिटी से प्राप्त किया जाता है। कंसन्ट्रेशन $\kappa_t$ को प्रोसेस मार्कर पर लागू एक अलग लाइटवेट लीनियर हेड द्वारा प्रेडिक्ट किया जाता है, जो यह सुनिश्चित करता है कि रिवॉर्ड और रिलायबिलिटी चैनल अलग-तलग रहें।

2.3 ट्रेनिंग ऑब्जेक्टिव (Training Objective)

ट्रेनिंग लॉस दो घटकों से बना है:

बीटा-बाइनोमियल लाइकलीहुड ( $L_{\text{Beta-Binomial}}$ ): प्रेडिक्टेड बीटा पैरामीटर्स दिए गए देखे गए काउंट $K_t$ की लाइकलीहुड को मैक्सिमाइज करता है। यह मॉडल को देखे गए मोंटे कार्लो डेटा वितरण की व्याख्या करने के लिए प्रोत्साहित करता है।
ऑक्सिलरी रेगुलराइजेशन ( $L_{\text{reg}}$ ): कंसन्ट्रेशन पैरामीटर को अनकैलिब्रेटेड होने से रोकने के लिए, एक ऑक्सिलरी लॉस उच्च कंसन्ट्रेशन ( $\kappa_t$ ) को दंडित करता है जब प्रेडिक्टेड मीन $\mu_t$ देखे गए रेशियो $K_t/N$ के साथ असहमति रखता है। महत्वपूर्ण रूप से, इस टर्म में एक स्टॉप-ग्रेडिएंट ऑपरेशन लगाया जाता है ताकि रेगुलराइज़र $\kappa_t$ को कैलिब्रेट करे बिना $\mu_t$ को नॉइजी रेशियो की ओर खींचे।

$L = L_{\text{Beta-Binomial}} + \lambda_{\text{reg}} L_{\text{reg}}$

3. एप्लीकेशन: एडेप्टिव कंप्यूटेशन एलोकेशन (ACA)

सीखी गई रिलायबिलिटी सिग्नल का लाभ उठाते हुए, लेखक PRM-गाइडेड बेस्ट-ऑफ-N रीजनिंग के लिए एडेप्टिव कंप्यूटेशन एलोकेशन (ACA) पेश करते हैं। फिक्स्ड-बजट बेस्ट-ऑफ-N के विपरीत, जो कठिनाई की परवाह किए बिना कांस्टेंट संख्या में कैंडिडेट्स सैंपल करता है, ACA डायनेमिकली कंप्यूट एलोकेट करता है:

रिस्क-एडजस्टेड स्कोरिंग (Risk-Adjusted Scoring): कैंडिडेट्स को एक रिस्क-एडजस्टेड मेट्रिक $S(y) = \frac{1}{T}\sum (\mu_t - \lambda \sigma_t)$ का उपयोग करके स्कोर किया जाता है, जहाँ $\sigma_t$ बीटा वितरण से प्राप्त स्टैंडर्ड डेविएशन है। यह उन कैंडिडेट्स को दंडित करता है जिनमें अनिश्चितता अधिक है।
अर्ली स्टॉपिंग (Early Stopping): ACA कैंडिडेट्स को प्रोग्रेसिव बैचों में सैंपल करता है। यह तब जल्दी रुक जाता है जब वर्तमान बेस्ट कैंडिडेट का लोअर कॉन्फिडेंस बाउंड (LCB), सभी प्रतिस्पर्धियों के अपर कॉन्फिडेंस बाउंड (UCB) से अधिक हो जाता है, जो यह दर्शाता है कि विजेता भरोसेमंद रूप से आगे है।
अनसर्टेन्टी-गाइडेड रिपेयर (Uncertainty-Guided Repair): यदि स्टॉपिंग क्राइटेरिया पूरा नहीं होता है, तो ACA कंप्यूट के अगले बैच को सबसे प्रॉमिसिंग अनसर्टेन प्रीफिक्स (वह नॉन-विनर जिसका UCB सबसे अधिक है) को रिपेयर करने के लिए एलोकेट करता है, न कि पूरी तरह से नए कैंडिडेट्स बनाने के लिए।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बैकबोन मॉडल्स (InternVL2.5-8B, InternVL3-8B, InternVL3-14B, Qwen2.5-VL-7B) और चार रीजनिंग बेंचमार्क्स (MathVision, OlympiadBench, MathVerse, MathVista) पर BETAPRM का मूल्यांकन किया।

बेस्ट-ऑफ-N सिलेक्शन (Best-of-N Selection): BETAPRM ने सभी बैकबोंस पर स्टैंडर्ड PRMs की तुलना में फाइनल-आंसर एक्यूरेसी में सुधार किया। उदाहरण के लिए, InternVL2.5-8B पर, BETAPRM ने स्टैंडर्ड PRM पर औसतन +3.37 पॉइंट्स की बढ़त हासिल की।
एरर डिटेक्शन (Error Detection): BETAPRM ने स्टैंडर्ड स्टेप-लेवल एरर डिटेक्शन क्षमताओं को बरकरार रखा, जो VisualProcessBench पर स्टैंडर्ड PRMs की तुलना में तुलनीय या थोड़ा बेहतर माइक्रो-F1 स्कोर प्राप्त करता है।
एक्यूरेसी-टोकन ट्रेडऑफ (Accuracy-Token Tradeoff): ACA सेटिंग (फिक्स्ड मैक्स बजट $N=16$ $N = 16$ ) में, BETAPRM ने इंफरेंस की दक्षता में काफी सुधार किया।
- इसने (InternVL2.5-8B के साथ MathVerse पर) टोकन उपयोग को 33.57% तक कम कर दिया और साथ ही फिक्स्ड-बजट Best-of-16 की तुलना में फाइनल-आंसर एक्यूरेसी में सुधार किया।
- एब्लेशन स्टडीज ने पुष्टि की कि BETAPRM से सीखी गई अनसर्टेन्टी सिग्नल, प्रॉक्सी अनसर्टेन्टी या रिवॉर्ड-ओनली एलोकेशन वाले स्टैंडर्ड PRM के उपयोग से बेहतर थी, क्योंकि बाद वाला उन प्रीफिक्स को पहचानने में विफल रहा जहाँ उच्च स्कोर के बावजूद अतिरिक्त कंप्यूटेशन की आवश्यकता थी।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि BETAPRM वर्तमान PRM इंटरफेस की एक मौलिक विसंगति को संबोधित करता है: विश्वसनीय और अनिश्चित भविष्यवाणियों के बीच अंतर करने में असमर्थता। एक वितरण के रूप में प्रीफिक्स सक्सेस प्रोबेबिलिटी को मॉडल करके, BETAPRM:

भरोसेमंद निर्णय लेने में सक्षम बनाता है (Enables Trustworthy Decision Making): डाउनस्ट्रीम एल्गोरिदम अब कॉन्फिडेंट रिवॉर्ड्स और अनसर्टेन रिवॉर्ड्स के बीच अंतर कर सकते हैं, जिससे अनरिलायबल स्कोर को निर्णयों को निर्देशित करने से रोका जा सकता है।
टेस्ट-टाइम एफिशिएंसी में सुधार करता है (Improves Test-Time Efficiency): सीखी गई रिलायबिलिटी सिग्नल एडेप्टिव कंप्यूटेशन एलोकेशन को सक्षम बनाती है, जिससे एक्यूरेसी से समझौता किए बिना, और अक्सर उसे बेहतर बनाते हुए, इंफरेंस कॉस्ट (टोकन्स) को कम किया जाता है।
सुपरविजन का बेहतर उपयोग (Better Utilization of Supervision): बीटा-बाइनोमियल ऑब्जेक्टिव मोंटे कार्लो सुपरविजन की फाइनाइट-सैंपल प्रकृति का प्रभावी ढंग से उपयोग करता है, जो काउंट $K$ को एक डिटर्मिनिस्टिक लेबल के बजाय एक स्टोकेस्टिक ऑब्जर्वेशन के रूप में मानता है।

लेखक निष्कर्ष निकालते हैं कि स्केलर प्रोसेस रिवॉर्ड्स को रिलायबिलिटी-अवेयर सिग्नल्स में बदलना टेस्ट-टाइम कंप्यूट को स्केल करने और रीजनिंग सिस्टम की मजबूती में सुधार करने के लिए एक महत्वपूर्ण कदम है।