💬 NLP

Improving Value-based Process Verifier via Structural Prior Injection

यह शोध पत्र मोंटे कार्लो सैंपलिंग त्रुटियों को वितरण बेमेल (distribution mismatches) के रूप में मॉडल करने के लिए संरचनात्मक पूर्वधारणाओं (structural priors) को इंजेक्ट करके, LLM तर्क के लिए वैल्यू-बेस्ड प्रोसेस वेरीफायर में सुधार का प्रस्ताव करता है, जिससे न्यूनतम कम्प्यूटेशनल लागत के साथ Best-of-N और बीम सर्च कार्यों पर 1-2 अंकों की प्रदर्शन वृद्धि प्राप्त होती है।

मूल लेखक: Zetian Sun, Dongfang Li, Baotian Hu, Jun Yu, Min Zhang

प्रकाशित 2026-01-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zetian Sun, Dongfang Li, Baotian Hu, Jun Yu, Min Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत बुद्धिमान लेकिन अनुभवहीन छात्र (AI) को जटिल गणितीय समस्याओं को हल करना सिखा रहे हैं। छात्र केवल आपको अंतिम उत्तर नहीं देता; वह अपना चरण-दर-चरण कार्य भी दिखाता है। आपका काम एक कोच (प्रक्रिया सत्यापनकर्ता या Process Verifier) के रूप में कार्य करना है जो प्रत्येक चरण को देखता है और कहता है, "अच्छा काम किया, आप सही रास्ते पर हैं," या "ओह, आप गलत दिशा में चले गए हैं।"

यह समस्या जिस पेपर द्वारा संबोधित की जा रही है वह यह है कि यह कोच वर्तमान में एक अधूरी/खराब मापने वाली टेप का उपयोग कर रहा है जो अक्सर सटीक नहीं होती है।

समस्या: "शोर वाला" (Noisy) सिक्का उछालना

वर्तमान में, यह तय करने के लिए कि क्या कोई चरण अच्छा है, कोच बाकी समस्या का कई बार अनुकरण करता है (जैसे यह देखने के लिए कि सिक्का 10 बार उछालने पर कितनी बार 'हेड्स' आता है)।

समस्या: यदि आप सिक्का केवल कुछ ही बार उछालते हैं, तो परिणाम "शोर भरा" (noisy) होता है। हो सकता है कि आपको 10 में से 6 हेड्स मिले, लेकिन वास्तविक संभावना वास्तव में 50% थी। कोच देखता है "60%" और सोचता है कि छात्र बहुत अच्छा कर रहा है, जबकि वे शायद सिर्फ भाग्यशाली थे।
पुराना समाधान: लोगों ने इसे एक साधारण संख्या (स्केलर) के रूप में मानकर इसे सुचारू बनाने की कोशिश की, लेकिन यह इस तथ्य को अनदेखा करता है कि डेटा एक अव्यवस्थित, यादृच्छिक प्रक्रिया से आता है।

समाधान: "संरचनात्मक पूर्व धारणा" (Structural Prior) डालना

लेखक एक नया तरीका प्रस्तावित करते हैं कि कोच कैसे सोचे। केवल एक संख्या का अनुमान लगाने के बजाय, वे कोच से पूछते हैं कि वह संभावनाओं के एक पूर्व-निर्धारित मानचित्र (एक "स्ट्रक्चरल प्रायर") की कल्पना करे।

इसे इस तरह समझें:

पुराना तरीका: कोच अनुमान लगाता है, "मुझे लगता है कि इस चरण के सफल होने की 60% संभावना है।"
नया तरीका: कोच सोचता है, "मैं जानता हूँ कि यह चरण पासे (die) फेंकने जैसा है। खेल के नियमों के आधार पर, परिणाम का एक विशिष्ट बेल कर्व (bell curve) या एक विशिष्ट पैटर्न जैसा दिखना चाहिए। मेरा काम केवल एक संख्या का अनुमान लगाना नहीं है; बल्कि यह अनुमान लगाना है कि कौन सा संभावना वितरण का आकार (shape of probability distribution) जो मैं देख रहा हूँ, उसके सबसे करीब फिट बैठता है।"

कोच को केवल संख्याओं के बजाय आकारों और पैटर्न के संदर्भ में सोचने के लिए मजबूर करके, वे सीमित अभ्यास दौरों के कारण होने वाले "शोर" को बेहतर ढंग से समझ सकते हैं।

जादू का नुस्खा: "सांख्यिकी-आधारित दूरी" (Statistics-Based Distance)

आप कोच को सही आकार चुनना कैसे सिखाएंगे? लेखकों ने एक नया रूलर (पैमाना) बनाया जिसे सांख्यिकी-आधारित दूरी कहा जाता है।

कल्पना कीजिए कि आपके पास एक "गोल्ड स्टैंडर्ड" मानचित्र है कि एक आदर्श चरण कैसा दिखता है (ग्राउंड ट्रुथ)। आपके पास कोच का "सर्वश्रेष्ठ अनुमान" वाला मानचित्र भी है।

पुराने रूलर (जैसे KL Divergence) इन मानचित्रों के बीच की दूरी मापने में खराब थे क्योंकि वे यह नहीं समझते थे कि कुछ परिणाम एक-दूसरे के अधिक "करीब" होते हैं (जैसे, 50% की संभावना 51% के करीब है न कि 90% के)।
नया सांख्यिकी-आधारित दूरी वाला रूलर इसे समझता है। यह दो मानचित्रों के बीच की दूरी को मापता है, यह ध्यान में रखते हुए कि कुछ त्रुटियां "छोटी" होती हैं और कुछ "बहुत बड़ी"। यह कोच को बहुत तेज़ी से और अधिक सटीक रूप से सीखने में मदद करता है।

परिणाम: बड़े लाभ के साथ एक छोटी बढ़त

शोधकर्ताओं ने गणित की समस्याओं (MATH डेटासेट) पर इसका परीक्षण किया। उन्होंने पुराने "एकल संख्या" वाले कोच की तुलना अपने नए "वितरण-जागरूक" (distribution-aware) कोच से की।

परिणाम: नया कोच लगातार लगभग 1% से 2% अधिक समस्याओं को सही ढंग से हल करता है।
लागत: यह सुधार "नगण्य लागत" के साथ आया। इसके लिए किसी बड़े AI मॉडल या अधिक कंप्यूटिंग पावर की आवश्यकता नहीं थी; बस डेटा को देखने के एक स्मार्ट तरीके की आवश्यकता थी।
पाठ: उन्होंने पाया कि आप किस प्रकार का मानचित्र (प्रायर) चुनते हैं, यह बहुत मायने रखता है। यदि आप एक ऐसा मानचित्र चुनते हैं जो वास्तविकता की समस्या से मेल नहीं खाता, तो कोच खराब प्रदर्शन करता है। लेकिन यदि आप एक "तर्कसंगत" मानचित्र चुनते हैं (जैसे कि एक गाऊसी वितरण जो सिक्का उछालने की यादृच्छिकता की नकल करता है), तो कोच शानदार प्रदर्शन करता है।

संक्षेप में

यह पेपर तर्क देता है कि जब AI अपने स्वयं के तर्क के चरणों का निर्णय लेने की कोशिश करता है, तो उसे केवल एक स्कोर का अनुमान नहीं लगाना चाहिए। इसके बजाय, उसे एक पूर्व-निर्धारित संरचना के आधार पर एक संभावना पैटर्न का अनुमान लगाना चाहिए। एक पूर्व-निर्धारित संरचना के आधार पर एक संभाव्यता पैटर्न का अनुमान लगाकर, AI एक बेहतर कोच बन जाता है, जो समान प्रयास के साथ अधिक समस्याओं को हल करता है।

तकनीकी सारांश: स्ट्रक्चरल प्रायर इंजेक्शन के माध्यम से वैल्यू-बेस्ड प्रोसेस वेरिफायर में सुधार

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) रीजनिंग परिदृश्यों में, मध्यवर्ती रीजनिंग स्टेप्स की गुणवत्ता का मूल्यांकन करने के लिए प्रोसेस वेरिफायर महत्वपूर्ण होते हैं। जबकि आउटकम वेरिफायर केवल अंतिम शुद्धता पर ध्यान केंद्रित करते हैं, वैल्यू-बेस्ड प्रोसेस वेरिफायर प्रत्येक स्टेप पर "स्टेट वैल्यू" (एक सही परिणाम तक पहुँचने की संभावना) का अनुमान लगाते हैं।

वर्तमान में, स्टेट वैल्यूज को आमतौर पर मोंटे कार्लो (MC) सैंपलिंग का उपयोग करके एनोटेट किया जाता है। हालाँकि, पूर्ण रोलआउट उत्पन्न करने की उच्च लागत के कारण यह दृष्टिकोण दो महत्वपूर्ण सीमाओं का सामना करता है:

डिस्क्रीट रिप्रेजेंटेशन ग्रैनुलैरिटी (Discrete Representation Granularity): सीमित सैंपलिंग (जैसे, $k$ रोलआउट्स) अनुमानित वैल्यू को डिस्क्रीट सेट के $k+1$ संभावित परिणामों ( $0, 1/k, \dots, 1$ ) तक सीमित कर देती है। यह एक विसंगति पैदा करता है जब ग्राउंड-ट्रुथ वैल्यू एक निरंतर (continuous) प्रोबेबिलिटी होती है।
सैंपलिंग वेरिएंस (Sampling Variance): MC अनुमान अनबायस्ड (unbiased) है लेकिन सीमित नमूनों के साथ सटीक नहीं है, विशेष रूप से जब वास्तविक सफलता की संभावना $p$ मध्य (0.5) के करीब होती है, जहाँ वेरिएंस सबसे अधिक होता है।

मौजूदा समाधान अक्सर डिस्क्रीट वैल्यूज को निरंतर स्पेस में मैप करने के लिए मीन-स्क्वेर्ड एरर (MSE) का उपयोग करते हैं या वेरिएंस को कम करने के लिए टेम्पोरल डिफरेंस (TD) विधियों का उपयोग करते हैं। हालाँकि, TD विधियों के लिए बड़े सैंपलिंग मात्रा की आवश्यकता होती है जो LLM रीजनिंग में कम्प्यूटेशनल रूप से महंगी है, और मानक MSE वैल्यू को एक स्केलर के रूप में मानता है बिना सैंपलिंग एरर के अंतर्निहित वितरण (underlying distribution) को स्पष्ट रूप से मॉडल किए।

कार्यप्रणाली (Methodology)

लेखक स्ट्रक्चरल प्रायर इंजेक्शन (Structural Prior Injection) का प्रस्ताव करते हैं, जो स्केलर स्टेट वैल्यू को एक पूर्व-निर्धारित कैटेगोरिकल डिस्ट्रीब्यूशन के एक्सपेक्टेशन (expectation) में बदल देता है। यह दृष्टिकोण MC सैंपलिंग एरर को एक डिस्ट्रीब्यूशन मिसमैच समस्या के रूप में पुनर्गठित करता है।

1. स्केलर से कैटेगोरिकल डिस्ट्रीब्यूशन तक

एक एकल स्केलर वैल्यू प्रेडिक्ट करने के बजाय, वेरिफायर $m$ बिन्स पर एक कैटेगोरिकल डिस्ट्रीब्यूशन $Z$ प्रेडिक्ट करता है। स्टेट वैल्यू $V^\pi(s)$ इस डिस्ट्रीब्यूशन का एक्सपेक्टेशन है:
$V^\pi(s) = E_p[\delta_i] = \sum_{i=1}^m p_i(s)\delta_i$
जहाँ $\delta_i$ लोकेशन $i$ पर डिराक डेल्टा फंक्शन (Dirac delta function) को दर्शाता है।

2. स्ट्रक्चरल प्रायर परिभाषा

यह विधि $k$ -बार मोंटे कार्लो सैंपलिंग के परिणाम को एक ग्राउंड-ट्रुथ बिनोमियल डिस्ट्रीब्यूशन $Bin(k, p) $से लिए गए एकल सैंपल के रूप में मानती है, जहाँ$ p$ वास्तविक स्टेट वैल्यू है।

एक्सपेक्टेशन रिग्रेशन (MSE): मॉडल कैटेगोरिकल डिस्ट्रीब्यूशन के एक्सपेक्टेशन को MC अनुमान से मिलाने के लिए ऑप्टिमाइज़ करता है, जो प्रभावी रूप से यह स्ट्रक्चरल प्रायर इंजेक्ट करता है कि वैल्यू एक डिस्ट्रीब्यूशन का माध्य (mean) है।
एक्सपेक्टेशन क्लासिफिकेशन (हिस्टोग्राम लॉस): मॉडल स्वयं ग्राउंड-ट्रुथ बिनोमियल डिस्ट्रीब्यूशन को रिकवर करने का प्रयास करता है। लक्ष्य एक पोस्टीरियर डिस्ट्रीब्यूशन खोजना है जो सीमित सैंपलिंग डेटा को देखते हुए वास्तविक बिनोमियल डिस्ट्रीब्यूशन के अंतर को कम करे।

3. स्टैटिस्टिक्स-बेस्ड डिस्टेंस मेट्रिक

पोस्टीरियर डिस्ट्रीब्यूशन के चयन (जैसे, One-hot, Gaussian, या अन्य शेप्स के बीच चुनाव करना) को गाइड करने के लिए, लेखक एक स्टैटिस्टिक्स-बेस्ड डिस्टेंस मेट्रिक पेश करते हैं।

इसे $D_T(p, q) = E_{x \sim q}[d(p(\cdot|x), q)]$ के रूप में परिभाषित किया गया है, जहाँ $d$ वॉसरस्टीन डिस्टेंस (Wasserstein distance) जैसा एक डिस्टेंस मेट्रिक है।
यह मेट्रिक सांख्यिकीय स्तर पर अनुमानित पोस्टीरियर और ग्राउंड-ट्रुथ टारगेट डिस्ट्रीब्यूशन के बीच मिसमैच को मापता है।
लेखक KL डाइवर्जेंस के बजाय वॉसरस्टीन डिस्टेंस का उपयोग करते हैं क्योंकि डिस्ट्रीब्यूशन की कैटेगरीज़ में सीक्वेंस विशेषताएँ (वेट्स) होती हैं, जिससे प्रोबेबिलिटी मास के बीच "दूरी" मापने के लिए वॉसरस्टीन अधिक उपयुक्त हो जाता है।

4. ऑप्टिमाइजेशन

वेरिफायर को निम्नलिखित का उपयोग करके ऑप्टिमाइज़ किया जाता है:

MSE लॉस: प्रेडिक्टेड एक्सपेक्टेशन और MC अनुमान के बीच स्क्वेर्ड डिफरेंस को मिनिमाइज़ करना।
हिस्टोग्राम लॉस (क्रॉस-एन्ट्रॉपी): प्रेडिक्टेड कैटेगोरिकल डिस्ट्रीब्यूशन और एक टारगेट डिस्ट्रीब्यूशन (जैसे, बिनोमियल डिस्ट्रीब्यूशन को अनुमानित करने वाला ट्रंकेटेड Gaussian) के बीच क्रॉस-एन्ट्रॉपी को मिनिमाइज़ करना।

मुख्य योगदान

स्ट्रक्चरल प्रायर इंजेक्शन: पेपर प्रस्तावित करता है कि स्केलर MC सैंपलिंग एरर को डिस्ट्रीब्यूशन मिसमैच समस्या में कैसे स्थानांतरित किया जाए। वैल्यू को कैटेगोरिकल डिस्ट्रीब्यूशन के एक्सपेक्टेशन के रूप में प्रदर्शित करके, यह विधि सीमित डेटा से ग्राउंड-ट्रुथ डिस्ट्रीब्यूशन को रिकवर करने की कठिनाई को स्पष्ट रूप से मॉडल करती है।
स्टैटिस्टिक्स-बेस्ड डिस्टेंस: एक नया मेट्रिक प्रस्तावित किया गया है जो पोस्टीरियर डिस्ट्रीब्यूशन और ग्राउंड-ट्रुथ टारगेट डिस्ट्रीशन के बीच की दूरी को क्वांटिफाई करता है। यह मेट्रिक मिसमैच को कम करने के लिए उचित स्ट्रक्चरल प्रायर्स (जैसे डिस्ट्रीब्यूशन शेप्स और वेरिएंस) के चयन के लिए एक गाइड के रूप में कार्य करता है।
एम्पिरिकल वैलिडेशन: लेखक प्रदर्शित करते हैं कि उचित स्ट्रक्चरल प्रायर इंजेक्शन विभिन्न ऑब्जेक्टिव फंक्शन्स (MSE और Histogram Loss) और कार्यों (Best-of-N और Beam Search) में वेरिफायर प्रदर्शन में सुधार करता है, जिसमें बहुत कम या कोई अतिरिक्त कम्प्यूटेशनल लागत नहीं लगती है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन MATH डेटासेट पर Qwen2.5-Math-7B और Deepseek-Math-7B जैसे बेस मॉडल्स के साथ Best-of-N (BoN) और Beam Search कार्यों पर किया गया।

प्रदर्शन लाभ: स्केलर रिग्रेशन बेसलाइन्स की तुलना में, एक्सपेक्टेशन-बेस्ड मॉडल्स (दोनों MSE और Histogram Loss वेरिएंट्स) ने सफलता दर में लगभग 1–2 प्रतिशत अंक की निरंतर सुधार हासिल की।
टास्क सेंसिटिविटी:
- Best-of-N में, आउटकम-सुपरवाइज्ड वेरिफायर्स ने अच्छा प्रदर्शन किया, लेकिन प्रोसेस-सुपरवाइज्ड वेरिफायर्स (जिन्हें यह विधि बेहतर बनाती है) ने बेहतर मजबूती दिखाई।
- Beam Search में, प्रोसेस-सुपरवाइज्ड वेरिफायर्स ने आउटकम-ओनली वेरिफायर्स की तुलना में काफी बेहतर प्रदर्शन किया, जो मल्टी-स्टेप सर्च के लिए सटीक इंटरमीडिएट स्टेट वैल्यूज के महत्व को रेखाटता है।
प्रायर सिलेक्शन का प्रभाव: एब्लेशन स्टडीज से पता चला कि स्ट्रक्चरल प्रायर का चुनाव प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है।
- डिस्ट्रीब्यूशन शेप: एक डायनेमिक Gaussian डिस्ट्रीब्यूशन का उपयोग करना (जहाँ वेरिएंस सैंपल्ड वैल्यू से प्राप्त होता है) स्टैटिक Gaussian या One-hot डिस्ट्रीब्यूशंस की तुलना में बेहतर परिणाम देता है, जो प्रयोगों में देखे गए निचले स्टैटिस्टिक्स-बेस्ड डिस्टेंस के अनुरूप है।
- कैटेगरी की मात्रा: कैटेगरी की संख्या को सैंपलिंग साइज (जैसे, 8 रोलआउट्स के लिए 9 कैटेगरी) से मेल खाने पर सेट करना फायदेमंद साबित हुआ।

महत्व और दावे

पेपर का दावा है कि वैल्यू-बेस्ड प्रोसेस वेरिफायर्स में सुधार स्ट्रक्चरल प्रायर्स के तर्कसंगत इंजेक्शन से आता है। स्केलर रिग्रेशन से डिस्ट्रीब्यूशन एस्टीमेशन की ओर दृष्टिकोण बदलकर, यह विधि LLM रीजनिंग में मोंटे कार्लो एस्टीमेशन की अंतर्निहित शोर (noise) और ग्रैनुलैरिटी समस्याओं को संबोधित करती है।

लेखक इस बात पर जोर देते हैं कि:

MC एस्टीमेशन में त्रुटि मौलिक रूप से सीमित नमूनों से ग्राउंड-ट्रुथ डिस्ट्रीब्यूशन को रिकवर करने की कठिनाई है।
स्टैटिस्टिक्स-बेस्ड डिस्टेंस उन प्रायर्स को चुनने और मूल्यांकन करने के लिए एक सैद्धांतिक और व्यावहारिक उपकरण प्रदान करता है जो इस मिसमैच को कम करते हैं।
यह दृष्टिकोण "एक आशाजनक और सार्थक दिशा" प्रदान करता है, जो सुझाव देता है कि स्ट्रक्चरल प्रायर्स, महंगी सैंपलिंग मात्राओं को बढ़ाए बिना, वैल्यू-बेस्ड वेरिफिकेशन में ऑप्टिमाइजेशन प्रक्रियाओं को महत्वपूर्ण रूप से बढ़ा सकते हैं।

यह कार्य अपने दायरे में विनम्र बना हुआ है, जो वॉसरस्टीन डिस्टेंस की नॉन-डिफरेंशिएबल प्रकृति (जो पूर्व, नॉन-डिफरेंशिएबल डिस्ट्रीब्यूशन मॉडलिंग की आवश्यकता रखती है) और MSE तथा Cross-Entropy ऑब्जेक्टिव्स को लीनियर रूप से संयोजित करने की कठिनाई जैसी सीमाओं को नोट करता है।