💬 NLP

Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning

यह शोध पत्र चंक-लेवल गाइडेड जनरेशन (Chunk-Level Guided Generation) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो छोटे मॉडलों से निश्चित लंबाई के रीजनिंग चंक्स (reasoning chunks) चुनने के लिए ऑफ-द-शेल्फ लार्ज लैंग्वेज मॉडल्स को प्रोसेस स्कोरर्स के रूप में उपयोग करता है, जो प्रभावी रूप से त्रुटि प्रसार (error propagation) को रोकता है और गणितीय बेंचमार्क पर मेजरिटी वोटिंग (majority voting) और प्रशिक्षित प्रोसेस रिवॉर्ड मॉडल्स (Process Reward Models) दोनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Atoosa Chegini, Soheil Feizi

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Atoosa Chegini, Soheil Feizi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत कठिन गणित की समस्या को हल करने की कोशिश कर रहे हैं। आपके पास दो सहायक हैं: एक जूनियर असिस्टेंट (एक छोटा, तेज़, लेकिन कभी-कभी भ्रमित होने वाला AI) और एक सीनियर एक्सपर्ट (एक विशाल, धीमा, लेकिन अत्यंत बुद्धिमान AI)।

आपका लक्ष्य सीनियर एक्सपर्ट का उपयोग हर एक कदम के लिए करके बहुत अधिक पैसा या समय खर्च किए बिना सही उत्तर प्राप्त करना है।

पुराने तरीके (और उनकी विफलता के कारण)

1. "पासा फेंकने" की विधि (Post-Hoc Selection):
अतीत में, लोग जूनियर असिस्टेंट को शुरू से अंत तक पाँच या दस पूर्ण समाधान लिखने के लिए कहते थे। फिर, वे सीनियर एक्सपर्ट से उन सभी तैयार उत्तरों को देखने और उनमें से सबसे अच्छा चुनने के लिए कहते थे।

समस्या: जब तक सीनियर एक्सपर्ट उत्तरों को देखता है, तब तक जूनियर असिस्टेंट गणित के बीच में ही गलतियाँ कर चुका होता है। यदि जूनियर असिस्टेंट ने शुरुआत में ही गलत मोड़ ले लिया है, तो सीनियर एक्सपर्ट उसे ठीक नहीं कर सकता; वह केवल "सबसे कम गलत" तैयार कहानी को ही चुन सकता है। यह एक शेफ से केक बनने के बाद उसे ठीक करने के लिए कहने जैसा है जब केक पहले ही जल चुका हो।

2. "चरण-दर-चरण कोच" विधि (Process Reward Models - PRM):
एक नया तरीका इसमें शामिल है जहाँ सीनियर एक्सपर्ट जूनियर असिस्टेंट के काम को लिखते समय ही चेक करता है। जूनियर एक वाक्य लिखता है, सीनियर उसे चेक करता है, और यदि वह सही है, तो वह उसे आगे बढ़ने देता है। यदि नहीं, तो वे फिर से प्रयास करते हैं।

समस्या: यह बहुत अच्छा काम करता है, लेकिन इसके लिए सीनियर एक्सपर्ट को विशेष रूप से प्रशिक्षित (जैसे एक कोच जिसने गणित की त्रुटियों का वर्षों तक अध्ययन किया हो) करने की आवश्यकता होती है। इस कोच को प्रशिक्षित करना महंगा और कठिन है।

नया विचार: "चंक-लेवल गाइडेड जनरेशन" (Chunk-Level Guided Generation)

लेखकों ने एक चतुर, मुफ़्त विकल्प प्रस्तावित किया है जिसके लिए एक नया कोच प्रशिक्षित करने की आवश्यकता नहीं है। वे इसे चंक-लेवल गाइडेड जनरेशन कहते हैं।

यह इस प्रकार काम करता है:

"निश्चित-लंबाई वाली पहेली" का उदाहरण (The "Fixed-Length Puzzle" Analogy)
कल्पना कीजिए कि जूनियर असिस्टेंट ब्लॉक्स (blocks) का एक टॉवर बना रहा है।

नियम: जूनियर असिस्टेंट को एक बार में पूरा वाक्य या पूरा पैराग्राफ बनाने देने के बजाय, उन्हें एक बार में ठीक 20 ब्लॉक्स (एक "चंक") बनाने की अनुमति दी जाती है।
विकल्प: प्रत्येक चरण पर, जूनियर असिस्टेंट उन 20 ब्लॉक्स के 32 अलग-अलग संस्करण तेज़ी से बनाता है।
स्कोर: सीनियर एक्सपर्ट इन 32 छोटे ब्लॉक स्टैक को देखता है। वह कुछ नया नहीं लिखता; वह बस एक "स्कोर" देता है कि इन ब्लॉक्स के एक सही गणितीय समाधान का हिस्सा होने की कितनी संभावना है।
चुनाव: जूनियर असिस्टेंट उच्चतम स्कोर वाले स्टैक को चुनता है, उसे लॉक कर देता है, और फिर अगले 20 ब्लॉक्स बनाना शुरू कर देता है।

"निश्चित लंबाई" क्यों महत्वपूर्ण है ("लंबाई पूर्वाग्रह" का जाल - The "Length Bias" Trap)
पेपर ने एक अजीब बात खोजी कि बड़े AI मॉडल कैसे सोचते हैं। यदि आप एक बड़े AI को एक छोटा गणितीय चरण बनाम एक लंबा गणितीय चरण परखने के लिए कहते हैं, तो बड़ा AI अक्सर सोचता है कि लंबा वाला बेहतर है, भले ही वह निरर्थक हो। यह एक ऐसे शिक्षक की तरह है जो सोचता है कि एक छात्र जिसने 10 पन्नों का निबंध लिखा है, वह उस छात्र से अधिक जानता होगा जिसने 1 पन्ने का सारांश लिखा है, भले ही 1 पन्ने का सारांश वास्तव में सही हो।

जूनियर असिस्टेंट को समान लंबाई के चंक्स लिखने के लिए मजबूर करके, सीनियर एक्सपर्ट उनकी निष्पक्ष तुलना कर सकता है। यह "लंबाई पूर्वाग्रह" (length bias) को हटा देता है और AI को केवल टेक्स्ट की लंबाई के बजाय गणित की गुणवत्ता को आंकने की अनुमति देता है।

दो स्कोरिंग रणनीतियाँ

पेपर सीनियर एक्सपर्ट द्वारा चंक्स को स्कोर करने के दो तरीकों का परीक्षण करता है:

लाइकलीहुड-गाइडेड सिलेक्शन (LGS): सीनियर एक्सपर्ट बस उस चंक को चुनता है जो उन्हें सबसे अधिक "गणित जैसा" लगता है।
कॉन्ट्रास्टिव-गाइडेड सिलेक्शन (CGS): यह अधिक चतुर है। सीनियर एक्सपर्ट पूछता है: "क्या यह चंक मुझे जूनियर असिस्टेंट की तुलना में बेहतर दिखता है?"
- यदि जूनियर असिस्टेंट को लगता है कि एक चंक ठीक है, लेकिन सीनियर एक्सपर्ट को लगता है कि यह अद्भुत है, तो यह एक बड़ी जीत है।
- यह विधि उन चरणों को ढूंढती है जहाँ सीनियर एक्सपर्ट की "विशेषज्ञ अंतर्दृष्टि" (expert intuition) जूनियर असिस्टेंट की कमियों को सुधारते हुए सबसे अधिक मूल्य जोड़ती है।

परिणाम: उन्होंने क्या पाया?

शोधकर्ताओं ने कठिन गणित परीक्षणों (जैसे हाई स्कूल और कॉलेज प्रतियोगिताओं) पर इनका परीक्षण किया।

"पासा फेंकने" की विधि को हराना: नया तरीका "पासा फेंकने" की विधि से बहुत बेहतर था, जिसमें जूनियर असिस्टेंट के पूरा होने का इंतज़ार किया जाता था और फिर सबसे अच्छा चुना जाता था। इसने त्रुटियों को होने से पहले ही ठीक कर दिया।
प्रशिक्षित कोच को हराना: कई मामलों में, यह "मुफ़्त" विधि (एक उपलब्ध सीनियर एक्सपर्ट का उपयोग करके) उस महंगे, विशेष रूप से प्रशिक्षित "प्रोसेस रिवॉर्ड मॉडल" कोच के समान या उससे भी बेहतर प्रदर्शन करती है।
छोटे, स्मार्ट उत्तर: आश्चर्यजनक रूप से, नए तरीके ने प्रशिक्षित कोच विधि की तुलना में छोटे उत्तर दिए। प्रशिक्षित कोच अक्सर जूनियर असिस्टेंट को सुरक्षित रहने के लिए लंबे, भ्रामक स्पष्टीकरण लिखने के लिए प्रेरित करता है। नया तरीका जूनियर असिस्टेंट को सीधे, संक्षिप्त और सही रास्तों की ओर ले जाता है।
स्केलिंग अप (Scaling Up): यहाँ तक कि जब उन्होंने एक स्मार्ट जूनियर असिस्टेंट (7-बिलियन पैरामीटर मॉडल) का उपयोग किया, तब भी यह तरीका अच्छी तरह से काम करता रहा, जो कि विशाल 72-बिलियन पैरामीटर मॉडल के प्रदर्शन के बहुत करीब पहुँच गया।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर दिखाता है कि बेहतरीन परिणाम प्राप्त करने के लिए आपको एक विशेष "गणित कोच" AI को प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस एक बड़े, स्मार्ट AI का उपयोग करना है जो एक छोटे AI के काम के छोटे, निश्चित आकार के टुकड़ों को उसके काम करते समय ही तेज़ी से ग्रेड कर सके। यह एक प्रशिक्षण-मुक्त, लागत प्रभावी तरीका है जिससे छोटे AI मॉडल कठिन गणित समस्याओं को लगभग बड़े और सबसे महंगे मॉडलों के समान हल कर सकते हैं।

तकनीकी सारांश: ऑफ-द-शेल्फ LLMs का प्रोसेस स्कोरर के रूप में उपयोग

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में गणितीय तर्क (mathematical reasoning) में सुधार करने की वर्तमान रणनीतियाँ लागत और प्रभावशीलता के बीच एक संतुलन (trade-off) का सामना करती हैं। प्रत्येक इन्फरेंस क्वेरी के लिए एक विशाल मॉडल का उपयोग करना कम्प्यूटेशनल रूप से महंगा है। एक सामान्य विकल्प छोटे, सस्ते मॉडल से कई समाधानों को सैंपल करना और फिर जनरेशन पूरा होने के बाद 'मेजोरिटी वोटिंग' (Majority Voting) या 'बेस्ट-ऑफ-एन' (Best-of-N) जैसी विधियों का उपयोग करके सबसे अच्छे को चुनना है। हालाँकि, यह पेपर तर्क देता है कि पोस्ट-हॉक (post-hoc) चयन मौलिक रूप से सीमित है: यदि छोटा मॉडल जनरेशन के शुरुआती चरण में ही गलत तर्क पथ (reasoning path) पर निकल जाता है, तो त्रुटि के प्रसार (propagation) के बाद कोई भी स्कोरर उस प्रक्षेपवक्र (trajectory) को ठीक नहीं कर सकता।

इसके विपरीत, प्रोसेस रिवॉर्ड मॉडल (PRM) गाइडेड सर्च इस समय संबंधी समस्या को संबोधित करता है क्योंकि यह जनरेशन के दौरान ही संभावित तर्क चरणों (reasoning steps) को स्कोर करता है। हालांकि, PRMs के लिए स्टेप-लेवल लेबल्स (जैसे, Qwen2.5-Math-PRM-72B) पर प्रशिक्षित रिवॉर्ड मॉडल की आवश्यकता होती है, जो एक महत्वपूर्ण प्रशिक्षण ओवरहेड और संसाधन लागत है।

यह पेपर जिस मुख्य समस्या को संबोधित करता है वह है: क्या हम समर्पित रिवॉर्ड मॉडल को प्रशिक्षित किए बिना, जनरेशन-टाइम गाइडेंस (त्रुटियों के प्रसार से पहले मॉडल को निर्देशित करने) के लाभ प्राप्त कर सकते हैं?

कार्यप्रणाली: चंक-लेवल गाइडेड जनरेशन (Chunk-Level Guided Generation)

लेखक चंक-लेवल गाइडेड जनरेशन का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो एक ऑफ-द-शेल्फ लार्ज लैंग्वेज मॉडल (LLM) का उपयोग केवल एक स्कोरर के रूप में करता है, न कि जनरेटर के रूप में।

फ्रेमवर्क

जनरेशन (Generation): एक छोटा मॉडल ( $\pi_s$ ) समाधान उत्पन्न करता है। प्रत्येक चरण पर, एक सिंगल टोकन या वेरिएबल-लेंथ रीजनिंग स्टेप उत्पन्न करने के बजाय, छोटा मॉडल एक निश्चित लंबाई $L$ के $k$ संभावित निरंतरता (chunks) को सैंपल करता है।
स्कोरिंग (Scoring): एक बड़ा, प्री-ट्रेंड LLM ( $\pi_l$ ) इन $k$ उम्मीदवारों को स्कोर करता है। महत्वपूर्ण बात यह है कि बड़ा मॉडल टेक्स्ट जनरेट नहीं करता है; यह केवल छोटे मॉडल द्वारा प्रदान किए गए कैंडिडेट चंक्स के लिए लाइकलीहुड (log-probabilities) की गणना करता है।
चयन (Selection): उच्चतम-स्कोर वाले चंक को कॉन्टेक्स्ट में जोड़ा जाता है, और प्रक्रिया तब तक दोहराई जाती है जब तक कि एंड-ऑफ-सीक्वेंस टोकन नहीं आ जाता।

स्कोरिंग नियम

पेपर में बड़े मॉडल के लाइकलीहुड्स के आधार पर दो चयन नियम पेश किए गए हैं:

लाइकलीहुड-गाइडेड सिलेक्शन (LGS): यह बड़े मॉडल के तहत उच्चतम लेंथ-नॉर्मलाइज्ड लॉग-प्रोबेबिलिटी वाले चंक का चयन करता है:
$S_{LGS}(c_i) = \ell_{\pi_l}(c_i | h)$
कॉन्ट्रास्टिव-गाइडेड सिलेक्शन (CGS): यह उस चंक का चयन करता है जहाँ बड़े मॉडल की प्राथमिकता छोटे मॉडल की तुलना में सबसे अधिक भिन्न होती है। यह छोटे मॉडल के लॉग-प्रोबेबिलिटी को बड़े मॉडल के लॉग-प्रोबेबिलिटी से घटाता है:
$S_{CGS}(c_i) = \ell_{\pi_l}(c_i | h) - \ell_{\pi_s}(c_i | h)$
यह नियम उन निरंतरताओं (continuations) को प्राथमिकता देता है जिन्हें बड़ा मॉडल विश्वसनीय पाता है लेकिन छोटा मॉडल नहीं, जिससे प्रभावी रूप से बड़े मॉडल के "अतिरिक्त" ज्ञान का लाभ मिलता है।

मुख्य डिज़ाइन विकल्प: फिक्स्ड-लेंथ चंक्स (Fixed-Length Chunks)

कार्यप्रणाली का एक महत्वपूर्ण योगदान फिक्स्ड-लेंथ चंक्स का उपयोग है, न कि स्वाभाविक रूप से delimited रीजनिंग स्टेप्स का। लेखक प्रदर्शित करते हैं कि बड़े मॉडल के लॉग-प्रोबेबिलिटीज में एक व्यवस्थित लेंथ बायस (length bias) होता है: लेंथ नॉर्मलाइजेशन के बाद भी, बड़ा मॉडल लंबे रीजनिंग स्टेप्स को उच्च संभाव्यता देने की प्रवृत्ति रखता है। एक निर्णय बिंदु पर सभी उम्मीदवारों के लिए लंबाई $L$ को स्थिर करके, स्कोर सीधे तुलनीय हो जाते हैं, जिससे यह भ्रम दूर हो जाता है।

मुख्य योगदान

ट्रेनिंग-फ्री प्रोसेस स्कोरिंग: यह पेपर दिखाता है कि एक ऑफ-द-शेल्फ LLM, जिसका उपयोग विशेष रूप से लाइकलीहुड स्कोरर के रूप में किया जाता है, जनरेशन-टाइम सर्च को गाइड करने के लिए एक प्रशिक्षित PRM के प्रभावी विकल्प के रूप में कार्य करता है।
लेंथ बायस का समाधान: लेखक बड़े मॉडल के लाइकलीहुड्स में एक व्यवस्थित लेंथ बायस की पहचान करते हैं और उसे हल करते हैं, यह दिखाते हुए कि विश्वसनीय स्कोरिंग के लिए फिक्स्ड-लेंथ चंक्स आवश्यक हैं, जबकि वेरिएबल-लेंथ स्टेप स्कोरिंग अविश्वसनीय है।
कॉन्ट्रास्टिव सिलेक्शन: CGS की शुरुआत, जो बड़े और छोटे मॉडल के बीच प्राथमिकताओं के अंतर का लाभ उठाती है, सरल लाइकलीहुड मैक्सिमाइजेशन की तुलना में निरंतर लाभ प्रदान करती है।
दक्षता (Efficiency): यह विधि PRM गाइडेड सर्च की तुलना में काफी छोटे रीजनिंग ट्रेसेस (reasoning traces) बनाती है जबकि तुलनीय या बेहतर सटीकता प्राप्त करती है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन पांच गणितीय तर्क बेंचमार्क पर किया गया: GSM8K, MATH, Minerva Math, AMC23, और AIME24। प्रयोगों में तीन मॉडल पेयर्स का उपयोग किया गया:

Qwen2.5-1.5B जिसे Qwen2.5-32B द्वारा गाइड किया गया
Llama-3.2-1B जिसे Llama-3.1-70B द्वारा गाइड किया गया
Qwen2.5-7B जिसे Qwen2.5-72B द्वारा गाइड किया गया

बेसलाइन्स के विरुद्ध प्रदर्शन

पोस्ट-हॉक सिलेक्शन के विरुद्ध: चंक-लेवल गाइडेड जनरेशन (विशेष रूप से CGS) मेजोरिटी वोटिंग, सेल्फ-सर्टेंटी (Self-Certainty), और बेस्ट-ऑफ-एन (Best-of-N) जैसे पोस्ट-हॉक तरीकों की तुलना में काफी बेहतर प्रदर्शन करता है। उदाहरण के लिए, Llama पेयर ( $k=32$ ) के साथ GSM8K पर, CGS ने 83.9% सटीकता प्राप्त की, जबकि मेजोरिटी वोटिंग ने 56.0% प्राप्त की (27.9 प्रतिशत अंक की बढ़त)।
PRM गाइडेड सर्च के विरुद्ध: समान गाइडेंस बजट (हस्तक्षेपों की संख्या की तुलना करते हुए), CGS अधिकांश बेंचमार्क पर बिना किसी रिवॉर्ड-मॉडल ट्रेनिंग के Qwen2.5-Math-PRM-72B का उपयोग करने वाले PRM गाइडेड सर्च के बराबर या उससे बेहतर प्रदर्शन करता है।
- Minerva Math (Qwen पेयर, $k=32$ ) पर, CGS ने 39.0% बनाम PRM के 32.4% प्राप्त किया।
- GSM8K (Llama पेयर, $k=32$ ) पर, CGS ने 83.9% बनाम PRM के 77.3% प्राप्त किया।
स्केलिंग (Scaling): जब जनरेटर को Qwen2.5-7B (72B द्वारा गाइडेड) तक बढ़ाया गया, तो CGS ने MATH पर 81.8% और Minerva Math पर 63.6% प्राप्त किया, जो मेजोरिटी वोटिंग से 4-6 प्रतिशत अंक अधिक था और PRM-72B गाइडेड सर्च के औसत के 1.5 प्रतिशत अंक के करीब था।

रीजनिंग ट्रेस की लंबाई

इस धारणा के विपरीत कि बेहतर प्रदर्शन के लिए लंबे तर्क की आवश्यकता होती है, पेपर पाता है कि CGS, PRM गाइडेड सर्च की तुलना में काफी छोटे रीजनिंग ट्रेसेस बनाता है। GSM8K पर, PRM रिस्पॉन्स में CGS रिस्पॉन्स की तुलना में 80% अधिक टोकन थे। यह सुझाव देता है कि बड़े मॉडल का लाइकलीहुड गाइडेंस छोटे मॉडल को अधिक संक्षिप्त और प्रत्यक्ष तर्क पथों की ओर निर्देशित करता है।

महत्व और दावे

पेपर दावा करता है कि चंक-लेवल गाइडेड जनरेशन PRM-गाइडेड सर्च के लिए एक व्यावहारिक, ट्रेनिंग-फ्री विकल्प प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

पहुंच (Accessibility): यह स्टेप-लेवल रिवॉर्ड मॉडल को प्रशिक्षित करने की बाधा को हटा देता है, जिससे अभ्यासकर्ताओं को छोटे मॉडल्स को बेहतर बनाने के लिए मौजूदा, ऑफ-द-शेल्फ लार्ज मॉडल्स का उपयोग करने की अनुमति मिलती है।
समय (Timing): यह जनरेशन के दौरान सफलतापूर्वक हस्तक्षेप करता है ताकि त्रुटि के प्रसार को रोका जा सके, एक ऐसी क्षमता जिसे पहले विशेष प्रशिक्षण की आवश्यकता माना जाता था।
दक्षता (Efficiency): यह PRM विधियों की तुलना में कम इन्फरेंस लागत के साथ उच्च सटीकता प्राप्त करता है।

लेखक सामान्यीकरण (generalization) के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि प्रयोग वर्तमान में गणितीय तर्क और एक ही फैमिली के मॉडल पेयर्स (जैसे, Qwen-to-Qwen, Llama-to-Llama) तक सीमित हैं। वे यह दावा नहीं करते हैं कि बिना आगे की जांच के यह विधि कोडिंग या कॉमन सेंस रीजनिंग पर लागू होती है।