तकनीकी सारांश: तर्क मॉडलों के साथ मूल्यांकन-समय कंप्यूट का स्केलिंग (Scaling Evaluation-Time Compute with Reasoning Models as Evaluators)

समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LM) विकास के वर्तमान प्रतिमान (paradigm) में एक अंतराल को संबोधित करता है। यह स्थापित रूप से ज्ञात है कि "टेस्ट-टाइम कंप्यूट" (जैसे, लंबी चेन-ऑफ-थॉट (CoT) उत्पन्न करना, या कई उम्मीदवारों का नमूना लेना) को स्केल करने से जनरेटर (generators) की समस्या सुलझाने की क्षमता में काफी सुधार होता है। हालांकि, यह स्पष्ट नहीं है कि क्या स्केलिंग का यह सिद्धांत इवैल्यूएटर्स (evaluators - मूल्यांकनकर्ताओं) पर भी लागू होता है। वर्तमान इवैल्यूएटर अक्सर सीधे स्कोरिंग (Outcome Reward Models, ORMs) या संक्षिप्त CoT तर्क (Process Reward Models, PRMs) पर निर्भर करते हैं, जो इन्फरेंस के समय उपलब्ध कंप्यूटिंग शक्ति का पूरी तरह से लाभ नहीं उठा पाते हैं। लेखक पूछते हैं: क्या एक LM की मूल्यांकन क्षमता को टेस्ट-टाइम कंप्यूट को स्केल करके सुधारा जा सकता है, और क्या इस बेहतर मूल्यांकन से जनरेटर के प्रदर्शन को बढ़ाया जा सकता है?

कार्यप्रणाली (Methodology)

लेखक रीज़निंग इवैल्यूएटर्स (Reasoning Evaluators) का उपयोग करके इवैल्यूएशन-टाइम स्केलिंग (Evaluation-Time Scaling) के लिए एक ढांचा प्रस्तावित करते हैं। पारंपरिक डायरेक्ट इवैल्यूएटर्स (जो बिना तर्क के स्कोर की भविष्यवाणी करते हैं) या शॉर्ट CoT वाले फाइन-ट्यून किए गए जेनेरेटिव इवैल्यूएटर्स के विपरीत, रीज़निंग इवैल्यूएटर 'ऑफ-द-शेल्फ' तर्क मॉडल (जिन्हें RL या डिस्टिलेशन के माध्यम से लंबे CoT उत्पन्न करने के लिए प्रशिक्षित किया गया है) हैं जिन्हें जज के रूप में कार्य करने के लिए प्रॉम्प्ट किया जाता है।

कार्यप्रणाली में तीन मुख्य घटक शामिल हैं:

1. रीज़निंग आउटकम इवैल्यूएटर (Reasoning Outcome Evaluators): मॉडल भविष्यवाणी स्कोर (0 या 1) देने से पहले पूरे उत्तर का विश्लेषण करने के लिए एक लंबा CoT उत्पन्न करता है। स्कोर भविष्यवाणी टोकन के लॉजिट्स (logits) से प्राप्त किया जाता है।
2. रीज़निंग प्रोसेस इवैल्यूएटर (Reasoning Process Evaluators): मॉडल प्रतिक्रिया का चरण-दर-चरण मूल्यांकन करता है।
   • मल्टी-स्टेप इवैल्यूएशन (Multi-step Evaluation): पूरे उत्तर के लिए एक एकल CoT उत्पन्न करने के बजाय, इवैल्यूएटर प्रत्येक तर्क चरण का व्यक्तिगत रूप से मूल्यांकन करता है, प्रत्येक के लिए एक अलग CoT और निर्णय उत्पन्न करता है।
   • मॉडल-आधारित स्प्लिटिंग (Model-based Splitting): असंरचित आउटपुट (जैसे, कोड) को संभालने के लिए, लेखक हीयुरिस्टिक न्यूलाइन स्प्लिटिंग पर निर्भर रहने के बजाय चरणों के बीच [SPLIT] मार्कर डालने के लिए एक LM का उपयोग करते हैं।
   • एकत्रीकरण (Aggregation): चरण-वार स्कोर को एक सरल न्यूनतम (minimum) के बजाय mean_logit फंक्शन का उपयोग करके एकत्रित किया जाता है, जो प्रयोगों में अधिक प्रभावी साबित हुआ।
3. संयुक्त मूल्यांकन (Combined Evaluation): अंतिम स्कोर आउटकम स्कोर और एग्रीगेटेड प्रोसेस स्कोर का एक भारित इंटरपोलेशन (weighted interpolation) है ($s_{final} = \alpha \cdot s_{outcome} + (1-\alpha) \cdot s_{process}$), जिसमें दोनों संकेतों को संतुलित करने के लिए $\alpha=0.5$ का उपयोग किया गया है।

लेखक अपने रीज़निंग इवैल्यूएटर्स की तुलना इनके विरुद्ध करते हैं:

• डायरेक्ट इवैल्यूएटर्स (Direct Evaluators): मानक PRMs और ORMs जो बिना CoT के सीधे स्कोर की भविष्यवाणी करते हैं।
• सिंगल-स्टेप रीज़निंग इवैल्यूटर्स (Single-step Reasoning Evaluators): वे मॉडल जो एक ही कार्य के लिए सभी चरणों को एक साथ जज करने के लिए एक CoT उत्पन्न करते हैं (जो उनके प्रस्तावित तरीके का एक एब्लेशन है)।

मुख्य योगदान (Key Contributions)

1. इवैल्यूएशन-टाइम स्केलिंग का प्रदर्शन: यह शोध पत्र स्थापित करता है कि इवैल्यूएटर्स को अधिक तर्क टोकन उत्पन्न करने के लिए मजबूर करना (मूल्यांकन-समय कंप्यूट को स्केल करना) मूल्यांकन प्रदर्शन में निरंतर सुधार लाता है।
2. मल्टी-स्टेप प्रोसेस इवैल्यूएशन की श्रेष्ठता: लेखक दिखाते हैं कि प्रत्येक चरण का व्यक्तिगत रूप से मूल्यांकन करना (मल्टी-स्टेप) सिंगल-स्टेप मूल्यांकन या सेल्फ-कंसिस्टेंसी (एक ही कार्य के लिए कई CoT उत्पन्न करना) की तुलना में निश्चित कंप्यूट बजट के तहत काफी अधिक प्रभावी है।
3. जीरो-शॉट प्रदर्शन (Zero-Shot Performance): रीज़निंग इवैल्यूएटर, जिन्हें स्पष्ट रूप से इवैल्यूएटर के रूप में प्रशिक्षित नहीं किया गया है, केवल टेस्ट-टाइम स्केलिंग के माध्यम से भारी रूप से फाइन-ट्यून किए गए SOTA PRMs (जैसे, एक 32B रीज़निंग इवैल्यूएटर ProcessBench पर 72B PRM से बेहतर प्रदर्शन करता है) को पीछे छोड़ देते हैं।
4. मूल्यांकन के माध्यम से जनरेटर में सुधार: शोध पत्र यह प्रदर्शित करता है कि मूल्यांकन के लिए अधिक कंप्यूट आवंटित करना (रीज़निंग इवैल्यूएटर्स के साथ Best-of-8 का उपयोग करके) अधिक उम्मीदवारों को उत्पन्न करने के लिए उसी कंप्यूट को आवंटित करने (डायरेक्ट इवैल्यूटर्स के साथ Best-of-64 का उपयोग करके) की तुलना में बेहतर जनरेटर प्रदर्शन प्रदान करता है। यह सुझाव देता है कि एक मजबूत, अधिक कंप्यूट-इंटेंसिव इवैल्यूएटर "रिवॉर्ड मॉडल ओवर-ऑप्टिमाइज़ेशन" को कम करता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रोसेस इवैल्यूएशन (ProcessBench)

• मेट्रिक: समाधान में पहले त्रुटिपूर्ण चरण की पहचान करने में F1 स्कोर।
• निष्कर्ष:
  • रीज़निंग मॉडल (जैसे, DeepSeek-R1-Distill-Qwen-32B) समान या बड़े आकार के इंस्ट्रक्शन-ट्यून किए गए मॉडलों से काफी बेहतर प्रदर्शन करते हैं।
  • मल्टी-स्टेप बनाम सिंगल-स्टेप: मल्टी-स्टेप प्रोसेस इवैल्यूएशन, सिंगल-स्टेप विधियों की तुलना में पर्याप्त लाभ प्रदान करता है। उदाहरण के लिए, 32B रीज़निंग मॉडल ने मल्टी-स्टेप इवैल्यूएशन के साथ 78.6 का F1 प्राप्त किया, जो पिछले स्टेट-ऑफ-द-आर्ट 72B Qwen2.5-Math-PRM (78.3) से अधिक था।
  • सेल्फ-कंसिस्टेंसी: जबकि सेल्फ-कंसिस्टेंसी मदद करती है, मल्टी-स्टेप इवैल्यूएशन पूरक लाभ प्रदान करता है। दोनों को मिलाने से उच्चतम स्कोर प्राप्त होता है (जैसे, 32B मॉडल के लिए 82.8)।

समस्या-समाधान (Best-of-N Sampling)

• सेटिंग: जनरेटर्स (Eurus-2, Lima-3.1-70B, Qwen2.5-7B) $N$ प्रतिक्रियाएं उत्पन्न करते हैं। इवैल्यूएटर उन्हें रैंक करते हैं।
• तुलना: रीज़निंग इवैल्यूटर्स (Best-of-8) बनाम डायरेक्ट इवैल्यूटर्स (Best-of-64) एक निश्चित कुल कंप्यूट बजट के तहत।
• निष्कर्ष:
  • रीज़निंग इवैल्यूटर्स (Best-of-8) विभिन्न बेंचमार्क (AIME, MATH, LeetCode, आदि) में डायरेक्ट इवैल्यूटर्स (Best-of-64) की तुलना में 4.30% से 6.63% बेहतर प्रदर्शन करते हैं।
  • कोड प्रदर्शन: रीज़निंग इवैल्यूटर्स को कोडिंग कार्यों (LeetCode) पर विशेष रूप से मजबूत लाभ दिखाई देते हैं, जहाँ डायरेक्ट PRMs अक्सर ओवर-ऑप्टिमाइज़ेशन और खराब डोमेन ट्रांसफर से जूझते हैं।
  • संयुक्त स्कोर: प्रोसेस और आउटकम स्कोर को एकीकृत करने से प्रदर्शन में और वृद्धि होती है, जो उन प्रतिक्रियाओं के लिए टाई-ब्रेकर के रूप में कार्य करता है जिन्हें आउटकम इवैल्यूएटर अलग नहीं कर पाते हैं।

सेल्फ-इवैल्यूएशन (Self-Evaluation)

• शोध पत्र यह भी पता लगाता है कि एक रीज़निंग मॉडल का उपयोग अपने स्वयं के आउटपुट को उत्पन्न करने और मूल्यांकन करने के लिए कैसे किया जा सकता है। परिणाम संकेत देते हैं कि रीज़निंग मॉडल प्रभावी रूप से स्वयं का मूल्यांकन कर सकते हैं, जिससे उनके Best-of-1 और ऑरेकल प्रदर्शन के बीच के अंतर को काफी हद तक पाटा जा सकता है, जो अक्सर उसी रीज़निंग मॉडल द्वारा मूल्यांकित इंस्ट्रक्शन-ट्यून किए गए जनरेटर्स से बेहतर होता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि इवैल्यूएशन-टाइम स्केलिंग एक व्यवहार्य और शक्तिशाली रणनीति है जो जनरेटर्स के लिए टेस्ट-टाइम स्केलिंग के समानांतर है। प्राथमिक महत्व इस खोज में निहित है कि एक निश्चित बजट के लिए जनरेशन पर खर्च करने की तुलना में मूल्यांकन पर अधिक कंप्यूट खर्च करना अधिक प्रभावी हो सकता है।

लेखक तर्क देते हैं कि:

1. तर्क क्षमता का हस्तांतरण (Reasoning Capability Transfers): तर्क करने की क्षमता (लंबे CoT के माध्यम से) न केवल समस्याओं को हल करने के लिए है, बल्कि उच्च-गुणवत्ता वाले मूल्यांकन के लिए भी मौलिक है।
2. मजबूती (Robustness): रीज़निंग इवैल्यूएटर रिवॉर्ड मॉडल ओवर-ऑप्टिमाइज़ेशन के प्रति कम संवेदनशील होते हैं, जो सर्वश्रेष्ठ उम्मीदवार चुनने के लिए अधिक मजबूत संकेत प्रदान करते हैं।
3. सामान्यीकरण (Generalization): यह दृष्टिकोण गणित और कोड डोमेन में काम करता है और स्टेप-बाय-स्टेप मूल्यांकन करने के लिए प्रॉम्प्ट किए जाने पर नॉन-रीज़निंग मॉडलों तक भी विस्तारित होता है।

शोध पत्र निष्कर्ष निकालता है कि हालांकि वर्तमान रीज़निंग इवैल्यूटर्स को विशेष रूप से मूल्यांकन के लिए प्रशिक्षित नहीं किया गया है, उनके मूल तर्क पैटर्न (स्व-सत्यापन, बैकट्रैकिंग) उन्हें बेहतर निर्णायक बनाते हैं। भविष्य के कार्य के रूप में इन मॉडलों को विशेष रूप से इवैल्यूएटर्स के रूप में प्रशिक्षित करने और रचनात्मक लेखन जैसे गैर-सत्यापन योग्य कार्यों तक पद्धति को विस्तारित करने का सुझाव दिया गया है।