Filtered Reasoning Score: Evaluating Reasoning Quality on a Model's Most-Confident Traces

यहाँ शोध पत्र "Filtered Reasoning Score: Evaluating Reasoning Quality on a Model's Most Confident Traces" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का वर्तमान मूल्यांकन काफी हद तक परिणाम-आधारित मेट्रिक्स (जैसे, Pass@1 accuracy) पर निर्भर करता है, जो केवल यह मापते हैं कि अंतिम उत्तर सही है या नहीं। यह प्रतिमान (paradigm) तीन महत्वपूर्ण सीमाओं से ग्रस्त है:

• दोषपूर्ण तर्क (Flawed Reasoning): मॉडल दोषपूर्ण, मतिभ्रम (hallucinated), या क्षीण (degenerate) तर्क प्रक्रियाओं के माध्यम से सही उत्तर तक पहुँच सकते हैं (जैसे, भाग्यशाली अनुमान या याद करना)।
• बेंचमार्क संतृप्ति (Benchmark Saturation): जैसे-जैसे मॉडल बेहतर होते हैं, सटीकता (accuracy) में वृद्धि स्थिर हो जाती है, जिससे समान सटीकता वाले लेकिन बहुत अलग तर्क क्षमताओं वाले मॉडल्स के बीच अंतर करना कठिन हो जाता है।
• परिनियोजन मिसअलाइनमेंट (Deployment Misalignment): वास्तविक दुनिया के अनुप्रयोगों में, सिस्टम अक्सर आत्मविश्वास (confidence) (जैसे, उच्चतम प्रायिकता या स्व-संगति) के आधार पर आउटपुट चुनते हैं। हालाँकि, उच्च आत्मविश्वास उच्च-गुणवत्ता वाले तर्क की गारंटी नहीं देता है; एक मॉडल एक दोषपूर्ण समाधान में अत्यधिक आत्मविश्वासी हो सकता है।

लेखक पूछते हैं: क्या हम तर्क की गुणवत्ता का आकलन करने के लिए परिणाम-आधारित मूल्यांकन से आगे बढ़ सकते हैं, विशेष रूप से उस उच्च-आत्मविश्वास वाले क्षेत्र में जहाँ तैनात किए गए सिस्टम संचालित होते हैं?

2. कार्यप्रणाली (Methodology)

यह शोध पत्र फिल्टर्ड रीजनिंग स्कोर (Filtered Reasoning Score - FRS) का प्रस्ताव करता है, जो एक ऐसा मीट्रिक है जिसे विशेष रूप से उन ट्रेस (traces) के उपसमूह पर तर्क की गुणवत्ता का मूल्यांकन करने के लिए डिज़ाइन किया गया है जिनके बारे में मॉडल सबसे अधिक आश्वस्त है। कार्यप्रणाली में तीन चरण शामिल हैं:

A. तर्क गुणवत्ता मूल्यांकन (The Rubric)

बाइनरी शुद्धता के बजाय, लेखक एक स्वचालित LLM जज (GPT-4o-mini) का उपयोग करके चार आयामों पर चेन-ऑफ-थॉट (CoT) ट्रेस का मूल्यांकन करते हैं:

1. विश्वसनीयता (Faithfulness): छिपे हुए शॉर्टकट या छलांगों के बिना आंतरिक निरंतरता।
2. सुसंगतता (Coherence): चरणों के बीच तार्किक प्रवाह और सुचारू संक्रमण।
3. उपयोगिता (Utility): क्या प्रत्येक चरण सही गणनाओं के साथ समाधान में सार्थक योगदान देता है।
4. तथ्यात्मकता (Factuality): मतिभ्रम (hallucinations) के बिना समस्या के संदर्भ में आधारित होना।

• स्कोरिंग: प्रत्येक आयाम को 1–5 तक स्कोर किया जाता है। रीजनिंग स्कोर (Reasoning Score) इन चार आयामों का सामान्यीकृत औसत (normalized average) है।

B. प्रति-ट्रेस आत्मविश्वास अनुमान (Per-Trace Confidence Estimation)

ग्राउंड-ट्रुथ लेबल के बिना ट्रेस को फ़िल्टर करने के लिए, लेखक एक लॉगिट-आधारित आत्मविश्वास अनुमानक (logit-based confidence estimator) का उपयोग करते हैं:

• वे टोकन वितरण के निम्न-प्रायिकता टेल (low-probability tail) का विश्लेषण करते हैं (वे टोकन जिनकी प्रायिकता $p$-वें पर्सेंटाइल से कम है, डिफ़ॉल्ट $p=10\%$)।
• आत्मविश्वास $C(r)$ को इन निम्न-प्रायिकता वाले टोकन की औसत प्रायिकता के रूप में परिभाषित किया गया है।
• तर्क: उच्च-प्रायिकता वाले टोकन अक्सर सामान्य होते हैं; निम्न-प्रायिकता वाले टोकन मॉडल की अनिश्चितता को केंद्रित करते हैं। एक उच्च आत्मविश्वास वाला मॉडल अपने ट्रेस में कम "अनिश्चित" टोकन रखेगा।

C. फिल्टर्ड रीजनिंग स्कोर (FRS)

मुख्य नवाचार केवल शीर्ष-K% सबसे आत्मविश्वासी ट्रेस पर तर्क स्कोर को एकत्रित करना है।

1. एक दिए गए प्रश्न के लिए, $k$ ट्रेस का नमूना लें (डिफ़ॉल्ट $k=16$)।
2. प्रत्येक ट्रेस के लिए आत्मविश्वास $C(r)$ की गणना करें।
3. केवल आत्मविश्वास के आधार पर शीर्ष $K\%$ (डिफ़ॉल्ट $K=10$) ट्रेस को रखने के लिए फ़िल्टर करें।
4. इस फ़िल्टर्ड सेट पर औसत रीजनिंग स्कोर की गणना करें।

• सूत्र: $FRS_K = \frac{1}{|S_K|} \sum_{r \in S_K} \text{ReasoningScore}(r)$, जहाँ $S_K$ शीर्ष-$K\%$ आत्मविश्वासी ट्रेसों का सेट है।

3. मुख्य योगदान (Key Contributions)

1. आत्मविश्वास-गुणवत्ता संरेखण की पहचान (Identification of Confidence-Quality Alignment): यह शोध पत्र स्थापित करता है कि तर्क की गुणवत्ता सटीकता से एक अलग मूल्यांकन लक्ष्य है। महत्वपूर्ण रूप से, यह रेखांकित करता है कि आत्मविश्वास-गुणवत्ता संरेखण (कि क्या मॉडल का उच्च आत्मविश्वास उच्च-गुणवत्ता वाले तर्क के साथ सह-संबंधित है) एक हस्तांतरणीय मॉडल गुण है।
2. FRS का परिचय: एक नवीन मीट्रिक जो विशेष रूप से उच्च-आत्मविश्वास क्षेत्र में तर्क की गुणवत्ता का मूल्यांकन करता है, जो "एक मॉडल क्या सही पाता है" और "वह किस बारे में कितना आश्वस्त है" के बीच के अंतर को संबोधित करता है।
3. रैंकिंग रिवर्सल का अनुभवजन्य प्रमाण: लेखक प्रदर्शित करते हैं कि FRS उन संरचनात्मक अंतरों को प्रकट करता है जो सटीकता-आधारित मेट्रिक्स में अदृश्य होते हैं, और अक्सर मॉडलों की रैंकिंग को पूरी तरह से बदल देता है।

4. मुख्य परिणाम (Key Results)

लेखकों ने 6 रीजनिंग बेंचमार्क (GSM8K, MATH500, SVAMP, AQuA, GPQA, CommonsenseQA) में 9 ओपन-वेट मॉडल्स (1.5B से 14B पैरामीटर्स तक) का मूल्यांकन किया।

• विभेदक शक्ति (Discriminative Power): FRS वहां सबसे अधिक सूचनात्मक है जहां सटीकता सबसे कम विभेदक होती है।
  • उदाहरण: MATH500 पर, दो मॉडल्स (DS-R1-7B और Qwen2.5-Math) की ग्रिडी सटीकता (greedy accuracy) समान (63.6%) थी, लेकिन उनके बीच 16.5 FRS पॉइंट्स का अंतर था।
  • उदाहरण: DS-R1-7B और Phi-4-Reasoning की Pass@1 लगभग समान थी, लेकिन उनके बीच 18.8 FRS पॉइंट्स का अंतर था।
• रैंकिंग रिवर्सल (Ranking Reversals):
  • Qwen2.5-7B: सटीकता (73.5%) द्वारा #1 स्थान पर था, लेकिन FRS द्वारा #7 पर गिर गया। इसके आत्मविश्वास ने इसके सर्वोत्तम तर्क को विश्वसनीय रूप से प्राथमिकता नहीं दी।
  • DS-R-1.5B: सटीकता (42.9%) द्वारा #8 स्थान पर था, लेकिन FRS द्वारा #2 पर ऊपर आया। कम समग्र सटीकता के बावजूद, इसके उच्च-आत्मविश्वास वाले ट्रेस में काफी बेहतर तर्क शामिल थे।
• परिनियोजन परिणामों की भविष्यवाणी (Prediction of Deployment Outcomes):
  • FRS छह उम्मीदवारों (Pass@1, High-Confidence Accuracy, और Unfiltered Reasoning Score सहित) में से एकमात्र मीट्रिक है जो महत्वपूर्ण रूप से भविष्यवाणी करता है कि आत्मविश्वास-आधारित चयन तर्क की गुणवत्ता में सुधार करता है या उसे खराब करता है ($r=0.49, p<0.001$)।
  • उच्च FRS वाले मॉडल (जैसे, DS-R1-7B) सकारात्मक "चयन लाभ" (selection gain) दिखाते हैं (शीर्ष-आत्मविश्वास वाले ट्रेस रैंडम से बेहतर हैं)। कम FRS वाले मॉडल (जैसे, Phi-4-Reasoning) नकारात्मक चयन लाभ दिखाते हैं (शीर्ष-आत्मविश्वास वाले ट्रेस रैंडम से बदतर हैं, जो क्षीण पुनरावृत्ति पैटर्न के कारण होता है)।
• हस्तांतरणीयता (Transferability): एक बेंचमार्क पर FRS दूसरे बेंचमार्क पर FRS के साथ दृढ़ता से सह-संबंधित है ($\rho \approx 0.71$ लीव-वन-आउट विश्लेषण में), जो यह सुझाव देता है कि आत्मविश्वास-गुणवत्ता संरेखण एक अंतर्निहित मॉडल गुण है।

5. महत्व और निहितार्थ (Significance and Implications)

• सटीकता से परे: यह शोध पत्र तर्क देता है कि आत्मविश्वास-मध्यस्थ सेटिंग्स (जैसे, टेस्ट-टाइम कंप्यूट स्केलिंग, बेस्ट-ऑफ-एन चयन) में, सटीकता अपर्याप्त है। एक मॉडल "आत्मविश्वासी रूप से गलत" या "आत्मविश्वासी रूप से क्षीण" हो सकता है।
• परिनियोजन-पूर्व ऑडिट (Pre-Deployment Audit): FRS एक नैदानिक उपकरण (diagnostic tool) के रूप में कार्य करता है। यदि आत्मविश्वास फ़िल्टर के कड़ा होने ($K$ घटने) के साथ FRS में सुधार होता है, तो आत्मविश्वास-आधारित चयन सुरक्षित है। यदि FRS घटता है, तो आत्मविश्वास पर भरोसा करना खराब तर्क को बढ़ा सकता है।
• प्रशिक्षण उद्देश्य (Training Objective): निष्कर्ष बताते हैं कि आत्मविश्वास-गुणवत्ता संरेखण एक सीधा प्रशिक्षण उद्देश्य हो सकता है। सुदृढीकरण लर्निंग (RL) के साथ प्रशिक्षित मॉडलों में बेहतर संरेखण दिखाने की प्रवृत्ति थी, जबकि बिना RL वाले मॉडलों में अक्सर उच्च-आत्मविश्वास क्षेत्रों में क्षय होता हुआ तर्क देखा गया।
• मजबूती (Robustness): यह मीट्रिक प्रॉम्प्ट इंजीनियरिंग, जेनरेशन टेम्परेचर और आत्मविश्वास अनुमान विधियों (लॉगिट-आधारित बनाम स्व-संगति) में विविधताओं के प्रति मजबूत है।

निष्कर्षतः, फिल्टर्ड रीजनिंग स्कोर (FRS) LLM मूल्यांकन में एक आवश्यक विकास प्रदान करता है, जो ध्यान "क्या इसने सही उत्तर प्राप्त किया?" से बदलकर "क्या मॉडल का सबसे आत्मविश्वासी तर्क सुसंगत है?" पर केंद्रित करता है। यह वास्तविक दुनिया के AI परिनियोजन में विश्वसनीयता सुनिश्चित करने के लिए महत्वपूर्ण है।