💻 computer science

A Reference-Free Score for Detecting Silent Reasoning Failures in Large Language Models

यह शोध पत्र रीजनिंग आंसर फेथफुलनेस स्कोर (RAFS) प्रस्तुत करता है, जो एक संदर्भ-मुक्त नैदानिक मीट्रिक है जिसे अंतिम उत्तर की सटीकता से स्वतंत्र रूप से गणितीय ट्रेसेस की स्थानीय विश्वसनीयता, स्थिरता और तार्किक निरंतरता का मूल्यांकन करके बड़े भाषा मॉडलों में साइलेंट रीजनिंग विफलताओं का पता लगाने के लिए डिज़ाइन किया गया है।

मूल लेखक: Vivek Shukla, Varun Shukla, Atul, Divya Mishra, Mehul Kumar Das

प्रकाशित 2026-07-30

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vivek Shukla, Varun Shukla, Atul, Divya Mishra, Mehul Kumar Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

जासूस की दुविधा: जब उत्तर सही हो, लेकिन कहानी झूठ हो

कल्पना कीजिए कि आप एक गणित का टेस्ट चेक कर रहे एक शिक्षक हैं। आप देखते हैं कि एक छात्र ने अंतिम उत्तर, "15" लिखा है, और आप अपने उत्तर की कुंजी (answer key) से इसकी जाँच करते हैं। यह मेल खाता है! आप उसे एक गोल्ड स्टार देते हैं। लेकिन फिर, आप उसका काम देखते हैं: उन्होंने 55 में से 55 घटाकर 10 प्राप्त किया, फिर जादुई रूप से एक "ट्रांजैक्शन फीस" के रूप में $5 जोड़ दिया जो समस्या में मौजूद ही नहीं था, ताकि 15 तक पहुँचा जा सके। उत्तर सही है, लेकिन जिस रास्ते से वे वहाँ पहुँचे, वह गलतियों का एक पूरा कचरा था जो बस संयोग से एक-दूसरे को काट गए। आर्टिफिशियल इंटेलिजेंस (AI), विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में, यह एक बहुत बड़ी समस्या है। ये मॉडल उन अत्यंत बुद्धिमान छात्रों की तरह हैं जो अपनी सोच को चरण-दर-चरण (जिसे "चेन-ऑफ-थॉट" कहा जाता है) बता सकते हैं, लेकिन वे अक्सर उन उत्तरों को सही ठहराने के लिए कहानियाँ गढ़ लेते हैं जिन्हें उन्होंने गलती से सही अनुमान लगाकर प्राप्त किया होता है।

लंबे समय तक, वैज्ञानिकों को केवल इस बात से मतलब था कि अंतिम उत्तर कुंजी से मेल खाता है या नहीं। यदि AI ने "15" कहा और उत्तर "15" था, तो AI को एक अंक मिल जाता था। लेकिन यह "मौन तर्क विफलताओं" (silent reasoning failures) की अनदेखी करता है—वे क्षण जहाँ AI का तर्क टूटा हुआ होता है, फिर भी अंतिम संख्या सही होती है। यह खतरनाक है क्योंकि यदि हम AI के "कथानक" पर केवल इसलिए भरोसा करते हैं क्योंकि संख्या सही है, तो हम तब भी उस पर विश्वास कर सकते हैं जब वह वास्तव में भ्रमित (hallucinating) हो रहा हो या तथ्य बना रहा हो। यह शोध पत्र उस अस्त-व्यस्त कक्षा में प्रवेश करता है और एक नया प्रश्न पूछता है: हम कैसे जान सकते हैं कि AI का तर्क वास्तव में सत्य है, भले ही हमारे पास जाँचने के लिए कोई उत्तर कुंजी न हो?

AI की सोच के लिए "ट्रस्ट स्कोर"

यह शोध पत्र एक नया टूल पेश करता है जिसे रीज़निंग-आंसर फेथफुलनेस स्कोर (Reasoning–Answer Faithfulness Score - RAFS) कहा जाता है। RAFS को AI की विचार प्रक्रिया के लिए एक जासूस के झूठ पकड़ने वाले यंत्र (lie detector) की तरह समझें। केवल यह जाँचने के बजाय कि अंतिम उत्तर सही है या नहीं, RAFS यह जाँचता है कि क्या AI द्वारा सुनाई गई कहानी वास्तव में उस उत्तर तक ले जाती है। यह एक "रेफरेंस-फ्री" स्कोर है, जिसका अर्थ है कि इसे अपना काम करने के लिए पहले से सही उत्तर जानने की आवश्यकता नहीं है; यह केवल उस तर्क को देखता है जो AI ने लिखा है।

लेखक सुझाव देते हैं कि हमें "सही उत्तर प्राप्त करने" और "अच्छा तर्क रखने" को एक ही चीज़ मानना बंद कर देना चाहिए। वे AI के प्रदर्शन को चार अलग-अलग परिदृश्यों में विभाजित करते हैं, जो संभावनाओं के एक ग्रिड की तरह हैं:

ईमानदार जीनियस (The Honest Genius): तर्क एकदम सही है, और उत्तर भी सही है। (यही हम चाहते हैं।)
मौन विफलता (The Silent Failure): तर्क में कई खामियाँ हैं, लेकिन उत्तर सही है। (यह वह खतरनाक जाल है जिसे यह शोध पत्र पकड़ना चाहता है।)
ईमानदार गलती (The Honest Mistake): तर्क एकदम सही है, लेकिन AI ने अंतिम संख्या लिखने में गलती कर दी (जैसे "15" के बजाय "14" लिखना)।
पूर्ण विफलता (The Total Failure): तर्क और उत्तर दोनों ही गलत हैं।

वर्तमान विधियाँ "मौन विफलता" को अक्सर मिस कर देती हैं क्योंकि वे केवल अंतिम संख्या को देखती हैं। RAFS इन चालाकी भरी गलतियों को पकड़ने के लिए बनाया गया है।

जासूस कैसे काम करता है: तीन शाखाएँ

इस स्कोर की गणना करने के लिए, यह शोध पत्र एक ऐसा पाइपलाइन प्रस्तावित करता है जो एक ही केस पर काम करने वाली तीन अलग-अलग निरीक्षकों की एक टीम की तरह कार्य करता है। वे केवल कहानी को पढ़ते नहीं हैं; वे यह देखने के लिए उसे कुरेदते और परखते हैं कि क्या वह टिक पाती है।

1. चरण-दर-चरण निरीक्षक (प्रक्रिया वैधता - Process Validity)
सबसे पहले, सिस्टम AI के तर्क के लंबे पैराग्राफ को छोटे परमाणु चरणों (atomic steps) में तोड़ देता है। यह प्रत्येक चरण की जाँच एक गणित शिक्षक की तरह करता है जो भाग देने (long division) की लंबी प्रक्रिया की जाँच करता है। क्या AI ने वास्तव में यहाँ गणित सही किया? क्या यह चरण पिछले चरण का तार्किक परिणाम है? यदि AI चरण 3 में गलती करता है, तो स्कोर कम हो जाता है, भले ही वह बाद में इसे ठीक कर ले। यह हिस्सा उस "संदिग्ध चरण" की पहचान करता है जहाँ तर्क पहली बार पटरी से उतरा था।

2. "क्या होगा अगर?" परीक्षक (काउंटरफैक्चुअल सेंसिटिविटी - Counterfactual Sensitivity)
यह सबसे रचनात्मक हिस्सा है। सिस्टम AI की कहानी के एक महत्वपूर्ण चरण को लेता है और उसमें थोड़ा बदलाव करता है—जैसे कि "क्या होगा अगर?" वाला खेल। उदाहरण के लिए, यदि AI ने कहा, "मैंने शुल्क के कारण 5 जोड़ा," तो सिस्टम इसे बदलकर कह सकता है, "क्या होगा अगर मैं 6 जोड़ता?" या "क्या होगा अगर कोई शुल्क नहीं होता?"

यदि कहानी बदलने पर AI का अंतिम उत्तर तार्किक रूप से बदल जाता है, तो यह एक अच्छा संकेत है। इसका मतलब है कि उत्तर वास्तव में तर्क पर निर्भर था।
यदि तर्क को तोड़ने के बाद भी AI का उत्तर वही रहता है, तो यह एक रेड फ्लैग (चेतावनी) है। यह सुझाव देता है कि AI ने केवल उत्तर का अनुमान लगाया और उसके अनुरूप कहानी लिखी, न कि वास्तव में गणना की। इसे "पोस्ट-हॉक रैशनलाइजेशन" (post-hoc rationalization) कहा जाता है, और RAFS इसे पकड़ने के लिए डिज़ाइन किया गया है।

3. निरंतरता जाँचकर्ता (स्थिरता और सहमति - Consistency Checker)
अंत में, सिस्टम AI को एक ही समस्या को कई बार हल करने के लिए कहता है, जैसे किसी गवाह से उसकी कहानी तीन अलग-अलग बार सुनाने को कहना।

उत्तर सहमति (Answer Consensus): क्या AI के विभिन्न प्रयास एक ही संख्या पर पहुँचते हैं?
तर्क स्थिरता (Reasoning Stability): क्या कहानियाँ समान दिखती हैं? यदि AI एक ही उत्तर देता है लेकिन तीन पूरी तरह से अलग और विरोधाभासी कहानियाँ बताता है, तो यह संदिग्ध है। यह सुझाव देता है कि उत्तर एक ठोस निष्कर्ष के बजाय एक भाग्यशाली अनुमान हो सकता है।

अंतिम स्कोर: कोई "चीट कोड" नहीं चलेगा

यह शोध पत्र इन तीनों जाँचों को 0 से 100 के एक एकल स्कोर में संयोजित करता है। लेकिन यहाँ चतुराई भरा हिस्सा है: इन्हें संयोजित करने के लिए उपयोग किया जाने वाला गणित "गैर-प्रतिपूरक" (non-compensatory) है।

कल्पthoughtिए कि आप एक स्मूदी बना रहे हैं। यदि आपके पास शानदार स्ट्रॉबेरी (बेहतरीन तर्क) है लेकिन आप ब्लेंडर भूल गए (कोई वैधता नहीं), तो अंकगणितीय औसत (arithmetic average) अभी भी कह सकता है कि आपके पास एक "ठीक-ठाक" स्मूदी है। लेकिन वास्तविक जीवन में, आप इसे पी नहीं सकते। लेखक इसके बजाय ज्यामितीय माध्य (geometric mean) का उपयोग करते हैं। इसका अर्थ यह है कि यदि कोई भी एक जाँच बुरी तरह विफल हो जाती है (जैसे शून्य वैधता), तो पूरा स्कोर गिरकर शून्य की ओर चला जाता है। आप एक उच्च सहमति स्कोर के साथ एक टूटे हुए तर्क की भरपाई नहीं कर सकते। यह सुनिश्चित करता है कि एक उच्च RAFS स्कोर वास्तव में यह दर्शाता है कि तर्क ठोस है, न कि केवल यह कि AI अनुमान लगाने में अच्छा है।

यह शोध पत्र क्या कहता है (और क्या नहीं कहता)

लेखक अपनी दावों के बारे में बहुत सावधान हैं। वे इस बात पर जोर देते हैं कि यह एक ढांचा (framework) और एक प्रस्ताव है, न कि एक पूर्ण, सिद्ध उत्पाद जो आज की सभी AI समस्याओं को हल करता है।

योजना: उन्होंने इसे दो प्रसिद्ध गणितीय डेटासेट (GSM8K और MATH) पर विशिष्ट AI मॉडल्स (जैसे Llama, Mistral, और DeepSeek) का उपयोग करके परीक्षण करने के लिए एक सख्त, पूर्व-पंजीकृत अध्ययन स्थापित किया है।
"पायलट" की सीमा: वे एक छोटा "व्यवहार्यता पायलट" (feasibility pilot) उल्लेख करते हैं ताकि यह सुनिश्चित हो सके कि सिस्टम काम करता है, लेकिन वे स्पष्ट रूप से कहते हैं कि वे अभी तक अंतिम संख्या या सफलता दर की रिपोर्ट नहीं कर रहे हैं। वे बड़े दावे करने से पहले पूर्ण अध्ययन के पूरा होने का इंतजार कर रहे हैं।
लक्ष्य: लक्ष्य AI को बदलना नहीं है, बल्कि इसे एक "चेतावनी संकेत" देना है। यदि RAFS स्कोर कम है, तो सिस्टम को पता चल जाना चाहिए कि, "मुझे इस तर्क के बारे में यकीन नहीं है," या इसे एक मानव से जाँच करने के लिए कहना चाहिए, बजाय इसके कि वह आत्मविश्वास के साथ गलत उत्तर दे।

यह क्यों महत्वपूर्ण है

यह शोध पत्र एक नया तरीका आविष्कार करने जैसा है जिससे होमवर्क को ग्रेड किया जाता है और उन छात्रों को पकड़ा जाता है जो सही उत्तर का अनुमान लगाकर नकल करते हैं। एक ऐसी दुनिया में जहाँ AI का उपयोग कोडिंग से लेकर चिकित्सा सलाह तक हर चीज़ के लिए किया जा रहा है, यह जानना कि AI किसी निष्कर्ष तक कैसे पहुँचा, निष्कर्ष स्वयं जितना ही महत्वपूर्ण है। यदि कोई AI आपको एक चिकित्सा निदान देता है जो "सही" है लेकिन एक मनगढ़ंत कहानी पर आधारित है, तो वह एक टिकिंग टाइम बम है। RAFS एक तरीका प्रदान करता है जिससे हम कहानी को सुन सकें, तर्क की जाँच कर सकें, और यह तय कर सकें कि क्या हम अंतिम परिणाम पर भरोसा कर सकते हैं, इससे पहले कि हमें "सही" उत्तर पता चले।

लेखक सुझाव देते हैं कि भविष्य में, हम इस स्कोर का उपयोग AI की गलतियों को स्वचालित रूप से ठीक करने के लिए कर सकते हैं। यदि सिस्टम एक खराब चरण का पता लगाता है, तो यह कहानी के केवल उस हिस्से को फिर से लिखने का प्रयास कर सकता है, या किसी अन्य AI को इसे शुरू से हल करने के लिए कह सकता है, यह सुनिश्चित करते हुए कि अंतिम उत्तर एक भाग्यशाली अनुमान के बजाय एक सत्य बोलने वाली कहानी द्वारा समर्थित हो।

तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) में मौन तर्क विफलताओं (Silent Reasoning Failures) का पता लगाने के लिए एक संदर्भ-मुक्त स्कोर

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र गणितीय तर्क कार्यों पर बड़े भाषा मॉडलों (LLMs) के मूल्यांकन में एक महत्वपूर्ण कमी को संबोधित करता है: तर्क-उत्तर निरंतरता अंतराल (Reasoning–Answer Consistency Gap)। पारंपरिक मूल्यांकन सटीक-मिलान सटीकता (exact-match accuracy) पर निर्भर करता है, जो मॉडल के अंतिम उत्तर ( $A$ ) की स्वर्ण संदर्भ ( $A^*$ ) के साथ तुलना करता है। यह दृष्टिकोण दो अलग-अलग आयामों को मिला देता है:

तर्क की शुद्धता ( $Y_R$ ): क्या मध्यवर्ती चेन-ऑफ-थॉट (CoT) ट्रेस ( $R$ ) एक वैध व्युत्पत्ति है।
उत्तर की शुद्धता ( $Y_A$ ): क्या अंतिम आउटपुट संदर्भ से मेल खाता है।

यह मिश्रण दो खतरनाक विफलता मोड बनाता है जिन्हें सटीकता मेट्रिक्स छिपा देते हैं:

मौन तर्क विफलताएँ (Reasoning False Positives): मॉडल एक गलत व्युत्पत्ति उत्पन्न करता है जो संयोग से सही उत्तर दे देती है (जैसे, क्षतिपूरक अंकगणितीय त्रुटियों के माध्यम से)। सटीकता इसे एक सफलता के रूप में लेबल करती है, जिससे अमान्य तर्क छिप जाता है।
निष्कर्षण विफलताएँ (Extraction Failures - Reasoning False Negatives): मॉडल एक वैध व्युत्पत्ति उत्पन्न करता है लेकिन प्रतिलेखन या राउंडिंग त्रुटियों के कारण गलत अंतिम उत्तर देता है। सटीकता इसे एक विफलता के रूप में लेबल करती है, जिससे सक्षम तर्क छिप जाता है।

शोध पत्र का तर्क है कि अंतिम-उत्तर सटीकता को तर्क की गुणवत्ता के प्रॉक्सी के रूप में मानना एक "परिणामी अंध बिंदु" (consequential blind spot) बनाता है, विशेष रूप से सुरक्षा-महत्वपूर्ण या ऑडिट योग्य अनुप्रयोगों के लिए जहाँ व्युत्पत्ति की वैधता परिणाम जितनी ही महत्वपूर्ण है।

2. कार्यप्रणाली: तर्क-उत्तर निष्ठा स्कोर (Reasoning–Answer Faithfulness Score - RAFS)

लेखक RAFS प्रस्तावित करते हैं, जो एक संदर्भ-मुक्त, इंस्टेंस-स्तरीय नैदानिक स्कोर (0 से 100 तक) है जो तैनाती के दौरान स्वर्ण मानक (gold standard) की आवश्यकता के बिना, उत्पन्न ट्रेस की उसके अंतिम उत्तर के प्रति निष्ठा का मूल्यांकन करता है। RAFS एक एकीकृत मीट्रिक है जो चार अलग-अलग घटकों से बना है, जिन्हें एक भारित ज्यामितिक माध्य (weighted geometric mean) के माध्यम से एकत्रित किया जाता है ताकि गैर-क्षतिपूरक व्यवहार (अर्थात, एक महत्वपूर्ण आयाम में विफलता को अन्यों में उच्च प्रदर्शन द्वारा संतुलित नहीं किया जा सकता है) सुनिश्चित किया जा सके।

मुख्य घटक

चरण वैधता ( $P_R$ ):
- एक परमाणु-चरण सत्यापनकर्ता $g$ समस्या $x$ और पिछले चरणों को देखते हुए ट्रेस $R$ में प्रत्येक चरण $r_t$ का मूल्यांकन करता है।
- यह इस संभावना $q_t$ को लौटाता है कि चरण वैध है।
- $P_R$ को इन संभावनाओं के ज्यामितिक माध्य और न्यूनतम के मिश्रण का उपयोग करके गणना किया जाता है ताकि घातक त्रुटियों को दंडित किया जा सके और विभेदक (differentiable) बना रहे। सबसे पहले गिरने वाला चरण जो थ्रेशोल्ड से नीचे जाता है, उसे "संदिग्ध चरण" के रूप में चिह्नित किया जाता है।
तर्क-से-उत्तर समर्थन (Reasoning-to-Answer Support - $SRA$):
- यह घटक मापता है कि क्या ट्रेस तार्किक रूप से उत्तर का अनुसरण करता है ( $R \models A$ ) और प्रति-तथ्यात्मक संवेदनशीलता (counterfactual sensitivity) का परीक्षण करता है।
- सिस्टम "महत्वपूर्ण चरणों" (pivotal steps) की पहचान करता है और प्रति-तथ्यात्मक संपादन ( $R^{(j)}$ ) उत्पन्न करता है जो एक विशिष्ट चरण के निष्कर्ष को बदलते हैं जबकि सख्त बाधाओं (परमाणुता, सीमित टोकन परिवर्तन, अर्थ संबंधी अलगाव, और उत्तर रिसाव का न होना) का पालन करते हैं।
- यह $\Delta_j$ को मापता है, जो यह दर्शाता है कि जब किसी महत्वपूर्ण चरण को बदला जाता है, तो उत्तर दिशात्मक रूप से अपेक्षित रूप में कैसे बदलता है।
- $SRA$, अनुगमन (entailment) की संभावना और औसत प्रति-तथ्यात्मक संवेदनशीलता को जोड़ता है। यदि बहुत कम वैध हस्तक्षेप उत्पन्न किए जा सकते हैं, तो सिस्टम इससे बचता है।
उत्तर सहमति (Answer Consensus - $C_A$ ):
- मॉडल $K$ स्वतंत्र तर्क ट्रेसेस का नमूना लेता है।
- $C_A$ , परिणामी उत्तर वितरण की एंट्रॉपी (entropy) को मापता है। उच्च सहमति स्थिरता का संकेत देती है, जबकि उच्च एंट्रॉपी डिकोडिंग अस्थिरता का सुझाव देती है।
सशर्त तर्क स्थिरता (Conditional Reasoning Stability - $D_R$ ):
- मोडल उत्तर का समर्थन करने वाले ट्रेसेस के बीच, यह घटक तर्क श्रृंखलाओं की अर्थ संबंधी समानता को मापता है।
- यह एक सामान्यीकृत अर्थ संबंधी ट्रेस दूरी (NLI मॉडल और कैनोनिकल दावों पर आधारित) का उपयोग यह निर्धारित करने के लिए करता है कि क्या विभिन्न तर्क पथ एक ही तार्किक संरचना पर अभिसरित होते हैं या वे केवल सतही रूप से समान हैं।

एकत्रीकरण और अंशांकन (Aggregation and Calibration)

अंतिम स्कोर की गणना निम्न प्रकार से की जाती है:
$\text{RAFS} = 100 \exp \left( \sum_{m \in \{P,S,C,D\}} w_m \log(s_m + \epsilon) \right)$
ज्यामितिक माध्य का चयन इसलिए किया गया है क्योंकि यह उस सीमा स्थिति को संतुष्ट करता है जहाँ यदि कोई भी आवश्यक साक्ष्य संकेत शून्य के करीब पहुँचता है, तो कुल स्कोर शून्य की ओर बढ़ना चाहिए। यह "क्षतिपूर्ति" को रोकता है, जहाँ प्रवाहपूर्ण लेकिन अमान्य तर्क अभी भी उच्च स्कोर प्राप्त कर सकते हैं।

पहचान वास्तुकला (Detection Architecture)

पाइपलाइन क्रॉस-फैमिली स्वतंत्रता के साथ संचालित होती है: जनरेटर, सत्यापनकर्ता और वैलिडेटर अलग-अलग मॉडल परिवारों से होने चाहिए (जैसे, Llama जनरेट कर रहा है, DeepSeek निर्णय ले रहा है) ताकि साझा पूर्वाग्रहों को रोका जा सके। सिस्टम आउटपुट देता है:

RAFS स्कोर।
एक परिनियोजन अवस्था (deployment state): स्वीकार (Accept), समीक्षा (Review), या परहेज (Abstain)।
एक विफलता प्रकार (जैसे, मौन विफलता, निष्कर्षण त्रुटि) और संदिग्ध चरण।

3. प्रमुख योगदान

शोध पत्र तीन प्राथमिक योगदान देता है:

वैचारिक स्पष्टता: यह तर्क की शुद्धता और उत्तर की शुद्धता को औपचारिक रूप से अलग करता है, एक चार-चतुर्थांश वर्गीकरण (Faithful Success, Silent Failure, Extraction Failure, Overt Failure) पेश करता है ताकि मॉडल क्षमताओं का बेहतर निदान किया जा सके।
संदर्भ-मुक्त मीट्रिक: यह RAFS पेश करता है, जो एक संयुक्त स्कोर है जो तैनाती के लिए स्वर्ण उत्तरों की आवश्यकता के बिना चरण-वार सत्यापन, प्रति-तथ्यात्मक संवेदनशीलता और तर्क स्थिरता को एकीकृत करता है।
कार्रवाई योग्य निदान: बाइनरी सटीकता के विपरीत, RAFS सूक्ष्म फीडबैक (संदिग्ध चरण, विफलता प्रकार) प्रदान करता है जो विशिष्ट सुधार रणनीतियों को सक्षम बनाता है, जैसे स्थानीयकृत तर्क मरम्मत या उत्तर निष्कर्षण सुधार।

4. प्रयोगात्मक डिजाइन और दावे

शोध पत्र GSM8K और MATH बेंचमार्क पर एक पूर्व-पंजीकृत, परिणाम-अंध (results-blind) पुष्टिकारी अध्ययन की रूपरेखा तैयार करता है।

स्थिति: पांडुलिपि के समय तक, यह एक फ्रेमवर्क विनिर्देश (framework specification) है। यह पुष्टिकारी अध्ययन के लिए अंतिम संख्यात्मक परिणाम रिपोर्ट नहीं करता है।
पायलट: एंड-टू-एंड निष्पादन को सत्यापित करने और हस्तक्षेप कवरेज का अनुमान लगाने के लिए एक व्यवहार्यता पायलट निर्दिष्ट किया गया है। शोध पत्र स्पष्ट रूप रूप से कहता है कि "हस्तक्षेप किए गए" मानों को अवलोकन के रूप में mistaken न समझा जाए, इसके लिए संख्यात्मक पायलट दावे ट्रेस-स्तरीय आर्टिफैक्ट्स उपलब्ध होने तक रोक दिए गए हैं।
परिकल्पनाएँ: अध्ययन चार परिकल्पनाओं का परीक्षण करने के लिए डिज़ाइन किया गया है:
- $H_1$ : सटीकता मौन विफलताओं को निष्ठापूर्ण सफलताओं के साथ मिलाकर वैध तर्क को बढ़ा-चढ़ाकर दिखाती है।
- $H_2$ : RAFS (AUPRC के माध्यम से मापा गया) सहमति या स्टेप स्कोर की तुलना में मौन विफलताओं का पता लगाने में सुधार करता है।
- $H_3$ : जब उत्तर सही होते हैं लेकिन तर्क अमान्य होता है, तो प्रति-तथ्यात्मक संवेदनशीलता सबसे मजबूत योगदानकर्ता होती है।
- $H_4$ : सशर्त तर्क स्थिरता उन साझा-उत्तर युक्तिकरणों का पता लगाती है जिन्हें केवल एंट्रॉपी मिस कर देती है।

5. महत्व और सीमाएं

महत्व

शोध पत्र RAFS को एक "प्रोविडेंस ओरेकल" के रूप में नहीं, बल्कि एक कैलिब्रेटेड, ऑडिट योग्य चेतावनी संकेत के रूप में स्थापित करता है। इसका प्राथमिक मूल्य निहित है:

सुरक्षा: उन "मौन विफलताओं" का पता लगाने में जहाँ एक मॉडल सही प्रतीत होता है लेकिन तार्किक रूप से अमान्य होता है, जो उच्च-दांव वाले डोमेन के लिए महत्वपूर्ण है।
व्याख्यात्मकता (Explainability): यह समझने के लिए एक संरचित विवरण प्रदान करना कि एक ट्रेस निष्ठावान क्यों नहीं है (जैसे, स्थानीय अमान्यता बनाम वैश्विक अस्थिरता)।
प्रशिक्षण फीडबैक: मौन विफलताओं को दंडित करने और निष्ठापूर्ण तर्क को पुरस्कृत करने के लिए एक तंत्र प्रदान करना, जो संभावित रूप से RLHF या सुपरवाइज्ड फाइन-ट्यूनिंग को रिवॉर्ड हैकिंग से दूर ले जा सकता है।

विनम्रता और सीमाएं

लेखक वर्तमान सीमाओं के बारे में स्पष्ट हैं:

दायरा: RAFS वर्तमान में गणितीय तर्क (अंकगणित और बीजगणित) तक सीमित है जहाँ चरण ऑडिट योग्य होते हैं।
सत्यापन: यह उत्सर्जित पाठ का मूल्यांकन करता है, निजी मॉडल सक्रियणों (activations) का नहीं।
गेमिंग: सिस्टम 'इन्फरेंस-टाइम गेमिंग' (जैसे, ऑडिट पास करने के लिए डिज़ाइन किए गए विस्तृत, रेडंडेंट युक्तिकरण) के प्रति संवेदनशील है। मिटिगेशन के रूप में हस्तक्षेप परिवारों को छिपाना प्रस्तावित है लेकिन अभी तक सिद्ध नहीं हुआ है।
निर्भरता: स्कोर सत्यापनकर्ता समूह (verifier ensemble) की गुणवत्ता पर निर्भर करता; यदि सत्यापनकर्ता जनरेटर के साथ साझा पूर्वाग्रह रखता है, तो स्कोर बढ़ा हुआ हो सकता है।

निष्कर्षतः, शोध पत्र मौन तर्क विफलताओं का पता लगाने के लिए एक तकनीकी रूप से निर्दिष्ट, असत्य सिद्ध करने योग्य (falsifiable) ढांचा प्रस्तुत करता है। इसका तर्क है कि इस तरह के मीट्रिक के बिना, क्षेत्र जोखिम उठाता है कि वह अंतर्निहित तर्क प्रक्रिया की वैधता की अनदेखी करते हुए केवल "भाग्यशाली" सही उत्तरों के लिए अनुकूलित हो जाएगा। RAFS का पूर्ण सत्यापन इसके पूर्व-पंजीकृत पुष्टिकारी प्रयोगों के पूरा होने की प्रतीक्षा कर रहा है।