What Does a Factual-Error Detector Really Measure? Question Difficulty and Model Uncertainty Before the Answer Begins

तकनीकी सारांश: एक तथ्यात्मक-त्रुटि डिटेक्टर वास्तव में क्या मापता है?

समस्या विवरण
तथ्यात्मक-त्रुटि डिटेक्टर (Factual-error detectors) यह अनुमान लगाने का लक्ष्य रखते हैं कि किसी बड़े भाषा मॉडल (LLM) का उत्तर गलत है या नहीं, जो मॉडल और उसके आउटपुट पर आधारित होता है। हालांकि, उच्च पहचान सटीकता अकेले यह प्रकट नहीं करती है कि प्रेडिक्टिव सिग्नल (predictive signal) का स्रोत क्या है। एक डिटेक्टर केवल उन प्रश्नों की पहचान कर सकता है जो कई मॉडलों के लिए कठिन हैं, उत्पन्न पाठ (generated text) के गुणों को पकड़ सकता है, या आउटपुट अनिश्चितता को दर्शा सकता है, बजाय इसके कि वह मॉडल के अपने ज्ञान के आंतरिक मूल्यांकन को मापे। मौजूदा बेसलाइन अक्सर मॉडल-विशिष्ट प्रेडिक्टिव जानकारी और सामान्य "प्रश्न की कठिनाई" के बीच अंतर करने में विफल रहती हैं। इसके अलावा, आंतरिक संकेतों (जैसे लेयर-वाइज एक्टिवेशन) के संबंध में दावे अक्सर कठोर क्रॉस-मॉडल सत्यापन की कमी रखते हैं या इस तथ्य को ध्यान में रखने में विफल रहते हैं कि एंट्रॉपी (entropy) फैलाव (dispersion) को मापती है, सत्यता को नहीं।

कार्यप्रणाली (Methodology)
लेखक एक कठोर मूल्यांकन ढांचा प्रस्तावित करते हैं जो दो मुख्य घटकों पर केंद्रित है: एक "लीव-वन-मॉडल-आउट" (LOMO) बेसलाइन और विविध मॉडल वंशों (lineages) में स्केलर रीडआउट्स का एक भावी ऑडिट (prospective audit)।

1. LOMO बेसलाइन: आंतरिक अवस्थाओं (internal states) पर निर्भर रहने के बजाय, बेसलाइन यह गणना करती है कि लक्षित मॉडल को छोड़कर अन्य उपलब्ध मॉडलों में से कितने हिस्से ने एक विशिष्ट प्रश्न का गलत उत्तर दिया। यह स्कोर पूरी तरह से प्रश्न की कठिनाई और पैनल की संरचना पर निर्भर करता है, न कि लक्षित मॉडल के उत्तर या उसकी आंतरिक अवस्थाओं पर।
2. मुख्य पैनल विश्लेषण (TriviaQA): अध्ययन 18 ओपन-वेट मॉडलों (विश्लेषण के लिए 17 रखे गए) के संक्षिप्त तथ्यात्मक उत्तरों का ऑडिट करता है। 42,636 संभावित मॉडल-प्रश्न युग्मों में से, 18,850 निष्कर्षण (extraction) में जीवित रहे। लेखक एक अनुकूल रूप से चयनित डिटेक्टर की तुलना AUROC का उपयोग करके LOMO बेसलाइन से करते हैं। वे निरंतर क्रॉस-फिटिंग (पॉलीनोमियल LOMO) और पुनर्जीवित उत्तर पाठ (regenerated answer text) का उपयोग करके खोजपूर्ण नियंत्रण (exploratory controls) का भी उपयोग करते हैं ताकि डिटेक्टर सिग्नल और उत्तर सामग्री के बीच ओवरलैप की जांच की जा सके।
3. भावी ऑडिट (Natural Questions): 18 मॉडलों (12 वंशों) पर एक अलग, कंसिस्टेंसी-फिल्टर्ड ऑडिट किया गया था। मजबूती सुनिश्चित करने के लिए, केवल उन्हीं युग्मों को रखा गया जहाँ नमूना लिए गए उत्तरों के कई सैंपल्स ने एक ही शुद्धता निर्णय (correctness verdict) प्राप्त किया। अध्ययन ने 24 स्केलर मापों (12 सापेक्ष गहराइयों पर एंट्रॉपी और प्रोबेबिलिटी मार्जिन सहित) का एक पूर्व-निर्धारित अनुभवजन्य नियम के विरुद्ध परीक्षण किया: प्रत्येक मॉडल में कोहेन का $d$ प्रभाव आकार (effect size) $\ge 0.5$, सुसंगत दिशा, और सांख्यिकीय महत्व।
4. स्कोप कंट्रोल्स (Scope Controls):
   • डिकोडिंग: यह निर्धारित करने के लिए कि क्या जुड़ाव रैंडम टोकन चयन पर निर्भर है, सैंपलिंग और ग्रीडी डिकोडिंग के बीच तुलना।
   • त्रुटि के प्रकार: "साझा त्रुटियों" (जो $\ge 3$ मॉडल परिवारों में होती हैं) बनाम "इडियोसिंक्रेटिक त्रुटियों" (idiosyncratic errors) का विश्लेषण यह परीक्षण करने के लिए कि क्या त्रुटि क्लस्टरिंग एंट्रॉपी के साथ सहसंबंध रखती है।
   • कार्य निर्भरता: Natural Questions (NQ), TriviaQA, और BioASQ में मूल्यांकन।

प्रमुख योगदान

1. पैनल कठिनाई के विरुद्ध परिचालन मूल्यांकन: पेपर LOMO को एक मजबूत, डिटेक्टर-स्वतंत्र बेसलाइन के रूप में स्थापित करता है। इसका तर्क है कि मॉडल-विशिष्ट प्रेडिक्टिव जानकारी के दावों को इस बेसलाइन से परे लाभ प्रदर्शित करना चाहिए।
2. तकनीकी रूप से मान्य ऑडिट: अध्ययन 18 मॉडलों पर एक सख्त, प्री-रजिस्टर्ड ऑडिट प्रदान करता है, जिसमें सटीक नेटिव-आउटपुट पुनर्निर्माण और प्रत्येक मॉडल में न्यूनतम प्रभाव आकार की आवश्यकता होती है।
3. स्कोप कंट्रोल्स: निष्कर्षों को सीमित करने के लिए ग्रीडी डिकोडिंग कंट्रोल्स, साझा-त्रुटि विश्लेषण और कार्य-निर्भर तुलनाओं का समावेश।

परिणाम

• LOMO बनाम डिटेक्टर: मुख्य पैनल में, LOMO बेसलाइन ने चयनित स्टैंडअलोन डिटेक्टर से काफी बेहतर प्रदर्शन किया। LOMO के लिए माध्य AUROC 0.855 था, जबकि डिटेक्टर के लिए 0.784 था। माध्य युग्मित अंतर +0.064 था, जो सभी 17 मॉडलों में सकारात्मक था ($p = 2.9 \times 10^{-4}$)।
• संयुक्त भविष्यवक्ता (Combined Predictors): हालांकि LOMO अकेले ही श्रेष्ठ था, लेकिन LOMO में डिटेक्टर फीचर्स (विशेष रूप से एंट्रॉपी और व्यापक फीचर्स) को जोड़ने से सकारात्मक वृद्धिशील लाभ (incremental gains) प्राप्त हुए, जो पूरक प्रेडिक्टिव मूल्य का सुझाव देते हैं।
• एंट्रॉपी और गहराई: NQ ऑडिट में 24 मापों में से, केवल नेटिव-आउटपुट एंट्रॉपी (अंतिम लेयर पर, $u_{11}$) ने पूर्व-निर्धारित अनुभवजन्य मानदंड ($|d| \ge 0.5$ सभी 18 मॉडलों में) को पूरा किया। कोई भी प्रारंभिक-लेयर माप पास नहीं हुआ।
  • नेटिव-आउटपुट एंट्रॉपी के लिए माध्य प्रभाव आकार $d = 1.0515$ था, जिसका न्यूनतम मान 0.6512 था।
  • निकटतम प्री-आउटपुट माप ( $u_{10}$ पर एंट्रॉपी) का न्यूनतम प्रभाव 0.1495 था, जो थ्रेशोल्ड में विफल रहा।
• कठिनाई संवेदनशीलता: स्ट्रैटिफिकेशन के माध्यम से प्रश्न की कठिनाई को नियंत्रित करने पर, एंट्रॉपी का प्रभाव कमजोर हो गया। केवल 16/18 मॉडलों ने $d=0.5$ थ्रेशोल्ड को पार किया (उदाहरण के लिए, Mistral घटकर 0.102 रह गया), जो दर्शाता है कि सिग्नल सैंपल संरचना के प्रति संवेदनशील है।
• ग्रीडी डिकोडिंग: ग्रीडी डिकोडिंग के तहत भी त्रुटि और एंट्रॉपी के बीच का जुड़ाव बना रहा, हालांकि परिमाण भिन्न था। यह सुझाव देता है कि सिग्नल केवल वितरण की पूंछ (tail) से सैंपलिंग का आर्टिफैक्ट नहीं है।
• साझा बनाम इडियोसिंक्रेटिक त्रुटियां: साझा त्रुटियां (अर्थ के आधार पर समूह योग्य) 17/18 मॉडलों में इडियोसिंक्रेटिक त्रुटियों की तुलना में कम फर्स्ट-कंटेंट-टोकन एंट्रॉपी प्रदर्शित करती थीं। यह इंगित करता है कि जब मॉडल एक ही गलत उत्तर पर अभिसरित (converge) होते हैं, तो अनिश्चितता कम होती है, जो इस धारणा को चुनौती देता है कि उच्च एंट्रॉपी ही मतिभ्रम (hallucination) का एकमात्र संकेतक है।
• टेक्स्ट कंट्रोल्स: पुनर्जीवित पाठ का उपयोग करके खोजपूर्ण नियंत्रणों ने सुझाव दिया कि एक्टिवेशन-आधारित डिटेक्टरों से प्राप्त होने वाला अधिकांश लाभ उत्तर पाठ में निहित जानकारी के साथ ओवरलैप होता है।

महत्व और दावे
पेपर निष्कर्ष निकालता है कि तथ्यात्मक-त्रुटि डिटेक्टरों का मूल्यांकन पैनल प्रश्न कठिनाई (LOMO) के विरुद्ध किया जाना चाहिए, न कि अलग से। निष्कर्ष एंट्रॉपी को एक चेतावनी संकेत (warning signal) के रूप में समर्थन देते हैं, जो चयनित लघु-उत्तर आबादी में संभावित त्रुटियों के लिए है, लेकिन यह सत्य का माप नहीं है।

• एंट्रॉपी की सीमाएं: एंट्रॉपी अगले टोकन पर फैलाव को मापती है, सत्यता को नहीं। एक प्रमुख गलत उम्मीदवार एंट्रॉपी को कम रख सकता है, जबकि प्रतिस्पर्धी सतही रूप (surface forms) इसे बढ़ा सकते हैं।
• कोई सार्वभौमिक तंत्र नहीं: अध्ययन एक साझा कारण तंत्र (causal mechanism) या सार्वभौमिक थ्रेशोल्ड स्थापित नहीं करता है। नेटिव-आउटपुट एंट्रॉपी की सफलता चयनित, कंसिस्टेंसी-फिल्टर्ड आबादी के लिए विशिष्ट है।
• मामूली दावे: लेखक स्पष्ट रूप से कहते हैं कि उनके निष्कर्ष चयनित आबादी से संबंधित हैं और दीर्घ-रूप (long-form) पीढ़ी, रिट्रीवल-ऑगमेंटेड सिस्टम, या प्रोडक्शन ट्रैफिक पर सामान्यीकृत नहीं होते हैं। साक्ष्य सत्यापन या त्याग (abstention) के लिए ट्रिगर के रूप में अनिश्चितता के सावधानीपूर्वक मापन का समर्थन करते हैं, लेकिन कम एंट्रॉपी अकेले स्वचालित विश्वास को उचित नहीं ठहरा सकती।

संक्षेप में, यह पेपर प्रदर्शित करता है कि हालांकि एंट्रॉपी जैसे सरल आंतरिक संकेत त्रुटियों के साथ सहसंबंध रख सकते हैं, वे प्रश्न की कठिनाई और पाठ गुणों द्वारा अत्यधिक भ्रमित (confounded) होते हैं। इस अध्ययन में तथ्यात्मक त्रुट का सबसे मजबूत भविष्यवक्ता लक्षित मॉडल की आंतरिक अवस्था नहीं, बल्कि उसी प्रश्न पर अन्य मॉडलों का सामूहिक प्रदर्शन था।