💬 NLP

Do LLMs Know What They Know? Measuring Metacognitive Efficiency with Signal Detection Theory

यह शोध पत्र एक टाइप-2 सिग्नल डिटेक्शन थ्योरी फ्रेमवर्क पेश करता है जो मेटा-डी' (meta-d') और एम-रेशियो (M-ratio) का उपयोग करके एक एलएलएम (LLM) के तथ्यात्मक ज्ञान और उसकी मेटाकॉग्निटिव दक्षता के बीच अंतर करता है, जिससे यह पता चलता है कि मानक कैलिब्रेशन मेट्रिक्स उन महत्वपूर्ण विविधताओं को छिपा सकते हैं कि विभिन्न डोमेन और मॉडल आर्किटेक्चर में मॉडल वास्तव में "क्या जानते हैं, वे कितना जानते हैं" के मामले में कितने सक्षम हैं।

मूल लेखक: Jon-Paul Cacioli

प्रकाशित 2026-03-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jon-Paul Cacioli

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रहस्यों को सुलझाने के लिए विशेषज्ञ जासूसों की एक टीम को काम पर रख रहे हैं। आपको प्रत्येक जासूस के बारे में दो बातें जानने की आवश्यकता है:

वे केस सुलझाने में कितने अच्छे हैं? (क्या उन्होंने सही उत्तर खोजा?)
उन्हें यह कितनी अच्छी तरह पता है कि वे सही हैं या नहीं? (क्या वे केवल तभी आत्मविश्वास से कहते हैं "मैंने इसे सुलझा लिया!" जब वे वास्तव में सही होते हैं, या वे उन मामलों के बारे में भी डींगें मारते हैं जिन्हें उन्होंने गलत सुलझाया है?)

लंबे समय तक, जब हम AI मॉडल (LLMs) का परीक्षण करते थे, तो हम केवल पहले प्रश्न को देखते थे। हम पूछते थे: "AI कितनी बार सही होता है?" और "क्या उसका औसत आत्मविश्वास उसके औसत सटीकता से मेल खाता है?"

यह नया पेपर तर्क देता है कि यह एक जासूस को केवल उसकी जीत की दर (win rate) से आंकने जैसा है, यह नजरअंदाज करते हुए कि वह अति-आत्मविश्वासी है या कम आत्मविश्वासी। लेखक ने AI को टेस्ट करने का एक नया तरीका पेश किया है जिसे मेटाकॉग्निटिव एफिशिएंसी (Metacognitive Efficiency) कहा जाता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "आत्मविश्वासी मूर्ख" बनाम "ईमानदार विशेषज्ञ"

पेपर एक बेहतरीन उदाहरण का उपयोग करके दिखाता है कि वर्तमान परीक्षण क्यों विफल हो जाते हैं:

जासूस A (आत्मविश्वासी मूर्ख): 90% मामलों को सही ढंग से सुलझाता है। लेकिन हर एक मामले के लिए, चाहे वह सही हो या गलत, वह चिल्लाकर कहता है, "मुझे 90% यकीन है!"
- वर्तमान परीक्षण परिणाम: यह जासूस एकदम सही दिखता है। उनका आत्मविश्वास उनकी सटीकता (90% आत्मविश्वास = 90% सफलता) से मेल खाता है।
- वास्तविकता: उनका आत्मविश्वास बेकार है। यदि वे कहते हैं "90% पक्का हूँ," तो आपको पता ही नहीं चलेगा कि वे सही हैं या गलत।
जासूस B (ईमानदार विशेषज्ञ): 80% मामलों को सही ढंग से सुलझाता है। लेकिन जब वे सही होते हैं, तो वे कहते हैं, "95% पक्का हूँ," और जब वे गलत होते हैं, तो वे कहते हैं, "60% पक्का हूँ।"
- वर्तमान परीक्षण परिणाम: यह जासूस "बदतर" दिखता है क्योंकि उनका औसत आत्मविश्वास उनकी औसत सटीकता से पूरी तरह मेल नहीं खाता।
- वास्तविकता: उनका आत्मविश्वास अनमोल है। यदि वे कहते हैं "95% पक्का हूँ," तो आप उन पर भरोसा कर सकते हैं। यदि वे कहते हैं "60% पक्का हूँ," तो आपको उनके काम की दोबारा जांच करनी चाहिए।

पेपर का अंतर्दृष्टि (Insight): वर्तमान परीक्षण (जैसे ECE) जासूस A को पुरस्कृत करते हैं। यह नया टेस्ट (Meta-d') जासूस B को पुरस्कृत करता है क्योंकि यह मापता है कि कॉन्फिडेंस सिग्नल (confidence signal) सही उत्तरों को गलत उत्तरों से कितनी अच्छी तरह अलग करता है।

2. नया टूल: "कॉन्फिडेंस फ़िल्टर"

लेखक मनोविज्ञान की एक अवधारणा का उपयोग करते हैं जिसे सिग्नल डिटेक्शन थ्योरी (Signal Detection Theory) कहा जाता है। कल्पना करें कि AI के मस्तिष्क में दो परतें हैं:

परत 1 (द सॉल्वर - हल करने वाला): यह हिस्सा सवाल का जवाब देने की कोशिश करता है।
परत 2 (द मॉनिटर - निगरानी करने वाला): यह हिस्सा 'सॉल्वर' को देखता है और कहता है, "मुझे लगता है कि मैं यह सही कर रहा हूँ" या "मैं पक्का नहीं हूँ।"

लेखक एक मीट्रिक पेश करते हैं जिसे M-रेशियो (M-ratio) कहा जाता है। इसे एक फ़िल्टर दक्षता स्कोर (filter efficiency score) के रूप में सोचें:

M = 1.0 (परफेक्ट फ़िल्टर): मॉनिटर उस सभी जानकारी का उपयोग करता है जो सॉल्वर के पास है। यदि सॉल्वर को उत्तर पता है, तो मॉनिटर को भी पता है।
M < 1.0 (लीकी फ़िल्टर): सॉल्वर को उत्तर पता है, लेकिन मॉनिटर "शोर भरा" (noisy) या भ्रमित है। वह उपयोगी जानकारी को फेंक देता है। AI सही हो सकता है, लेकिन उसे पता ही नहीं कि वह सही है।
M > 1.0 (सुपर फ़िल्टर): मॉनिटर किसी तरह कच्चे डेटा की तुलना में और भी अधिक निश्चित है (जो दुर्लभ है, लेकिन संभव है)।

3. बड़ी चौंकाने वाली बातें

लेखक ने चार लोकप्रिय AI मॉडल (Llama, Mistral, Gemma) का 224,000 सवालों पर परीक्षण किया। यहाँ उन्होंने क्या पाया:

"सबसे अच्छा" सॉल्वर ही "सबसे खराब" मॉनिटर है:
एक मॉडल (Mistral) सही उत्तर पाने में सबसे अच्छा था (उच्च "सॉल्वर" स्कोर)। लेकिन इसका M-रेशियो सबसे खराब था। यह एक ऐसे जीनियस जासूस की तरह था जो 90% बार सही उत्तर देता है, लेकिन चाहे वह सही हो या गलत, उसी आत्मविश्वास के साथ डींगें मारता है।
- सबक: सिर्फ इसलिए कि एक AI स्मार्ट है, इसका मतलब यह नहीं है कि उसे पता है कि खुद पर कब भरोसा करना है।
"सबसे खराब" सॉल्वर ही "सबसे अच्छा" मॉनिटर है:
एक अन्य मॉडल (Gemma) ने कुल मिलाकर कम उत्तर सही दिए, लेकिन उसका आत्मविश्वास अविश्वसनीय रूप से ईमानदार था। जब वह पक्का होने का दावा करता था, तो वह आमतौर पर सही होता था।
- सबक: सुरक्षा-महत्वपूर्ण कार्यों (जैसे मेडिकल डायग्नोसिस) के लिए, आप "आत्मविश्वासी" मॉडल के बजाय "ईमानदार" मॉडल को पसंद कर सकते हैं।
"टेम्परेचर" के साथ आत्मविश्वास बदलता है (मूड रिंग):
AI मॉडल में "टेम्परेचर" नामक एक सेटिंग होती है जो उन्हें अधिक रैंडम या अधिक कठोर बनाती है। अध्ययन ने पाया कि टेम्परेचर बदलने से AI कितना "साहसी" (bold) होता है (उसका "क्राइटेरियन"), यह बदल जाता है, लेकिन यह नहीं बदलता कि वह सही और गलत के बीच अंतर करने में कितना सक्षम है (उसकी "कैपेसिटी")।
- उपमा: टेम्परेचर बढ़ाने का मतलब है किसी व्यक्ति को अधिक बातूनी और शोर मचाने वाला बनाना। इससे वह अधिक स्मार्ट या आत्म-जागरूक नहीं बनता; यह बस उसे "मैं 100% पक्का हूँ!" अधिक बार कहने में मदद करता है, भले ही वह सही न हो।
डोमेन विशिष्टता (Domain Specificity):
एक AI विज्ञान में जीनियस हो सकता है लेकिन इतिहास में बहुत बुरा, और उसका आत्मविश्वास इस आधार पर बदल सकता है। मानक परीक्षण सब कुछ औसत (average) कर देते हैं, जिससे ये कमजोरियाँ छिप जाती हैं। यह नया टेस्ट आपको स्पष्ट रूप से दिखाता है कि AI कहाँ अंधा है।

4. यह आपके लिए क्यों मायने रखता है

यदि आप एक ऐसा ऐप बना रहे हैं जो AI का उपयोग करता है, तो आपको पता होना चाहिए:

यदि आप "आत्मविश्वासी मूर्ख" मॉडल का उपयोग करते हैं: तो आप AI को ऐसे निर्णय लेने दे सकते हैं जो उसे नहीं लेने चाहिए, क्योंकि वह गलत होने पर भी इतना सुनिश्चित दिखता है।
यदि आप "ईमानदार विशेषज्ञ" मॉडल का उपयोग करते हैं: तो आप एक नियम सेट कर सकते हैं: "यदि AI 80% से कम पक्का है, तो एक इंसान को उत्तर की जांच करनी चाहिए।" यह सिस्टम को अधिक सुरक्षित और विश्वसनीय बनाता है।

सारांश

यह पेपर एक चेतावनी है। यह कहता है: "केवल यह पूछना बंद करें कि 'क्या AI सही है?' बल्कि यह पूछना शुरू करें कि 'क्या AI को पता है कि वह सही है?'"

इस नए "M-रेशio" टेस्ट का उपयोग करके, हम केवल शोर मचाने वाले, अति-आत्मविश्वासी AI को काम पर रखने के बजाय, शांत, आत्म-जागरूक AI को काम पर रख सकते हैं जो वास्तव में जानते हैं कि वे क्या नहीं जानते। यह उन AI को बनाने के लिए महत्वपूर्ण है जिन्हें हम वास्तविक दुनिया के निर्णयों के लिए भरोसा कर सकें।

यहाँ शोध पत्र "Do LLMs Know What They Know? Measuring Metacognitive Efficiency with Signal Detection Theory" (Jon-Paul Cacioli द्वारा लिखित) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) के आत्मविश्वास (confidence) के मूल्यांकन के लिए वर्तमान मेट्रिक्स, जैसे कि एक्स्पेक्टेड कैलिब्रेशन एरर (ECE), ब्रियर स्कोर (Brier score), और AUROC, एक मौलिक सीमा से ग्रस्त हैं: वे दो अलग-अलग संज्ञानात्मक क्षमताओं को मिला देते हैं:

टाइप-1 संवेदनशीलता (Type-1 Sensitivity): सही और गलत उत्तरों के बीच अंतर करने की मॉडल की क्षमता (सटीकता/accuracy)।
टाइप-2 मेटाकॉग्निटिव संवेदनशीलता (Type-2 Metacognitive Sensitivity): अपने स्वयं के प्रदर्शन की निगरानी करने की मॉडल की क्षमता (अर्थात, यह जानना कि वह कब सही है या गलत)।

मुख्य मुद्दा: एक मॉडल पूरी तरह से कैलिब्रेटेड (कम ECE वाला) हो सकता है, केवल इसलिए क्योंकि उसमें उच्च बायस (bias) है (उदाहरण के लिए, हमेशा 90% आत्मविश्वास रिपोर्ट करना), बिना वास्तव में सही और गलत के बीच अंतर करने की किसी भी क्षमता के। इसके विपरीत, एक मॉडल में उच्च सटीकता हो सकती है लेकिन आत्मविश्वास की निगरानी (confidence monitoring) खराब हो सकती है। मानक मेट्रिक्स या तो पहले वाले को पुरस्कृत करते हैं या दोनों के बीच अंतर करने में विफल रहते हैं, जिससे विश्वसनीय अनिश्चितता अनुमान (जैसे कि चयनात्मक भविष्यवाणी, मानव-AI सहयोग) के लिए इष्टतम मॉडल चयन में बाधा आती है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र टाइप-2 सिग्नल डिटेक्शन थ्योरी (SDT) पर आधारित एक मूल्यांकन ढांचे को पेश करता है, जो संवेदनशीलता (sensitivity) को निर्णय मानदंड (decision criteria) से अलग करने के लिए उपयोग किया जाने वाला एक साइकोफिजिकल फ्रेमवर्क है।

डेटा और मॉडल:
- मॉडल: तीन परिवारों के चार LLMs—Llama-3-8B-Instruct, Llama-3-8B-Base, Mistral-7B-Instruct-v0.3, और Gemma-2-9B-Instruct।
- डेटासेट: TriviaQA और Natural Questions से उत्पन्न 224,000 तथ्यात्मक QA परीक्षण।
- शर्तें (Conditions): 7 तापमान सेटिंग्स ( $T \in \{0.1, \dots, 2.0\}$ ) और चार ज्ञान डोमेन (इतिहास, कला, भूगोल, विज्ञान) में मूल्यांकन किया गया।
कॉन्फिडेंस वेरिएबल: प्रॉम्प्टेड मौखिक रेटिंग (जो विविक्तीकरण आर्टिफैक्ट्स से ग्रस्त होती है) के बजाय, यह अध्ययन उत्पन्न टोकन के नॉर्मलाइज्ड लॉग-प्रोबेबिलिटीज़ (NLP) का उपयोग एक निरंतर आत्मविश्वास संकेत के रूप में करता है।
प्रमुख मेट्रिक्स:
- $d'$ (Type-1 Sensitivity): यह मापता है कि NLP सही और गलत उत्तरों को कितनी अच्छी तरह अलग करता है।
- Meta- $d'$ : यह उस आदर्श पर्यवेक्षक का सैद्धांतिक $d'$ है जिसे देखे गए आत्मविश्वास पैटर्न उत्पन्न करने के लिए आवश्यक होगा। यह आत्मविश्वास संकेत के सूचनात्मक स्तर (information content) को मापता है।
- M-ratio (Metacognitive Efficiency): इसे $M = \text{meta-}d' / d'$ $M = meta- d^{'} / d^{'}$ के रूप में परिभाषित किया गया है।
  - $M=1$ : इष्टतम मेटाकॉग्निशन (आत्मविश्वास उपलब्ध साक्ष्य को पूरी तरह से कैप्चर करता है)।
  - $M<1$ : मेटाकॉग्निटिव लॉस (आत्मविश्वास मूल साक्ष्य की तुलना में अधिक शोर वाला/noisy है)।
  - $M>1$ : आत्मविश्वास बाइनरी शुद्धता (binary correctness) से परे जानकारी तक पहुँचता है।
विश्लेषण पाइपलाइन:
- कॉन्फिडेंस $\times$ एक्यूरेसी कंटिंजेंसी टेबल बनाई गईं।
- Meta- $d'$ प्राप्त करने के लिए मैक्सिमम लाइक्लीहुड एस्टीमेशन (MLE) लागू किया गया।
- कॉन्फिडेंस इंटरवल के लिए बूटस्ट्रैप रीसैंपलिंग (10,000 पुनरावृत्ति) का उपयोग किया गया।
- ओपन साइंस फ्रेमवर्क (OSF) पर प्री-रजिस्टर्ड परिकल्पनाएँ।

3. प्रमुख योगदान (Key Contributions)

संवेदनशीलता और निगरानी का पृथक्करण: यह शोध पत्र प्रदर्शित करता है कि टाइप-1 प्रदर्शन (सटीकता) और टाइप-2 प्रदर्शन (मेटाकॉग्निटिव दक्षता) अलग-अलग किए जा सकते हैं। एक मॉडल तथ्यों के सर्वश्रेष्ठ विवेचक (discriminator) होने के बावजूद अपनी अनिश्चितता का सबसे खराब मॉनिटर हो सकता है।
डोमेन-विशिष्ट दक्षता: मेटाकॉग्निटिव दक्षता एकसमान नहीं है; यह ज्ञान डोमेन के अनुसार काफी भिन्न होती है (उदाहरण के लिए, एक मॉडल भूगोल में कुशल हो सकता है लेकिन विज्ञान में अंधा हो सकता है)। समग्र मेट्रिक्स इन महत्वपूर्ण कमजोरियों को छिपा देते हैं।
पॉलिसी और क्षमता का पृथक्करण: तापमान हेरफेर टाइप-2 क्राइटेरियन (कॉन्फिडेंस बायस) को प्रभावित करता है लेकिन कुछ मॉडलों के लिए Meta- $d'$ (मेटाकॉग्निटिव क्षमता) को स्थिर रखता है। यह सिद्ध करता है कि कॉन्फिडेंस पॉलिसी (एक मॉडल कितना "आत्मविश्वासी" लगता है) एक समायोज्य पैरामीटर है जो इसकी यह जानने की क्षमता से स्वतंत्र है कि वह क्या जानता है।
उलटे हुए रैंकिंग (Inverted Rankings): अध्ययन दिखाता है कि मानक मेट्रिक्स (जैसे AUROC2) और प्रस्तावित M-ratio पूरी तरह से अलग प्रश्न पूछते हैं, जिससे मॉडल की रैंकिंग उलट जाती है।

4. मुख्य परिणाम (Key Results)

सटीकता और दक्षता का पृथक्करण:
- Mistral-7B ने उच्चतम टाइप-1 संवेदनशीलता ( $d' = 1.597$ ) प्राप्त की लेकिन न्यूनतम M-ratio ($0.852$) प्राप्त किया। यह सबसे अच्छा तथ्यात्मक विवेचक है लेकिन सबसे खराब मेटाकॉग्निटिव मॉनिटर है।
- Gemma-2-9B की टाइप-1 संवेदनशीलता ( $d' = 0.946$ ) सबसे कम थी लेकिन इसका M-ratio लगभग इष्टतम ($1.048$) था।
- निहितार्थ: मानक मेट्रिक्स मिस्ट्रल को #1 रैंक देते हैं; M-ratio इसे #4 रैंक देता है। चयनात्मक भविष्यवाणी कार्यों के लिए, Gemma-2, मिस्ट्रल से बेहतर प्रदर्शन करेगा, भले ही इसकी कच्ची सटीकता कम हो।
डोमेन परिवर्तनशीलता:
- विभिन्न मॉडलों के अलग-अलग "सबसे कमजोर" डोमेन होते हैं। उदाहरण के लिए, Llama-3-Instruct और Gemma-2 विज्ञान और प्रौद्योगिकी में सबसे कम कुशल थे, जबकि मिस्ट्रल कला और साहित्य में सबसे कमजोर था।
तापमान प्रभाव:
- मिस्ट्रल और गेम्मा के लिए, तापमान बदलने से कॉन्फिडेंस क्राइटेरियन (बायस) बदल गया लेकिन इसने Meta- $d'$ को महत्वपूर्ण रूप से नहीं बदला। यह इंगित करता है कि तापमान ट्यूनिंग कैलिब्रेशन (बायस) में सुधार करती है लेकिन मेटाकॉग्निटिव क्षमता (capacity) को ठीक नहीं करती है।
- इंस्ट्रक्शन ट्यूनिंग (Llama-3 Instruct बनाम Base) पाया गया कि इसने क्राइटेरियन को स्थानांतरित किया और (विज्ञान जैसे कुछ डोमेन में) मेटाकॉग्निटिव दक्षता को कम किया।
मजबूती (Robustness):
- M-ratio विभिन्न बिनिंग ग्रैनुलैरिटी ( $K=3, 4, 6$ ) और क्वांटाइजेशन स्तरों में स्थिर रहा, जो इसकी विश्वसनीयता की पुष्टि करता है।

5. महत्व और निहितार्थ (Significance and Implications)

मॉडल चयन: उन प्रणालियों के लिए जो आत्मविश्वास पर निर्भर करती हैं (जैसे, "यदि आत्मविश्वास < थ्रेशोल्ड हो तो रुक जाएँ"), ECE या AUROC के आधार पर मॉडल चुनना विनाशकारी विफलताओं का कारण बन सकता है। M-ratio उन मॉडलों के चयन के लिए बेहतर मीट्रिक है जो अपनी गलतियों को विश्वसनीय रूप से पहचान सकते हैं।
परिनियोजन रणनीति (Deployment Strategy): निष्कर्ष बताते हैं कि यदि अंतर्निहित मेटाकॉग्निटिव सिग्नल कमजोर है, तो केवल "कैलिब्रेशन" (तापमान के माध्यम से बायस को ठीक करना) अपर्याप्त है। कम M-रेशियो वाले मॉडलों को पोस्ट-हॉक कैलिब्रेशन के बजाय आर्किटेक्चरल या प्रशिक्षण हस्तक्षेप की आवश्यकता होती है।
सैद्धांतिक बदलाव: यह शोध पत्र LLM मूल्यांकन को "कॉन्फिडेंस" के एक अखंड (monolithic) दृष्टिकोण से हटाकर संवेदनशीलता (मॉडल क्या जानता है) और निगरानी (वह यह कितनी अच्छी तरह जानता है कि वह क्या जानता है) के विभाजित दृष्टिकोण की ओर ले जाता है।
मानव-AI सहयोग: यह समझना कि एक मॉडल का आत्मविश्वास संकेत उच्च सटीकता के बावजूद "गैर-सूचनात्मक" (uninformative) हो सकता है, विश्वास निर्माण और प्रभावी मानव निरीक्षण लूप के लिए महत्वपूर्ण है।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि Meta- $d'$ और M-ratio LLM मूल्यांकन टूलकिट में आवश्यक जोड़ हैं, जो आत्मविश्वास संकेतों में उन संरचनात्मक अक्षमताओं को प्रकट करते जिन्हें मानक कैलिब्रेशन मेट्रिक्स पूरी तरह से छिपा देते हैं।