💬 NLP

Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models

यह शोध पत्र एक अनिश्चितता-निर्देशित प्रोबिंग पद्धति प्रस्तावित करता है जो एलएलएम (LLM) के भ्रमों (confabulations) का पता लगाने में सुधार करने के लिए टोकन-स्तरीय हिडन स्टेट्स को एकत्रित करता है, यह प्रकट करते हुए कि जबकि भ्रामक संदर्भ आत्मविश्वासपूर्ण गलत प्रतिक्रियाओं को प्रेरित कर सकते हैं, एलेयटोरिक (aleatoric) और एपिस्टेमिक (epistemic) अनिश्चितता का लाभ उठाना ओपन-सोर्स मॉडल में विश्वसनीयता अनुमान को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Tianyi Zhou, Johanne Medina, Sanjay Chawla

प्रकाशित 2026-03-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyi Zhou, Johanne Medina, Sanjay Chawla

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र "Can LLMs Detect Their Confabulations?" का स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: आत्मविश्वासी झूठा (The Confident Liar)

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, पढ़ा-लिखा दोस्त है (Large Language Model या LLM)। वह लगभग हर सवाल का जवाब तुरंत दे सकता है। लेकिन कभी-कभी, जब उसे जवाब नहीं पता होता, तो वह यह नहीं कहता कि "मुझे नहीं पता।" इसके बजाय, वह एक ऐसी कहानी बना लेता है जो सुनने में एकदम सही लगती है, बहुत सुंदर ढंग से बहती है, लेकिन पूरी तरह से गलत होती है। इसे confabulation (या hallucination/भ्रम) कहा जाता है।

यह शोध पत्र मुख्य सवाल यह पूछता है: क्या यह दोस्त यह पहचान सकता है कि वह झूठ बोल रहा है? क्या उसे एक "अंतर्ज्ञान" (gut instinct) महसूस हो सकता है कि "रुको, मैं इस बारे में पक्का नहीं हूँ," या वह आत्मविश्वास के साथ झूठ बोलना जारी रखता है?

प्रयोग: "संदर्भ" की परीक्षा (The "Context" Test)

शोधकर्ताओं ने उनके दोस्त की विश्वसनीयता को परखने के लिए एक खेल बनाया। उन्होंने तीन अलग-अलग स्थितियों में एक ही सवाल पूछा:

खाली कमरा (कोई संदर्भ नहीं - No Context): दोस्त से बिना किसी मदद के एक सवाल पूछा जाता है।
- परिणाम: वह सही जवाब दे सकता है (जो उसने याद किया है) या गलत, लेकिन वह आमतौर पर मध्यम स्तर का आत्मविश्वास दिखाता है।
सहायक लाइब्रेरियन (सही संदर्भ - Correct Context): दोस्त को एक किताब दी जाती है जिसमें सही उत्तर है।
- परिणाम: वह सही जवाब देता है और बहुत आत्मविश्वासी हो जाता है। यह अच्छा है!
मजाकिया व्यक्ति (भ्रामक संदर्भ - Misleading Context): दोस्त को एक ऐसी किताब दी जाती है जो कुछ गलत कहती है (जैसे, "ओलिवर ट्रम्प ने 2024 का चुनाव जीता")।
- परिणाम: यह डरावना है। दोस्त उस नकली किताब को पढ़ता है, उस पर विश्वास करता है, और सवाल का गलत जवाब देता है, लेकिन वह इसे अत्यधिक आत्मविश्वास के साथ करता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं।

यदि आपको उत्तर नहीं पता, तो आप अनुमान लगा सकते हैं और कह सकते हैं, "मुझे लगता है कि यह X है।"
यदि कोई शिक्षक सही उत्तर फुसफुसाता है, तो आप पूरे आत्मविश्वास से कहते हैं, "यह X है!"
यदि कोई मजाक करने वाला व्यक्ति गलत उत्तर फुसफुसाता है, तो आप कह सकते हैं, "यह निश्चित रूप से Y है!"—100% निश्चितता के साथ, भले ही आप गलत हों।

शोध पत्र में पाया गया कि LLMs इस बात को पहचानने में बहुत खराब हैं कि "मजाक करने वाला" व्यक्ति उनसे झूठ बोल रहा है। वे चकमा खा जाते हैं और अपने गलत उत्तरों को लेकर और भी अधिक आत्मविश्वासी हो जाते हैं।

समस्या: आत्मविश्वास $\neq$ सत्य (Confidence $\neq$ Truth)

आमतौर पर, हम सोचते हैं: "अगर AI बहुत यकीन के साथ बोल रहा है, तो इसका मतलब है कि वह सही है।"
यह शोध पत्र सिद्ध करता है कि यह गलत है। जब AI को गलत जानकारी दी जाती है, तो वह एक झूठ के बारे में बेहद सुनिश्चित हो सकता है। यह एक ऐसी कार की तरह है जिसका स्पीडोमीटर टूटा हुआ है और वह खड़ा होने पर भी "100 मील प्रति घंटा" दिखा रहा है। आप स्पीडोमीटर (AI का आत्मविश्वास) पर भरोसा नहीं कर सकते कि कार वास्तव में चल रही है या नहीं (कि उत्तर सत्य है या नहीं)।

समाधान: "एक्स-रे" मशीन (The "X-Ray" Machine)

चूंकि AI का अपना आत्मविश्वास मीटर खराब है, इसलिए शोधकर्ताओं ने पूछा: क्या यह जानने का कोई और तरीका है कि AI झूठ बोल रहा है?

उन्होंने AI के "दिमाग" (इसके आंतरिक कोड और गणित) के अंदर झाँकने की कोशिश की जब वह सोच रहा था। उन्होंने पाया कि भले ही AI कहता है कि वह आत्मविश्वासी है, लेकिन उसके आंतरिक "न्यूरॉन्स" वास्तव में थोड़े अजीब या अनिश्चित व्यवहार कर रहे हैं।

उपमा: कल्पना कीजिए कि AI एक जादूगर है।

जादूगर का करतब: जादूगर (AI) आत्मविश्वास के साथ टोपी से खरगोश बाहर निकालता है।
दर्शकों का दृष्टिकोण: दर्शक खरगोश देखते हैं और सोचते हैं, "वाह, जादू!"
एक्स-रे दृश्य: शोधकर्ताओं ने जादूगर का एक्स-रे किया। उन्होंने देखा कि जादूगर के हाथ थोड़े कांप रहे थे, या उसने अपनी जेब में दूसरा खरगोश छिपा रखा था। आंतरिक संकेत (कांपते हाथ) आत्मविश्वासी प्रदर्शन से मेल नहीं खा रहे थे।

उन्होंने इसे कैसे ठीक किया: "अनिश्चितता जासूस" (The "Uncertainty Detective")

शोधकर्ताओं ने एक नया टूल बनाया जिसे Probing Classifier कहा जाता है। इसे एक झूठ पकड़ने वाला यंत्र (Lie Detector Test) समझें जो AI की आत्मविश्वासी आवाज़ के बजाय उसके आंतरिक "कांपते हाथों" को देखता है।

उन्होंने केवल अंतिम उत्तर को नहीं देखा।
उन्होंने उन विशिष्ट शब्दों (tokens) को देखा जिनके बारे में AI अनिश्चित था।
उन्होंने इन संकेतों को जोड़ा। केवल एक शब्द को देखने के बजाय, उन्होंने पूरे वाक्य के "वाइब" (vibe) को देखा।

परिणाम: यह नया टूल AI से यह पूछने ("क्या आप पक्का हैं?") या उसके आत्मविश्वास स्कोर को देखने की तुलना में AI के झूठ को पकड़ने में बहुत बेहतर था। यह उस "कांपते हाथों" को भी पकड़ सकता था जब जादूगर बहुत आत्मविश्वासी अभिनय कर रहा था।

यह क्यों महत्वपूर्ण है

भविष्य में, हम ऐसे AI एजेंटों का उपयोग करेंगे जो एक-दूसरे से बात करेंगे।

परिदृश्य: AI एजेंट A, AI एजेंट B से मदद मांगता है।
जोखिम: यदि एजेंट B को गलत जानकारी से चकमा दिया जाता है और वह आत्मविश्वास के साथ झूठ बोलता है, तो एजेंट A उस पर विश्वास करेगा और गलती कर देगा।
समाधान: हमें एक "सुरक्षा गार्ड" (Probing Classifier की तरह) की आवश्यकता है जो एजेंट B के आंतरिक संकेतों को देख सके और कह सके, "हे, भले ही तुम पक्के लग रहे हो, लेकिन तुम्हारा आंतरिक गणित कहता है कि तुम भ्रमित हो। रुको और दोबारा जाँच करो।"

सारांश

समस्या: AI मॉडल गलत जानकारी से चकमा खाकर उच्च आत्मविश्वास के साथ गलत उत्तर दे सकते हैं। वे अपने स्वयं के झूठ को नहीं पहचान सकते।
खोज: AI की आंतरिक "मस्तिष्क तरंगें" (hidden states) भ्रम के संकेत दिखाती हैं, भले ही AI आत्मविश्वास से भरा हुआ सुनाई दे।
समाधान: एक ऐसा टूल बनाकर जो AI की आवाज़ सुनने के बजाय उसकी आंतरिक "मस्तिष्क तरंगों" को पढ़ता है, हम झूठ को बहुत बेहतर तरीके से पकड़ सकते हैं।

मुख्य बात (Takeaway): केवल इसलिए कि AI यकीन के साथ बोल रहा है, उस पर भरोसा न करें। कभी-कभी, आपको यह देखने के लिए कि इंजन वास्तव में चल रहा है या नहीं, उसके "हुड" के नीचे देखना पड़ता है।

यहाँ शोध पत्र "Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) कन्फैब्युलेशन (confabulation) के प्रति संवेदनशील होते हैं: यानी, प्रवाहपूर्ण लेकिन तथ्यात्मक रूप से गलत सामग्री उत्पन्न करना। यह जोखिम मल्टी-टर्न और एजेंटिक अनुप्रयोगों (जैसे, Retrieval-Augmented Generation या RAG) में बढ़ जाता है, जहाँ मॉडल के आउटपुट को अगले टर्न के लिए संदर्भ (context) के रूप में पुन: उपयोग किया जाता है।

मूल समस्या जिसका समाधान किया गया है, वह है मॉडल के आत्मविश्वास (confidence) और शुद्धता (correctness) के बीच का मिसअलाइनमेंट। जबकि LLMs अक्सर सही होने पर उच्च आत्मविश्वास (कम अनिश्चितता) व्यक्त करते हैं, वे गलत उत्तर देते समय भी उच्च आत्मविश्वास व्यक्त कर सकते हैं, विशेष रूप से जब वे भ्रामक इन-कॉन्टेक्स्ट जानकारी (misleading in-context information) से प्रभावित होते हैं। वर्तमान अनिश्चितता अनुमान विधियाँ अक्सर इन "आत्मविश्वासी रूप से गलत" (confidently wrong) अवस्थाओं का पता लगाने में विफल रहती हैं, जिससे स्वायत्त प्रणालियों (autonomous systems) में मतिभ्रम (hallucinations) का प्रसार होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-भाग वाले अन्वेषण का प्रस्ताव करते हैं: यह विश्लेषण करना कि संदर्भ (context) अनिश्चितता को कैसे प्रभावित करता है और आंतरिक मॉडल संकेतों का उपयोग करके अविश्वसनीय आउटपुट का पता लगाने की विधि विकसित करना।

A. संदर्भ-नियंत्रित प्रयोगात्मक ढांचा (Context-Controlled Experimental Framework)

यह अध्ययन ओपन QA बेंचमार्क (HotpotQA और Natural Questions) का उपयोग करके तीन अलग-अलग संदर्भ सेटिंग्स के तहत मॉडल व्यवहार का मूल्यांकन करता है:

बिना संदर्भ के (Without Context - WOC): मॉडल केवल पैरामीट्रिक ज्ञान पर निर्भर रहता है।
सही संदर्भ के साथ (With Correct Context - WCC): मॉडल को सटीक, प्रासंगिक बाहरी जानकारी प्रदान की जाती है।
गलत संदर्भ के साथ (With Incorrect Context - WIC): मॉडल को विश्वसनीय लेकिन तथ्यात्मक रूप से भ्रामक जानकारी प्रदान की जाती है (जिसे GPT-4.1-mini का उपयोग करके सिंथेसाइज किया गया है)।

अनिश्चितता अनुमान (Uncertainty Estimation):
लेखक आउटपुट लॉजिट्स (logits) से टोकन-स्तरीय अनिश्चितता की गणना करने के लिए एक एविडेंशियल डीप लर्निंग (evidential deep learning) फ्रेमवर्क का उपयोग करते हैं:

एलियटोरिक अनिश्चितता (Aleatoric Uncertainty - AU): डेटा की अस्पष्टता (अंतर्निहित शोर) को कैप्चर करता है।
एपिस्टेमिक अनिश्चितता (Epistemic Uncertainty - EU): मॉडल की अज्ञानता (साक्ष्य की कमी) को कैप्चर करता है।
ये आउटपुट टोकन के टॉप- $K$ लॉजिट्स पर डिरिचलेट वितरण (Dirichlet distribution) को फिट करके प्राप्त किए जाते हैं।

B. प्रोबिंग-आधारित विश्वसनीयता का पता लगाना (Probing-Based Reliability Detection)

यह निर्धारित करने के लिए कि क्या LLMs अपने स्वयं के कन्फैब्युलेशन का पता लगा सकते हैं, लेखक मॉडल के आंतरिक निरूपण (internal representations) पर लाइटवेट प्रोबिंग क्लासिफायर प्रशिक्षित करते हैं।

इनपुट फीचर्स: विभिन्न परतों (layers) और टोकन स्थितियों से हिडन स्टेट्स ( $h_t^{(l)}$ )।
टोकन चयन रणनीतियाँ:
- Probe(EOS): अंतिम टोकन के हिडन स्टेट का उपयोग करता है।
- Probe(Exact): ग्राउंड-ट्रुथ उत्तर स्पैन के साथ संरेखित टोकन का उपयोग करता है।
- Probe(EU): उच्चतम या निम्नतम एपिस्टेमिक अनिश्चितता वाले टोकन का चयन करता है।
- Probe(AVG): चयनित टोकनों (जैसे, टॉप- $k$ अनिश्चित टोकन) को औसत निकालकर हिडेड स्टेट्स को एकत्रित करता है।
लक्ष्य: एक बाइनरी लेबल की भविष्यवाणी करना जो यह दर्शाता है कि उत्पन्न प्रतिक्रिया तथ्यात्मक रूप से सही है या नहीं।

3. मुख्य योगदान (Key Contributions)

संदर्भ-नियंत्रित मूल्यांकन ढांचा: संदर्भ की गुणवत्ता के प्रभावों को अलग करने के लिए एक व्यवस्थित सेटअप, जो यह प्रकट करता है कि इनपुट जानकारी के आधार पर मॉडल व्यवहार कैसे बदलता है।
कॉन्फिडेंस-करेक्टनेस मिसअलाइनमेंट की खोज: इस बात का अनुभवजन्य प्रमाण कि भ्रामक संदर्भ अति-आत्मविश्वासी कन्फैब्युलेशन (overconfident confabulations) को प्रेरित करता है। मॉडल अक्सर गलत उत्तर देते हैं और भ्रामक संदर्भ के संपर्क में आने पर बेसलाइन व्यवहार की तुलना में कम एपिस्टेमिक अनिश्चितता (उच्च आत्मविश्वास) प्रदर्शित करते हैं।
अनिश्चितता-निर्देशित प्रोबिंग विधि: विश्वसनीयता का पता लगाने के लिए एक नवीन दृष्टिकोण जो आंतरिक सक्रियणों (internal activations) का लाभ उठाता है। अध्ययन यह प्रदर्शित करता है कि उच्च-अनिश्चितता वाले टोकन से हिडन स्टेट्स को एकत्रित करने से प्रत्यक्ष अनिश्चितता मेट्रिक्स या मानक बेसलाइन्स की तुलना में काफी बेहतर डिटेक्शन प्रदर्शन प्राप्त होता है।

4. मुख्य परिणाम (Key Results)

व्यवहार पर संदर्भ का प्रभाव

सही संदर्भ (WCC): उत्तर की सटीकता में उल्लेखनीय सुधार करता है और एपिस्टेमिक अनिश्चितता को कम करता है (आत्मविश्वास बढ़ाता है)।
भ्रामक संदर्भ (WIC): एक नाटकीय बदलाव का कारण बनता है। मॉडल सही उत्तरों (WOC में) से लगातार गलत उत्तरों की ओर बढ़ जाते हैं जो उच्च आत्मविश्वास (कम अनिश्चितता) के साथ होते हैं।
- अवलोकन: WIC सेटिंग में, एपिस्टेमिक अनिश्चितता का वितरण बाईं ओर खिसक जाता है (उच्च आत्मविश्वास का संकेत) और अधिक संकीर्ण हो जाता है, भले ही उत्तर गलत हों। यह पुष्टि करता है कि मॉडल वैध और अमान्य बाहरी संदर्भ के बीच अंतर करने में सक्षम नहीं हैं।

विश्वसनीयता पहचान प्रदर्शन

लेखकों ने तीन मॉडल्स (Fanar1-9b, Qwen2.5-7B, Gemma3-12B) और तीन डेटासेट्स (TruthfulQA, TriviaQA, Math) में विभिन्न विधियों का मूल्यांकन किया।

प्रोबिंग की श्रेष्ठता: प्रोबिंग-आधारित विधियों ने लगातार प्रत्यक्ष अनिश्चितता बेसलाइन्स (जैसे, LogProb, $P(True)$, और LogTokU) को पछाड़ दिया।
सर्वश्रेष्ठ रणनीति: Probe(AVG), जो अनिश्चितता के आधार पर चुने गए टोकन (विशेष रूप से टॉप-5 अनिश्चित टोकन) से हिडन स्टेट्स को एकत्रित करता है, ने उच्चतम AUROC स्कोर प्राप्त किया।
- उदाहरण: TriviaQA डेटासेट पर, Probe(AVG) ने Fanar के लिए 0.765, Qwen के लिए 0.786, और Gemma के लिए 0.818 का AUROC प्राप्त किया, जो LogTokU और $P(True)$ से काफी बेहतर है।
लेयर संवेदनशीलता: मध्यम-से-ऊपरी परतों (middle-to-upper layers) से एकत्रित फीचर्स ने विश्वसनीयता पहचान के लिए सबसे मजबूत संकेत प्रदान किए।

5. महत्व और निहितार्थ (Significance and Implications)

प्रत्यक्ष अनिश्चितता की सीमाएं: अध्ययन रेखांकित करता है कि RAG या एजेंटिक सेटिंग्स में मतिभ्रम (hallucinations) का पता लगाने के लिए कच्चे अनिश्चितता सिग्नल (logits) अपर्याप्त हैं। यदि संदर्भ भ्रामक है, तो मॉडल "आत्मविश्वासी रूप से गलत" हो सकता है।
आंतरिक अवस्था की उपयोगिता: मॉडल के आंतरिक हिडेड स्टेट्स, आउटपुट संभावनाओं की तुलना में विश्वसनीयता के बारे में अधिक समृद्ध जानकारी रखते हैं। अनिश्चितता-निर्देशित टोकन चयन पर ध्यान केंद्रित करके, एक "विश्वसनीयता डिटेक्टर" बनाया जा सकता है जो यह पहचान सकता है कि मॉडल कब मतिभ्रम पैदा कर रहा है, भले ही मॉडल स्वयं उच्च आत्मविश्वास व्यक्त कर रहा हो।
भविष्य की दिशाएं: निष्कर्ष बताते हैं कि LLMs के लिए भविष्य के सुरक्षा तंत्रों को केवल आउटपुट कैलिब्रेशन पर निर्भर नहीं रहना चाहिए, बल्कि मल्टी-टर्न इंटरैक्शन में कन्फैब्युलेटेड कंटेंट के प्रसार को रोकने के लिए संदर्भ सत्यापन (context validation) और आंतरिक प्रोबिंग को शामिल करना चाहिए।

संक्षेप में, जबकि LLMs भ्रामक संदर्भ मिलने पर स्वाभाविक रूप से यह नहीं जान पाते कि वे मतिभ्रम (hallucinating) कर रहे हैं, उनके आंतरिक निरूपण (विशेष रूप से अनिश्चित टोकन के एकत्रित हिडन स्टेट्स) प्रभावी रूप से इन विफलताओं का पता लगाने के लिए प्रोब किए जा सकते हैं, जो अधिक विश्वसनीय, अनिश्चितता-जागरूक जनरेशन सिस्टम की ओर एक मार्ग प्रदान करते हैं।