💬 NLP

Hallucination as Commitment Failure: Larger LLMs Misfire Despite Knowing the Answer

यह शोध पत्र इस दृष्टिकोण को चुनौती देता है कि मतिभ्रम (hallucinations) केवल ज्ञान की कमी के कारण होते हैं, यह प्रकट करते हुए कि बड़े इंस्ट्रक्शन-ट्यून्ड एलएलएम (LLMs) अक्सर मतिभ्रम इसलिए करते हैं क्योंकि वे अपने संभाव्यता वितरण (probability distribution) में पहले से मौजूद एक सही अवधारणा के प्रति प्रतिबद्ध होने में विफल रहते हैं, बल्कि एक स्केल-डिपेंडेंट शार्पनिंग मैकेनिज्म के कारण विकल्पों के बीच संभाव्यता द्रव्यमान (probability mass) को बिखेर देते हैं जो सहायकता और आत्मविश्वासी त्रुटियों दोनों को प्रेरित करता है।

मूल लेखक: Jewon Yeom, Jaewon Sok, Heejun Kim, Seonghyeon Park, Jeongjae Park, Taesup Kim

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jewon Yeom, Jaewon Sok, Heejun Kim, Seonghyeon Park, Jeongjae Park, Taesup Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: यह "न जानने" के बारे में नहीं है

ज्यादातर लोग सोचते हैं कि AI के मतिभ्रम (hallucinations - जब AI मनगढ़ंत बातें बनाता है) इसलिए होते हैं क्योंकि AI को उत्तर पता ही नहीं होता। विचार यह है: यदि AI तथ्य जानता है, तो वह सच बताता है। यदि वह नहीं जानता, तो वह अनुमान लगाता है।

यह शोध पत्र तर्क देता है कि यह गलत है।

शोधकर्ताओं ने पाया कि अक्सर AI को उत्तर पता होता है। बोलने के ठीक उसी क्षण उसके "दिमाग में" सही जानकारी मौजूद होती है। फिर भी, वह गलत बात बोलने का चुनाव करता है। वे इसे "कमिटमेंट फेलियर" (Commitment Failure - प्रतिबद्धता की विफलता) कहते हैं।

उपमा: घबराया हुआ शेफ

कल्पना कीजिए कि एक बहुत ही प्रतिभाशाली शेफ (AI) से पूछा जाता है, "फ्रांस की राजधानी क्या है?"

पुराना सिद्धांत: यदि शेफ को उत्तर नहीं पता, तो वह "लंदन" कह देता है। यदि उसे पता है, तो वह "पेरिस" कहता है।
नया सिद्धांत (यह शोध पत्र): शेफ जानता है कि उत्तर पेरिस है। वास्तव में, वह "पेरिस" के बारे में इतनी गहराई से सोच रहा है कि उसका दिमाग उस शब्द से गूँज रहा है। लेकिन, क्योंकि वह "पेरिस" के बारे में एक साथ कई अलग-अलग तरीकों से सोच रहा है (जैसे: "Paris," "paris," "the city of lights," "France's capital"), उसका दिमाग भ्रमित हो जाता है।
- उसे "पेरिस" का एक मजबूत अहसास है, लेकिन वह अहसास उन सभी अलग-अलग वाक्यांशों में बंटा हुआ है।
- साथ ही, उसके पास "लंदन" का एक बहुत ही तीक्ष्ण और केंद्रित (sharp and focused) विचार है (शायद क्योंकि उसने पहले बिग बेन की तस्वीर देखी थी)।
- भले ही "पेरिस" का अहसास कुल मिलाकर अधिक मजबूत हो, लेकिन "लंडन" का विचार इतना तीक्ष्ण और केंद्रित है कि वह बोलने की दौड़ में जीत जाता है। वह पूरे आत्मविश्वास के साथ "लंदन" बोल देता है, भले ही वह जानता था कि उत्तर पेरिस है।

उन्होंने इसकी खोज कैसे की

शोधकर्ताओं ने देखा कि AI बोलने से पहले कैसे "सोचता" है। उन्होंने ध्यान केंद्रित किया कि AI पहला शब्द कैसे उत्पन्न करता है (जिसे "कमिटमेंट स्टेप" कहा जाता है)।

उन्होंने AI के ज्ञान को मापने का एक नया तरीका पेश किया, जिसे सेमेंटिक प्रोबेबिलिटी मास (Semantic Probability Mass) कहा जाता है।

पुराना तरीका: क्या AI ने बिल्कुल सही शब्द चुना? (जैसे: क्या उसने "Paris" कहा?)
नया तरीका: क्या AI के मन में पेरिस की अवधारणा (concept) के प्रति एक मजबूत भावना थी, भले ही वह "Paris," "paris," और "the city of lights" के बीच बंटी हुई थी?

निष्कर्ष:

उन्होंने कई AI मॉडलों का परीक्षण किया (छोटे से लेकर विशाल तक)।
उन्होंने पाया कि 16% से 47% बार जब AI गलती करता था, तो वास्तव में उसके पास सही उत्तर के लिए एक मजबूत "एहसास" था।
ट्विस्ट: AI मॉडल जितना बड़ा होता गया, यह घटना उतनी ही अधिक होती गई। बड़े मॉडल केवल अधिक जानते ही नहीं थे; वे इस प्रकार की विशिष्ट गलतियाँ अधिक करते थे जहाँ वे उत्तर जानते थे लेकिन फिर भी गलत हो गए।

ऐसा क्यों होता है? ("शार्पनिंग" प्रभाव)

शोध पत्र सुझाव देता है कि इंस्ट्रक्शन ट्यूनिंग (Instruction Tuning) (AI को मददगार और नियमों का पालन करने के लिए प्रशिक्षित करना) AI के सोचने के तरीके को बदल देती है।

कल्पना कीजिए कि AI का मस्तिष्क पहाड़ियों और घाटियों वाला एक परिदृश्य (landscape) है।

प्रशिक्षण से पहले: पहाड़ियाँ सपाट और धुंधली हैं। AI अनिश्चित है।
प्रशिक्षण के बाद: AI बहुत निर्णायक बन जाता है। वह अपने विचारों को तीक्ष्ण, ऊंचे स्पाइक्स (sharp, tall spikes) में बदल देता है।
- जब AI सही होता है, तो सही उत्तर के लिए स्पाइक इतना ऊंचा और तीक्ष्ण होता है कि वह आसानी से जीत जाता है।
- लेकिन, कभी-कभी AI भ्रमित हो जाता है। "सही" उत्तर कई छोटे, सपाट पहाड़ों में बंटा होता है (क्योंकि वह "Paris," "paris," "France," आदि के बारे में सोच रहा है)। इस बीच, एक "गलत" उत्तर एक एकल, अविश्वसनीय रूप से तीक्ष्ण, ऊंचा स्पाइक होता है।
- AI की निर्णय लेने की प्रक्रिया एक पहाड़ी से नीचे लुढ़कती गेंद की तरह है। यह हमेशा सबसे तीक्ष्ण (sharpest) बिंदु की ओर लुढ़कती है। भले ही "सही" पक्ष में कुल "पहाड़ी क्षेत्र" अधिक हो, लेकिन "गलत" पक्ष में सबसे तीक्ष्ण शिखर होता है, इसलिए गेंद वहीं लुढ़क जाती है।

गलतियों के दो प्रकार

शोधकर्ताओं ने पाया कि यह "कमिटमेंट फेलियर" दो तरह से होता है:

गलत पहला शब्द: AI तुरंत गलत शब्द के साथ वाक्य शुरू कर देता है (जैसे "Paris" के बजाय "Moscow" कहना), भले ही उसके पास पेरिस के लिए एक मजबूत अहसास था।
गलत रास्ता: AI सही शब्द (जैसे "Paris") के साथ शुरू करता है लेकिन फिर अगले कुछ शब्दों में तुरंत पटरी से उतर जाता है, और "Paris" को किसी दूसरे शहर की कहानी में बदल देता है।

"अलाइनमेंट टैक्स" (The Alignment Tax)

शोध पत्र निष्कर्ष निकालता है कि यह AI मॉडलों को "हेल्पफुल" बनाने का एक दुष्प्रभाव है।

AI को आत्मविश्वासी और तेज़ बनाने के लिए, हम इसे बहुत निर्णायक (तीक्ष्ण स्पाइक्स) बनने के लिए प्रशिक्षित करते हैं।
यह तब बहुत अच्छा काम करता है जब AI सही होता है।
लेकिन जब AI थोड़ा भ्रमित होता है, तो वही "निर्णायकता" उसे आत्मविश्वास के साथ गलत (confidently wrong) बना देती है। वह गलत उत्तर चुनने में संकोच नहीं करता क्योंकि उसका मस्तिष्क सबसे "तीक्ष्ण" विकल्प चुनने में बहुत कुशल है, भले ही वह विकल्प गलत हो।

सारांश

मतिभ्रम (Hallucinations) हमेशा अज्ञानता नहीं होते। कभी-कभी AI उत्तर जानता है लेकिन उस पर "कमिट" करने में विफल रहता है।
बड़े मॉडल पूर्ण नहीं होते। जैसे-जैसे मॉडल बड़े होते जाते हैं, वे निर्णायक होने में बेहतर होते जाते हैं, जो विडंबनापूर्ण रूप से उन्हें आत्मविश्वास के साथ गलत होने के प्रति अधिक संवेदनशील बनाता है।
समस्या वितरण (Distribution) की है। AI अपने "ज्ञान" को सही उत्तर के कई विविध रूपों में बहुत पतला फैला देता है, जबकि गलत उत्तर को एक ही तीक्ष्ण बिंदु में पूरा ध्यान मिल जाता है। AI तीक्ष्ण बिंदु को चुनता है, न कि सही उत्तर को।

शोध पत्र सुझाव देता है कि इसे ठीक करने के लिए, हमें AI को केवल एक "तीक्ष्ण शब्द" चुनने के बजाय "पूरी अवधारणा" (पेरिस को कहने के सभी तरीके) को देखने के लिए सिखाने की आवश्यकता हो सकती है।

तकनीकी सारांश: प्रतिबद्धता विफलता के रूप में मतिभ्रम (Hallucination as Commitment Failure)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर प्रवाहपूर्ण लेकिन तथ्यात्मक रूप से गलत आउटपुट उत्पन्न करते हैं, जिसे 'मतिभ्रम' (hallucination) कहा जाता है। क्षेत्र में एक प्रचलित धारणा यह है कि मतिभ्रम ज्ञान की कमी का सीधा परिणाम है: मॉडल केवल तभी मतिभ्रम करता है जब सही उत्तर उसके जनरेशन-टाइम वितरण (generation-time distribution) में अनुपस्थित होता है। हालिया कार्यों ने "क्रिटिकल टोकन्स" या "फोर्किंग टोकन्स" की पहचान की है जहाँ एंट्रॉपी (entropy) बढ़ जाती है, जो यह सुझाव देती है कि मतिभ्रम जनरेशन प्रक्षेपवक्र (trajectory) के विशिष्ट चरणों में तय होता है। हालाँकि, मौजूदा अनिश्चितता-आधारित पहचान विधियाँ (जैसे, सिमेंटिक एंट्रॉपी) "कॉन्फिडेंट हैलुसिनेशन" (confident hallucinations) को पहचानने में विफल रहती हैं—ऐसे मामले जहाँ मॉडल सही ज्ञान होने के बावजूद उच्च आत्मविश्वास के साथ गलत उत्तर देता है।

यह शोध इस धारणा को चुनौती देता है कि मतिभ्रम ज्ञान की कमी का संकेत है। यह प्रश्न उठता है: जिस क्षण एक मॉडल किसी उत्तर के प्रति प्रतिबद्ध (commit) होता है, क्या उसके संभाव्यता वितरण (probability distribution) में सही अवधारणा (concept) मौजूद होती है, भले ही वह एक गलत टोकन उत्सर्जित कर रहा हो?

कार्यप्रणाली (Methodology)

अवधारणा और सिमेंटिक प्रोबेबिलिटी मास ( $P_{mass}$ )

लेखक उत्तर की उपलब्धता के लिए एक सिमेंटिक धारणा पेश करते हैं। व्यक्तिगत टोकनों का विश्लेषण करने के बजाय, वे एक अवधारणा (concept) $c$ को टोकन पूर्णता (token completions) के एक समतुल्य वर्ग के रूप में परिभाषित करते हैं जो एक ही उत्तर को दर्शाते हैं (जैसे, "Saint Basil's Cathedral," "St. Basil's," "Cathedral of..." )।
वे प्रति-चरण सिमेंटिक प्रोबेबिलिटी मास को इस प्रकार परिभाषित करते हैं:
$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$
जहाँ $S_c$ सही अवधारणा $c$ के सतही रूपों (surface forms) से संबंधित पहले-टोकन IDs का सेट है। यह मीट्रिक एक विशिष्ट जनरेशन स्टेप पर सही उत्तर के सभी वैध उपनामों (aliases) को आवंटित संभाव्यता द्रव्यमान (probability mass) को एकत्रित करता है।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडेल्स: अध्ययन में Qwen (0.8B से 72B) और Llama (1B से 70B) परिवारों के 18 मॉडल्स शामिल हैं, जिनमें Instruct (इंस्ट्रक्शन-ट्यून्ड) और Base दोनों वेरिएंट्स शामिल हैं।
डेटासेट्स: शॉर्ट-फॉर्म QA (TriviaQA, NQ-Open) और मल्टीपल-चॉइस QA (MMLU, ARC-Challenge)।
कमिटमेंट स्टेप ( $t_c$ ): इंस्ट्रक्शन-ट्यून्ड शॉर्ट-फॉर्म QA में, कमिटमेंट स्टेप $t=1$ (पहला उत्पन्न टोकन) पर स्थिर है। लॉन्ग-फॉर्म जनरेशन के लिए, $t_c$ वह चरण है जहाँ उत्तर एंटिटी उत्सर्जित होती है।
प्रतिबद्धता विफलता (Commitment Failure) की परिभाषा: एक मतिभ्रम वाले नमूने को तब कमिटमेंट फेलियर के रूप में वर्गीकृत किया जाता है यदि $P_{mass}(t_c; c^*) \geq 0.2$ हो, जहाँ $c^*$ वास्तविक-सत्य (ground-truth) अवधारणा है। यह इंगित करता है कि मॉडल ने सही अवधारणा को पर्याप्त संभाव्यता द्रव्यमान दिया था, लेकिन फिर भी गलत अंतिम उत्तर उत्सर्जित किया।

विश्लेषण आयाम (Analysis Dimensions)

कमिटमेंट फेलियर रेट (CF%): उन मतिभ्रमों का अनुपात जो कमिटमेंट फेलियर हैं।
विघटन (Decomposition): विफलताओं को फर्स्ट-टोकन सिलेक्शन फेलियर्स (greedy token $\notin S_{c^*}$ ) और मल्टी-टोकन डाइवर्जेंसेस (greedy token $\in S_{c^*}$ लेकिन बाद के टोकन अलग हो जाते हैं) में विभाजित करना।
वितरण संबंधी विश्लेषण (Distributional Analysis): कमिटमेंट फेलियर्स के संभाव्यता वितरण की तुलना मैच किए गए सही नमूनों (समान $P_{mass}$ वाले नमूने लेकिन सही आउटपुट) के साथ करना।
इंस्ट्रक्शन ट्यूनिंग बनाम स्केल: मॉडल के आकार बनाम इंस्ट्रक्शन ट्यूनिंग के प्रभावों को अलग करने के लिए Instruct और Base मॉडल्स की तुलना करना।

मुख्य परिणाम (Key Results)

1. कमिटमेंट फेलियर्स व्यापक और स्केल-डिपेंडेंट हैं

सभी इंस्ट्रक्शन-ट्यून्ड मॉडल्स में, 16% से 47% मतिभ्रम कमिटमेंट फेलियर हैं। महत्वपूर्ण रूप से, यह दर मॉडल स्केल के साथ निरंतर (monotonically) बढ़ती है।

Qwen Instruct: CF% 16% (0.8B) से बढ़कर 41% (72B) हो जाता है।
Llama Instruct: CF% 16% (1B) से बढ़कर 47% (70B) हो जाता है।
यह निष्कर्ष इस अंतर्ज्ञान का खंडन करता कि बड़े मॉडल्स केवल अधिक जानते हैं और कम मतिभ्रम करते हैं; इसके बजाय, बड़े मॉडल्स अक्सर सही अवधारणा होने के बावजूद अधिक मतिभ्रम करते हैं।

2. तंत्र: इंस्ट्रक्शन-प्रेरित शार्पनिंग (Instruction-Induced Sharpening)

शोध यह पहचानता है कि इंस्ट्रक्शन ट्यूनिंग इस घटना का प्राथमिक चालक है, न कि केवल स्केल।

Base मॉडल्स: स्केल्स के across स्थिर गलत-टोकन संभावना (~0.30) और कम कमिटमेंट फेलियर दर दिखाते हैं।
Instruct मॉडल्स: मोनोटोनिक शार्पनिंग (monotonic sharpening) प्रदर्शित करते हैं। सिलेक्शन फेलियर्स में गलत ग्रीडी टोकन की संभावना स्केल के साथ बढ़ती है (जैसे, Qwen Instruct: 0.8B पर 0.31 $\to$ 72B पर 0.57)।
वितरण परिवर्तन (Distributional Shift): कमिटमेंट फेलियर्स में, सही अवधारणा का द्रव्यमान अक्सर कई उपनाम टोकनों में बंटा हुआ (fragmented) होता है (जैसे, "Saint," "St," "C"), जिससे किसी भी एकल उपनाम को प्रतिस्पर्धी अवधारणा के प्रभावी टोकन के विरुद्ध 'argmax' जीतने से रोका जा सके। बड़े Instruct मॉडल्स में, यह विखंडन समाप्त हो जाता है (द्रव्यमान एक उपनाम पर केंद्रित होता है), लेकिन गलत अवधारणा का टोकन और भी अधिक शार्प (sharp) हो जाता है, जिससे "wrong-attractor" विफलताएँ होती हैं।

3. मल्टी-टोकन और हिडन स्टेट साक्ष्य

मल्टी-टोकन डाइवर्जेंस: बड़े Instruct मॉडल्स (70B+) में, जब पहला टोकन एक सही उपनाम के साथ संरेखित होता है, तो दूसरे टोकन की एंट्रॉपी ( $H_{t=2}$ ) घटकर लगभग शून्य (0.05–0.10) हो जाती है। मॉडल तुरंत एक विशिष्ट मल्टी-टोकन वाक्यांश के प्रति प्रतिबद्ध हो जाता है, भले ही वह वाक्यांश एक गलत एंटिटी की ओर ले जाए (जैसे, "George Washington" के बजाय "George Washington Carver")।
हिडन स्टेट्स (Hidden States): $t=1$ पर प्री-जनरेशन हिडन स्टेट्स शुद्धता के बारे में भविष्य कहनेवाला जानकारी (predictive information) रखते हैं। Instruct मॉडल्स, Base मॉडल्स की तुलना में हिडन-स्टेट प्रोब्स में उच्च AUROC दिखाते हैं, और यह सिग्नल "फ्रंट-लोडेड" (front-loaded) है (अर्थात $t=1$ पर अधिक मजबूत है)।
आउटपुट मैपिंग: Instruct और Base मॉडल्स के बीच का अंतर आउटपुट-लेवल डिटेक्शन (AUROC +0.29) में हिडन-स्टेट प्रोब्स (+0.08) की तुलना में अधिक बड़ा है, जो बताता है कि इंस्ट्रक्शन ट्यूनिंग आउटपुट वोकैबुलरी के प्रोजेक्शन के दौरान सिग्नल को बढ़ा देती है।

4. कमिटमेंट फेलियर के दो रूप

शोध दो संरचनात्मक विफलता मोडों के बीच अंतर करता है:

विखंडन-संचालित (Fragmentation-driven): (छोटे/Base मॉडल्स में सामान्य) सही द्रव्यमान उपनामों में विभाजित है; कोई भी एकल टोकन नहीं जीतता।
गलत-आकर्षक-संचालित (Wrong-Attractor-driven): (बड़े Instruct मॉडल्स में सामान्य) सही अवधारणा का द्रव्यमान एक एकल उपनाम पर सिमट गया है, लेकिन एक गलत अवधारणा का टोकन और भी अधिक शार्प है ( $P_{greedy} > P_{mass}(c^*)$ )।

महत्व और दावे

यह शोध कॉन्फिडेंट हैलुसिनेशन को एक क्षणिक चूक या ज्ञान की कमी के रूप में नहीं, बल्कि कमिटमेंट स्टेप पर संभाव्यता द्रव्यमान के आकार (shaping of probability mass) के एक संरचनात्मक परिणाम के रूप में पुनर्गठित करता है।

एकीकृत तंत्र (Unified Mechanism): वही इंस्ट्रक्शन-प्रेरित शार्पनिंग जो कॉन्फिडेंट शुद्धता (जब प्रतिबद्ध अवधारणा सही हो) पैदा करती है, वही कॉन्फिडेंट गलत चयन (जब प्रतिबद्ध अवधारणा गलत हो) भी पैदा करती है।
अलाइनमेंट टैक्स (Alignment Tax): इस घटना को व्यापक "अलाइनमेंट टैक्स" के एक रूप के रूप में देखा गया है, जहाँ अलाइनमेंट (इंस्ट्रक्शन ट्यूनिंग) हेल्पफुलनेस और प्रवाह में सुधार करता है लेकिन कैलिब्रेशन को खराब करता है और मोड कोलैप्स (mode collapse) का कारण बनता है, जिससे अत्यधिक आत्मविश्वासी त्रुटियां होती हैं।
अनिश्चितता पहचान की सीमाएं: ये परिणाम समझाते हैं कि मानक अनिश्चितता मेट्रिक्स (जैसे, टोकन एंट्रॉपी या सिमेंटिक एंट्रॉपी) कॉन्फिडेंट हैलुसिनेशन को क्यों नहीं पकड़ पाते: मॉडल के पास सही अवधारणा (उच्च $P_{mass}$ ) होती है, लेकिन वितरण ऐसा होता है कि गलत टोकन 'argmax' जीत जाता है।
विश्लेषणात्मक प्रोब (Analytical Probe): लेखक $P_{mass}$ को मॉडल व्यवहार को समझने के लिए एक विश्लेषणात्मक प्रोब के रूप में प्रस्तावित करते हैं, यह नोट करते हुए कि यह एक तैनात करने योग्य डिटेक्टर (deployable detector) नहीं है (क्योंकि इसके लिए ग्राउंड-ट्रुथ उपनामों की आवश्यकता होती है) लेकिन यह प्रकट करता है कि "उत्तर जानना" और "उत्तर उत्सर्जित करना" जनरेशन प्रक्रिया में दो अलग घटनाएं हैं।

यह शोध निष्कर्ष निकालता है कि बड़े मॉडल्स केवल अधिक जानते ही नहीं हैं; वे उस पर भी अधिक गलतियाँ (misfire) करते हैं जो वे जानते हैं, जो एक शार्पनिंग प्रवृत्ति द्वारा संचालित होता है जो मॉडल को सही और गलत दोनों प्रतिबद्धताओं में निर्णायक बनाता है।