💬 NLP

Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

यह शोध पत्र टोकन एम्बेडिंग क्लस्टर संरचनाओं के आधार पर LLM मतिभ्रम (hallucinations) को तीन विशिष्ट प्रकारों में विभाजित करने के लिए एक ज्यामितीय वर्गीकरण (geometric taxonomy) प्रस्तावित करता है और आर्किटेक्चर-निर्भर भेद्यता प्रोफाइल (vulnerability profiles) स्थापित करने हेतु तीन मापने योग्य सांख्यिकियों (ध्रुवीयता युग्मन, क्लस्टर सामंजस्य और रेडियल सूचना प्रवणता) का उपयोग करके 11 ट्रांसफॉर्मर मॉडलों में इस ढांचे को मान्य करता है।

मूल लेखक: Matic Korun

प्रकाशित 2026-02-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matic Korun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, जादुई पुस्तकालय है जहाँ हर किताब एक बहुत ही आत्मविश्वासी, बहुत तेज़ लाइब्रेरियन (AI) द्वारा लिखी गई है। कभी-कभी, यह लाइब्रेरियन ऐसी कहानियाँ बना लेता है जो सुनने में तो एकदम सही लगती हैं लेकिन पूरी तरह से झूठी होती हैं। इसे "हैलुसिनेशन" (Hallucination) कहा जाता है।

ज्यादातर लोग इन झूठों को पकड़ने के लिए अंतिम कहानी को पढ़ने और यह देखने की कोशिश करते हैं कि क्या वह समझ में आ रही है। लेकिन यह शोध पत्र एक अलग विचार प्रस्तावित करता है: कहानी को पढ़ने के बजाय, चलिए लाइब्रेरियन के दिमाग के नक्शे (Brain Map) को देखते हैं जब वह सोच रहा होता है।

लेखक, मैटिक कोरुन (Matic Korun), सुझाव देते हैं कि जब लाइब्रेरियन भ्रमित होता है, तो उसका दिमाग केवल "खाली" नहीं हो जाता। इसके बजाय, उसके विचार एक नक्शे पर विशिष्ट, अजीब पैटर्न में फंस जाते हैं। इन पैटर्नों के आकार को मापकर, हम यह भविष्यवाणी कर सकते हैं कि कौन सा झूठ आने वाला है, इससे पहले कि वह लिखा भी जाए।

यहाँ इस पेपर के तीन प्रकार के "ब्रेन मैप" विफलताओं का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

तीन प्रकार के हैलुसिनेशन (Hallucinations)

कल्पना कीजिए कि लाइब्रेरियन का दिमाग अलग-अलग विषयों के लिए अलग-अलग मोहल्लों (clusters) वाला एक शहर है, जैसे कि "जानवर," "खाना बनाना," या "इतिहास।"

1. "अस्पष्ट पथिक" (The Vague Drifter) (प्रकार 1: सेंटर-ड्रिफ्ट)

क्या होता है: लाइब्रेरियन से ऐसा सवाल पूछा जाता है जिसे वह वास्तव में समझ नहीं पाता है। किसी विशिष्ट मोहल्ले में जाने के बजाय, वह बस शहर के चौक (नक्शे के केंद्र) में भटकने लगता है।
परिणाम: वह आपको एक ऐसा उत्तर देता है जो सुरक्षित है, सामान्य है और आत्मविश्वास से भरा लगता है, लेकिन वह कुछ भी उपयोगी नहीं कहता।
- उदाहरण: "ज़ोग (Zog) नामक देश की राजधानी क्या है?" -> "यह एक बहुत महत्वपूर्ण शहर है जहाँ बहुत से लोग रहते हैं।" (सच है, लेकिन बेकार है)।
पहचान (Signature): विचार कमजोर है और नक्शे के बिल्कुल बीच में स्थित है, किसी विशिष्ट मोहल्ले से बहुत दूर।

2. "आत्मविश्वासी गलत-क्षेत्र" (The Confident Wrong-Well) (प्रकार 2: रोंग-वेल कन्वर्जेंस)

क्या होता है: लाइब्रेरियन बहुत केंद्रित है! वह सीधे एक विशिष्ट मोहल्ले में पहुँच जाता है, लेकिन वह गलत मोहल्ला है। वह इस मोहल्ले में इतना आश्वस्त है कि वह आपकी बात नहीं सुनेगा।
परिणाम: वह एक विस्तृत, विशिष्ट और विश्वासजनक झूठ देता है।
- उदाहरण: "बिजली का बल्ब किसने आविष्कार किया था?" -> "थॉमस एडिसन ने 1805 में बिजली का बल्ब आविष्कार किया था।" (आत्मविश्वासी, विस्तृत, लेकिन तारीख गलत है)।
पहचान: विचार एक मोहल्ले के भीतर गहराई में है, लेकिन वह सवाल के लिए गलत मोहल्ला है।

3. "जंगल में खोया हुआ" (The Lost in the Wild) (प्रकार 3: कवरेज गैप)

क्या होता है: लाइब्रेरियन से इतनी अजीब या नई चीज़ के बारे में पूछा जाता है कि नक्शे पर उसके लिए कोई मोहल्ला मौजूद ही नहीं है। वह एक ऐसे रेगिस्तान में खड़ा है जहाँ कोई सड़कें नहीं जातीं।
परिणाम: वह बड़बड़ाना शुरू कर देता है, बकवास बनाता है, या यादृच्छिक (random) विषयों के बीच कूदने लगता है।
- उदाहरण: "मंगलवार की आवाज़ का रंग क्या है?" -> "यह एक तेज़ बैंगनी रंग है जिसका स्वाद बिजली जैसा है।"
पहचान: विचार खाली स्थान में तैर रहा है, किसी भी मोहल्ले से दूर, बिना किसी स्पष्ट दिशा के।

तीन "रूलर" (Ruler) उपकरण

इसे सिद्ध करने के लिए, लेखक ने लाइब्रेरियन के ब्रेन मैप को मापने के लिए तीन विशेष रूलर बनाए। उन्होंने इनका परीक्षण 11 अलग-अलग AI मॉडल (जैसे BERT, GPT-2, आदि) पर किया।

"विपरीत-पक्ष" रूलर (पोलैरिटी कपलिंग, $\alpha$ ):
- उपमा: एक अच्छे पुस्तकालय में, विपरीत अर्थ वाले शब्द (जैसे "गर्म" और "ठंडा") एक ही मोहल्ले में लेकिन कमरे के विपरीत दिशाओं में होने चाहिए।
- निष्कर्ष: प्रत्येक AI मॉडल ने इस परीक्षण को पास किया। उनके दिमाग स्वाभाविक रूप से विपरीतों को सही ढंग से व्यवस्थित करते हैं। यह एक सार्वभौमिक नियम है कि ये AI कैसे सोचते हैं।
"मोहल्ले की कसावट" रूलर (क्लस्टर कोहेजन, $\beta$ ):
- उपमा: क्या एक मोहल्ले के शब्द वास्तव में एक साथ जुड़े हुए हैं? या वह मोहल्ला सिर्फ एक यादृच्छिक गड़बड़ी है?
- निष्कर्ष: प्रत्येक AI मॉडल ने इसे भी पास किया। मोहल्ले वास्तविक और घने हैं। AI जानता है कि "सेब" और "केला" एक साथ आते हैं, और "कार" और "साइकिल" एक साथ आते हैं।
"घर से दूरी" रूलर (रेडियल ग्रेडिएंट, $\lambda_r$ ):
- उपमा: यह मापता है कि क्या केंद्र से दूर जाने पर लाइब्रेरियन के विचार "भारी" या "हल्के" होते जाते हैं। आमतौर पर, दुर्लभ, जटिल शब्द किनारे पर दूर होते हैं, और सामान्य शब्द केंद्र के पास होते हैं।
- निष्कर्ष: 11 में से 9 मॉडलों में यहाँ एक स्पष्ट पैटर्न था।
- खामी (Glitch): दो मॉडल (ALBERT और MiniLM) इस परीक्षण में विफल रहे। क्यों?
  - ALBERT बहुत "दबा हुआ" (squished) था। इसने एक विशाल पुस्तकालय को एक छोटी अलमारी में फिट करने की कोशिश की, जिससे सब कुछ संकुचित हो गया।
  - MiniLM "डिस्टिल्ड" (छोटा बनाने के लिए प्रशिक्षित) था। इसने नक्शे को इतना सपाट कर दिया कि केंद्र से "दूरी" का कोई महत्व नहीं रह गया।
- सबक: ये दो मॉडल "अस्पष्ट पथिक" (प्रकार 1) वाली गलती करने की अधिक संभावना रखते हैं क्योंकि उनका "दूरी" चेतावनी तंत्र टूटा हुआ है।

यह क्यों मायने रखता है

आमतौर पर, हम झूठ पकड़े जाने के बाद उसे पकड़ने की कोशिश करते हैं। यह शोध पत्र कहता है: "हम विचार के आकार को देखकर झूठ को आते हुए देख सकते हैं।"

यदि विचार केंद्र के बहुत करीब है, तो यह एक अस्पष्ट झूठ है।
यदि विचार गलत मोहल्ले के बहुत अंदर है, तो यह एक आत्मविश्वासी झूठ है।
यदि विचार खाली रेगिस्तान में है, तो यह एक बकवास (nonsense) झूठ है।

AI के दिमाग की "ज्यामिति" (geometry) को समझकर, हम बेहतर सुरक्षा जाल बना सकते हैं। हम एक छोटे, संकुचित AI (जैसे MiniLM) को अनिश्चित होने पर अतिरिक्त सावधान रहने के लिए कह सकते हैं, क्योंकि हम जानते हैं कि उसका ब्रेन मैप थोड़ा धुंधला है।

संक्षेप में: लेखक ने AI के मन का मानचित्र बनाया और पाया कि झूठों का एक विशिष्ट आकार होता है। यदि हम उस आकार को माप सकते हैं, तो हम झूठ बोलने से पहले ही उन्हें रोक सकते हैं।

यहाँ Matic Korun के शोध पत्र "Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर प्रवाहपूर्ण लेकिन तथ्यात्मक रूप से गलत टेक्स्ट (hallucinations) उत्पन्न करते हैं। वर्तमान पहचान विधियाँ मुख्य रूप से आउटपुट स्तर पर कार्य करती हैं (जैसे, self-consistency checks, logit calibration, retrieval augmentation)। इन दृष्टिकोणों की एक मौलिक सीमा है: वे जनरेशन के परिणाम का विश्लेषण करते हैं, न कि उस ज्यामितीय संरचना (geometric structure) का जो त्रुटि उत्पन्न करती है।

यह शोध पत्र यह प्रतिपादित करता है कि विभिन्न प्रकार के हैलुसिनेशन (hallucinations), एम्बेडिंग स्पेस (embedding space) के भीतर विशिष्ट ज्यामितीय विफलताओं के अनुरूप होते हैं। लक्ष्य "यह पता लगाने" से बदलकर "विशिष्ट ज्यामितीय विफलता मोड का लक्षण वर्णन करने" की ओर बढ़ना है ताकि अधिक लक्षित पहचान (targeted detection) सक्षम हो सके।

2. कार्यप्रणाली (Methodology)

A. डेटा और मॉडल (Data and Models)

यह अध्ययन दो प्रतिमानों (Encoder और Decoder) और सात आर्किटेक्चर परिवारों में फैले 11 ट्रांसफार्मर मॉडल्स के स्टैटिक एम्बेडिंग स्पेस का विश्लेषण करता है:

Encoders: BERT, RoBERTa, ELECTRA, DeBERTa, ALBERT, MiniLM, DistilBERT.
Decoders: GPT-2 (Small और Medium).
Dimensions: 128 से 1024 तक।

B. ज्यामितीय विश्लेषण पाइपलाइन (Geometric Analysis Pipeline)

क्लस्टर निष्कर्षण (Cluster Extraction): लेखकों ने केवल पूरे-शब्द (whole-word) टोकन को रखने के लिए वोकैबुलरी को फ़िल्टर किया और semantic क्लस्टर्स की पहचान करने के लिए MiniBatchKMeans ( $k=40$ ) लागू किया।
ध्रुवीयता विश्लेषण (Polarity Analysis): उन्होंने "विलोम शब्द विरोधाभास" (antonym paradox) की जांच की (जहाँ hot/cold जैसे विपरीत शब्द एक ही क्लस्टर साझा करते हैं) और क्लस्टर्स के भीतर डिफरेंस वेक्टर्स पर PCA लागू करके प्राथमिक ध्रुवीयता अक्षों (primary polarity axes) को निकाला।
सूचना मीट्रिक (Information Metric): एंट्रॉपी के बजाय, उन्होंने कॉर्पस फ्रीक्वेंसी के आधार पर टोकन की सूचना सामग्री को मापने के लिए Self-Information ( $I(\tau) = -\log_2 f(\tau)$ ) का उपयोग किया।

C. तीन-प्रकार का हैलुसिनेशन वर्गीकरण (The Three-Type Hallucination Taxonomy)

लेखक एक टोकन के एम्बेडिंग और क्लस्टर संरचना के बीच संबंध के आधार पर तीन अलग-अलग हैलुसिनेशन प्रकारों को परिभाषित करते हैं:

प्रकार	नाम	तंत्र (Mechanism)	अवलोकन योग्य ज्यामितीय हस्ताक्षर (Observable Geometric Signature)
Type 1	Center-Drift	कमजोर संदर्भ जनरेशन को एम्बेडिंग सेंट्रॉइड (उच्च-आवृत्ति वाले सामान्य टोकन) की ओर धकेल देता है।	निम्न क्लस्टर सदस्यता; निम्न एम्बेडिंग नॉर्म; उच्च टोकन फ्रीक्वेंसी।
Type 2	Wrong-Well Convergence	मजबूत संदर्भ एक विशिष्ट क्लस्टर की ओर ले जाता है, लेकिन गलत क्लस्टर की ओर (स्थानीय रूप से सुसंगत लेकिन संदर्भगत रूप से गलत)।	उच्च स्थानीय क्लस्टर सदस्यता; प्रक्षेपवक्र विच्छेदन (अचानक क्लस्टरों के बीच उछाल)।
Type 3	Coverage Gap	क्वेरी ऐसी सिमेंटिक संयोजनों की मांग करती है जो प्रशिक्षण में अनुपस्थित हैं, जिससे मॉडल बिना किसी क्लस्टर संरचना वाले विरल (sparse) क्षेत्रों में पहुँच जाता है।	सभी क्लस्टरों में कमजोर सदस्यता; स्थानीय समानता में उच्च भिन्नता।

D. मापने योग्य ज्यामितीय सांख्यिकी (Measurable Geometric Statistics)

इस वर्गीकरण के सत्यापन के लिए, तीन सांख्यिकी गणना की गईं:

$\alpha$ (Polarity Coupling): क्लस्टरों के भीतर विलोम-ध्रुवीयता अक्षों की मजबूती को मापता है।
$\beta$ (Cluster Cohesion): यह मापता है कि क्या क्लस्टर बैकग्राउंड शोर की तुलना में अधिक सघन (tight) हैं (अपने स्वयं के सेंट्रॉइड बनाम अन्य के साथ समानता)।
$\lambda_r$ (Radial Information Gradient): एम्बेडिंग नॉर्म (मूल से दूरी) और सूचना सामग्री (self-information) के बीच गैर-रेखीय संबंध को क्वांटिफाई करता है।

3. मुख्य परिणाम (Key Results)

A. ज्यामितीय पूर्ववृत्तों की सार्वभौमिकता (Universality of Geometric Prerequisites)

ध्रुवीयता ( $\alpha$ ): सभी 11 मॉडलों में सार्वभौमिक ( $\alpha > 0.5$ )। विलोम जोड़े क्लस्टरों के भीतर प्रमुख संरचनात्मक विशेषताएं बनाते हैं।
सामंजस्य ( $\beta$ ): सभी 11 मॉडलों में सार्वभौमिक ( $\beta > 0$ )। क्लस्टर सांख्यिकीय रूप से वास्तविक हैं और बैकग्राउंड शोर से अलग हैं।
रेडियल ग्रेडिएंट ( $\lambda_r$ ): 9 में से 11 मॉडलों में महत्वपूर्ण है ( $p < 0.05$ )। यह दर्शाता है कि सूचना सामग्री मूल से दूरी (norm) के साथ व्यवस्थित रूप से बदलती है।

B. आर्किटेक्चर संबंधी विसंगतियाँ और स्पष्टीकरण (Architectural Anomalies and Explanations)

दो मॉडल महत्वपूर्ण रेडियल ग्रेडिएंट दिखाने में विफल रहे, जिसके लिए शोध पत्र में आर्किटेक्चरल स्पष्टीकरण दिए गए हैं:

ALBERT (Factorized Embeddings): यह 128D बॉटलनेक का उपयोग करता है। स्पेस अपनी क्षमता के करीब (82% उपयोग) है, और टोकन एक संकीर्ण रेडियल बैंड में संकुचित हैं (कम नॉर्म वेरिएंस)। रेडियल ग्रेडिएंट मौजूद है लेकिन उच्च वेरिएंस के कारण छिप गया है।
MiniLM (Distillation): आक्रामक डिस्टिलेशन ने Isotropy (समान वितरण) को प्रेरित किया। हालांकि कोणीय संरचना (angular structure/polarity) संरक्षित थी, लेकिन रेडियल संरचना को सपाट या उल्टा कर दिया गया ( $\lambda_r$ सकारात्मक हो गया), जिससे दुर्लभ शब्द कम नॉर्म पर दिखाई देने लगे।

C. एनकोडर बनाम डिकोडर अंतर (Encoder vs. Decoder Differences)

GPT-2 (Decoder): एनकोडर्स के समान एक महत्वपूर्ण नकारात्मक $\lambda_r$ दिखाता है, लेकिन इसके परिमाण (magnitude) में एक ऑर्डर-ऑफ-मैग्निट्यूड कम अंतर है। यह एक कमजोर रेडियल सूचना ग्रेडिएंट का सुझाव देता है, जो नेक्स्ट-टोकन प्रेडिक्शन ऑब्जेक्टिव के अनुरूप है जो सूचना को अधिक समान रूप से वितरित करता है।
चिह्न भिन्नता (Sign Variation): हालांकि ग्रेडिएंट का अस्तित्व लगभग सार्वभौमिक है, लेकिन इसका चिह्न भिन्न होता है। अधिकांश मॉडल नकारात्मक $\lambda_r$ (concave-down) दिखाते हैं, लेकिन DeBERTa और RoBERTa-large सकारात्मक $\lambda_r$ (convex-up) दिखाते हैं, जो आर्किटेक्चर-निर्भर संगठन का सुझाव देते हैं।

4. प्रस्तावित पहचान आर्किटेक्चर (Proposed Detection Architecture)

शोध पत्र एक टियर्ड (tiered) डिटेक्शन सिस्टम का प्रस्ताव करता है जिसमें बढ़ती हुई कम्प्यूटेशनल लागत होती है:

Tier 1 (Type 1): निम्न क्लस्टर सदस्यता और निम्न एम्बेडिंग नॉर्म के लिए स्क्रीनिंग करें।
Tier 2 (Type 2): जनरेशन सीक्वेंस में प्रक्षेपवक्र विच्छेदन (trajectory discontinuities/अचानक क्लस्टर जंप) की निगरानी करें।
Tier 3 (Type 3): कवरेज गैप की पहचान करने के लिए k-निकटतम पड़ोसी (k-nearest-neighbor) दूरियों के माध्यम से स्थानीय घनत्व का विश्लेषण करें।

कैलिब्रेशन (Calibration): आर्किटेक्चर केAcross नॉर्म वितरण और क्लस्टर सदस्यता में भिन्नता के कारण थ्रेशोल्ड मॉडल-विशिष्ट होने चाहिए (जैसे, पर्सेंटाइल का उपयोग करके)।

5. महत्व और योगदान (Significance and Contributions)

नया वर्गीकरण: हैलुसिनेशन का एक ज्यामितीय वर्गीकरण (Center-Drift, Wrong-Well, Coverage Gap) स्थापित करता है जो मानक उपकरणों (k-means, cosine similarity) के साथ ऑपरेशनल रूप से अलग और परीक्षण योग्य है।
डायग्नोस्टिक सांख्यिकी: 11 विविध मॉडलों में तीन नए ज्यामितीय डायग्नोस्टिक्स ( $\alpha, \beta, \lambda_r$ ) को पेश और मान्य करता है।
आर्किटेक्चर-भेद्यता लिंक: यह प्रदर्शित करता है कि जबकि ज्यामितीय गुण (जैसे, ध्रुवीयता) सार्वभौमिक हैं, उनके मात्रात्मक हस्ताक्षर आर्किटेक्चर-निर्भर हैं।
- भविseitsवाणी: जिन मॉडल्स के एम्बेडिंग्स संकुचित (ALBERT) या आइसोट्रोपिक डिस्टिलेशन (MiniLM) वाले होते हैं, उन्हें Type 1 (Center-Drift) हैलुसिनेशन के प्रति अधिक संवेदनशील माना जाता है क्योंकि उनके रेडियल चेतावनी संकेत क्षीण हो जाते हैं, भले ही उनकी कोणीय पहचान क्षमता बरकरार रहे।
पैराडाइम शिफ्ट: हैलुसिनेशन डिटेक्शन को पोस्ट-होक आउटपुट विश्लेषण से प्री-होक ज्यामितीय संरचनात्मक विश्लेषण की ओर ले जाता है, जो "कॉन्फिडेंटली गलत" (Type 2) और "जेनेरिक" (Type 1) हैलुसिनेशन को तथ्यात्मक त्रुटियों के रूप में प्रकट होने से पहले पहचानने का मार्ग प्रशस्त करता है।

6. सीमाएँ (Limitations)

विश्लेषण स्टैटिक एम्बेडिंग्स पर आधारित है, न कि कॉन्टेक्स्टुअल हिडन स्टेट्स पर (जिनकी ज्यामिति भिन्न हो सकती है)।
अध्ययन 1.5B पैरामीटर्स से कम के मॉडल्स तक सीमित है।
डिटेक्शन आर्किटेक्चर प्रस्तावित है लेकिन इसे अभी तक HaluEval जैसे मानक डेटासेट्स पर बेंचमार्क नहीं किया गया है।
हाइपरपैरामीटर्स (जैसे, $k=40$ क्लस्टर्स) का व्यवस्थित रूप से सेंसिटिविटी-टेस्ट नहीं किया गया था।

निष्कर्ष (Conclusion)

यह शोध पत्र सफलतापूर्वक तर्क देता है कि हैलुसिनेशन यादृच्छिक त्रुटियाँ नहीं हैं, बल्कि एम्बेडिंग स्पेस के भीतर विशिष्ट ज्यामितीय विकृतियाँ (pathologies) हैं। क्लस्टर कोहेजन, पोलैरिटी और रेडियल इंफॉर्मेशन ग्रेडिएंट को मात्रात्मक बनाकर, लेखक एक ऐसा ढांचा प्रदान करते हैं जो मॉडल के आर्किटेक्चर के आधार पर विशिष्ट विफलता मोडों की भविष्यवाणी और पहचान कर सकता है, जो LLM विश्वसनीयता में सुधार के लिए एक आशाजनक दिशा प्रदान करता है।