A Geometric Taxonomy of Hallucinations in LLMs

यहाँ जेवियर मारिन के शोध पत्र "A Geometric Taxonomy of Hallucinations in LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में "hallucination" (भ्रम/मतिभ्रम) शब्द का उपयोग अक्सर विभिन्न प्रकार की विफलताओं के लिए एक सामान्य शब्द के रूप में किया जाता है, फिर भी इन विफलताओं की जड़ें और परिणाम अलग-अलग होते हैं। यह शोध पत्र तर्क देता है कि वर्तमान मूल्यांकन विधियाँ निम्नलिखित के बीच अंतर करने में विफल रहती हैं:

1. संदर्भ की अनदेखी करना (unfaithfulness/अविश्वसनीयता)।
2. अस्तित्वहीन संस्थाओं का आविष्कार करना (confabulation/कल्पना/गढ़ना)।
3. सही वैचारिक ढांचे के भीतर गलत विवरण प्रदान करना (factual error/तथ्यात्मक त्रुटि)।

इसके अलावा, मौजूदा बेंचमार्क अक्सर इन प्रकारों को मिला देते हैं या "सतही निहितार्थ" (surface entailment - यह जांचना कि क्या पाठ तार्किक रूप से अनुसरण करता है) पर निर्भर करते हैं, जो गहरे अर्थ संबंधी निर्माण (semantic fabrications) का पता लगाने में विफल रहता है। लेखक प्रस्तावित करते हैं कि इन विशिष्ट विफलता मोडों के पास एम्बेडिंग स्पेस ($S^{d-1}$) में अद्वितीय ज्यामितीय हस्ताक्षर (geometric signatures) होते हैं, जो केवल भाषाई विश्लेषण के बजाय वेक्टर ज्यामिति पर आधारित एक वर्गीकरण (taxonomy) की अनुमति देते हैं।

2. कार्यप्रणाली: एक ज्यामितीय वर्गीकरण (Methodology: A Geometric Taxonomy)

यह शोध पत्र तीन प्रकार के मतिभ्रम (hallucination) का एक वर्गीकरण प्रस्तुत करता है और वाक्य एम्बेडिंग्स (विशेष रूप से $L_2$-सामान्यीकृत निरूपणों) की ज्यामिति के आधार पर दो पहचान मेट्रिक्स का प्रस्ताव करता है।

मतिभ्रम के तीन प्रकार

• प्रकार I (Unfaithfulness): मॉडल दिए गए संदर्भ ($c$) की अनदेखी करता है और पैरामीट्रिक मेमोरी से उत्पन्न करता है। प्रतिक्रिया ($r$) क्वेरी ($q$) के कोणीय रूप से करीब रहती है, न कि संदर्भ की ओर बढ़ती है।
• प्रकार II (Confabulation): मॉडल ऐसी संस्थाओं, तंत्रों या अवधारणाओं का आविष्कार करता है जो अस्तित्व में नहीं हैं। प्रतिक्रिया का विस्थापन (displacement) "तर्कसंगत-उत्तर मैनिफोल्ड" (plausible-answer manifold) से ज्यामितीय रूप से पता लगाने योग्य दिशाओं में हट जाता है।
• प्रकार III (Factual Error): मॉडल एक सही वैचारिक ढांचे के भीतर गलत विवरण प्रदान करता है (जैसे, सही विषय, गलत तिथि)। प्रतिक्रिया अर्थ संबंधी रूप से तर्कसंगत होती है और एम्बेडिंग स्पेस के उसी क्षेत्र में स्थित होती है जहाँ एक सही प्रतिक्रिया होती है, जिससे यह ज्यामितीय रूप से सत्य से अलग नहीं की जा सकती।

पहचान मेट्रिक्स (Detection Metrics)

1. प्रकार I के लिए सिमेंटिक ग्राउंडिंग इंडेक्स (SGI):

   • सूत्र: $SGI(r; q, c) = \frac{\theta(r, q)}{\theta(r, c)}$
   • तर्क: हाइपरस्फीयर पर जियोडेसिक दूरियों (geodesic distances) के अनुपात को मापता है। एक 'ग्राउंडेड' प्रतिक्रिया संदर्भ की ओर बढ़ती है ($\theta(r, c) < \theta(r, q)$), जिससे $SGI > 1$प्राप्त होता है। अविश्वसनीय प्रतिक्रियाएं क्वेरी के पास ही रहती हैं, जिससे$SGI \leq 1$ प्राप्त होता है।
   • लाभ: यह रॉ कोसाइन समानता (raw cosine similarity) के बजाय कोणीय दूरी (angular distance) का उपयोग करता है (जो त्रिकोण असमानता/triangle inequality को संतुष्ट करता है)।

2. प्रकार II के लिए दिशात्मक ग्राउंडिंग इंडेक्स ($\Gamma$):

   • सूत्र: $\Gamma(q, r; R) = \hat{\delta}(q, r)^\top \hat{\mu}$
   • तर्क: यह विस्थापन वेक्टर $\delta = \hat{\phi}(r) - \hat{\phi}(q)$ की गणना करता है। यह इस विस्थापन की दिशा की तुलना एक सत्यापित जोड़ों के संदर्भ सेट से प्राप्त "लर्न किए गए ग्राउंडिंग दिशा" ($\hat{\mu}$) के विरुद्ध करता है।
   • तंत्र: उच्च मान प्रमाणित सत्य की सीखी गई दिशा के साथ संरेखण (alignment) को दर्शाते हैं; कम/ऋणात्मक मान विसंगत विस्थापन को दर्शाते हैं जो कन्फैबुलेशन (confabulation) की विशेषता है।
   • दक्षता: इसके लिए केवल एक एम्बेडिंग कॉल और एक डॉट प्रोडक्ट ($O(d)$) की आवश्यकता होती है।

3. मुख्य योगदान (Key Contributions)

• ज्यामितीय वर्गीकरण (Geometric Taxonomy): एम्बेडिंग स्पेस में उनके विशिष्ट ज्यामितीय हस्ताक्षरों के आधार पर मतिभ्रम को वर्गीकृत करने वाला पहला ढांचा, जो संदर्भ-अनदेखी, संस्था-आविष्कार और विवरण-त्रुटि व्यवहारों के बीच अंतर करता है।
• नवीन पहचान एल्गोरिदम: SGI और $\Gamma$ का परिचय, जो मॉडल के आंतरिक भाग (white-box), कई जनरेशन, या स्रोत दस्तावेज़ तक पहुँच की आवश्यकता के बिना कार्य करते हैं। वे केवल एक एकल एम्बेडिंग कॉल की ज्यामिति पर निर्भर करते हैं।
• प्रकार III पर सैद्धांतिक अंतर्दृष्टि: शोध पत्र तर्क देता है कि टाइप III त्रुटियां संरचनात्मक रूप से ज्यामितीय रूप से अदृश्य (geometrically invisible) हैं क्योंकि वितरण संबंधी निरूपण सह-उपस्थिति (co-occurrence) को एनकोड करते हैं, न कि सत्य की शर्तों को।
• बेंचमार्क विश्लेषण: एक कठोर विश्लेषण कि क्यों कुछ बेंचमार्क (जैसे TruthfulQA) शैलीगत भ्रमों (stylistic confounds) के कारण भ्रामक संकेत देते हैं, न कि वास्तविक सटीकता के कारण।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रकार I पहचान (SGI)

• डेटासेट: HaluEval QA ($n=10,000$)।
• प्रदर्शन: SGI पांच एम्बेडिंग आर्किटेक्चर में ग्राउंडेड बनाम अनफेथफुल (unfaithful) प्रतिक्रियाओं के बीच लगातार अंतर करता है।
  • ग्राउंडेड प्रतिक्रियाओं के लिए औसत SGI: 1.180 ($>1$)।
  • अनफेथफुल प्रतिक्रियाओं के लिए औसत SGI: 0.910 ($\leq 1$)।
  • AUROC: 0.776 से 0.824 के बीच।
• निष्कर्ष: ग्राउंडेड प्रतिक्रियाएं हाइपरस्फीयर पर संदर्भ वेक्टर की ओर विश्वसनीय रूप से बढ़ती हैं।

प्रकार II पहचान ($\Gamma$)

• मानव-निर्मित कन्फैबुलेशन्स (Human-Crafted Confabulations): 142 मानव-लिखित निर्माणों (वित्त, चिकित्सा, कानूनी) के डेटासेट पर, $\Gamma$ ने 0.958 का AUROC प्राप्त किया।
  • तुलना: इसने NLI CrossEncoder बेसलाइन (AUROC 0.611) को काफी पीछे छोड़ दिया।
  • कारण: NLI विफल होता है क्योंकि कन्फैबुलेशन्स वाक्यात्मक रूप से सुसंगत और निहितार्थ-अनुकूल (entailment-compatible) होते हैं; केवल ज्यामितीय विस्थापन ही अर्थ संबंधी विचलन का पता लगा पाता है।
• बाहरी बेंचमार्क:
  • ExpertQA (विशेषज्ञ डोमेन): $\Gamma$ ने 0.695 का AUROC प्राप्त किया, जो NLI से $\Delta = 0.243$ बेहतर है। NLI संयोग (chance) के स्तर पर था (0.452)।
  • FELM: मध्यम पहचान (AUROC 0.648)।
  • WikiBio: विफल रहा (AUROC 0.581) क्योंकि इसके एनोटेशन मानदंड टाइप II और टाइप III त्रुटियों को मिला देते थे (किसी भी गलत विवरण को 'प्रमुख' के रूप में चिह्नित करना, चाहे वह अर्थ संबंधी दूरी कितनी भी हो)।
• डोमेन स्थानीयता (Domain Locality): पहचान अत्यधिक डोमेन-विशिष्ट है। जबकि मानव-निर्मित कन्फैबुलेशन्स डोमेन-अज्ञेय (domain-agnostic) ज्यामिति दिखाते हैं, LLM-जनित बेंचमार्क (जैसे HaluEval) डोमेन के बीच लगभग ऑर्थोगोनल (orthogonal) ग्राउंडिंग दिशाएं दिखाते हैं (जैसे संवाद बनाम QA), जिससे क्रॉस-डोमेन पहचान संयोग ($\approx 0.50$) पर गिर जाती है।

टाइप III सीमा (TruthfulQA)

• विरोधाभास: रॉ एम्बेडिंग्स पर एक लॉजिस्टिक रिग्रेशन (LR) क्लासिफायर ने TruthfulQA पर 0.731 का AUROC प्राप्त किया, जो इस परिकल्पना का खंडन करता है कि टाइप III अप्राप्य है।
• समाधान: सिग्नल का पता एक शैलीगत एनोटेशन कन्फाउंड (stylistic annotation confound) से चला।
  • सत्यपूर्ण उत्तर लंबे और रक्षात्मक (hedged) थे; गलत उत्तर छोटे और घोषणात्मक (declarative) थे।
  • लंबे उत्तर अधिक सामग्री संचित करते हैं जो क्वेरी के लंबवत (orthogonal) होती है, जिससे बड़े विस्थापन वेक्टर बनते हैं जिनका LR ने फायदा उठाया।
  • महत्वपूर्ण साक्ष्य: जब ज्यामितीय $\Gamma$ पद्धति का उपयोग किया गया (जो शैली संकेतों को प्रसारित नहीं कर सकती है), तो प्रदर्शन गिरकर AUROC 0.535 हो गया (सांख्यिकीय रूप से महत्वहीन)।
  • कोसाइन इन्वर्जन (Cosine Inversion): गलत उत्तर क्वेरी के ज्यामितीय रूप से करीब थे, जो सत्यपूर्ण उत्तरों की तुलना में; यह एक फैक्टुअल-एरर डिटेक्टर के लिए विपरीत है (AUROC 0.365)।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• सैद्धांतिक बाधा (Theoretical Constraint): यह शोध पत्र स्थापित करता है कि टाइप III तथ्यात्मक त्रुटियां ज्यामितीय विधियों के माध्यम से सैद्धांतिक रूप से अप्राप्य हैं क्योंकि वे सही उत्तरों से अलग कोई ज्यामितीय हस्ताक्षर नहीं छोड़ती हैं। स्पष्ट सफलता अक्सर शैली या एनोटेशन पूर्वाग्रह का आर्टिफैक्ट (artifact) होती है।
• व्यावहारिक उपयोगिता: प्रस्तावित विधियाँ (SGI और $\Gamma$) टाइप I और टाइप II मतिभ्रम के लिए कुशल, ब्लैक-बॉक्स पहचान प्रदान करती हैं, जो उन विशेषज्ञ डोमेन में मौजूदा NLI-आधारित बेसलाइन से बेहतर प्रदर्शन करती हैं जहाँ सतही निहितार्थ विफल हो जाते हैं।
• बेंचमार्क आलोचना: अध्ययन यह उजागर करता है कि वर्तमान के कई बेंचमार्क (जैसे TruthfulQA और WikiBio) टाइप III त्रुटियों का परीक्षण करने के लिए दोषपूर्ण हैं क्योंकि वे विभिन्न विफलता मोड को मिला देते हैं या अर्थ संबंधी सत्य के बजाय शैलीगत संकेतों पर निर्भर करते हैं।
• भविष्य की दिशा: यह कार्य सुझाव देता है कि पहचान प्रणालियों को डेटा के विशिष्ट ज्यामितीय शासन (जैसे, "वास्तविक कन्फैबुलेशन" बनाम "LLM जनरेशन आर्टिफैक्ट्स" के बीच अंतर करना) के अनुरूप तैयार किया जाना चाहिए और स्वीकार करता है कि टाइप III त्रुटियों के लिए गैर-ज्यामितीय सत्यापन विधियों (जैसे बाहरी ज्ञान पुनर्प्राप्ति) की आवश्यकता है।

संक्षेप में, मारिन एक कठोर ज्यामितीय ढांचा प्रदान करते हैं जो न केवल विशिष्ट मतिभ्रम प्रकारों के लिए पहचान में सुधार करता है, बल्कि यह भी परिभाषित करता है कि एम्बेडिंग ज्यामिति क्या पता लगा सकती है और क्या नहीं।