Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (Hallucinations) और ज्ञान संघर्ष (Knowledge Conflicts) के बीच सहसंबंध का विश्लेषण

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) ज्ञान-गहन कार्यों में महत्वपूर्ण सीमाओं का सामना करते हैं, जिसका मुख्य कारण उनका स्थिर, स्टेटिक ट्रेनिंग डेटा है जिसे ट्रेनिंग के बाद अपडेट नहीं किया जा सकता। जब मॉडल अपने पैरामीट्रिक ज्ञान से बाहर की जानकारी या उससे टकराने वाली जानकारी का सामना करते हैं, तो वे अक्सर "मतिभ्रम" (hallucinations) उत्पन्न करते हैं—जो कि तथ्यात्मक रूप से गलत, असंगत या unverifiable आउटपुट होते हैं। एक प्रचलित परिकल्पना यह सुझाव देती है कि ये मतिभ्रम आंतरिक ज्ञान संघर्ष (knowledge conflicts) से उत्पन्न होते हैं, जहाँ मॉडल का संग्रहीत पैरामीट्रिक ज्ञान इनपुट में दिए गए प्रासंगिक संकेतों (contextual cues) के साथ टकराता है। हालाँकि, ज्ञान संघर्ष के आंतरिक निरूपण (internal representations) और मतिभ्रम व्यवहार के बीच के विशिष्ट संबंध का अभी तक पर्याप्त अन्वेषण नहीं किया गया है। जबकि पूर्ववर्ती कार्यों ने ज्ञान संघर्ष (Zhao et al.) और मतिभ्रम (Snyder et al.) को स्वतंत्र रूप से पहचानने के लिए सफल प्रोबिंग तकनीकें विकसित की हैं, यह स्पष्ट नहीं है कि क्या ये दोनों घटनाएँ एक साझा आंतरिक एन्कोडिंग साझा करती हैं या क्या एक का उपयोग दूसरे की भविष्यवाणी करने के लिए किया जा सकता है।

कार्यप्रणाली और प्रयोगात्मक डिजाइन
यह अध्ययन ज्ञान संघर्ष और मतिभ्रम के द्विआयामी सहसंबंध की जांच करने के लिए एक प्रोबिंग-आधारित ढांचे (probing-based framework) का उपयोग करता है। लेखक यह परिकल्पना करते हैं कि यदि मतिभ्रम ज्ञान संघर्षों के कारण होते हैं, तो एक मतिभ्रम युक्त आउटपुट के आंतरिक सक्रियण पैटर्न (activation patterns) को एक क्लासिफायर द्वारा पहचाना जा सकना चाहिए जिसे ज्ञान संघर्षों को पहचानने के लिए प्रशिक्षित किया गया हो, और इसके विपरीत भी।

प्रयोगात्मक डिजाइन में दो अलग-अलग दिशाएँ शामिल हैं:

1. ज्ञान संघर्ष से मतिभ्रम की ओर:

   • मॉडल: LLaMA-3-8B।
   • प्रशिक्षण: ज्ञान संघर्ष प्रोबिंग मॉडल ($KC_{a,i}$) को विरोधाभासी QA जोड़ों के एक सिंथेटिक डेटासेट (NQ-Swap) का उपयोग करके हिडन (hidden), अटेंशन (attention) और MLP लेयर्स के सक्रियणों में संघर्ष संकेतों का पता लगाने के लिए लॉजिस्टिक रिग्रेशन का उपयोग करके प्रशिक्षित किया गया था।
   • मूल्यांकन: इन प्रशिक्षित संघर्ष डिटेक्टरों को Mu-SHROOM, HaluEval, और HaluBench (जिनमें मतिभ्रम वाले QA जोड़े शामिल हैं) से निकाले गए सक्रियणों पर लागू किया गया। लक्ष्य यह निर्धारित करना था कि क्या संघर्ष डिटेक्टर मतिभ्रम की उपस्थिति की सटीक भविष्यवाणी कर सकता है।

2. मतिभ्रम से ज्ञान संघर्ष की ओर:

   • मॉडल: Falcon-7B।
   • प्रशिक्षण: मतिभ्रम के संकेतों का पता लगाने के लिए आउटपुट लॉजिट्स (logits) और मध्यवर्ती सक्रियणों (अटेंशन और MLP) पर फीड-फॉरवर्ड क्लासिफायर का उपयोग करके TriviaQA डेटासेट पर मतिभ्रम प्रोबिंग मॉडल ($H_l, H_{a,i}$) को प्रशिक्षित किया गया था।
   • मूल्यांकन: इन मतिभ्रम डिटेक्टरों को NQ-Swap डेटासेट पर लागू किया गया ताकि यह निर्धारित किया जा सके कि क्या मतिभ्रम डिटेक्टर द्वारा ज्ञान संघर्ष की उपस्थिति की भविष्यवाणी की जा सकती है।

मुख्य परिणाम
अनुभवजन्य विश्लेषण निम्नलिखित निष्कर्ष प्रदान करता है:

• मजबूत सहसंबंध का अभाव: इस परिकल्पना के विपरीत कि मतिभ्रम सीधे तौर पर ज्ञान संघर्षों में बदले जा सकते हैं, अध्ययन में पाया गया कि दोनों घटनाओं के बीच कोई महत्वपूर्ण सहसंबंध नहीं है।
  • ज्ञान संघर्ष मॉडल का उपयोग करके मतिभ्रम की प्रोबिंग करने पर (LLaMA-3-8B), सटीकता उतार-चढ़ाव भरी रही लेकिन कम रही (अक्सर चांस लेवल के करीब, AUROC 0.5 के करीब)। विशेष रूप से, प्रदर्शन मध्यवर्ती परतों (15–25) में गिर गया जहाँ ज्ञान संघर्ष आमतौर पर अलग से सबसे सटीक रूप से पकड़े जाते हैं।
  • इसके विपरीत, मतिभ्रम मॉडल का उपयोग करके ज्ञान संघर्ष की प्रोबिंग करने पर (Falcon-7B), डिटेक्टर सभी परतों में चांस लेवल (सटीकता $\approx$ 0.5, AUROC $\approx$ 0.5) पर कार्य करते रहे। यह Snyder et al. के संदर्भ अध्ययन के विपरीत है, जहाँ बाद की परतों में मतिभ्रम का पता लगाना बेहतर हुआ था; यहाँ, रुझान नगण्य था।
• सक्रियण विशिष्टता (Activation Specificity): अध्ययन में देखा गया कि LLaMA-3-8B में हिडन सक्रियण, अटेंशन या MLP सक्रियणों की तुलना में संघर्ष का पता लगाने के लिए कम सूचनात्मक थे। Falcon-7B में, इस विशिष्ट क्रॉस-टास्क संदर्भ में पिछले साहित्य की तुलना में विपरीत रुझान देखा गया, जहाँ अटेंशन सक्रियण कभी-कभी MLPs से बेहतर प्रदर्शन करते थे।
• भाषाओं के बीच मजबूती: दोनों घटनाओं के बीच सहसंबंध की कमी के बावजूद, प्रोबिंग कार्यप्रणाली स्वयं मजबूत सिद्ध हुई। बहुभाषी Mu-SHROOM डेटासेट (14 भाषाओं को कवर करते हुए) पर लागू किए जाने पर, प्रोबिंग मॉडल विभिन्न भाषाओं में स्थिर प्रदर्शन बनाए रखते हैं, जो दर्शाता है कि यह तकनीक विशिष्ट भाषाई संरचनाओं के प्रति अत्यधिक पक्षपाती नहीं है।

महत्व और योगदान
यह शोध LLM व्याख्यात्मकता (interpretability) की व्यापक समझ में योगदान देता है, यह व्यवस्थित अनुभवजन्य साक्ष्य प्रदान करता है कि मतिभ्रम और ज्ञान संघर्ष आंतरिक निरूपण के स्तर पर दृढ़ता से संरेखित नहीं हैं।

• घटनाओं का विखंडन (Decoupling Phenomena): निष्कर्ष इस सहज धारणा को चुनौती देते हैं कि मतिभ्रम केवल या मुख्य रूप से आंतरिक ज्ञान संघर्षों द्वारा संचालित होते हैं। यह सुझाव देता है कि मतिभ्रम अधिक जटिल, ऑर्थोगोनल तंत्रों से उत्पन्न हो सकते हैं जो केवल संघर्ष पहचान संकेतों द्वारा पूरी तरह से कैप्चर नहीं किए जाते हैं।
• कार्यप्रणाली का सत्यापन: हालांकि सहसंबंध परिकल्पना समर्थित नहीं थी, अध्ययन विभिन्न सक्रियण प्रकारों (हिडन, अटेंशन, MLP) और भाषाओं में आंतरिक मॉडल व्यवहार का विश्लेषण करने के लिए एक मजबूत उपकरण के रूप में प्रोबिंग की उपयोगिता को प्रमाणित करता है।
• भावी दिशाएं: लेखक भविष्य के अनुसंधान में इन घटनाओं को अलग करने (decouple) की आवश्यकता पर जोर देते हैं ताकि अधिक लक्षित शमन रणनीतियाँ (mitigation strategies) विकसित की जा सकें। वे डिजिटल स्वास्थ्य, शिक्षा और मानव संसाधन प्रबंधन जैसे उच्च-जोखिम वाले क्षेत्रों में इस प्रोबिंग कार्यप्रणाली को विस्तारित करने का प्रस्ताव देते हैं, साथ ही बहुभाषी और संवेदनशील संदर्भों में पूर्वाग्रह और प्रोबिंग परिणामों की गलत व्याख्या के संबंध में नैतिक विचारों के महत्वपूर्ण महत्व को भी रेखांकित करते हैं।

इन प्रयोगों के पुनरुत्पादन के लिए स्रोत कोड सार्वजनिक रूप से उपलब्ध है, जो LLMs के आंतरिक तंत्र की आगे की जांच की सुविधा प्रदान करता है।