Detecting Hallucinations in Large Language Models via Internal Attention Divergence Signals
यह शोध पत्र अटेंशन मैट्रिसेस (attention matrices) में कुलबैक-लीब्लर डाइवर्जेंस (Kullback-Leibler divergence) का उपयोग करके LLM मतिभ्रम (hallucinations) का पता लगाने के लिए एक हल्का, सिंगल-पास विधि प्रस्तावित करता है, जो अनिश्चितता के एक भविष्य कहने योग्य, व्याख्या योग्य संकेत के रूप में कार्य करता है, और जो बार-बार सैंपलिंग या बाहरी मॉडलों की आवश्यकता के बिना मौजूदा विधियों के साथ प्रतिस्पर्धी प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।
समस्या: "आत्मविश्वासी झूठा" (The Confident Liar)
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान और विद्वान मित्र से सलाह मांग रहे हैं। कभी-कभी, वे आपको एकदम सही जवाब देते हैं। लेकिन कभी-कभी, वे पूरे आत्मविश्वास के साथ एक ऐसी कहानी बना देते हैं जो सुनने में तो बहुत अच्छी लगती है, लेकिन पूरी तरह से गलत होती है। इसे ही हम AI में "हैलुसिनेशन" (hallucination) कहते हैं।
सबसे पेचीदा बात यह है कि AI को पता ही नहीं चलता कि वह झूठ बोल रहा है। जब वह गलत होता है, तब भी वह उतना ही आत्मविश्वासी लगता है जितना कि सही होने पर। आमतौर पर, किसी झूठ को पकड़ने के लिए, आपको AI से वही सवाल दस बार पूछना होगा और देखना होगा कि क्या वह अलग-अलग जवाब देता है (जैसे किसी गवाह से एक ही कहानी को कई बार सुनाने को कहना)। लेकिन इसमें बहुत समय और कंप्यूटर की शक्ति खर्च होती है।
समाधान: "आंतरिक संवाद" को सुनना (Listening to the "Internal Monologue")
यह शोध पत्र इन झूठों को पकड़ने का एक नया, सुपर-फास्ट तरीका प्रस्तावित करता है। AI के जवाब खत्म होने का इंतज़ार करने और फिर उसकी जाँच करने के बजाय, लेखक AI के सोचने के दौरान उसकी आंतरिक "मस्तिष्क तरंगों" (brain waves) को देखते हैं।
AI मॉडल्स में, "अटेंशन" (Attention) नामक एक तंत्र (mechanism) होता है। आप 'अटेंशन' को एक 'स्पॉटलाइट' की तरह समझ सकते हैं। जब AI किसी सवाल का जवाब दे रहा होता है, तो यह स्पॉटलाइट उसके मेमोरी के विभिन्न शब्दों पर चमकती है ताकि यह तय किया जा सके कि अगले शब्द को लिखने के लिए कौन से शब्द महत्वपूर्ण हैं।
- जब AI को जवाब पता होता है: स्पॉटलाइट केंद्रित (focused) और स्थिर होती है। यह उन विशिष्ट तथ्यों पर तेज़ चमकती है जिनकी उसे आवश्यकता होती है (जैसे किसी व्यक्ति का नाम या तारीख)।
- जब AI अंदाज़ा लगा रहा होता है या झूठ बोल रहा होता है: स्पॉटलाइट डगमगा जाती है, बिखर जाती है या बिना किसी दिशा के भटकने लगती है। AI को समझ नहीं आता कि कहाँ देखना है, इसलिए वह अपना ध्यान हर जगह फैला देता है।
"स्पॉटलाइट टेस्ट" (विधि)
लेखकों ने यह मापने के लिए एक सरल गणितीय परीक्षण बनाया कि यह स्पॉटलाइट कितनी "डगमगाती" (shaky) है।
- यूनिफॉर्म बेसलाइन (The Uniform Baseline): कल्पना कीजिए कि एक कमरे में 100 लोग हैं। यदि आप पूरी तरह अनिश्चित हैं कि किससे बात करनी है, तो आप सभी को समान रूप से देख सकते हैं। यह एक "यूनिफॉर्म" वितरण (uniform distribution) है (प्रत्येक व्यक्ति पर आपकी अटेंशन का 1/100वाँ हिस्सा)। यह अधिकतम अनिश्चितता को दर्शाता है।
- मापन (The Measurement): लेखक AI की वास्तविक स्पॉटलाइट और इस "बिखरे हुए" बेसलाइन के बीच के अंतर को मापते हैं। वे इसे KL डाइवर्जेंस (KL Divergence) कहते हैं।
- उच्च डाइवर्जेंस (High Divergence): स्पॉटलाइट बहुत केंद्रित है (कुछ विशिष्ट शब्दों पर ज़ोर से चमक रही है)। इसका मतलब है कि AI आत्मविश्वासी है और संभवतः सही है।
- कम डाइवर्जेंस (Low Divergence): स्पॉटलाइट बिखरी हुई है (सभी को समान रूप से देख रही है)। इसका मतलब है कि AI भ्रमित है या केवल अंदाज़ा लगा रहा है।
क्या शोध पत्र इसके विपरीत कह रहा है?
वास्तव में, शोध पत्र में एक सूक्ष्म अंतर (nuance) बताया गया है: जब AI हैलुसिनेट (hallucinate) कर रहा होता है, तो वह अक्सर उस विषय पर एक आत्मविश्वासी जवाब देने की कोशिश करता है जिसके बारे में उसे जानकारी नहीं होती। इन मामलों में, अटेंशन पैटर्न गलत चीज़ों पर अजीब तरह से केंद्रित हो जाते हैं, या गणित एक विशिष्ट "डाइवर्जेंस" सिग्नल दिखाता है जो त्रुटि को चिह्नित करता है। संक्षेप में, गणित यह पता लगाता है कि AI का आंतरिक "फोकस" एक सच्चे और ठोस उत्तर के पैटर्न से मेल नहीं खाता है।
"हल्का जासूस" (The Lightweight Detective)
लेखकों ने केवल स्पॉटलाइट को ही नहीं देखा; उन्होंने इन संकेतों को पढ़ने के लिए एक छोटा, सरल डिटेक्टर (एक "लॉजिस्टिक्स रिग्रेशन प्रोब") बनाया।
- दोबारा पूछने की ज़रूरत नहीं: इस विधि के लिए AI को केवल एक बार जवाब देने की आवश्यकता होती है।
- कोई अतिरिक्त मॉडल नहीं: इसे पहले वाले AI की जाँच करने के लिए दूसरे AI की आवश्यकता नहीं है।
- तेज़: यह एक ही पास (single pass) में होता है, जैसे किसी वाक्य को एक बार पढ़ना और तुरंत जान लेना कि वह "अजीब" लग रहा है।
उन्होंने क्या पाया
शोधकर्ताओं ने विभिन्न प्रकार के प्रश्नों (तथ्य, गणित, तर्क) और विभिन्न AI मॉडल्स पर इसका परीक्षण किया। यहाँ उनकी खोजें दी गई हैं:
- "मध्य मस्तिष्क" (Middle Brain) ही कुंजी है: वे संकेत जो हमें बताते हैं कि कोई उत्तर सत्य है या असत्य, वे मुख्य रूप से AI के मस्तिष्क की मध्य परतों (middle layers) में पाए जाते हैं। शुरुआती और अंतिम परतें इस विशिष्ट कार्य के लिए कम सहायक होती हैं।
- तथ्य ही ट्रिगर हैं: "डगमगाती स्पॉटलाइट" का सिग्नल तब सबसे मजबूत होता है जब AI तथ्यों के बारे में बात कर रहा होता है—विशेष रूप से नाम, तारीखें और संख्याएँ। यदि AI केवल "the" या "and" (stop words) के बारे में चैट कर रहा है, तो सिग्नल शांत रहता है। लेकिन जब वह किसी व्यक्ति या वर्ष का नाम लेने की कोशिश करता है, तो यदि वह अनिश्चित होता है, तो सिग्नल ज़ोर से चिल्लाता है।
- यह एक टीम वर्क है: सिग्नल केवल एक एकल "झूठ पकड़ने वाले" न्यूरॉन से नहीं आ रहा है। यह AI के कई अलग-अलग हिस्सों के एक साथ मिलकर काम करने का परिणाम है। यदि आप एक हिस्सा हटा देते हैं, तो सिस्टम अभी भी काम करता है, लेकिन यदि आप पूरा मध्य भाग हटा देते हैं, तो डिटेक्टर अंधा हो जाता है।
मुख्य निष्कर्ष (The Bottom Line)
यह शोध पत्र दिखाता है कि हम केवल उनके अंतिम शब्दों को देखकर नहीं, बल्कि AI के आंतरिक "स्पॉटलाइट" को सुनकर उसके हैलुसिनेशन को पकड़ सकते हैं। यह यह देखने जैसा है कि क्या कोई छात्र वास्तव में उत्तर के बारे में सोच रहा है या केवल अंदाज़ा लगा रहा है, यह देखने के लिए कि उसकी आँखें कहाँ घूम रही हैं, बजाय इसके कि उसके ग्रेड आने का इंतज़ार किया जाए।
यह विधि तेज़, सस्ती और कई अलग-अलग प्रकार के प्रश्नों पर काम करने वाली है, जो बिना AI को कई बार चलाए, उसके आत्मविश्वास की एक "व्हाइट-बॉक्स" (white-box) झलक प्रदान करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।