Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs
यह शोध पत्र प्रदर्शित करता है कि 4-बिट क्वांटाइज़्ड ओपन-सोर्स एलएलएम (LLMs) के मिड-लेयर हिडन स्टेट्स में मतिभ्रम (hallucination) को एनकोड करने वाला एक रैखिक रूप से विभाज्य सत्यता संकेत (linearly separable truthfulness signal) मजबूती से मौजूद है, जो सरल लीनियर प्रोब्स का उपयोग करके लगभग पूर्ण AUROC स्कोर के साथ पता लगाने में सक्षम बनाता है, जबकि सैंपलिंग-आधारित विधियाँ समान मूल्यांकन प्रोटोकॉल के तहत काफी खराब प्रदर्शन करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी अविश्वसनीय, रोबोट सहायक है। कभी-कभी यह सच बोलता है, और कभी-कभी यह ऐसे तथ्य बनाता है जो सुनने में बहुत विश्वसनीय लगते हैं लेकिन पूरी तरह से गलत होते हैं (इन्हें "हैलुसिनेशन" या भ्रम कहा जाता है)।
यह शोध पत्र एक जासूसी रिपोर्ट की तरह है जो यह समझने की कोशिश कर रहा है: हम कैसे जान सकते हैं कि रोबोट झूठ बोल रहा है, और उसके "दिमाग" में झूठ कहाँ छिपा है?
शोधकर्ताओं ने इसका परीक्षण तीन लोकप्रिय, ओपन-सोर्स रोबोट दिमागों (Llama, Mistral, और Qwen) पर किया है, जिन्हें एक मानक होम कंप्यूटर पर फिट होने के लिए छोटा (shrink down) किया गया है (इस तकनीक को "4-बिट क्वांटाइजेशन" कहा जाता है, जो एक हाई-डेफिनिशन मूवी को बिना ज्यादा गुणवत्ता खोए एक छोटी फाइल में कंप्रेस करने जैसा है)।
उन्होंने क्या पाया, इसे सरल भाषा में यहाँ समझाया गया है:
1. "सच पकड़ने वाला यंत्र" एक साधारण रेखा है
शोधकर्ताओं ने रोबोट के झूठ को पकड़ने के दो मुख्य तरीके आजमाए:
- "जुआरी" दृष्टिकोण (सैंपलिंग): रोबोट से एक ही सवाल 10 बार पूछें। यदि वह आपको 10 अलग-अलग उत्तर देता है, तो शायद वह भ्रमित है या झूठ बोल रहा है। यदि वह हर बार एक ही उत्तर देता है, तो शायद वह सच बोल रहा है।
- "एक्स-रे" दृष्टिकोण (प्रोबिंग): रोबोट के सोचने के दौरान सीधे उसके दिमाग के अंदर झाँकें। विशेष रूप से, उन्होंने "हिडन स्टेट्स" (दिमाग की परतों के बीच के विद्युत संकेत) को देखा ताकि यह देखा जा सके कि क्या वहां कोई ऐसा पैटर्न है जो "सच" या "झूठ" का संकेत देता है।
परिणाम: "एक्स-रे" दृष्टिकोण एक बड़ा विजेता रहा। रोबोट के दिमाग के बीच में स्थित केवल एक विशिष्ट परत (layer) को देखकर, एक बहुत ही सरल गणितीय उपकरण (एक लीनियर प्रोब) यह बता सका कि रोबोट झूठ बोल रहा था या नहीं, और इसकी सटीकता 90% से 100% थी।
"जुआरी" दृष्टिकोण (उसे 10 बार पूछना) इस विशिष्ट परीक्षण में लगभग बेकार था, क्योंकि यह सिक्का उछालने (लगभग 50% सटीकता) से बेहतर प्रदर्शन नहीं कर सका।
2. दिमाग में झूठ कहाँ है?
शोधकर्ताओं ने पाया कि "सत्य का संकेत" हर जगह नहीं है। यह एक गगनचुंबी इमारत के एक विशिष्ट कमरे की तरह है जहाँ दीवार पर सच लिखा है।
- Llama और Mistral रोबмों (जिनमें 32 मंजिलें हैं) के लिए, सच 13वीं से 18वीं मंजिल पर सबसे स्पष्ट रूप से दिखाई देता है।
- Qwen रोबोट (जिसमें 28 मंजिलें हैं) के लिए, सच 19वीं से 25वीं मंजिल पर सबसे स्पष्ट रूप से दिखाई देता है।
यदि आप रोबोट के दिमाग को इन विशिष्ट "मंजिलों" पर चेक करते हैं, तो आप लगभग तुरंत जान सकते हैं कि वह ईमानदार है या नहीं।
3. "जुआरी" दृष्टिकोण क्यों विफल हुआ?
आप सोच सकते हैं, "रोबोट से 10 बार पूछना काम क्यों नहीं आया?"
शोध पत्र इस अंतर को एक चतुर तरीके से समझाता है:
- प्रोब (एक्स-रे) को एक विशिष्ट उत्तर दिया गया था (जैसे, "फ्रांस की राजधानी पेरिस है") और पूछा गया था, "क्या आपका दिमाग इसे सच के रूप में पहचानता है?" इसने उस विशिष्ट वाक्य के प्रति रोबोट की आंतरिक प्रतिक्रिया को देखा।
- जुआरी (सैंपलिंग) से बस एक सवाल पूछा गया और उसे "10 अलग-अलग कहानियाँ लिखने" के लिए कहा गया। इसने यह नहीं मापा कि रोबोट सवाल को लेकर कितना भ्रमित था, बल्कि यह मापा कि क्या कोई विशिष्ट उत्तर सच था या नहीं।
क्योंकि टेस्ट को विशिष्ट उत्तरों की जांच करने के लिए सेट किया गया था, इसलिए "जुआरी" गलत जगह देख रहा था। यह एक दस्तावेज़ में विशिष्ट टाइपो (लिखने की गलती) को खोजने के लिए लेखक को दस्तावेज़ को शुरू से 10 बार लिखने के लिए कहने जैसा था, बजाय इसके कि दस्तावेज़ को एक बार पढ़ा जाए।
4. "साधारण रेखा" बनाम "जटिल मशीन"
शोधकर्ताओं ने एक बहुत ही जटिल गणितीय उपकरण (MLP) का उपयोग करके झूठ खोजने की कोशिश की, यह सोचकर कि यह एक साधारण उपकरण से अधिक स्मार्ट होगा।
आश्चर्य: जटिल उपकरण ने साधारण उपकरण से बहुत अधिक सुधार नहीं किया। रोबोट के दिमाग में "सच" वास्तव में बहुत सीधा है—यह लगभग एक सीधी रेखा की तरह है। आपको इसे खोजने के लिए सुपर-कंप्यूटर की आवश्यकता नहीं है; एक साधारण स्केल भी काम कर जाएगा।
5. "अटेंशन" (ध्यान) का सुराग
एक अन्य तरीका भी था जो अच्छा काम करता था, लेकिन केवल तभी जब रोबोट एक विशिष्ट टेक्स्ट (जैसे विकिपीडिया लेख) को पढ़ रहा हो।
उन्होंने रोबोट के "अटेंशन" (वह किस पर ध्यान केंद्रित कर रहा है) को पहले चरण में देखा।
- यदि रोबोट टेक्स्ट के आधार पर सच बोल रहा था, तो उसका अटेंशन केंद्रित और शांत था।
- यदि वह भ्रम (hallucinating) पैदा कर रहा था, तो उसका अटेंशन बिखरा हुआ और भ्रमित था।
इसने बिना किसी अतिरिक्त गणित या समय के, एक मजबूत सुराग दिया (94% सटीकता तक)।
मुख्य निष्कर्ष (The Big Takeaway)
यदि आप एक छोटे, कंप्रेस्ड AI रोबोट को तथ्यों के बारे में झूठ बोलते हुए पकड़ना चाहते हैं:
- मत करें: उसे एक ही सवाल 10 बार पूछें (इससे समय बर्बाद होता है और यहाँ यह अच्छा काम नहीं करता है)।
- करें: उसके दिमाग की मध्य परतों (लगभग 15वीं या 20वीं लेयर) के अंदर झाँकें।
- आप झूठ को पकड़ने के लिए एक बहुत ही सरल, तेज़ गणितीय जांच का उपयोग कर सकते हैं।
शोध पत्र निष्कर्ष निकालता है कि इन विशिष्ट प्रकार के परीक्षणों के लिए, रोबोट को खुद को दोहराने के लिए कहने की तुलना में उसके दिमाग के अंदर देखना बहुत तेज़ और अधिक सटीक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।