Predictive Coding and Information Bottleneck for Hallucination Detection in Large Language Models
यह शोध पत्र एक हल्का, व्याख्यात्मक हाइब्रिड डिटेक्शन फ्रेमवर्क प्रस्तुत करता है जो मौजूदा तरीकों की तुलना में डेटा आवश्यकताओं और इन्फरेंस लेटेंसी को काफी कम करते हुए, न्यूरोसाइंस-प्रेरित प्रेडिक्टिव कोडिंगिंग और इंफॉर्मेशन बॉटलनेक संकेतों का लाभ उठाकर लार्ज लैंग्वेज मॉडल्स में स्टेट-ऑफ-द-आर्ट मतिभ्रम (hallucination) डिटेक्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट सहायक है। आप उससे एक प्रश्न पूछते हैं और उसे पढ़ने के लिए एक विशिष्ट दस्तावेज़ देते हैं। रोबोट आपको उत्तर देता है, लेकिन कभी-कभी, वह मनगढ़ंत बातें बनाता है। वह आत्मविश्वास से भरा लगता है और ऐसा लगता है जैसे वह जो बोल रहा है उसके बारे में जानता है, लेकिन तथ्य गलत होते हैं। इसे "हैलुसिनेशन" (Hallucination - भ्रम/भ्रमित होना) कहा जाता है।
वर्तमान में, इन झूठों को पकड़ना कठिन है। सामान्य तरीके या तो बहुत धीमे हैं (जैसे कि रोबोट को दस अलग-अलग बार उत्तर लिखने के लिए कहना ताकि देखा जा सके कि क्या वह बदलता है) या बहुत महंगे हैं (जैसे कि पहले रोबोट के काम को परखने के लिए एक विशाल, सुपर-स्मार्ट रोबोट को नियुक्त करना)।
यह शोध पत्र एक नया, तेज़ और सस्ता तरीका पेश करता है जिससे इन झूठों को पकड़ा जा सके, जिसे Pcib कहा जाता है। इसे एक विशाल जज को नियुक्त करने के रूप में न देखें, बल्कि इसे रोबोट के मस्तिष्क के भीतर विशेषज्ञ झूठ पकड़ने वाले यंत्रों (specialized lie detectors) के एक सेट के रूप में समझें।
यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:
1. दो बड़े विचार (क्यों?)
लेखकों ने अपने डिटेक्टरों को दो विचारों का उपयोग करके बनाया है जो मानव मस्तिष्क के काम करने के तरीके से लिए गए हैं:
प्रेडिक्टिव कोडिंग (प्रिडिक्टिव कोडिंग - "आश्चर्य" का परीक्षण):
कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं। यदि कहानी कहती है, "आकाश हरा है," तो आपका मस्तिष्क कहता है, "रुको, यह तो आश्चर्यजनक है! यह जो मैं जानता हूँ उससे मेल नहीं खाता।"- परीक्षण: Pcib सिस्टम रोबोट से पूछता है: "यदि मैं तुम्हें दस्तावेज़ न दूँ, तो तुम क्या कहोगे?"
- झूठ: यदि रोबोट आपको दस्तावेज़ देने या न देने पर भी वही गलत उत्तर देता है, तो इसका अर्थ है कि वह तथ्यों की अनदेखी कर रहा है और केवल उस आधार पर अनुमान लगा रहा है जो वह पहले से "जानता" है। यह एक हैलुसिनेशन है।
- सच्चाई: यदि दस्तावेज़ पढ़ने के बाद रोबोट अपना उत्तर पूरी तरह से बदल देता है, तो इसका मतलब है कि उसने वास्तव में आपकी बात सुनी है।
इन्फॉर्मेशन बॉटलनेक (इन्फॉर्मेशन बॉटलनेक - "तनाव" का परीक्षण):
कल्पना कीजिए कि आपके पास एक मजबूत ईंट (एक तथ्य) है और ताश के पत्तों का एक घर (एक मनगढ़ंत कहानी) है। यदि आप मेज को हिलाते हैं (थोड़ा शोर या शब्दों में बदलाव करते हैं), तो ताश के पत्तों का घर बिखर जाएगा, लेकिन ईंट अपनी जगह पर टिकी रहेगी।- परीक्षण: सिस्टम रोबोट के उत्तर को लेता है और उसके शब्दों को थोड़ा बदल देता है या पुनर्गठित करता है।
- झूठ: यदि रोबोट अचानक कहता है, "ओह, शायद वह सच नहीं था," या शब्दों के थोड़े से बदलाव से भ्रमित हो जाता है, तो वह विचार नाजुक था। वह एक हैलुसिनेशन था।
- सच्चाई: यदि शब्द बदलने पर भी रोबोट आत्मविश्वास से भरा और सुसंगत रहता है, तो इसकी संभावना है कि वह एक वास्तविक तथ्य है।
2. तीन "सुपर-चार्ज"
लेखकों ने पाया कि ऊपर दिए गए बुनियादी परीक्षण अच्छे थे, लेकिन वे बेहतर हो सकते थे। उन्होंने अपने डिटेक्टरों को और अधिक सटीक बनाने के लिए तीन "सुपर-चार्ज" जोड़े:
- महत्वपूर्ण चीजों पर ध्यान केंद्रित करना (एंटिटी-फोक्स्ड अपटेक):
रोबोट अक्सर नामों, तारीखों या संख्याओं जैसे विशिष्ट विवरणों के बारे में झूठ बोलते हैं, जबकि वे साधारण शब्दों को सही रखते हैं। सिस्टम अब उबाऊ शब्दों को अनदेखा करता है और अपने "आश्चर्य" परीक्षण को केवल महत्वपूर्ण नामों और संख्याओं पर केंद्रित करता है। - लंगर की जाँच करना (कॉन्टेक्स्ट एडहेरेंस):
कभी-कभी एक रोबोट पूरे दस्तावेज़ को अनदेखा कर देता है और केवल अपनी याददाश्त से बात करता है। यह नया सिग्नल जाँचता है: "क्या रोबोट ने वास्तव में आपके द्वारा दिए गए दस्तावेज़ का उपयोग किया, या वह केवल दिवास्वप्न देख रहा था?" - "बहुत अधिक आत्मविश्वास" का अलार्म (फॉल्सिफिएबिलिटी स्कोर):
यदि कोई रोबोट कहता है कि कुछ "निश्चित रूप से" सच है, लेकिन तर्क कमजोर है, तो यह एक चेतावनी का संकेत है। यह सिग्नल "निश्चित रूप से" या "स्पष्ट रूप से" जैसे शब्दों को कमजोर तर्क के साथ जोड़कर देखता है ताकि अति-आत्मविश्वासी झूठ बोलने वालों को पकड़ा जा सके।
3. बड़ा आश्चर्य (क्या काम नहीं आया)
शोधकर्ताओं ने एक लोकप्रिय तकनीक आजमाई जिसे "रैशनलाइजेशन" (Rationalization) कहा जाता है। यह तब होता है जब आप रोबोट से पूछते हैं, "तुम क्यों सोचते हो कि यह सच है," इस उम्मीद में कि यदि वह झूठ बोल रहा है, तो वह भ्रमित हो जाएगा और एक बुरा स्पष्टीकरण देगा।
परिणाम: यह काम नहीं आया।
उपमा: कल्पना कीजिए कि एक ठग (con artist) ने पहले ही झूठ बोलने का फैसला कर लिया है। यदि आप पूछते हैं, "तुम क्यों झूठ बोल रहे हो?", तो वह भ्रमित नहीं होता; वह बस अपने झूठ का समर्थन करने के लिए एक बहुत ही विश्वसनीय, तार्किक दिखने वाली कहानी बना लेता है। रोबोट भी ऐसा ही करता है। वह एक नकली तथ्य के लिए एक आदर्श दिखने वाला स्पष्टीकरण बनाता है। इसे "साइकफैंसी" (Sycophancy - चाटुकारिता/जी-हुजूरी) कहा जाता है (उपयोगकर्ता के गलत विचार से सहमत होना और उस पर अड़े रहना)।
4. परिणाम: तेज़, सस्ता और स्मार्ट
लेखकों ने अपने सिस्टम (Pcib) का वर्तमान सर्वोत्तम तरीकों के विरुद्ध परीक्षण किया। यहाँ उन्हें क्या पता चला:
- यह अविश्वसनीय रूप से कुशल है: नया सिस्टम विशाल रोबोट जजों की तुलना में 1,000 गुना तेज़ है। यह 5 सेकंड के बजाय 5 मिलीसेकंड (एक पलक झपकने से भी कम समय) लेता है।
- इसे कम प्रशिक्षण की आवश्यकता है: झूठ पकड़ना सीखने के लिए, नए सिस्टम को केवल 200 उदाहरणों की आवश्यकता थी। विशाल प्रतिस्पर्धियों को 15,000 उदाहरणों की आवश्यकता थी। यह 75 गुना कम डेटा है!
- यह व्याख्या योग्य है: जब विशाल रोबोट कहता है "यह एक झूठ है," तो आपको पता नहीं चलता कि क्यों। जब Pcib कहता है "यह एक झूठ है," तो यह आपको ठीक से बता सकता है कि कौन सा हिस्सा विफल रहा: "इसने दस्तावेज़ की अनदेखी की," या "वाक्य को फिर से लिखने पर इसने अपना विचार बदल लिया।"
- यह काम करता है: इसने झूठ पकड़ने में लगभग उतना ही अच्छा प्रदर्शन किया जितना कि विशाल, महंगे मॉडल, लेकिन यह एक छोटे कंप्यूटर चिप पर चलता है।
सारांश
यह शोध पत्र तर्क देता है कि झूठ पकड़ने के लिए बड़े, अधिक महंगे रोबोट बनाने के बजाय, हमें ऐसे स्मार्ट, छोटे उपकरण बनाने चाहिए जो समझते हों कि रोबोट कैसे सोचते हैं। "आश्चर्य" और "स्थिरता" पर आधारित सरल नियमों का उपयोग करके, हम बिना किसी सुपरकंप्यूटर के, तेज़ी से, सस्ते में और स्पष्ट रूप से हैलुसिनेशन को पकड़ सकते हैं। एकमात्र चीज़ जो काम नहीं आई वह थी रोबोट से उसके अपने झूठ को समझाने के लिए कहना, क्योंकि झूठ बोलने वाले बहाने बनाने में माहिर होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।