Enhancing Hallucination Detection through Noise Injection
यह शोध पत्र एक प्रशिक्षण-मुक्त, शोर-इंजेक्शन (noise-injection) विधि प्रस्तावित करता है जो बेयसियन अनिश्चितता (Bayesian uncertainty) को बेहतर ढंग से पकड़ने के लिए सैंपलिंग के दौरान मॉडल मापदंडों या सक्रियणों (activations) को विचलित करती है, जिससे मानक टोकन-स्तरीय सैंपलिंग की तुलना में लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucination) का पता लगाने में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Enhancing Hallucination Detection Through Noise Injection" नामक शोध पत्र का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।
बड़ी समस्या: "आत्मविश्वासी झूठा" (The Confident Liar)
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI) से एक सवाल पूछते हैं। कभी-कभी, लाइब्रेरियन उत्तर के बारे में 100% निश्चित होता है, और वह सही होता है। लेकिन कभी-कभी, वह 100% निश्चित तो होता है, लेकिन उसका उत्तर पूरी तरह से मनगढ़ंत होता है। इसे हैलुसिनेशन (Hallucination) कहा जाता है।
AI इतना आत्मविश्वासी लगता है कि आप उस पर विश्वास कर सकते हैं, भले ही वह गलत हो। इस शोध पत्र का लक्ष्य एक ऐसा "झूठ पकड़ने वाला यंत्र" (lie detector) बनाना है जो बिना लाइब्रेरियन को फिर से प्रशिक्षित किए या नया सुपरवाइजर रखे, यह बता सके कि अंतर एक आत्मविश्वासी सच और एक आत्मविश्वासी झूठ के बीच क्या है।
पुराना तरीका: एक ही सवाल को बार-बार पूछना
पहले, शोधकर्ता AI को एक ही सवाल 10 बार लगातार पूछकर इन झूठों को पकड़ने की कोशिश करते थे।
- यदि AI सच बोल रहा है: तो वह आपको 10 बार लगभग एक ही उत्तर देगा (जैसे, "उत्तर 42 है")।
- यदि AI हैलुसिनेशन कर रहा है: तो वह भ्रमित हो सकता है और हर बार अलग-अलग उत्तर दे सकता है (जैसे, "42," "43," "41," "42," "40")।
खामी: यह तरीका केवल यह जाँचता है कि AI अपने स्वयं के आंतरिक तर्क (internal logic) के साथ कितना सुसंगत (consistent) है। यह एक छात्र को 10 बार एक ही गणित का टेस्ट देने जैसा है। यदि उसने उत्तर रट लिया है, तो वह हर बार सही उत्तर देगा। यदि उसने अंदाज़ा लगाया है, तो वह अलग-अलग उत्तर दे सकता है। लेकिन यह हमें यह नहीं बताता कि छात्र वास्तव में गणित समझता है या वह केवल पूछे गए विशिष्ट प्रश्नों के साथ भाग्यशाली रहा।
नया विचार: "लाइब्रेरियन के दिमाग को हिलाना"
इस शोध पत्र के लेखकों ने महसूस किया कि झूठ को वास्तव में पकड़ने के लिए, आपको AI की केवल उसकी निरंतरता (consistency) ही नहीं, बल्कि उसके अपने ज्ञान में विश्वास (confidence in its own knowledge) को भी परखने की आवश्यकता है। वे इसे एपिस्टेमिक अनसर्टेन्टी (Epistemic Uncertainty) कहते हैं (यह अनिश्चितता कि मॉडल वास्तव में क्या जानता है)।
इसे करने के लिए, उन्होंने एक तकनीक विकसित की जिसे नॉइज़ इंजेक्शन (Noise Injection) कहा जाता है।
उपमा: "थोड़ा नशे में धुत" लाइब्रेरियन
कल्पना कीजिए कि आप परीक्षण करना चाहते हैं कि क्या लाइब्रेरियन वास्तव में लाइब्रेरी की कैटलॉग को जानता है या वह केवल एक स्क्रिप्ट पढ़ रहा है।
- पुराना तरीका: उनसे एक ही सवाल 10 बार पूछें।
- नया तरीका: जब भी आप कोई सवाल पूछते हैं, तो जवाब देने से पहले आप धीरे से लाइब्रेरियन के दिमाग को "हिलाते" (नॉइज़ इंजेक्ट करते) हैं। आप ऐसा उनके दिमाग के आंतरिक कनेक्शनों में थोड़ा बदलाव करके करते हैं।
- यदि लाइब्रेरियन तथ्य जानता है: तो भले ही आप उनके दिमाग को थोड़ा हिला दें, वे अभी भी सही किताब ढूँढ लेंगे। उनका उत्तर स्थिर रहेगा।
- यदि वह मनगढ़ंत कहानी बना रहा है: तो जब आप उनके दिमाग को हिलाते हैं, तो उनकी "मनगढ़ंत" कहानी बिखर जाती है। वे कह सकते हैं, "रुको, शायद यह किताब है?" या "असल में, मुझे यकीन नहीं है।" उनके उत्तर अराजक और असंगत हो जाते हैं।
आप यह मापकर कि "दिमाग को हिलाने" पर उत्तरों में कितना बदलाव आता है, यह पता लगा सकते हैं कि AI हैलुसिनेशन कर रहा है या नहीं।
यह कैसे काम करता है (तकनीकी जादू)
यह शोध पत्र एक बहुत ही सरल, मुफ्त ट्रिक प्रस्तावित करता है:
- कुछ लेयर्स चुनें: पूरे AI को बदलने के बजाय, वे केवल "मध्यम मस्तिष्क" (AI के प्रोसेसिंग लेयर्स के विशिष्ट हिस्से) को ट्यून करते हैं।
- रैंडम स्टैटिक जोड़ें: वे उन लेयर्स के माध्यम से गुजरने वाले संकेतों में थोड़ा सा रैंडम "स्टैटिक" (शोर/noise) जोड़ते हैं।
- फिर से पूछें: वे सवाल पूछते हैं, लेकिन हर बार स्टैटिक का एक अलग पैटर्न होता है।
- अराजकता की जाँच करें: यदि उत्तर इधर-उधर बिखरे हुए हैं, तो AI संभवतः हैलुसिनेट कर रहा है। यदि उत्तर वही रहते हैं, तो AI संभवतः सच जानता है।
यह एक बड़ी बात क्यों है
- यह मुफ्त है: आपको AI को फिर से प्रशिक्षित करने या उसे नई चीजें सिखाने की आवश्यकता नहीं है। आप बस पूछने का तरीका बदलते हैं।
- यह तेज़ है: आप इसे AI के जवाब देते समय (रियल-टाइम में) कर सकते हैं।
- यह स्मार्ट है: यह दो प्रकार की "अनिश्चितता" (uncertainty) को जोड़ता है:
- एलियटोरिक अनसर्टेन्टी (Aleatoric Uncertainty): "मुझे यकीन नहीं है क्योंकि सवाल अस्पष्ट है।" (पुराना तरीका)।
- एपिस्टेमिक अनसर्टेन्टी (Epistemic Uncertainty): "मुझे यकीन नहीं है क्योंकि मैं वास्तव में उत्तर नहीं जानता।" (नया तरीका)।
परिणाम
शोधकर्ताओं ने गणितीय समस्याओं, सामान्य ज्ञान और सामान्य जानकारी पर इसका परीक्षण किया। उन्होंने पाया कि AI के दिमाग को नॉइज़ के साथ "हिलाकर", वे पहले की तुलना में झूठ को बहुत बेहतर तरीके से पकड़ सकते हैं।
संक्षेप में: यदि आप जानना चाहते हैं कि क्या एक AI झूठ बोल रहा है, तो उससे केवल 10 बार एक ही सवाल न पूछें। उसके दिमाग को धीरे से हिलाते हुए 10 बार पूछें। यदि वह हकलाने लगता है और अपनी कहानी बदलने लगता है, तो संभावना है कि वह मनगढ़ंत बातें बना रहा है। यदि वह स्थिर रहता है, तो वह संभवतः सच बोल रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।