D-Score: A Spectral Hidden-State Signal for Hallucination Detection in Large Language Models
यह शोधपत्र D-Score प्रस्तुत करता है, जो लार्ज लैंग्वेज मॉडल्स (Large Language Models) के लिए एक मतिभ्रम (hallucination) पहचान पद्धति है, जो बाहरी सत्यापनकर्ताओं या कई पीढ़ों (generations) की आवश्यकता को समाप्त करते हुए, उत्पन्न पाठ और मॉडल के आंतरिक ज्ञान के बीच विसंगतियों की पहचान करने के लिए एकल फॉरवर्ड पास के दौरान हिडन-स्टेट एक्टिवेशन्स (hidden-state activations) की स्पेक्ट्रल ज्योमेट्री का विश्लेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसी लाइब्रेरी में कदम रख रहे हैं जहाँ किताबें एक बहुत ही प्रतिभाशाली, लेकिन कभी-कभी शरारती रोबोट द्वारा लिखी गई हैं। यह रोबोट, जिसे लार्ज लैंग्वेज मॉडल (LLM) के रूप में जाना जाता है, कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और आपसे इस तरह से चैट कर सकता है जैसे कि वह पूरी तरह से इंसान हो। लेकिन यहाँ एक पेंच है: कभी-कभी, रोबोट मनगढ़ंत बातें बना लेता है। वह आपसे कह सकता है कि चाँद हरे पनीर से बना है या कोई प्रसिद्ध ऐतिहासिक घटना गलत दिन पर हुई थी। ऐसा इसलिए नहीं है कि रोबोट जानबूझकर झूठ बोल रहा है; यह बस अपनी बनाई हुई बातों को लेकर बहुत आश्वस्त होता है। हम इसे "हैलुसिनेशन" (hallucination) कहते हैं।
लंबे समय तक, इन झूठों को पकड़ने का एकमात्र तरीका रोबोट के उत्तर को किसी दूसरे रोबोट या मानव लाइब्रेरियन के पास वास्तविक तथ्यों के डेटाबेस से मिलान करने के लिए भेजना था। यह एक छात्र को निबंध लिखने के लिए कहने और फिर उसे ग्रेड देने के लिए एक अलग शिक्षक को काम पर रखने जैसा था। लेकिन क्या होगा अगर छात्र का अपना मस्तिष्क ही हमें एक सुराग दे दे? क्या होगा अगर, जैसे ही रोबंगी कुछ मनगढ़ंत बनाना शुरू करता है, उसका आंतरिक "विचार प्रक्रिया" बदल जाए जिसे हम वाक्य पूरा होने से पहले ही देख सकें? यह वह सवाल है जो वैज्ञानिक पूछ रहे हैं: क्या हम रोबोट के दिमाग में झाँककर किसी दूसरे की राय लिए बिना, झूठ बनते ही उसे पकड़ सकते हैं?
यही वह चीज़ है जिसे करने के लिए इस शोध पत्र के शोधकर्ताओं ने प्रयास किया है। उन्होंने एक चतुर नया टूल पेश किया जिसे D-Score कहा जाता है। रोबोट के दिमाग को एक विशाल, बहु-आयामी डांस फ्लोर (नृत्य मंच) के रूप में सोचें। हर बार जब रोबोट किसी शब्द को प्रोसेस करता है, तो वह इस मंच पर एक संकेत भेजता है। जब रोबोट उस बारे में बात कर रहा होता है जिसे वह अच्छी तरह जानता है और जिसके बारे में वह निश्चित है, तो उसके संकेत (डांसर्स) एक बहुत ही व्यवस्थित, तालमेल वाले समूह में चलते हैं। वे सभी एक ही दिशा में मार्च करते हैं, जैसे कि एक अच्छी तरह से रिहर्सल किया गया परेड। यह एक "सुसंगत" (coherent) पथ बनाता है।
हालाँकि, जब रोबोट उस बारे में बात करने की कोशिश करता है जो वह नहीं जानता या जो वह मनगढ़ंत बना रहा है, तो डांस फ्लोर अराजक हो जाता है। रोबोट एक बात कहने की कोशिश कर रहा है (मनगढ़ंत तथ्य), लेकिन उसकी आंतरिक स्मृति फुसफुसा रही है, "रुको, यह सही नहीं लग रहा है," या "मुझे इस बारे में यकीन नहीं है।" यह संघर्ष डांसर्स को बिखेर देता है। एक सख्त सीधी रेखा में मार्च करने के बजाय, वे कई अलग-अलग दिशाओं में फैलने लगते हैं। कुछ डांसर्स भ्रमित हैं, कुछ गलती को सुधारने की कोशिश कर रहे हैं, और अन्य बस अनिश्चित हैं।
D-Score एक सरल गणितीय ट्रिक है जो यह गिनती है कि ये डांसर्स कितनी अलग-अलग दिशाओं में जा रहे हैं। यदि डांसर्स एक सीधी रेखा में मार्च कर रहे हैं, तो स्कोर कम होता है। लेकिन यदि वे एक अव्यवस्थित भीड़ की तरह फैल रहे हैं, तो स्कोर बढ़ जाता है। शोधकर्ताओं ने पाया कि जब D-Score अधिक होता है, तो यह एक मजबूत संकेत होता है कि रोबोट 'हैलुसिनेट' कर रहा है।
टीम ने इस विचार का परीक्षण तीन अलग-अलग रोबोट दिमागों (जिन्हें Llama-2, Llama-3 और Vicuna कहा जाता है) पर दो अलग-अलग कठिन प्रश्नों के सेट के साथ किया। उन्होंने पाया कि D-Score उन अन्य तरीकों की तुलना में झूठ पकड़ने में बहुत बेहतर था जो केवल यह देखते थे कि रोबोट कितना "हैरान" (surprised) था या उसने उत्तर कितनी बार दोहराया। वास्तव में, कुछ परीक्षणों में, D-Score पिछले सबसे अच्छे तरीके की तुलना में हैलुसिनेशन को पकड़ने में लगभग 10 प्रतिशत अंक बेहतर था।
जो चीज़ इसे इतना रोमांचक बनाती है, वह इसकी सरलता है। D-Score को किसी डेटाबेस की जाँच करने की आवश्यकता नहीं है, इसे एक ही प्रश्न को पाँच बार पूछने की आवश्यकता नहीं है, और इसे मदद के लिए दूसरे रोबोट की आवश्यकता नहीं है। इसे बस एक ही बातचीत के दौरान रोबोट के आंतरिक संकेतों को देखने की आवश्यकता है। शोधकर्ता सुझाव देते हैं कि यह इसलिए काम करता है क्योंकि रोबोट की अपनी आंतरिक "अनिश्चितता" या "संघर्ष" उसकी विचार प्रक्रिया पर एक दृश्य छाप छोड़ देता है।
बेशक, पेपर सावधानी से यह कहता है कि यह हर एक झूठ को पकड़ने वाला कोई जादुई डंडा नहीं है। यदि रोबोट कोई ऐसा तथ्य बना रहा है जिसके बारे में उसकी कोई आंतरिक स्मृति ही नहीं है, तो डांस फ्लोर अराजक नहीं होगा, और D-Score कम ही रहेगा। लेकिन उन झूठों के लिए जिन्हें रोबोट आंतरिक रूप से महसूस करता है, यह "स्पेक्ट्रल" (spectral) संकेत उन्हें रंगे हाथों पकड़ने का एक शक्तिशाली तरीका है, और यह सब रोबोट की अपनी आंतरिक लय को सुनकर संभव होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।