Entropy Distribution as a Fingerprint for Hallucinations in Generative Models
यह शोध पत्र कैलिब्रेटेड एंट्रॉपी स्कोर (CES) को प्रस्तुत करता है, जो एक हल्का, सिंगल-पास ब्लैक-बॉक्स तरीका है जो औपचारिक त्रुटि गारंटी और कम्प्यूटेशनल रूप से महंगे मल्टी-सैंपल दृष्टिकोणों के तुलनीय प्रदर्शन के साथ LLM मतिभ्रम (hallucinations) का पता लगाने के लिए टोकन-स्तरीय एंट्रॉपी वितरणों का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कहानीकार को सुन रहे हैं। कभी-कभी, वे एक ऐसी कहानी सुनाते हैं जो पूरी तरह से सच होती है और स्वाभाविक रूप से बहती है। दूसरी ओर, कभी-कभी वे "भ्रमित" (hallucinating) होने लगते हैं—तथ्य गढ़ने लगते हैं, उलझ जाते हैं, या इस तरह से बड़बड़ाने लगते हैं जिसका कोई अर्थ नहीं निकलता।
लंबे समय तक, इन झूठों को पकड़ने की कोशिश करने वाले कंप्यूटरों को दो में से एक काम करना पड़ता था: या तो उन्हें कहानीकार को कहानी पाँच या छह बार दोहराने के लिए कहना पड़ता था ताकि विवरण मेल खा सकें (जो धीमा और महंगा है), या फिर उनके दिमाग के अंदर झाँककर उनके गुप्त नोट्स देखना पड़ता था (जो बंद सिस्टम के साथ अक्सर असंभव होता है)।
यह पेपर झूठ पकड़ने का एक नया, चतुर तरीका पेश करता है जिसके लिए केवल एक बार कहानी सुनने की आवश्यकता होती है। इसे कैलिब्रेटेड एंट्रॉपी स्कोर (Calibrated Entropy Score - CES) कहा जाता है।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:
1. "कॉन्फिडेंस मीटर" (एंट्रॉपी)
हर बार जब एक लार्ज लैंग्वेज मॉडल (LLM) एक शब्द लिखता है, तो उसके पास अगले शब्द के लिए एक "कॉन्फिडेंस मीटर" (विश्वास का पैमाना) होता है।
- उच्च आत्मविश्वास (High Confidence): मॉडल जानता है कि आगे क्या कहना है। यह एक ऐसे शेफ की तरह है जिसे रेसिपी पूरी तरह से पता है। इसकी "एंट्रॉपी" (अनिश्चितता का माप) कम है।
- कम आत्मविश्वास (Low Confidence): मॉडल केवल अनुमान लगा रहा है। यह एक ऐसे शेफ की तरह है जो खाली फ्रिज को घूर रहा है, अनिश्चित है कि क्या पकाना है। इसकी "एंट्रॉपी" उच्च है।
2. पुराना तरीका बनाम नया तरीका
पुराना तरीका (परप्लेक्सिटी - Perplexity):
पिछले तरीकों ने पूरी कहानी के औसत आत्मविश्वास को देखा।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। पुराना तरीका केवल उसके औसत ग्रेड को देखता है। यदि औसत 70% है, तो वह पास हो सकता है। लेकिन यह सच्चाई को छिपा देता है: क्या छात्र ने हर प्रश्न का उत्तर 70% के स्कोर के साथ दिया? या उसने 10 प्रश्न एकदम सही (100%) किए और 10 प्रश्न पूरी तरह गलत (0%) किए? औसत समान है, लेकिन दूसरा छात्र बहुत अधिक अस्थिर है।
नया तरीका (CES):
लेखकों ने महसूस किया कि पूरे कहानी के औसत से अधिक महत्वपूर्ण उसके कॉन्फिडेंस मीटर का आकार (shape) है।
- उपमा: जब एक मॉडल सच बोल रहा होता है, तो उसका कॉन्फिडेंस मीटर स्थिर और अनुमानित होता है। जब वह भ्रमित (hallucinate) होने लगता है, तो मीटर अनियंत्रित हो जाता है। यह कुछ समय के लिए शांत रह सकता है, फिर अचानक पूरी तरह से भ्रम में उछल सकता है, और फिर से उछल सकता है।
- पेपर का दावा है कि यह "अजीब पैटर्न" एक झूठ का फिंगरप्रिंट है। भले ही औसत आत्मविश्वास सामान्य दिखे, लेकिन उछाल (अधिकतम अनिश्चितता) और वक्र (curve) का समग्र आकार उसे पकड़ लेता है।
3. CES कैसे काम करता है (द "फिंगरप्रिंट" चेक)
यह विधि दो चरणों में काम करती है:
- "सत्य" पैटर्न को सीखना: सबसे पहले, सिस्टम उन कई कहानियों को सुनता है जो ज्ञात रूप से सत्य हैं। यह एक "संदर्भ मानचित्र" (सांख्यिकीय वक्र) बनाता है कि एक सत्य कहानी का कॉन्फिडेंस मीटर कैसा दिखता है। यह नोट करता है: "ठीक है, सच्ची कहानियों में यहाँ छोटे उभार होते हैं, लेकिन यहाँ बड़े उछाल शायद ही कभी होते हैं।"
- एक-बार वाला परीक्षण: जब एक नई कहानी आती है, तो सिस्टम उसे केवल एक बार सुनता है। यह दूसरी राय नहीं मांगता। यह कहानी के कॉन्फिडेंस मीटर की "सत्य मानचित्र" (Truth Map) के साथ जाँच करता है।
- यदि कहानी में कोई अजीब उछाल या ऐसा आकार है जो मानचित्र में फिट नहीं बैठता, तो सिस्टम इसे फ्लैग करता है: "यह एक भ्रम (hallucination) जैसा लग रहा है!"
4. यह एक बड़ी बात क्यों है
- गति: इसे टेक्स्ट के केवल एक पास (one pass) की आवश्यकता होती है। यह एक झूठ पकड़ने के लिए किसी को पाँच बार कहानी दोहराने के बजाय, उन्हें एक बार सुनकर पकड़ने जैसा है।
- ब्लैक बॉक्स के अनुकूल: आपको मॉडल के आंतरिक कोड या छिपे हुए विचारों को देखने की आवश्यकता नहीं है। आपको केवल उनके "लॉगिट्स" (raw confidence numbers जो मॉडल शब्द चुनने से पहले आउटपुट करता है) की आवश्यकता है, जो अधिकांश API प्रदान करते हैं।
- सांख्यिकीय प्रमाण: लेखकों ने केवल अनुमान नहीं लगाया कि यह काम करता है। उन्होंने गणित का उपयोग करके यह सिद्ध किया कि जैसे-जैसे कहानी लंबी होती है, झूठ छूटने की संभावना लगभग शून्य हो जाती है, और एक सच्ची कहानी पर गलत आरोप लगाने की संभावना भी लगभग शून्य हो जाती है।
सारांश
CES को एक ऐसे झूठ पकड़ने वाले यंत्र के रूप में समझें जिसे पॉलीग्राफ मशीन या दूसरे साक्षात्कार की आवश्यकता नहीं है। यह केवल टेक्स्ट में अनिश्चितता की लय (rhythm of uncertainty) को सुनता है। यदि लय स्थिर है, तो यह संभवतः सत्य है। यदि लय अनियमित और बेतरतीब उछालों वाली है (भले ही औसत ठीक दिखे), तो यह संभवतः एक भ्रम (hallucination) है।
पेपर ने 10 अलग-अलग AI मॉडलों और 8 अलग-अलग प्रकार के प्रश्नों (गणित से लेकर सामान्य ज्ञान तक) पर इसका परीक्षण किया और पाया कि यह "वन-पास" विधि महंगे, मल्टी-पास तरीकों के समान ही अच्छी तरह से झूठ पकड़ती है, लेकिन बहुत तेज़ और सस्ती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।