Integrating Local and Global Entropy for Uncertainty Quantification in LLMs
यह शोध पत्र ग्लोबल-लोकल अनसर्टेन्टी (GLU) का प्रस्ताव करता है, जो एक अनसुपरवाइज्ड, सिंगल-पास विधि है जो टोकन-लेवल एंट्रॉपी को हिडन-स्टेट ज्योमेट्रिक एंट्रॉपी के साथ जोड़ती है ताकि विभिन्न विफलता व्यवस्थाओं (failure regimes) को प्रभावी ढंग से पकड़ा जा सके, विशेष रूप से उन 'कॉन्फिडेंट-बट-रॉन्ग' मतिभ्रमों (hallucinations) को जिन्हें केवल स्थानीय संकेत पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Integrating Local and Global Entropy for Uncertainty Quantification in LLMs" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी समस्या: आत्मविश्वासी झूठा (The Confident Liar)
कल्पना कीजिए कि आप एक बहुत ही आत्मविश्वासी और सुवक्ता मित्र से कोई सवाल पूछते हैं। वह तुरंत जवाब देता है, व्याकरण एकदम सही है और आवाज़ भी स्थिर है। लेकिन, वह पूरी तरह से गलत है।
आज के लार्ज लैंग्वेज मॉडल्स (LLMs) के साथ यही सबसे बड़ी समस्या है। वे अक्सर "हैलुसिनेट" (मनगढ़ंत बातें बनाना) करते हैं, जबकि वे 100% निश्चित दिखाई देते हैं। वर्तमान उपकरण इसे पकड़ने की कोशिश करते हैं, लेकिन वे मॉडल द्वारा बोले गए शब्दों (word-by-word) को सुनते हैं। यदि मॉडल अगले शब्द के बारे में अनिश्चित लगता है, तो टूल उसे जोखिम भरा मान लेता है।
खामी: कभी-कभी, मॉडल अपने द्वारा कहे गए हर एक शब्द के बारे में बहुत आश्वस्त होता है, लेकिन वह जो पूरी कहानी सुना रहा होता है, वह एक झूठ होती है। वर्तमान उपकरण इन "आत्मविश्वासी झूठों" को पकड़ने में चूक जाते हैं।
नया समाधान: GLU (Global-Local Uncertainty)
इस पेपर के लेखक एक नया तरीका प्रस्तावित करते हैं जिससे यह जांचा जा सके कि क्या एक AI सच बोल रहा है। वे अपने इस तरीके को GLU कहते हैं।
AI के दिमाग को दो अलग-अलग विभागों वाले एक कारखाने के रूप में सोचें:
- "शब्द चुनने वाला" (Local - स्थानीय): यह विभाग तय करता है कि अगला शब्द कौन सा होगा।
- "कहानी का वास्तुकार" (Global - वैश्विक): यह विभाग बनाई जा रही कहानी के समग्र मानचित्र (map) को थामे रखता है।
लेखकों का तर्क है कि एक झूठे को पकड़ने के लिए, आपको दोनों विभागों की जांच करनी होगी, न कि केवल "शब्द चुनने वाले" की।
1. लोकल चेक (शब्द चुनने वाला - The Word Picker)
- यह कैसे काम करता है: यह प्रत्येक व्यक्तिगत शब्द के लिए मॉडल के आत्मविश्वास को देखता है। यदि मॉडल "बिल्ली" और "कुत्ते" के बीच हिचकिचा रहा है, तो वह स्थानीय रूप से अनिश्चित है।
- उपमा: कल्पना कीजिए कि एक शेफ सूप चख रहा है। यदि उसे यकीन नहीं है कि उसने पर्याप्त नमक डाला है या नहीं, तो वह रुक जाता है। यह एक "लोकल" अनिश्चितता है।
- समस्या: एक आत्मविश्वासी झूठा उस शेफ की तरह है जो सूप चखता है और हर एक सामग्री के लिए कहता है, "बिल्कुल सही!" भले ही पूरा व्यंजन ज़हरीला हो। लोकल चेक इसमें विफल रहता है क्योंकि हर एक शब्द सही दिखता है।
2. ग्लोबल चेक (कहानी का वास्तुकार - The Story Architect)
- यह कैसे काम करता है: यह मॉडल के "हिडन स्टेट्स" (hidden states) को देखता है। ये वे आंतरिक गणितीय मानचित्र हैं जिनका उपयोग मॉडल अवधारणाओं (concepts) को समझने के लिए करता है। लेखक इन मानचित्रों की "ज्यामितीय जटिलता" (geometric complexity) को मापते हैं।
- उपमा: कल्पना कीजिए कि शेफ रसोई में घूम रहा है।
- सुसंगत (सत्य): यदि शेफ एक असली सूप बना रहा है, तो वह फ्रिज से स्टोव और फिर बर्तन तक एक सीधी, सटीक रेखा में चलेगा। उसका रास्ता कुशल और केंद्रित होता है।
- असंगत (हैलुसिनेशन): यदि शेफ एक नकली रेसिपी बना रहा है, तो वह बिना किसी दिशा के भटक सकता है। वह फ्रिज जाएगा, फिर बगीचे में, फिर गैरेज में, और फिर वापस फ्रिज में। वह एक साथ बहुत सारी दिशाओं में घूम रहा है।
- अंतर्दृष्टि (Insight): भले ही शेफ हर कदम पर "बिल्कुल सही!" कहे (Local), यदि वह रसोई में इधर-उधर भटक रहा है (Global), तो कुछ गलत है। पेपर इसे "ज्यामितीय विचलन" (geometric drift) कहता है।
GLU कैसे काम करता है: "मल्टीप्लिकेटिव गेट" (The Multiplicative Gate)
इस पेपर का मुख्य नवाचार यह है कि वे इन दोनों जांचों को कैसे जोड़ते हैं।
- पुराना तरीका (Additive - योगात्मक): कल्पना कीजिए कि एक सुरक्षा गार्ड स्कोर जोड़ता है। "शब्द आत्मविश्वास: 9/10. रसोई में भटकना: 2/10. कुल: 11/20।" यदि शब्द का आत्मविश्वास पर्याप्त है, तो गार्ड व्यक्ति को जाने देता है, भटकने को अनदेखा कर देता है।
- GLU का तरीका (Multiplicative - गुणात्मक): लेखक एक "गेट" का उपयोग करते हैं जो स्कोर को गुणा करता है।
- यदि रसोई में भटकना (Global) अधिक है, तो यह एक वॉल्यूम नॉब की तरह काम करता है जो शब्द के आत्मविश्वास पर अलार्म की आवाज़ को तेज़ कर देता है।
- परिणाम: भले ही मॉडल हर शब्द के बारे में आश्वस्त हो, यदि उसका आंतरिक "रास्ता" भटक रहा है, तो GLU स्कोर बढ़ जाता है, जिससे उत्तर को अविश्वसनीय घोषित कर दिया जाता है।
उन्होंने क्या पाया
शोधकर्ताओं ने तीन अलग-अलग AI मॉडलों और छह अलग-अलग प्रकार के प्रश्नों (जैसे ट्रिविया, गणित और अरबी भाषा के कार्य) पर इसका परीक्षण किया।
- "आत्मविश्वासी लेकिन गलत" को पकड़ना: उन्होंने पाया कि मानक तरीके (केवल लोकल) गलत उत्तरों के एक बड़े हिस्से को पकड़ने में विफल रहे क्योंकि वे उत्तर आत्मविश्वास से भरे लग रहे थे। GLU ने उन्हें पकड़ लिया क्योंकि इसने मॉडल के दिमाग में "भटकते रास्ते" को देखा।
- बाकी सब से बेहतर: GLU ने अन्य सभी "अनसुपरवाइज्ड" तरीकों (वे तरीके जिन्हें पहले डेटा को लेबल करने के लिए इंसानों की आवश्यकता नहीं होती) से बेहतर प्रदर्शन किया। यह गलतियों को पहचानने और AI को गलत उत्तर देने से पहले "रुकने और सोचने" के लिए कहने में बेहतर था।
- कुशल (Efficient): इसके लिए AI को उत्तर को कई बार उत्पन्न करने की आवश्यकता नहीं है या अतिरिक्त कंप्यूटिंग पावर की आवश्यकता नहीं है। यह बस उत्तर को एक बार देखता है, शब्दों और आंतरिक पथ दोनों की जांच करता है।
सारांश
पेपर का दावा है कि AI पर भरोसा करने के लिए, आप केवल उसके शब्दों को नहीं सुन सकते; आपको यह देखना होगा कि वह कैसे सोचता है। शब्द-स्तर के आत्मविश्वास और अवधारणा-स्तर के भटकाव की जांच को मिलाकर, GLU एक सुरक्षा जाल बनाता है जो उस विशिष्ट प्रकार की त्रुटि को पकड़ लेता है जहाँ एक AI आत्मविश्वास के साथ झूठ बोलता है। यह बिना किसी अतिरिक्त प्रशिक्षण डेटा या AI को धीमा किए ऐसा करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।