💻 computer science

Efficient Hallucination Detection for LLMs Using Uncertainty-Aware Attention Heads

यह शोध पत्र RAUQ को प्रस्तुत करता है, जो एक अनसुपरवाइज्ड (unsupervised) और गणनात्मक रूप से कुशल ढांचा है जो विशिष्ट अनसर्टेन्टी-अवेयर (uncertainty-aware) अटेंशन हेड्स और टोकन-लेवल कॉन्फिडेंस का लाभ उठाकर एक सिंगल फॉरवर्ड पास में LLM मतिभ्रम (hallucinations) का पता लगाता है, जो विविध कार्यों और मॉडलों में न्यूनतम ओवरहेड के साथ अत्याधुनिक तरीकों से बेहतर प्रदर्शन करता है।

मूल लेखक: Artem Vazhentsev, Lyudmila Rvanova, Gleb Kuzmin, Ekaterina Fadeeva, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Mrinmaya Sachan, Preslav Nakov, Timothy Baldwin, Artem Shelmanov

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Artem Vazhentsev, Lyudmila Rvanova, Gleb Kuzmin, Ekaterina Fadeeva, Ivan Lazichny, Alexander Panchenko, Maxim Panov, Mrinmaya Sachan, Preslav Nakov, Timothy Baldwin, Artem Shelmanov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, विद्वान रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) है। यह रोबोट कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और भाषाओं का अनुवाद कर सकता है, और इसमें अविश्वसनीय प्रवाह है। हालाँकि, एक आत्मविश्वासी कहानीकार की तरह जो कभी-कभी कहानी को आगे बढ़ाने के लिए मनगढ़ंत बातें बनाता है, यह रोबोट कभी-कभी "हैलुसिनेट" (hallucinate) करता है—यानी यह ऐसी बातें बताता है जो पूरी तरह से गलत होती हैं, भले ही वह बहुत यकीन के साथ बोल रहा हो।

आप जिस शोध पत्र के बारे में पूछ रहे हैं, वह RAUQ (रिकरेंट अटेंशन-बेस्ड अनसर्टेंटी क्वांटिफिकेशन) नामक एक नया टूल पेश करता है ताकि वास्तविक समय (real-time) में इन झूठों को पकड़ा जा सके। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।

समस्या: रोबोट का "आत्मविश्वास का जाल" (Confidence Trap)

रोबोट के झूठ पकड़ने के मौजूदा तरीके या तो:

बहुत धीमे हैं: वे रोबोट को एक ही सवाल पर 50 अलग-अलग बार सोचने के लिए कहते हैं और फिर जवाबों की तुलना करते हैं (जैसे किसी छात्र को एक ही परीक्षा 50 बार देने के लिए कहना ताकि यह देखा जा सके कि उसे हर बार एक जैसा ग्रेड मिलता है या नहीं)। इसमें बहुत समय लगता है।
बहुत महंगे हैं: इनके लिए एक शिक्षक को पहले हजारों उदाहरणों को ग्रेड करना पड़ता है ताकि सिस्टम को यह सिखाया जा सके कि झूठ कैसा दिखता है।
बहुत सरल हैं: वे केवल इस बात को देखते हैं कि रोबोट अपने शब्दों से कितना "हैरान" (surprised) है, जो अक्सर विफल हो जाता है जब रोबोट पूरे आत्मविश्वास के साथ गलत होता है।

खोज: "फोकस" मीटर (The "Focus" Meter)

शोधकर्ताओं ने रोबोट के मस्तिष्क के अंदर (विशेष रूप से इसके अटेंशन मैकेनिज्म या ध्यान तंत्र पर) झाँका। कल्पना कीजिए कि रोबोट शब्द दर शब्द एक वाक्य लिख रहा है। हर बार जब वह एक नया शब्द लिखता है, तो वह अगले शब्द का निर्णय लेने के लिए पिछले शब्दों को देखता है। इस "पीछे देखने" की प्रक्रिया को अटेंशन (attention) कहा जाता है।

शोधकर्ताओं ने एक अजीब पैटर्न की खोज की:

जब रोबंडा सच बोल रहा होता है: तो वह अभी-अभी लिखे गए शब्द पर बहुत बारीकी से और स्थिर ध्यान देता है। यह एक सावधान लेखक की तरह है जो यह सुनिश्चित करने के लिए अपने पिछले वाक्य की जाँच करता है कि नया वाक्य उसमें सटीक रूप से फिट बैठे।
जब रोबोट हैलुसिनेट (भ्रमित) कर रहा होता है: तो अचानक, उसके मस्तिष्क के भीतर कुछ विशिष्ट "सेंसरों" (जिन्हें अटेंशन हेड्स कहा जाता है) के लिए, वह फोकस तेजी से गिर जाता है। ऐसा लगता है जैसे रोबोट अपने पिछले शब्दों को देखना बंद कर देता है और अस्पष्ट विचारों के आधार पर कल्पना करने या अनुमान लगाने लगता है।

उपमा: कल्पना कीजिए कि एक शेफ खाना बना रहा है।

सत्य मोड (Truthful mode): शेफ सूप को चखता है, सामग्री को देखता है, और नमक का एक चुटकी डालता है। वे तत्काल कार्य पर केंद्रित होते हैं।
हैलुसिनेशन मोड (Hallucination mode): शेफ अचानक बिना चखे या देखे बिना ही रैंडम मसाले डालने लगता है। वास्तविक खाना बनाने की प्रक्रिया पर उनका ध्यान गायब हो जाता है।

शोधकर्ताओं ने पाया कि रोबोट के मस्तिष्क में विशिष्ट "सेंसर" एक झूठ पकड़ने वाले यंत्र (lie detector) की तरह काम करते हैं। जब ये सेंसर पिछले शब्द पर ध्यान केंद्रित करना बंद कर देते हैं, तो यह एक बड़ा संकेत (red flag) होता है कि रोबोट कुछ गलत बोलने वाला है।

समाधान: RAUQ (द "प्लग-एंड-प्ले" डिटेक्टर)

लेखकों ने एक सिस्टम बनाया जिसे RAUQ कहा जाता है जो इस खोज का उपयोग करता है। यहाँ बताया गया है कि यह क्या विशेष बनाता है:

यह एक "वन-पास" चमत्कार है: अन्य तरीकों के विपरीत जो रोबोट को कई बार सोचने के लिए मजबूर करते हैं, RAUQ रोबोट को उत्तर लिखते समय केवल एक बार देखता है। यह रोबोट की गति को धीमा नहीं करता है।
यह "प्लग-एंड-प्ले" है: आपको इसे प्रशिक्षित करने या इसे अध्ययन करने के लिए झूठ की पाठ्यपुस्तक देने की आवश्यकता नहीं है। यह स्वचालित रूप से लगभग किसी भी रोबोट मॉडल पर काम करता है जिसे आप एक्सेस कर सकते हैं (जब तक कि आप उसके आंतरिक "फोकस" सेंसर देख सकते हों)।
यह एक "रिकरेंट" जासूस है: यह केवल एक शब्द को अलग से नहीं देखता। यह एक चलता हुआ स्कोर रखता है। यदि रोबोट अपना ध्यान खोने लगता है, तो स्कोर बढ़ जाता है। यदि वह ध्यान वापस पाता है, तो स्कोर कम हो सकता है। यह वाक्य लिखे जाने के दौरान पूरे वाक्य के लिए एक "अनिश्चितता स्कोर" (uncertainty score) बनाता है।

यह कितना अच्छा काम करता है?

टीम ने 9 अलग-अलग रोबोट मॉडलों का उपयोग करके 12 विभिन्न कार्यों (जैसे सामान्य ज्ञान के उत्तर देना, समाचारों का सारांश बनाना और भाषाओं का अनुवाद करना) पर RAUQ का परीक्षण किया।

परिणाम: मौजूदा 15 अन्य तरीकों की तुलना में झूठ पकड़ने में RAUQ सबसे अच्छा था।
लागत: यह रोबोट के उत्तर देने के समय में 1% से भी कम का इजाफा करता है। गति के मामले में यह लगभग मुफ्त है।

मुख्य निष्कर्ष (The Bottom Line)

RAUQ को रोबोट के मस्तिष्क के भीतर बैठे एक रियल-टाइम झूठ पकड़ने वाले यंत्र के रूप में समझें। इसे पहले से तथ्यों को जानने की आवश्यकता नहीं है; यह बस यह जानता है कि रोबोट कब अपना "विचार खो रहा है"। क्योंकि यह बहुत तेज़ है और इसे अतिरिक्त प्रशिक्षण की आवश्यकता नहीं है, यह इन शक्तिशाली AI मॉडलों का उपयोग करने वाले किसी भी व्यक्ति के लिए एक तैयार उपकरण है ताकि यह सुनिश्चित किया जा सके कि वे मनगढ़ंत बातें नहीं बना रहे हैं।

यह शोध पत्र क्या दावा नहीं करता है:

यह रोबोट के झूठ को ठीक करने का दावा नहीं करता है (यह केवल उन्हें पहचानता है)।
यह दावा नहीं करता है कि यह "ब्लैक बॉक्स" रोबोट (जैसे कि वे जिनसे आप वेबसाइट के माध्यम से बात करते हैं जहाँ आप आंतरिक सेंसर नहीं देख सकते) पर बिना किसी विशेष "प्रॉक्सि" (proxy) रोबोट के काम करेगा।
यह दावा नहीं करता है कि यह हर एक प्रकार की त्रुटि के लिए एकदम सटीक है, लेकिन यह तथ्यात्मक हैलुसिनेशन के लिए अत्यधिक प्रभावी है।

तकनीकी सारांश: अनिश्चितता-जागरूक अटेंशन हेड्स का उपयोग करके LLMs के लिए कुशल मतिभ्रम (Hallucination) डिटेक्शन

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अपनी प्रवाहपूर्णता (fluency) के बावजूद "मतिभ्रम" (hallucinations), या तथ्यात्मक अशुद्धियों के प्रति संवेदनशील होते हैं। जबकि अनिश्चितता परिमाणीकरण (Uncertainty Quantification - UQ) मॉडल के आंतरिक आत्मविश्वास का लाभ उठाकर इसे कम करने का एक मार्ग प्रदान करता है, मौजूदा विधियाँ महत्वपूर्ण समझौतों (trade-offs) का सामना करती हैं। सूचना-आधारित स्कोर (जैसे, टोकन एंट्रॉपी) गणनात्मक रूप से कुशल हैं लेकिन अक्सर लंबे-फॉर्म जनरेशन पर खराब प्रदर्शन करते हैं। सैंपलिंग-आधारित विधियाँ उच्च सटीकता प्रदान करती हैं लेकिन बार-बार इन्फरेंस पास के कारण अत्यधिक कम्प्यूटेशनल ओवरहेड उत्पन्न करती हैं। सुपर्वाइज्ड (Supervised) दृष्टिकोण सटीक स्कोर देते हैं लेकिन उनके लिए महंगी, कार्य-विशिष्ट एनोटेशन की आवश्यकता होती है और वे विभिन्न डोमेन या आउट-ऑफ-डिस्ट्रीब्यूशन डेटा पर सामान्यीकरण करने में संघर्ष करते हैं। फलस्वरूप, व्हाइट-बॉक्स LLMs में रीयल-टाइम मतिभ्रम डिटेक्शन के लिए एक बहुमुखी, कुशल और अनसुपर्वाइज्ड (unsupervised) UQ विधि का अभाव है।

कार्यप्रणाली: RAUQ

लेखक RAUQ (Recurrent Attention-based Uncertainty Quantification) का प्रस्ताव करते हैं, जो एक अनसुपर्वाइज्ड फ्रेमवर्क है जो ट्रांसफार्मर अटेंशन मैकेनिज्म में विशिष्ट पैटर्न का विश्लेषण करके मतिभ्रम की पहचान करता है। यह विधि एक सिंगल फॉरवर्ड पास में संचालित होती है, जिसमें किसी अतिरिक्त सैंपलिंग या सहायक मॉडल की आवश्यकता नहीं होती है।

मुख्य अवलोकन

अटेंशन मैप्स के यांत्रिक विश्लेषण (विशेष रूप से Llama-3.1 8B जैसे मॉडल्स में) के माध्यम से, लेखकों ने देखा कि जब एक LLM एक तथ्यात्मक रूप से गलत टोकन उत्पन्न करता है, तो विशिष्ट "अनिश्चितता-जागरूक" (uncertainty-aware) अटेंशन हेड्स तुरंत पिछले टोकन की ओर अटेंशन वेट में व्यवस्थित गिरावट प्रदर्शित करते हैं। इसके विपरीत, सही टोकनों के लिए, ये हेड्स पिछले टोकन के प्रति उच्च अटेंशन बनाए रखते हैं, जो स्थानीय सिंटैक्टिक और सिमेंटिक निरंतरता को दर्शाता है। यह सिग्नल हेड्स के एक छोटे उपसमूह तक ही सीमित है; सभी हेड्स के औसत को लेने से यह पैटर्न धुंधला हो जाता है।

एल्गोरिद्मिक घटक

RAUQ तीन प्रमुख घटकों को एकीकृत करता है:

अनिश्चितता-जागरूक हेड चयन (Uncertainty-Aware Head Selection):
प्रत्येक लेयर $l$ के लिए, विधि स्वचालित रूप से उस एकल अटेंशन हेड $h_l$ का चयन करती है जो उत्पन्न अनुक्रम (sequence) में पिछले टोकन के औसत अटेंशन वेट को अधिकतम करता है:
$h_l(y) = \arg \max_{h=1...H} \frac{1}{N-1} \sum_{i=2}^{N} a_{i,i-1}^{l,h}$
यह चयन बिना किसी सुपरविजन के गतिशील रूप से किया जाता है।
पुनरावर्ती विश्वास प्रसार (Recurrent Confidence Propagation):
ऑटोरेग्रेसिव जनरेशन में सशर्त निर्भरताओं (conditional dependencies) को ध्यान में रखने के लिए, RAUQ प्रत्येक लेयर $l$ में प्रत्येक टोकन $i$ के लिए एक टोकन-स्तरीय कॉन्फिडेंस स्कोर $c_l(y_i)$ की गणना करता है। यह स्कोर टोकन की कंडीशनल प्रोबेबिलिटी $s_i$ (या इंस्ट्रक्शन-ट्यून्ड मॉडल्स के लिए एंट्रॉपी-आधारित सिग्नल) को पिछले टोकन के विश्वास के साथ पुनरावर्ती रूप से जोड़ता है, जिसे चयनित अटेंशन हेड द्वारा भारित (weighted) किया जाता है:
$c_l(y_i) = \begin{cases} s_1 & \text{यदि } i=1 \\ \alpha s_i + (1-\alpha) a_{i,i-1}^{l, h_l} c_l(y_{i-1}) & \text{यदि } i > 1 \end{cases}$
यहाँ, $\alpha$ एक हाइपरपैरामीटर है जो तत्काल टोकन प्रोबेबिलिटी और अटेंशन द्वारा मॉड्युलेट किए गए प्रोपेगेटेड कॉन्फिडेंस के योगदान के बीच संतुलन बनाता है।
एकत्रीकरण (Aggregation):
टोकन-स्तरीय स्कोर को लॉग के माध्य (परप्लेक्सिटी के समान) का उपयोग करके लेयर-वार अनिश्चितता स्कोर $u_l(y)$ में एकत्रित किया जाता है:
$u_l(y) = -\frac{1}{N} \sum_{i=1}^{N} \log c_l(y_i)$
अंतिम सीक्वेंस-लेवल अनिश्चितता स्कोर $u(y)$ को मध्यवर्ती लेयर्स के एक उपसमूह के अधिकतम स्कोर को लेकर प्राप्त किया जाता है, जो अनिश्चितता के ऊपरी-सीमा (upper-bound) अनुमान के रूप में कार्य करता है।

मुख्य योगदान

यांत्रिक अंतर्दृष्टि (Mechanistic Insight): यह पेपर "अनिश्चितता-जागरूक" अटेंशन हेड्स की पहचान और विश्लेषण करता है, यह प्रदर्शित करते हुए कि पिछले टोकन की ओर अटेंशन वेट में गिरावट विशिष्ट हेड्स में मतिभ्रम की घटनाओं के साथ मजबूती से सह-संबंधित है।
RAUQ फ्रेमवर्क: एक अनसुपर्वाइज्ड, प्लग-एंड-प्ले UQ विधि का परिचय, जो रॉ अटेंशन वेट और टोकन प्रोबेबिलिटी को विश्वसनीय अनिश्चितता स्कोर में बदल देता है। इसके लिए न तो कार्य-विशिष्ट लेबल की आवश्यकता है, न ही विशिष्ट मॉडल्स के लिए हाइपरपैरामीटर ट्यूनिंग की, और यह 1% से भी कम कम्प्यूटेशनल ओवरहेड जोड़ता है।
व्यापक मूल्यांकन: 12 डेटासेट्स (QA, समराइजेशन और ट्रांसलेशन को कवर करते हुए) और 9 विभिन्न LLMs (विभिन्न आकारों के Llama, Qwen, Gemma, और Falcon वेरिएंट सहित) पर व्यापक प्रयोग।

प्रयोगात्मक परिणाम

RAUQ का मूल्यांकन 15 विविध बेसलाइन्स के विरुद्ध किया गया, जिसमें सैंपलिंग-आधारित विधियाँ (जैसे, सेमेंटिक एंट्रॉपी), अटेंशन-आधारित विधियाँ (जैसे, फोकस, अटेंशन स्कोर), और सुपर्वाइज्ड रिग्रेसर्स शामिल थे। प्राथमिक मीट्रिक प्रेडिक्शन रिजेक्शन रेशियो (PRR) था, जो सबसे अनिश्चित भविष्यवाणियों को अस्वीकार करने के बाद रिटेन किए गए रिस्पॉन्स की औसत गुणवत्ता को मापता है।

प्रदर्शन: RAUQ ने सभी कार्यों और मॉडल्स में स्टेट-ऑफ-द-आर्ट बेसलाइन्स को लगातार पछाड़ दिया। उदाहरण के लिए, Gemma-2 9B के साथ ट्रांसलेशन कार्यों में, इसने दूसरे सर्वश्रेष्ठ मेथड से काफी अंतर (0.051 PRR) से बेहतर प्रदर्शन किया। इसने सभी कार्यों और मॉडल्स में सर्वश्रेष्ठ या दूसरा सर्वश्रेष्ठ औसत प्रदर्शन हासिल किया।
सामान्यीकरण (Generalization): विधि ने विभिन्न मॉडल आकारों (360M से 70B पैरामीटर्स तक) और आर्किटेक्चर (Mixture-of-Experts मॉडल्स सहित) में मजबूत मजबूती प्रदर्शित की। इसने उच्च प्रदर्शन बनाए रखा जहाँ सुपर्वाइज्ड विधियाँ विफल रहीं।
दक्षता: सैंपलिंग-आधारित विधियों के विपरीत, जो 400–800% कम्प्यूटेशनल ओवरहेड उत्पन्न करती हैं, RAUQ ने इन्फरेंस टाइम में केवल 0.3% ओवरहेड जोड़ा, जो इसे रीयल-टाइम अनुप्रयोगों के लिए उपयुक्त बनाता है।
एब्लेशन अध्ययन (Ablation Studies): प्रयोगों ने पुष्टि की कि सभी हेड्स का औसत लेने के बजाय विशिष्ट हेड्स का चयन करना महत्वपूर्ण है। इसके अलावा, कॉन्फिडेंस के पुनरावर्ती प्रसार (recurrent propagation) को आवश्यक पाया गया, क्योंकि इसे हटाने या अटेंशन घटक को हटाने से प्रदर्शन काफी गिर गया।

महत्व और दावे

लेखक RAUQ को व्हाइट-बॉक्स LLMs में रीयल-टाइम मतिभ्रम डिटेक्शन के लिए एक लाइटवेट, प्लग-एंड-प्ले समाधान के रूप में प्रस्तुत करते हैं। इसका महत्व बाहरी ज्ञान आधारों या महंगे सैंपलिंग पर निर्भर किए बिना दक्षता और डिटेक्शन सटीकता के बीच के अंतर को पाटने में निहित है।

पेपर दावा करता है कि RAUQ मौजूदा LLM-as-a-service सिस्टम में सीधे मजबूत UQ तंत्रों की तैनाती को सक्षम बनाता है। हालांकि लेखक स्वीकार करते हैं कि RAUQ बाहरी सत्यापन और मानवीय निगरानी (विशेष रूप से सुरक्षा-महत्वपूर्ण डोमेन में) के पूरक के रूप में है, न कि उसके विकल्प के रूप में, फिर भी वे दावा करते हैं कि यह अधिक विश्वसनीय और जिम्मेदार LLM उपयोग की दिशा में एक सार्थक कदम है। बिना किसी सुपरविजन के विभिन्न कार्यों और मॉडल आकारों में सामान्य करने की इसकी क्षमता वर्तमान UQ अनुसंधान की एक महत्वपूर्ण सीमा को संबोधित करती है।