💬 NLP

Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection

यह शोध पत्र एक बजट-अनुकूल, दो-चरणीय मतिभ्रम (hallucination) पहचान एल्गोरिदम का प्रस्ताव करता है जो उच्च पहचान प्रदर्शन बनाए रखते हुए कम्प्यूटेशनल लागत को महत्वपूर्ण रूप से कम करने के लिए सेल्फ-कंसिस्टेंसी (self-consistency) को क्रॉस-मॉडल कंसिस्टेंसी (cross-model consistency) जांचों के साथ गतिशील रूप से संयोजित करता है, जिसे अनुभवजन्य परिणामों और एक ज्यामितीय सैद्धांतिक व्याख्या दोनों द्वारा समर्थित किया गया है।

मूल लेखक: Yihao Xue, Kristjan Greenewald, Youssef Mroueh, Baharan Mirzasoleiman

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yihao Xue, Kristjan Greenewald, Youssef Mroueh, Baharan Mirzasoleiman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection" का सरल, रोज़मर्रा की भाषा और रचनात्मक उपमाओं के साथ हिंदी अनुवाद दिया गया है।

समस्या: आत्मविश्वासी झूठा (The Confident Liar)

कल्पना कीजिए कि आप एक बहुत ही स्पष्ट बोलने वाले, विद्वान लाइब्रेरियन (AI) से तथ्य पूछ रहे हैं। कभी-कभी, वह लाइब्रेरियन 100% सही होता है। लेकिन अन्य समय में, वह आत्मविश्वास के साथ एक ऐसी कहानी बना देता है जो सुनने में तो एकदम सटीक लगती है, लेकिन पूरी तरह से गलत होती है। इसे 'हैलुसिनेशन' (Hallucination) कहा जाता है।

वास्तविक दुनिया में, हम अक्सर यह नहीं देख पाते कि लाइब्रेरियन कैसे सोच रहा है; हमें केवल उनके द्वारा लिखा गया अंतिम उत्तर ही दिखाई देता है। यही "ब्लैक बॉक्स" (Black Box) की समस्या है। हम उनके तर्क की जाँच करने के लिए उनके दिमाग के अंदर झाँक नहीं सकते; हमें केवल आउटपुट प्राप्त होता है।

पुराना तरीका: एक ही लाइब्रेरियन से दो बार पूछना

पहले, शोधकर्ता 'सेल्फ-कंसिस्टेंसी' (Self-Consistency) नामक एक तकनीक का उपयोग करके इन झूठों को पकड़ने की कोशिश करते थे।

उपमा: कल्पना कीजिए कि आप एक ही लाइब्रेरियन से एक ही सवाल पाँच बार पूछते हैं, लेकिन आप उन्हें हर बार थोड़ा अधिक "रैंडम" या "रचनात्मक" होने के लिए कहते हैं (जैसे कि उन्हें अलग-अलग आवाज़ में कहानी सुनाने के लिए कहना)।
तर्क: यदि लाइब्रेरियन उत्तर जानता है, तो पाँचों कहानियाँ बहुत समान होंगी (जैसे एक सुखी परिवार जहाँ सभी सदस्य एक जैसे होते हैं)। यदि लाइब्रेरियन मनगढ़ंत बातें बना रहा है, तो पाँचों कहानियाँ एक-दूसरे से बिल्कुल अलग और विरोधाभासी होंगी (जैसे दुखी परिवार, जहाँ हर कोई अपने तरीके से दुखी है)।
निष्कर्ष: लेखकों ने इसका परीक्षण किया और पाया कि हम इस तरीके से लगभग सारा लाभ उठा चुके हैं। एक ही लाइब्रेरियन से पाँच बार पूछना झूठ पकड़ने के लिए लगभग उतना ही अच्छा है जितना कि और अधिक प्रयास करना। हम एक ऐसे "सीलिंग" (Ceiling) पर पहुँच गए हैं जहाँ एक ही चीज़ को बार-बार करने से अब ज़्यादा मदद नहीं मिलेगी।

नया विचार: दूसरा लाइब्रेरियन लाएँ

उस सीलिंग को तोड़ने के लिए, लेखक एक 'वेरिफायर' (Verifier - सत्यापनकर्ता) यानी एक दूसरे लाइब्रेरियन को लाने का सुझाव देते हैं।

उपमा: अब, आपके पास एक मुख्य लाइब्रेरियन (Target) है और एक दूसरा लाइब्रेरियन (Verifier) है। आप दोनों से एक ही सवाल पूछते हैं।
तर्क: यदि दोनों लाइब्रेरियन एक ही कहानी बताते हैं, तो वह संभवतः सच है। यदि वे पूरी तरह से अलग कहानियाँ बताते हैं, तो कम से कम एक झूठ बोल रहा है।
आश्चर्य: भले ही दूसरा लाइब्रेरियन पहले वाले की तुलना में कमज़ोर या कम बुद्धिमान हो, फिर भी दूसरा मत (Opinion) लेने से पहले वाले को खुद से दोहराने की तुलना में अधिक झूठ पकड़ने में मदद मिलती है।

स्मार्ट समाधान: "दो-चरणीय" बजट (The "Two-Stage" Budget)

यहाँ एक पेच है: दूसरे लाइब्रेरियन से पूछने में पैसा और समय लगता है। यदि आपके पास 1,000 प्रश्न हैं, तो हर प्रश्न के लिए दो लाइब्रेरियन को बुलाने से आपका बिल दोगुना हो जाएगा। लेखक एक ऐसा तरीका चाहते थे जिससे बिना दोगुना खर्च किए इसके लाभ मिल सकें।

उन्होंने एक दो-चरणीय पहचान प्रणाली (Two-Stage Detection System) बनाई (एक सुरक्षा चेकपॉइंट की तरह):

चरण 1 (त्वरित स्कैन): आप मुख्य लाइब्रेरियन से कहानी को पाँच बार दोहराने के लिए कहते हैं (Self-Consistency)।
- यदि कहानियाँ पूरी तरह मेल खाती हैं: तो आप मान लेते हैं कि यह सच है। रुक जाएँ। दूसरे लाइब्रेरियन को बुलाने की ज़रूरत नहीं है।
- यदि कहानियाँ पूरी तरह अस्त-व्यस्त हैं: तो आप मान लेते हैं कि यह झूठ है। रुक जाएँ। दूसरे लाइब्रेरियन को बुलाने की ज़रूरत नहीं है।
- यदि कहानियाँ "ठीक-ठाक" हैं (कुछ हद तक समान हैं, लेकिन पूरी तरह नहीं): यह अनिश्चितता का क्षेत्र (Uncertainty Zone) है। आप अभी तक नहीं जानते कि यह सच है या झूठ।
चरण 2 (गहन जाँच): आप दूसरे लाइब्रेरियन को केवल उन "ठीक-ठाक" मामलों के लिए बुलाते हैं जो अनिश्चितता के क्षेत्र में आते हैं।
- आप मुख्य लाइब्रेरियन की कहानी की तुलना दूसरे लाइब्रेरियन की कहानी से करते हैं।
- यदि वे सहमत हैं, तो आप इसे सत्य के रूप में चिह्नित करते हैं। यदि वे असहमत हैं, तो इसे असत्य के रूप में चिह्नित करते हैं।

परिणाम: उच्च प्रदर्शन, कम लागत

यह शोध पत्र दिखाता है कि यह "दो-चरणीय" दृष्टिकोण एक विजेता है:

यह सस्ता है: आप केवल उन प्रश्नों के लिए महंगे दूसरे लाइब्रेरियन को बुलाते हैं जिनके बारे में आप अनिश्चित हैं।
यह स्मार्ट है: जहाँ भी अतिरिक्त प्रयास की आवश्यकता थी, केवल वहीं ध्यान केंद्रित करके, उन्होंने लगभग उतनी ही उच्च सटीकता प्राप्त की जितनी कि हर प्रश्न की दो लाइब्रेरियनों से जाँच करने पर मिलती, लेकिन 28% तक कम कम्प्यूटेशनल लागत के साथ।
ज्यामिति (Geometry): लेखकों ने एक गणितीय "नक्शे" (Geometric interpretation) का भी उपयोग किया जिससे यह पता चलता है कि यह तरीका एक फ़िल्टर की तरह काम करता है: यह स्पष्ट सत्यों और झूठों को आसानी से पकड़ लेता है, और केवल बीच के कठिन मामलों के लिए "भारी मशीनरी" का उपयोग करता है।

सारांश

यह शोध पत्र तर्क देता है कि एक ही AI को खुद को दोहराने के लिए कहकर हम इससे बेहतर नहीं हो सकते। बेहतर होने के लिए, हमें काम की जाँच करने के लिए एक दूसरे AI की आवश्यकता है। हालाँकि, पैसा बचाने के लिए, हमें हर चीज़ के लिए दूसरे AI को नहीं पूछना चाहिए। इसके बजाय, हमें केवल तभी दूसरे AI को पूछना चाहिए जब पहला AI थोड़ा अनिश्चित लगे। यह सटीकता को बहुत ऊँचा रखते हुए समय और पैसा बचाता है।

तकनीकी सारांश: अनिश्चितता के समय सत्यापन करें: ब्लैक बॉक्स मतिभ्रम (Hallucination) डिटेक्शन में सेल्फ-कंसिस्टेंसी से परे

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर मतिभ्रम (hallucinations)—जो कि विश्वसनीय लगते हैं लेकिन तथ्यात्मक रूप से गलत होते हैं—उत्पन्न करते हैं, जो संवेदनशील अनुप्रयोगों में उनकी विश्वसनीयता को कम करता है। ब्लैक-बॉक्स सेटिंग्स (जहाँ केवल मॉडल आउटपुट ही सुलभ होते हैं, आंतरिक अवस्थाएँ या लॉजिट्स नहीं) में इन मतिभ्रमों का पता लगाना एक महत्वपूर्ण चुनौती है। मौजूदा दृष्टिकोण मुख्य रूप से सेल्फ-कंसिस्टेंसी (self-consistency) पर निर्भर करते हैं: यह अंतर्ज्ञान कि एक सही उत्तर उत्पन्न करने वाला मॉडल स्टोकेस्टिक रूप से सैंपल किए जाने पर परस्पर निहित (mutually entailing) प्रतिक्रियाएं उत्पन्न करेगा, जबकि मतिभ्रम के मामले में असंगत आउटपुट प्राप्त होते हैं। हालांकि, यह स्पष्ट नहीं है कि क्या सेल्फ-कंसिस्टेंसी विधियाँ ब्लैक-बॉक्स परिदृश्यों में उपलब्ध सीमित जानकारी के कारण अपने प्रदर्शन की ऊपरी सीमा (performance ceiling) तक पहुँच चुकी हैं, और बिना अत्यधिक कम्प्यूटेशनल लागत के डिटेक्शन को कैसे सुधारा जाए।

कार्यप्रणाली

1. सेल्फ-कंसिस्टेंसी सीलिंग का विश्लेषण

लेखकों ने पहले मौजूदा सेल्फ-कंसिस्टेंसी विधियों (जैसे, सिमेंटिक एंट्रॉपी, मीन पेयरवाइज डिस्टेंस, आइजनवैल्यू-आधारित मेट्रिक्स) को एक सेल्फ-एंटेलमेंट मैट्रिक्स $P^{self}$ पर लागू किए गए फलन $f$ के रूप में औपचारिक रूप दिया है। इस प्रतिमान (paradigm) के सैद्धांतिक प्रदर्शन की सीमा निर्धारित करने के लिए, वे $P^{self}$ को ग्राउंड-ट्रुथ मतिभ्रम लेबल से मैप करने वाले इष्टतम फलन $f$ का अनुमान लगाने के लिए ग्राफ कन्वोल्यूशनल नेटवर्क्स (GCNs) को प्रशिक्षित करते हैं।

निष्कर्ष: कई LLMs (Llama-2, Llama-3, Mixtral) और डेटासेट्स (SQuAD, TriviaQA) पर अनुभवजन्य परिणाम दिखाते हैं कि मौजूदा विधियाँ पहले से ही इस सुपरवाइज्ड ऑरेकल (supervised oracle) के लगभग समान प्रदर्शन करती हैं। यह सुझाव देता है कि केवल सेल्फ-कंसिस्टेंसी प्रतिमान के भीतर आगे की प्रगति सीमित है।

2. क्रॉस-मॉडल कंसिस्टेंसी का परिचय

सेल्फ-कंसिस्टेंसी सीलिंग से आगे बढ़ने के लिए, पेपर एक वेरिफायर मॉडल ( $M_v$ ) को शामिल करने का प्रस्ताव करता है जो टारगेट मॉडल ( $M_t$ ) और वेरिफायर के बीच कंसिस्टेंसी की जाँच करता है।

तंत्र: $M_t$ और $M_v$ के नमूनों की तुलना करके एक क्रॉस-एंटेलमेंट मैट्रिक्स $P^{cross}$ का निर्माण किया जाता है।
सैद्धांतिक अंतर्दृष्टि: भले ही वेरिफायर टारगेट मॉडल से कमजोर हो, दोनों के बीच सहमति या असहमति ऐसी जानकारी प्रदान करती है जिसे केवल सेल्फ-कंसिस्टेंसी कैप्चर नहीं कर सकती।
रैखिक संयोजन (Linear Combination): लेखक यह प्रदर्शित करते हैं कि सेल्फ-कंसिस्टेंसी और क्रॉस-कंसिस्टेंसी मेट्रिक्स का एक सरल भारित औसत, $(1-\lambda)MPD(P^{self}) + \lambda MPD(P^{cross})$ , GCN ऑरेकल से प्राप्त सैद्धांतिक सीलिंग के बहुत करीब प्रदर्शन प्राप्त कर सकता है।

3. बजट-जागरूक दो-चरणीय डिटेक्शन एल्गोरिदम

यह पहचानते हुए कि प्रत्येक प्रश्न के लिए वेरिफायर को क्वेरी करना महत्वपूर्ण कम्प्यूटेशनल ओवरहेड (विशेष रूप से यदि वेरिफायर एक बड़ा मॉडल है) पेश करता है, लेखक एक दो-चरणीय अनुकूली एल्गोरिदम (two-stage adaptive algorithm) का प्रस्ताव करते हैं:

चरण 1 (सेल्फ-कंसिस्टेंसी): सेल्फ-कंसिस्टेंसी स्कोर ( $s_{self}$ $s_{se l f}$ ) की गणना करें।
- यदि $s_{self}$ निचले थ्रेशोल्ड $t_1$ से नीचे है, तो इसे No Hallucination के रूप में वर्गीकृत करें।
- यदि $s_{self}$ ऊपरी थ्रेशोल्ड $t^*$ से ऊपर है, तो इसे Hallucination के रूप में वर्गीकृत करें।
- यदि $s_{self}$ मध्यवर्ती "अनिश्चितता क्षेत्र" ( $t_1 < s_{self} < t^*$ ) में आता है, तो चरण 2 पर जाएँ।
चरण 2 (क्रॉस-कंसिस्टेंसी): संदिग्ध उपसमूह के लिए, वेरिफायर से प्रतिक्रियाओं को सैंपल करें, क्रॉस-कंसिस्टेंसी स्कोर ( $s_{cross}$ ) की गणना करें, और अंतिम वर्गीकरण के लिए थ्रेशोल्ड $t_2$ लागू करें।

ज्यामितीय व्याख्या: लेखक इस प्रक्रिया को कर्नेल मीन एम्बेडिंग (Kernel Mean Embeddings) के स्थान में व्याख्यायित करते हैं। सेल्फ-कंसिस्टेंसी टारगेट मॉडल के मीन एम्बेडिंग के नॉर्म ( $\|\mu_t\|$ ) के अनुरूप है, जबकि क्रॉस-कंसिस्टेंसी टारगेट और वेरिफायर एम्बेडिंग्स के डॉट प्रोडक्ट ( $\langle \mu_t, \mu_v \rangle$ ) के अनुरूप है। दो-चरणीय प्रक्रिया प्रभावी रूप से $\mu_t$ के नॉर्म के आधार पर नमूनों को फ़िल्टर करती है और अनिश्चित क्षेत्र के लिए एक सेपरेटिंग हाइपरप्लेन (separating hyperplane) को परिभाषित करने के लिए वेरिफायर का उपयोग करती है।

थ्रेशोल्ड चयन: थ्रेशोल्ड $t_1$ और $t_2$ को एक निश्चित फॉल्स अलार्म रेट के लिए डिटेक्शन प्रोबेबिलिटी को अधिकतम करने हेतु वैलिडेशन सेट का उपयोग करके चुना जाता है। पेपर में एक प्रमेय (Theorem 5.1) दिया गया है जो गारंटी देता है कि यह चयन प्रक्रिया टेस्ट डेटा पर अच्छी तरह से सामान्यीकृत (generalize) होती है।

मुख्य परिणाम

प्रदर्शन सीलिंग: बिना वेरिफायर के ब्लैक-बॉक्स डिटेक्शन के लिए मौजूदा सेल्फ-कंसिस्टेंसी विधियाँ प्रदर्शन की ऊपरी सीमा के करीब हैं।
वेरिफायर प्रभावकारिता: एक वेरिफायर को शामिल करने से अनुमानित सीलिंग प्रदर्शन (AUROC और AURAC द्वारा मापा गया) में उल्लेखनीय सुधार होता है, भले ही वेरिफायर टारगेट मॉडल से छोटा या कमजोर हो।
लागत-प्रदर्शन ट्रेड-ऑफ: प्रस्तावित दो-चरणीय एल्गोरिदम न्यूनतम कम्प्यूटेशनल लागत के साथ उच्च डिटेक्शन प्रदर्शन प्राप्त करता है।
- प्रयोग दिखाते हैं कि प्रदर्शन वक्र उत्तल (convex) हैं, जिसका अर्थ है कि वेरिफायर कॉल्स का एक छोटा हिस्सा ही प्रदर्शन का अधिकांश लाभ प्रदान करता है।
- विशेष रूप से, यह विधि सभी प्रश्नों के लिए वेरिफायर को क्वेरी करने की तुलना में maximal performance gain के 95% को बनाए रखते हुए कम्प्यूटेशनल लागत को 13.5%–28% तक कम कर सकती है।
मजबूती (Robustness): यह दृष्टिकोण विभिन्न टारगेट-वेरिफायर संयोजनों (20 जोड़े परीक्षित) और डेटासेट्स (SQuAD, TriviaQA, Natural Questions) में अच्छा प्रदर्शन करता है। एक सेट के प्रश्नों पर सीखे गए थ्रेशोल्ड अलग-अलग प्रश्नों के लिए प्रभावी ढंग से स्थानांतरित होते हैं।

महत्व और दावे

पेपर दावा करता है कि यह ब्लैक-बॉक्स सेटिंग्स में मतिभ्रम डिटेक्शन सटीकता और कम्प्यूटेशनल बजट के बीच के ट्रेड-ऑफ के लिए एक व्यावहारिक समाधान प्रदान करता है।

सेल्फ-कंसिस्टेंसी से परे: यह स्थापित करता है कि जबकि सेल्फ-कंसिस्टेंसी अपनी सीमा के करीब है, क्रॉस-मॉडल कंसिस्टेंसी एक आवश्यक और प्रभावी अगला कदम है।
दक्षता: प्राथमिक योगदान बजट-जागरूक दो-चरणीय तंत्र है, जो गतिशील रूप से सेल्फ-कंसिस्टेंसी और क्रॉस-कंसिस्टेंसी के बीच स्विच करता है। यह सिस्टम को प्रत्येक क्वेरी के लिए दूसरे बड़े मॉडल चलाने की अत्यधिक लागत के बिना उच्च विश्वसनीयता बनाए रखने की अनुमति देता है।
सैद्धांतिक आधार: कर्नेल मीन एम्बेडिंग्स के माध्यम से ज्यामितीय व्याख्या प्रदान करके, यह कार्य गहरे सैद्धांतिक अंतर्दृष्टि प्रदान करता है कि कंसिस्टेंसी-आधारित डिटेक्शन क्यों काम करता है और अनिश्चितता को औपचारिक रूप से कैसे वर्णित किया जा सकता है।
दायरा: लेखक स्पष्ट रूप से ओपन-एंडेड टेक्स्ट में सिमेंटिक इक्विवेलेंस (semantic equivalence) की अस्पष्टता के कारण लॉन्ग-फॉर्म जनरेशन में चुनौतियों को नोट करते हुए, कंट्रोल्ड सेटिंग के रूप में क्वेश्चन-आन्सरिंग (QA) बेंचमार्क पर ध्यान केंद्रित करते हैं।

कार्य यह निष्कर्ष निकालता है कि हालांकि थ्रेशोल्ड को ट्यून करने के लिए वर्तमान में एक वैलिडेशन सेट की आवश्यकता है, प्रस्तावित ढांचा एंटेलमेंट संबंधों के वितरण के संबंध में कार्य-अज्ञेय (task-agnostic) है और इसे अन्य जनरेशन सेटिंग्स में भी अनुकूलित किया जा सकता है जहाँ सिमेंटिक इक्विवेलेंस का आकलन किया जा सकता है।