🤖 AI

TRE: Training-Free Hallucination Detection for Diffusion Language Models

यह शोधपत्र TRE का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free), पैरामीटर-मुक्त (parameter-free) और सिंगल-रन (single-run) मीट्रिक है जो टोकन-स्तर और डिफ्यूजन-स्टेप-स्तर के एंट्रॉपी संकेतों को एकत्रित करके डिफ्यूजन लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) का पता लगाता है, जो मौजूदा प्रशिक्षण-आधारित डिटेक्शन विधियों के एक सामान्यीकरण योग्य और कुशल विकल्प के रूप में कार्य करता है।

मूल लेखक: Pengcheng Weng, Yanyu Qian, Yue Tan, Yixin Liu

प्रकाशित 2026-07-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Pengcheng Weng, Yanyu Qian, Yue Tan, Yixin Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कुशल मूर्तिकार को एक मूर्ति बनाते हुए देख रहे हैं, लेकिन पत्थर को तराशने के बजाय, वे कोहरे के एक खंड से शुरुआत कर रहे हैं। शुरू में, कोहरा पूरी तरह से एक समान और आकारहीन है। धीरे-धीरे, मूर्तिकार कोहरे को विशिष्ट आकारों में खींचना शुरू करता है, यहाँ एक नाक, वहाँ एक कान प्रकट होता है, जब तक कि एक स्पष्ट चेहरा उभर नहीं आता। एक नया प्रकार का आर्टिफिशियल इंटेलिजेंस, जिसे डिफ्यूजन लार्ज लैंग्वेज मॉडल (या D-LLM) कहा जाता है, इसी तरह टेक्स्ट लिखता है। पुराने AI के विपरीत जो टाइपराइटर की तरह बाएं से दाएं एक-एक शब्द लिखते हैं, ये मॉडल एक खाली, मास्क की गई स्क्रीन से शुरू होते हैं और धीरे-धीरे इसे "डिनोइज़" (denoise) करते हैं, यानी अनिश्चितता को ठोस शब्दों में बदलते हैं।

समस्या यह है कि कभी-कभी, यह मूर्तिकार गलत तरीके से रचनात्मक हो जाता है। वे ऐसी नाक प्रकट कर सकते हैं जो दिखने में तो एकदम सही है लेकिन किसी पूरी तरह से अलग व्यक्ति की है, या वे आत्मविश्वास के साथ किसी ऐसी ऐतिहासिक घटना के बारे में कहानी गढ़ सकते हैं जो कभी हुई ही नहीं। इसे "हैलुसिनेशन" (hallucination) कहा जाता है। वर्षों से, वैज्ञानिक इन नकली तथ्यों को पकड़ने के लिए डिटेक्टर बनाने की कोशिश कर रहे हैं। इनमें से अधिकांश डिटेक्टर महंगे, कस्टम-निर्मित सुरक्षा गार्डों की तरह हैं जिन्हें अपना काम करने से पहले हजारों उदाहरणों पर प्रशिक्षित होने की आवश्यकता होती है। वे भारी, धीमे हैं, और अक्सर काम करना भूल जाते हैं जब आप उन्हें किसी नई इमारत में ले जाते हैं। बड़ा सवाल यह है: क्या हम एक ऐसा डिटेक्टर बना सकते हैं जिसे प्रशिक्षण की आवश्यकता न हो, अतिरिक्त डेटा की आवश्यकता न हो, और जो केवल मूर्तिकार के हाथ चलते हुए देखकर झूठ पकड़ सके?

यह शोध पत्र एक चतुर, प्रशिक्षण-मुक्त समाधान पेश करता है जिसे TRE (टेम्पोरल-वेटेड रिवीलिंग एंट्रॉपी - Temporal-weighted Revealing Entropy) कहा जाता है। TRE को एक अत्यंत सूक्ष्म आलोचक के रूप में समझें जिसे नकली को पहचानने के लिए कला के इतिहास को जानने की आवश्यकता नहीं है; वे बस उस क्षण को देखते हैं जब मूर्तिकार एक आकार के लिए प्रतिबद्ध होता है। शोधकर्ताओं ने पाया कि जब एक D-LLM गलती करता है, तो प्रक्रिया के बिल्कुल अंत में, ठीक उसी समय जब वह अंतिम, गलत विवरणों को तय कर रहा होता है, मॉडल की "अनिश्चितता" (या भ्रम) बढ़ जाती है।

TRE कैसे काम करता है, मूर्तिकार के उदाहरण का उपयोग करते हुए:

कोहरे की तीन अवस्थाएँ: जैसे-जैसे मॉडल काम करता है, टोकन (शब्द) तीन अवस्थाओं में होते हैं: अनरिवल्ड (अभी भी कोहरा), रिविल्ड (पहले से ही ठोस और स्थिर), या रिवीलिंग (कोहरा वर्तमान में एक ठोस शब्द में बदल रहा है)। शोधकर्ताओं ने पाया कि "रिवीलिंग" के क्षण सबसे महत्वपूर्ण होते हैं। यदि मॉडल आत्मविश्वासी है, तो कोहरा एक शब्द में सुचारू रूप से बदल जाता है। यदि वह भ्रमित (hallucinating) है, तो जैसे ही कोहरा ठोस होता है, वह अराजक और अस्थिर हो जाता है।
समय महत्वपूर्ण है: शोधकर्ताओं ने देखा कि प्रक्रिया की शुरुआत मुख्य रूप से सामान्य आकार प्राप्त करने के बारे में है (जैसे सिर की रूपरेखा)। वास्तविक गलतियाँ बिल्कुल अंत में होती हैं, जब मॉडल विशिष्ट विवरणों (जैसे किसी व्यक्ति का नाम) पर निर्णय ले रहा होता है। उन्होंने पाया कि इन अंतिम, प्रकट होने वाले शब्दों का "एंट्रॉपी" (भ्रम का एक माप) एक बहुत बड़ा रेड फ्लैग है।
स्कोर: TRE बस इस भ्रम को जोड़ता है, लेकिन यह प्रक्रिया के बिल्कुल अंत में होने वाले भ्रम को बहुत अधिक महत्व देता है। यह कहने जैसा है कि, "यदि आप फिनिश लाइन पर लड़खड़ाते हैं, तो वह शुरुआती रेखा पर लड़खड़ाने की तुलना में एक बड़ी समस्या है।"

शोध पत्र ने इस विचार का परीक्षण कई अलग-अलग AI मॉडलों और प्रश्न-उत्तर डेटासेट पर किया। परिणाम प्रभावशाली थे: TRE ने उन जटिल डिटेक्टरों के समान, या कभी-कभी उनसे भी बेहतर प्रदर्शन किया जिन्हें घंटों के प्रशिक्षण की आवश्यकता थी। यह तेज़ था, इसे सीखने के लिए किसी अतिरिक्त डेटा की आवश्यकता नहीं थी, और यह विभिन्न प्रकार के मॉडलों में लगातार काम करता था। लेखक सुझाव देते हैं कि केवल यह देखकर कि मॉडल अपने शब्दों को प्रकट करते समय कब और कैसे भ्रमित होता है, हम बिना किसी विशाल, प्रशिक्षित सुरक्षा टीम के झूठ पकड़ सकते हैं। यह इन शक्तिशाली नए AI मॉडलों को अधिक विश्वसनीय बनाने का एक सरल, सुरुचिपूर्ण तरीका है, जो यह सिद्ध करता है कि कभी-कभी, नकली को पहचानने का सबसे अच्छा तरीका बस अंतिम ब्रशस्ट्रोक पर ध्यान देना होता है।

तकनीकी सारांश: TRE - डिफ्यूजन लैंग्वेज मॉडल्स के लिए ट्रेनिंग-फ्री हैलुसिनेशन डिटेक्शन

1. समस्या विवरण

डिफ्यूजन लार्ज लैंग्वेज मॉडेल्स (D-LLMs) ऑटोरिग्रेसिव LLMs के एक आशाजनक विकल्प के रूप में उभरे हैं, जो जनरेशन दक्षता और लचीली रीजनिंग में लाभ प्रदान करते हैं। हालाँकि, अपने ऑटोरिग्रेसिव समकक्षों की तरह, D-LLMs भी हैलुसिनेशन (hallucinations) से ग्रस्त हैं—अर्थात, वे प्रवाहपूर्ण और सुसंगत प्रतिक्रियाएँ तो देते हैं, लेकिन वे तथ्यात्मक रूप से निराधार होती हैं।

D-LLMs के लिए मौजूदा हैलुसिनेशन डिटेक्शन विधियाँ मुख्य रूप से एक ट्रेनिंग-आधारित प्रतिमान (training-based paradigm) का पालन करती हैं। ये दृष्टिकोण एक्शन ट्रेसेस, डेविएशन लर्निंग, या डायनेमिक ग्राफ मॉडलिंग जैसे संकेतों का उपयोग करके डिटेक्टर नेटवर्क को अनुकूलित करने के लिए डेटा-संचालित प्रशिक्षण पर निर्भर करते हैं। प्रभावी होने के बावजूद, इन विधियों के सामने तीन महत्वपूर्ण सीमाएँ हैं:

सीमित सामान्यीकरण (Limited Generalizability): प्रदर्शन डेटासेट-विशिष्ट प्रशिक्षण पर अत्यधिक निर्भर है, जिससे विभिन्न डोमेन में स्थानांतरण करना कठिन हो जाता है।
उच्च लागत (High Costs): उन्हें एनोटेटेड डेटा की आवश्यकता होती है और प्रशिक्षण एवं तैनाती के दौरान महत्वपूर्ण कंप्यूटेशनल ओवरहेड होता है।
इन्फरेंस दक्षता (Inference Efficiency): उन्हें अक्सर अतिरिक्त डिटेक्टर नेटवर्क की आवश्यकता होती है, जिससे लेटेंसी बढ़ जाती है और रियल-टाइम अनुप्रयोग बाधित होते हैं।

यह शोध पत्र तर्क देता है कि इन सीमाओं को दूर करने के लिए एक ट्रेनिंग-फ्री मेट्रिक की आवश्यकता है, जो बिना किसी बाहरी डिटेक्टर प्रशिक्षण या बार-बार सैंपलिंग के, D-LLM डिकोडिंग प्रक्रिया के भीतर निहित अनिश्चितता संकेतों का लाभ उठा सके।

2. कार्यप्रणाली: टेम्पोरल-वेटेड रिवीलिंग एंट्रॉपी (TRE)

लेखक TRE का प्रस्ताव करते हैं, जो एक पैरामीटर-मुक्त, सिंगल-रन मेट्रिक है जो एकल जनरेशन के एंट्रॉपी संकेतों से सीधे हैलुसिनेशन जोखिम का अनुमान लगाता है। यह कार्यप्रणाली दो प्रमुख आयामों पर आधारित है: स्पेशियल (स्थानिक/टोकन-स्तरीय) और टेम्पोरल (कालिक/डिफ्यूजन स्टेप-स्तरीय)।

2.1 स्पेशियल डायमेंशन: रिवीलेशन स्टेट-आधारित एविडेंस कंस्ट्रक्शन

ऑटोरिग्रेसिव मॉडल जो टोकन को क्रमिक रूप से उत्पन्न करते हैं, उनके विपरीत, D-LLMs एक टोकन कैनवास को पुनरावृत्ति (iteratively) के साथ डीनॉइज़ करते हैं, जिससे टोकन समानांतर रूप से प्रकट होते हैं। लेखक प्रत्येक डिफ्यूजन स्टेप $t$ पर टोकन को उनके रिवीलेशन स्टेट (revelation state) के आधार पर तीन समूहों में वर्गीकृत करते हैं:

अनरिवल्ड टोकन ( $T^u_t$ ): मास्क किए गए प्लेसहोल्डर्स।
रिवीलिंग टोकन ( $T^g_t$ ): वे टोकन जो वर्तमान स्टेप में मास्क से निर्धारित अवस्था में परिवर्तित हो रहे हैं।
रिविल्ड टोकन ( $T^r_t$ ): पिछले स्टेप्स में निर्धारित हो चुके टोकन।

अनुभवजन्य निष्कर्ष (Empirical Finding): हैलुसिनेटेड और नॉन-हैलुसिनेटेड नमूनों के बीच पृथक्करणीयता (separability) को मापने के लिए कोहेन के $d$ (Cohen's $d$ ) का उपयोग करते हुए विश्लेषण के माध्यम से, लेखकों ने पाया कि रिवीलिंग टोकन्स की एंट्रॉपी ( $\bar{H}_g$ ) सबसे अधिक विभेदक संकेत प्रदान करती है। अनरिवल्ड टोकन संभावनाओं के एक बड़े स्थान पर अनिश्चितता दर्शाते हैं, जबकि रिविल्ड टोकन केवल अवशिष्ट अनिश्चितता दर्शाते हैं। इसके विपरीत, रिवीलिंग टोकन सीधे तौर पर उस सामग्री की अनिश्चितता से संबंधित होते हैं जिसे सक्रिय रूप से उत्तर में प्रतिबद्ध (commit) किया जा रहा है।

एविडेंस कंस्ट्रक्शन: औसत एंट्रॉपी का उपयोग करने के बजाय, TRE एंट्रॉपी मास ( $\tilde{H}^g_t$ ) का उपयोग करता है, जिसे स्टेप $t$ पर सभी रिवीलिंग टोकन्स के एंट्रपी के योग के रूप में परिभाषित किया गया है:
$\tilde{H}^g_t = \sum_{i \in T^g_t} H_t(i)$
यह अनिश्चितता की तीव्रता और प्रकट की जा रही सामग्री के आयतन (volume) दोनों को कैप्चर करता है।

2.2 टेम्पोरल डायमेंशन: टेम्पोरली वेटेड एविडेंस एग्रीगेशन

लेखकों ने डिफ्यूजन स्टेप्स के माध्यम से एंट्रॉपी मास के टेम्पोरल विकास का विश्लेषण किया।
अनुभवजन्य निष्कर्ष: शुरुआती स्टेप्स में हैलुसिनेटेड और नॉन-हैलुसिनेटेड नमूनों के बीच का अंतर मामूली होता है, लेकिन लेट डिफ्यूजन स्टेप्स में यह तेजी से बढ़ जाता है। शुरुआती स्टेप्स मोटे ढांचे (coarse structures) को कैप्चर करते हैं, जबकि बाद के स्टेप्स सूक्ष्म तथ्यात्मक प्रतिबद्धताओं (fine-grained factual commitments) से जुड़े होते हैं जहाँ हैलुसिनेशन अक्सर प्रकट होते हैं।

मेट्रिक डिज़ाइन: जटिल वेट्स सीखने के बिना इन संकेतों को एकत्रित करने के लिए, TRE एक सरल, पैरामीटर-मुक्त मोनोटोनिक लीनियर वेटिंग स्कीम का उपयोग करता है। बाद के स्टेप्स को उच्च भार दिया जाता है ( $w_t = t/T$ )। अंतिम TRE स्कोर की गणना इस प्रकार की जाती है:
$\text{TRE} := \sum_{t=1}^{T} \frac{t}{T} \tilde{H}^g_t = \sum_{t=1}^{T} \frac{t}{T} \sum_{i \in T^g_t} H_t(i)$

2.3 सैद्धांतिक व्याख्या

यह शोध पत्र D-LLM जनरेशन प्रक्रिया को सांख्यिकीय भौतिकी से कंस्ट्रेंड डायनेमिकल सिस्टम (CDS) के लेंस के माध्यम से व्याख्यायित करता है। इस उपमा (analogy) में:

रिवीलिंग प्रक्रिया एक चलती हुई सीमा (moving boundary) के रूप में कार्य करती है जहाँ अनिश्चितता उत्तर में प्रतिबद्ध की जाती है।
हैलुसिनेशन "फ्रस्ट्रेटेड स्टेट्स" (frustrated states) के अनुरूप होते हैं जहाँ असंगत प्रतिबद्धताएं अस्थिर सीमा स्थितियाँ (boundary conditions) बनाती हैं।
लेट-स्टेज एंट्रॉपी मास इस सीमा को पार करने वाले अनिश्चितता के फ्लक्स (flux) का प्रतिनिधित्व करता; अंतिम चरणों में उच्च फ्लक्स इस बात का संकेत है कि सिस्टम एक असंगत (हैलुसिनेटेड) कॉन्फ़िगरेशन में सेटल होने का उच्च जोखिम रखता है।

3. मुख्य योगदान

प्रथम ट्रेनिंग-फ्री D-LLM डिटेक्टर: यह शोध पत्र विशेष रूप से D-LLMs के लिए डिज़ाइन किया गया पहला हैलुसिनेशन डिटेक्शन मेथड प्रस्तुत करता है जिसे किसी डिटेक्टर प्रशिक्षण की आवश्यकता नहीं है, जो डेटा निर्भरता और सामान्यीकरण की समस्याओं को कम करता है।
TRE मेट्रिक: एक अभिनव, सिंगल-रन मेट्रिक जो रिवीलिंग-टोकन एंट्रॉपी को टेम्पोरल वेटिंग के साथ एकत्रित करता है। यह सरल, सामान्य और सुलभ है (इसके लिए केवल टोकन-स्तरीय एंट्रॉपी की आवश्यकता होती है, आंतरिक मॉडल अवस्थाओं की नहीं)।
अनुभवजन्य सत्यापन: व्यापक प्रयोगों से सिद्ध होता है कि TRE अत्याधुनिक ट्रेनिंग-आधारित विधियों के मुकाबले प्रतिस्पर्धी प्रदर्शन प्राप्त करता है, जबकि बेहतर दक्षता और मजबूती (robustness) प्रदान करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने दो D-LLM परिवारों (LLaDA-8B-Instruct और Dream-7B-Instruct) पर तीन QA डेटासेट्स (TriviaQA, HotpotQA, CommonsenseQA) के माध्यम से TRE का मूल्यांकन किया।

प्रदर्शन: TRE ने अधिकांश कॉन्फ़िगरेशन में उच्चतम AUROC स्कोर प्राप्त किया। उदाहरण के लिए, LLaDA-8B पर, TRE ने औसतन 82.7% का AUROC प्राप्त किया, जो सर्वश्रेष्ठ ट्रेनिंग-आधारित विधि (TraceDet, 72.0%) और सभी ट्रेनिंग-फ्री बेसलाइन्स (जैसे EigenScore, 63.2%) से बेहतर है। Dream-7B पर, TRE ने 81.1% प्राप्त किया, जो TraceDet (80.8%) के तुलनीय है।
दक्षता: TRE ने सभी विधियों में सबसे कम रनटाइम प्रदर्शित किया, जो मल्टी-रन कंसिस्टेंसी-आधारित विधियों (जैसे Semantic Entropy) से काफी बेहतर है और डिटेक्टर-आधारित विधियों के प्रशिक्षण ओवरहेड से बचता है।
मजबूती (Robustness): संवेदनशीलता विश्लेषण (Sensitivity analyses) ने दिखाया कि TRE डिफ्यूजन स्टेप्स की संख्या, जनरेशन लंबाई और विभिन्न रीमास्किंग रणनीतियों में बदलाव के प्रति मजबूत है।
एब्लेशन स्टडीज: टेम्पोरल वेटिंग को हटाने या अन्य टोकन समूहों (unrevealed/revealed) से एंट्रॉपी का उपयोग करने के परिणामस्वरूप प्रदर्शन में महत्वपूर्ण गिरावट आई, जो रिवीलिंग टोकन पर ध्यान केंद्रित करने और लेट-स्टेज एग्रीगेशन के विशिष्ट डिज़ाइन विकल्पों की पुष्टि करता है।

5. महत्व और दावे

शोध पत्र का दावा है कि TRE एक हल्का, कुशल और सामान्य समाधान प्रदान करके D-LLM डिप्लॉयमेंट के लिए एक व्यावहारिक और विश्वसनीय समाधान की दिशा में एक महत्वपूर्ण कदम है।

व्यावहारिकता: प्रशिक्षण और बार-बार सैंपलिंग की आवश्यकता को समाप्त करके, TRE रियल-टाइम अनुप्रयोगों के लिए उपयुक्त है और डेटा संग्रह के बिना नए डोमेन में तुरंत लागू किया जा सकता है।
पहुंच (Accessibility): एक "ग्रे-बॉक्स" विधि के रूप में जो केवल एंट्रॉपी पर निर्भर करती है, इसे आंतरिक मॉडल अवस्थाओं या मापदंडों तक पहुँच की आवश्यकता नहीं है, जिससे यह मॉडल की एक विस्तृत श्रृंखला के लिए लागू करने योग्य बन जाता है।
सीमाएँ: लेखक विनम्रतापूर्वक स्वीकार करते हैं कि TRE पूरी तरह से एंट्रॉपी संकेतों पर निर्भर है और इसमें स्पष्ट अर्थ संबंधी (semantic) या तथ्यात्मक ज्ञान शामिल नहीं है। फलस्वरूप, उन मामलों में यह कम प्रभावी हो सकता है जहाँ मॉडल उच्च विश्वास (low entropy) के साथ गलत उत्तर देता है।
भावी कार्य: शोध पत्र सुझाव देता है कि भविष्य के अनुसंधान में ट्रेनिंग-फ्री फ्रेमवर्क के भीतर कॉन्टेक्स्टुअल कंसिस्टेंसी उपायों को बढ़ाने के लिए सिमेंटिक-अवेयर संकेतों को एकीकृत करने की खोज की जा सकती है।

संक्षेप में, TRE डिफ्यूजन लैंग्वेज मॉडल्स में हैलुसिनेशन का पता लगाने के लिए एक सैद्धांतिक रूप से सुदृढ़, अनुभवजन्य रूप से सत्यापित और कम्प्यूटेशनल रूप से कुशल दृष्टिकोण प्रदान करता है, जो ट्रेनिंग-आधारित डिटेक्टरों के ओवरहेड के बिना विश्वसनीयता के अंतराल को संबोधित करता है।