💬 NLP

CORTEX: Token-Level Hallucination Detection in RAG via Comparative Internal Representations

यह शोध पत्र CORTEX का प्रस्ताव करता है, जो रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) के लिए एक टोकन-स्तरीय मतिभ्रम (hallucination) पहचान पद्धति है, जो रिट्रीव किए गए दस्तावेज़ों के साथ और उनके बिना मॉडल के आंतरिक निरूपणों (internal representations) की तुलना करके गैर-आधारित सामग्री की पहचान करती है, जबकि यह मतिभ्रम के सूक्ष्म स्थानीयकरण (fine-grained localization) को प्राप्त करने के लिए सूचना प्रसार (information propagation) और स्पैन-कंसिस्टेंट स्मूथिंग (span-consistent smoothing) का लाभ उठाती है।

मूल लेखक: Kazuaki Furumai, Shuichiro Haruta, Kazunori Matsumoto, Daisuke Kamisaka

प्रकाशित 2026-07-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kazuaki Furumai, Shuichiro Haruta, Kazunori Matsumoto, Daisuke Kamisaka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, जानकार सहायक (AI) है जो आपके प्रश्न का उत्तर देने की कोशिश कर रहा है। यह सुनिश्चित करने के लिए कि उत्तर सटीक हो, आप सहायक को लिखने के दौरान संदर्भ के लिए कुछ पुस्तकें (रिट्रीव्ड डॉक्यूमेंट्स) देते हैं।

कभी-कभी, सहायक बहुत अच्छा काम करता है, और पूरी तरह से किताबों का पालन करता है। अन्य समय में, वह अनजाने में कोई तथ्य गढ़ सकता है या किसी विवरण को गलत तरीके से मिला सकता है, भले ही किताबें वहीं मेज पर मौजूद हों। इसे "हैलुसिनेशन" (hallucination) कहा जाता है।

समस्या यह है कि एक लंबे, विस्तृत उत्तर में, AI किताबों से 90% तथ्य सही ढंग से दे सकता है, लेकिन केवल एक या दो वाक्यों में चूक कर सकता है। वर्तमान के अधिकांश उपकरण एक सुरक्षा गार्ड की तरह हैं जो अंत में पूरे रिपोर्ट की जांच करता है। यदि रिपोर्ट ज्यादातर अच्छी है, तो वे कह सकते हैं, "सब ठीक लग रहा है!" और बीच में छिपे उस छोटे से झूठ को मिस कर सकते हैं।

यह शोध पत्र CORTEX पेश करता है, जो एक नया टूल है जिसे एक "सूक्ष्मदर्शी" (microscope) के रूप में डिज़ाइन किया गया है जो उत्तर को शब्द-दर-शब्द (या टोकन-दर-टोकन) जांचता है ताकि ठीक से पता लगाया जा सके कि AI कहाँ मनगढ़ंत बातें बना रहा है।

CORTEX कैसे काम करता है, इसके तीन सरल उदाहरण यहाँ दिए गए हैं:

1. "साथ और बिना" परीक्षण (तुलनात्मक आंतरिक प्रतिनिधित्व)

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक छात्र वास्तव में पाठ्यपुस्तक पढ़ रहा है या सिर्फ अनुमान लगा रहा है।

पुराना तरीका: आप छात्र के उत्तर को देखते हैं और अनुमान लगाने की कोशिश करते हैं कि क्या उसने किताब पढ़ी है।
CORTEX का तरीका: आप छात्र से वही प्रश्न दो बार पूछते हैं।
1. पहली बार: आप उन्हें पढ़ने के लिए पाठ्यपुस्तक देते हैं।
2. दूसरी बार: आप उनसे किताब वापस ले लेते हैं और उन्हें याददाश्त से उत्तर देने के लिए कहते हैं।

CORTEX इन दोनों परिदृश्यों के दौरान AI की "मस्तिष्क गतिविधि" (आंतरिक विचार) की तुलना करता है।

यदि AI किताब में पाए गए किसी तथ्य के बारे में बात कर रहा है, तो किताब की उपस्थिति में उसका "मस्तिष्क" महत्वपूर्ण रूप से बदल जाता है। यह वैसा ही है जैसे छात्र की आँखें चमक उठती हैं क्योंकि उसे टेक्स्ट में उत्तर मिल गया है।
यदि AI कुछ मनगढ़ंत बना रहा है (हैलुसिनेट कर रहा है), तो किताब होने या न होने पर भी उसका "मस्तिष्क" लगभग एक जैसा ही दिखता है, क्योंकि वह केवल अपनी स्मृति से जानकारी निकाल रहा है।

इन दोनों अवस्थाओं की तुलना करके, CORTEX सटीक रूप से पहचान सकता है कि कौन से शब्द किताब की वजह से बदले (सही) और कौन से शब्द वैसे ही रहे क्योंकि वे मनगढ़ंत थे (गलत)।

2. "चेन ऑफ थॉट" जासूस (कॉन्टेक्स्टुअल रेसिडुअल)

कभी-कभी, एक AI इतना स्मार्ट होता है कि वह उत्तर के शुरुआती हिस्से में किताब से एक तथ्य पढ़ता है, और फिर उस तथ्य का उपयोग वाक्य के बाकी हिस्से को बनाने के लिए करता है।

समस्या: यदि आप केवल बाद वाले वाक्य को देखते हैं, तो ऐसा लग सकता है कि AI अब किताब का उपयोग नहीं कर रहा है, क्योंकि किताब का उल्लेख ठीक वहीं नहीं है। यह एक डिटेक्टर को धोखा दे सकता है कि AI अब किताब का उपयोग नहीं कर रहा है, भले ही वह बाद वाला वाक्य पहले पढ़े गए एक सच्चे तथ्य पर आधारित हो। यह एक झूठा आरोप लगाने जैसा है कि AI झूठ बोल रहा है, जबकि वह वास्तव में केवल एक सच्ची कहानी को आगे बढ़ा रहा है।
CORTEX का समाधान: CORTEX एक जासूस की तरह काम करता है जो सुराग का पीछा करता है। वह समझ जाता है, "अरे, यह वाक्य उस तथ्य पर निर्भर है जिसे AI ने दो वाक्य पहले पढ़ा था।" यह उस "अप्रत्यक्ष प्रभाव" को हटा देता है ताकि वह भ्रमित न हो। यह इस बात को रोकता है कि टूल AI पर झूठ बोलने का गलत आरोप न लगाए जब वह वास्तव में एक सच्ची कहानी को जारी रख रहा हो।

3. "नॉइज़ फ़िल्टर" (लेबल-परसिस्टेंस स्मूथिंग)

कल्पना कीजिए कि आप एक रेडियो स्टेशन सुन रहे हैं जिसमें बहुत अधिक स्टैटिक (शोर) है। कभी-कभी स्टैटिक एक अकेले शब्द को झूठ जैसा बना देता है, भले ही पूरा वाक्य सच हो।

समस्या: कच्चे डिटेक्शन टूल्स अस्थिर हो सकते हैं। वे एक शब्द को झूठ के रूप में चिह्नित कर सकते हैं, फिर अगले को सच, और फिर अगले को झूठ, जिससे एक बिखरा हुआ पैटर्न बन जाता है। लेकिन वास्तव में, यदि कोई AI झूठ बोल रहा है, तो वह आमतौर पर एक पूरे वाक्यांश या वाक्य के लिए झूठ बोलता है, न कि केवल एक अलग शब्द के लिए।
CORTEX का समाधान: CORTEX एक "स्मूथिंग" फ़िल्टर लागू करता है। यह मान लेता है कि यदि एक शब्द झूठ है, तो उसके बगल वाले शब्द भी उसी झूठ का हिस्सा होने की संभावना है। यह बिखरे हुए बिंदुओं को जोड़ता है, जिससे "शायद-झूठ" का बिखरा हुआ ढेर एक स्पष्ट, ठोस "निश्चित-झूठ" के ब्लॉक में बदल जाता है। यह अंतिम परिणाम को मानव के लिए पढ़ना और समझना बहुत आसान बनाता है।

परिणाम

लेखकों ने CORTEX का परीक्षण दो अलग-अलग प्रश्नों के सेट और तीन अलग-अलग AI मॉडल पर किया। उन्होंने पाया कि:

CORTX अन्य तरीकों की तुलना में सटीक रूप से उन शब्दों को खोजने में बहुत बेहतर है जो मनगढ़ंत हैं।
यह तब भी काम करता है जब AI एक "API" मॉडल (एक ब्लैक बॉक्स जिसके अंदर आप नहीं देख सकते) हो, क्योंकि यह पर्दे के पीछे जासूसी करने के लिए एक अलग, खुले AI मॉडल का उपयोग करता है।
सिस्टम का हर हिस्सा (तुलना, चेन-ऑफ-थॉट चेक, और स्मूथिंग) डिटेक्शन को अधिक सटीक बनाने में मदद करता है।

संक्षेप में, CORTEX एक ऐसा टूल है जो हमें AI के उत्तरों पर अधिक भरोसा करने में मदद करता है क्योंकि यह केवल यह अनुमान लगाने के बजाय कि पूरा उत्तर अच्छा है या बुरा, ठीक उसी जगह को चिन्हित करता है जहाँ AI मनगढ़ंत बातें बना रहा है।

तकनीकी सारांश: CORTEX

समस्या विवरण (Problem Statement)

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) का उपयोग लार्ज लैंग्वेज मॉडल (LLM) के आउटपुट को बाहरी संदर्भों (external references) के आधार पर पुख्ता करने के लिए व्यापक रूप से किया जाता है, फिर भी मॉडल अक्सर हैलुसिनेटेड (hallucinated) सामग्री उत्पन्न करते हैं, भले ही संदर्भ प्रदान किए गए हों। मौजूदा हैलुसिनेशन डिटेक्शन विधियों को दो प्राथमिक सीमाओं का सामना करना पड़ता है:

ग्रैनुलैरिटी (Granularity): अधिकांश दृष्टिकोण "उत्तर-स्तर" (answer level) पर कार्य करते हैं, जो पूरे उत्तर को एक एकल इकाई के रूप में देखते हैं। यह लंबे प्रारूप वाले RAG आउटपुट के लिए अपर्याप्त है जहाँ सत्य और हैलुसिनेटेड सामग्री अक्सर सह-अस्तित्व में होती हैं।
कार्यप्रणाली (Methodology): कई मौजूदा विधियाँ सेल्फ-कंसिस्टेंसी (जिसके लिए कई जनरेशन की आवश्यकता होती है) या प्रॉम्प्ट-आधारित फैक्ट-चेकिंग (जिसके लिए अतिरिक्त इन्फरेंस और प्रॉम्प्ट इंजीनियरिंग की आवश्यकता होती है) पर निर्भर करती हैं, जिससे उच्च कम्प्यूटेशनल लागत आती है। इसके अलावा, कई रिप्रेजेंटेशन-आधारित डिटेक्टर केवल एक आंतरिक अवस्था (internal state) का पृथक विश्लेषण करते हैं, बजाय इसके कि संदर्भ मौजूद होने बनाम अनुपस्थित होने पर मॉडल की अवस्था कैसे बदलती है।

यह शोध पत्र एक टोकन-स्तरीय (token-level) डिटेक्शन विधि की आवश्यकता प्रस्तावित करता है जो मिश्रित आउटपुट के भीतर अनग्राउंडेड (ungrounded) सामग्री को स्थानीयकृत (localize) कर सके और ओपन-वेट और क्लोज्ड-वेट (API-आधारित) दोनों प्रकार के LLMs के लिए एक व्यावहारिक, पोस्ट-हॉक फ्रेमवर्क के रूप में कार्य कर सके।

कार्यप्रणाली: CORTEX

CORTEX (Comparative Observed Reference-based Token-level EXpressions) एक पोस्ट-हॉक हैलुसिनेशन डिटेक्शन फ्रेमवर्क है जिसे विशेष रूप से RAG के लिए डिज़ाइन किया गया है। यह एक विश्लेषण मॉडल के रूप में एक ओपन-वेट LLM ( $M_{open}$ ) का उपयोग करता है ताकि एक जनरेट किए गए उत्तर के आंतरिक रिप्रेजेंटेशन का निरीक्षण किया जा सके, जो संभवतः एक क्लोज्ड-वेट LLM ( $M_{close}$ ) द्वारा निर्मित किया गया हो।

यह फ्रेमवर्क तीन मुख्य घटकों के माध्यम से कार्य करता है:

1. रेफरेंस-इंड्यूस्ड डेल्टा रिप्रेजेंटेशन (Reference-Induced Delta Representation)

CORTEX एक ही उत्तर के दो स्थितियों के तहत युग्मित काउंटरफैक्चुअल दृश्य (paired counterfactual view) का निर्माण करता है:

रेफरेंस-कंडीशन्ड इनपुट: $x_{ref} = \text{question} \parallel \text{references} \parallel \text{answer}$
नो-रेफरेंस इनपुट: $x_{no-ref} = \text{question} \parallel \text{answer}$

इन दोनों इनपुट्स को $M_{open}$ के माध्यम से प्रोसेस करके, विधि प्रत्येक उत्तर टोकन $t_i$ के लिए टोकन-स्तरीय आंतरिक रिप्रेजेंटेशन ( $h_i$ ) निकालती है। यह एक डेल्टा रिप्रेजेंटेशन ( $\Delta h_i$ ) की गणना करती है जो संदर्भ प्रदान किए जाने पर टोकन की अवस्था में परिवर्तन को दर्शाता है:
$\Delta h_i = h_{i}^{ref} - h_{i}^{no-ref}$
अंतर्निहित तर्क यह है कि सत्य टोकन (faithful tokens) संदर्भों में ग्राउंडेड होने पर सुसंगत रिप्रेजेंटेशनल बदलाव प्रदर्शित करते हैं, जबकि हैलुसिनेटेड टोकन कमजोर या असंगत बदलाव दिखाते हैं।

2. अटेंशन-आधारित कॉन्टेक्स्टुअल रेसिड्यूल (Attention-Based Contextual Residual)

लंबे प्रारूप के जनरेशन में, संदर्भ का प्रभाव अप्रत्यक्ष रूप से प्रसारित हो सकता है। एक टोकन $t_i$ सीधे संदर्भ से जुड़ा न होकर, पूर्ववर्ती टोकनों ( $t_{<i}$ ) द्वारा जुड़ा हो सकता है जो ग्राउंडेड थे। केवल $\Delta h_i$ पर निर्भर रहने से इन अप्रत्यक्ष रूप से ग्राउंडेड टोकनों को हैलुसिनेशन के रूप में गलत वर्गीकृत किया जा सकता है।

इसे संबोधित करने के लिए, CORTEX एक कॉन्टेक्स्टुअल रेसिड्यूल ( $c_i$ ) की गणना करता है। यह संदर्भ-कंडीशन्ड इनपुट से अटेंशन वेट्स ( $\alpha_{ij}^{ref}$ ) का उपयोग करके पूर्ववर्ती टोकनों के माध्यम से मध्यस्थता वाले संदर्भ प्रभाव का अनुमान लगाता है:
$\bar{\Delta h}_i = \sum_{j<i} \alpha_{ij}^{ref} \Delta h_j$
$c_i = \Delta h_i - \bar{\Delta h}_i$
रेसिड्यूल $c_i$ उस टोकन-विशिष्ट परिवर्तन को अलग करता है जो संदर्भ से प्रसारित प्रभाव को ध्यान में रखने के बाद शेष रहता है, जिससे संदर्भ में अप्रत्यक्ष रूप से ग्राउंडेड टोकनों के लिए फॉल्स पॉजिटिव्स कम हो जाते हैं।

3. टोकन-स्तरीय वर्गीकरण और स्मूथिंग (Token-Level Classification and Smoothing)

फीचर्स $[\Delta h_i; c_i]$ को एक मल्टीलेयर परसेप्ट्रॉन (MLP) क्लासिफायर में फीड किया जाता है ताकि एक रॉ हैलुसिनेशन स्कोर $s_i$ प्राप्त किया जा सके।

मानव एनोटेशन पैटर्न के साथ तालमेल बिठाने के लिए (जहाँ हैलुसिनेशन आमतौर पर आइसोलेटेड टोकन के बजाय निरंतर स्पैन के रूप में दिखाई देते हैं), CORTX एक पोस्ट-प्रोसेसिंग स्टेप के रूप में लेबल-परसिस्टेंस स्मूथिंग (Label-Persistence Smoothing) लागू करता है। यह एक पेयरवाइज परसिस्टेंस टर्म ( $\rho$ ) और $s_i$ से प्राप्त टोकन-स्तरीय कॉन्फिडेंस का उपयोग करके पड़ोसी टोकनों में हैलुसिनेशन लेबल के बने रहने की प्रवृत्ति को मॉडल करता है। अंतिम स्मूथ किया गया स्कोर फॉरवर्ड-बैकवर्ड एल्गोरिदम के माध्यम से कंप्यूट किया जाता है, जो स्थानीय शोर (noise) को कम करते हुए टोकन-स्तरीय ग्रैनुलैरिटी को बनाए रखता है।

मुख्य योगदान (Key Contributions)

प्रथम टोकन-लेवल RAG डिटेक्टर: लेखकों की जानकारी के अनुसार, CORTEX विशेष रूप से RAG के लिए डिज़ाइन किया गया पहला टोकन-लेवल हैलुसिनेशन डिटेक्शन मेथड है, जो अनग्राउंडेड सामग्री के सूक्ष्म स्थानीयकरण (localization) को सक्षम बनाता है।
व्यावहारिक पोस्ट-हॉक फ्रेमवर्क: इस विधि के लिए जनरेटर के पैरामीटर्स को संशोधित करने की आवश्यकता नहीं है। यह फीचर एक्सट्रैक्शन के लिए एक अलग ओपन-वेट मॉडल का उपयोग करके किसी भी आर्बिट्ररी LLM (API-आधारित क्लोज्ड-वेट मॉडल सहित) के आउटपुट का विश्लेषण कर सकता है।
तुलनात्मक रिप्रेजेंटेशन दृष्टिकोण: एकल आंतरिक अवस्थाओं का विश्लेषण करने वाले पिछले कार्यों के विपरीत, CORTEX संदर्भ-कंडीशन्ड और नो-रेफरेंस आंतरिक रिप्रेजेंटेशन के बीच के अंतर का लाभ उठाकर रेफरेंस-इंड्यूस्ड सिग्नल्स को अलग करता है।
कॉन्टेक्स्टुअल और स्पैन-अवेयर डिज़ाइन: कॉन्टेक्स्टुअल रेसिड्यूल का परिचय अप्रत्यक्ष ग्राउंडिंग को संबोधित करता है, जबकि लेबल-परसिस्टेंस स्मूथिंग भविष्यवाणियों को स्पैन-आधारित एनोटेशन संरचनाओं के साथ संरेखित करती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन LLMs (Llama-3.1-8B, Qwen3-8B, और Mistral-7B) का उपयोग करके दो बेंचमार्क (RAGTruth और HalluRAG) पर CORTEX का मूल्यांकन किया।

टोकन-लेवल प्रदर्शन: CORTEX ने एवरेज प्रिसिजन (AP) और AUROC के मामले में पांच बेसलाइन्स (NLL, SAPLMA, LLM-Check, ICR Probe, और RAGLens सहित) को काफी बेहतर प्रदर्शन किया। RAGTruth पर, CORTEX ने 0.5940 (Qwen) का AP प्राप्त किया, जबकि अगला सर्वश्रेष्ठ (RAGLens) 0.4575 पर था।
आंसर-लेवल प्रदर्शन: हालांकि इसे टोकन-लेवल डिटेक्शन के लिए प्रशिक्षित किया गया था, CORTEX ने प्रतिस्पर्धी आंसर-लेवल प्रदर्शन भी प्राप्त किया (अधिकतम टोकन स्कोर को आंसर स्कोर के रूप में उपयोग करके), जो दर्शाता है कि टोकन-लेवल सिग्नल ग्लोबल रिलायबिलिटी असेसमेंट के लिए प्रभावी हैं।
एब्लेशन स्टडीज (Ablation Studies): कॉन्टेक्स्टुअल रेसिड्यूल ( $c$ ) या स्मूथिंग स्टेप को हटाने से प्रदर्शन में गिरावट आई, जिससे पुष्टि होती है कि दोनों घटक मजबूत डिटेक्शन के लिए आवश्यक हैं। स्मूथिंग स्टेप को व्यापक रूप से फायदेमंद पाया गया, भले ही इसे बेसलाइन विधियों पर लागू किया गया हो।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि CORTX यह प्रदर्शित करता है कि हैलुसिनेशन डिटेक्शन के संकेत के रूप में विभिन्न कंडीशनिंग (संदर्भ के साथ बनाम बिना संदर्भ के) के तहत आंतरिक रिप्रेजेंटेशन की तुलना करना प्रभावी है।

व्यावहारिकता: जनरेटर को एनालाइजर से अलग करके, CORTEX उन तैनात सिस्टम में रिलायबिलिटी असेसमेंट के लिए एक व्यवहार्य समाधान प्रदान करता है जहाँ जनरेटर एक ब्लैक-बॉक्स API है।
ग्रैनुलैरिटी: यह उत्तर-स्तर के डिटेक्शन की सीमा को संबोधित करता है और हैलुसिनेशन को विशिष्ट टोकन तक स्थानीयकृत करने का तंत्र प्रदान करता है, जिन्हें बाद में किसी भी आवश्यक ग्रैनुलैरिटी (शब्द, वाक्य, पैराग्राफ) तक एकत्रित किया जा सकता है।
दायरा: लेखक स्पष्ट रूप से उल्लेख करते हैं कि CORTEX रेफरेंस-ग्राउंडेड जनरेशन के लिए डिज़ाइन किया गया है। यह प्रदान किए गए संदर्भों द्वारा समर्थित न होने वाली सामग्री का पता लगाता है, जो नियंत्रित अनुप्रयोगों (जैसे एंटरप्राइज सपोर्ट) के लिए महत्वपूर्ण है लेकिन ओपन-एंडेड परिदृश्यों में उपयोगी पैरामीट्रिक ज्ञान को फ्लैग कर सकता है। पेपर प्रदान किए गए संदर्भ के स्वतंत्र सामान्य तथ्यात्मक गलतता का पता लगाने का दावा नहीं करता है।

लेखक निष्कर्ष निकालते हैं कि ये तुलनात्मक आंतरिक-प्रतिनिधित्व संकेत भविष्य की हैलुसिनेशन मिटिगेशन रणनीतियों, जैसे कि जनरेटर्स को ट्यून करने के लिए रिवॉर्ड मॉडलिंग के लिए भी आधार के रूप में काम कर सकते हैं।