💬 NLP

Hallucination as an Anomaly: Dynamic Intervention via Probabilistic Circuits

यह शोध पत्र PCNET को प्रस्तुत करता है, जो एक संभाव्य सर्किट-आधारित विधि है जो LLM के रेसिडुअल स्ट्रीम (residual stream) में ज्यामितीय विसंगतियों (geometric anomalies) के रूप में मतिभ्रम (hallucinations) का पता लगाती है ताकि PC-LDCD के माध्यम से गतिशील, लक्षित हस्तक्षेप को सक्षम किया जा सके, जिससे मॉडल वेट संशोधनों या बाहरी सत्यापनकर्ताओं की आवश्यकता के बिना, सही जनरेशन की अखंडता को बनाए रखते हुए मतिभ्रम को काफी हद तक कम किया जा सके।

मूल लेखक: Erik Nielsen, Elia Cunegatti, Marcus Vukojevic, Giovanni Iacca

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Erik Nielsen, Elia Cunegatti, Marcus Vukojevic, Giovanni Iacca

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े भाषा मॉडल (LLM) की कल्पना एक बहुत ही प्रतिभाशाली, तेज़ बोलने वाले कहानीकार के रूप में करें। इस कहानीकार ने लगभग वह सब कुछ पढ़ लिया है जो कभी लिखा गया है, लेकिन कभी-कभी, अपनी कहानी को पूरा करने के उत्साह में, वे ऐसे तथ्य गढ़ लेते हैं जो सुनने में तो एकदम सही लगते हैं लेकिन पूरी तरह से गलत होते हैं। इसे "हैलुसिनेशन" (hallucination) कहा जाता है।

आपके द्वारा दिए गए शोध पत्र में इस समस्या को हल करने के लिए PCNET और PC-LDCD नामक एक नई प्रणाली पेश की गई है। यह कैसे काम करती है, इसे सरल उपमाओं के माध्यम से समझाया गया है।

समस्या: "अंधा सुधार" (Blind Correction) की गलती

कल्पना कीजिए कि आप एक फिल्म को एडिट कर रहे हैं। आप देखते हैं कि अभिनेता कभी-कभी गलत संवाद बोल देता है।

पुराने तरीके: इस गलती को सुधारने का पुराना तरीका यह था कि एक संपादक को नियुक्त किया जाए जो, जब भी उन्हें कोई संभावित गलती सुनाई देती, तो वे तुरंत स्क्रिप्ट पकड़ते और अभिनेता के संवाद को फिर से लिख देते। समस्या क्या थी? संपादक यह पहचानने में बहुत खराब थे कि असली गलती और एक रचनात्मक, सही संवाद के बीच क्या अंतर है। इसलिए, उन्होंने अभिनेता के सही संवादों को भी बदल दिया, जिससे फिल्म खराब हो गई। शोध पत्र इसे "डिटेक्शन-करेक्शन एसिमेट्री" (Detection-Correction Asymmetry) कहता है: वे उपकरण जो त्रुटियों को पकड़ने में अच्छे हैं, वे अच्छी चीज़ों को तोड़े बिना उन्हें ठीक करने में बहुत अनाड़ी हैं।

समाधान: एक दो-चरणीय सुरक्षा प्रणाली

लेखक एक स्मार्ट दो-चरणीय दृष्टिकोण का प्रस्ताव देते हैं जो एक सुरक्षा गार्ड और एक विशेषज्ञ संपादक की तरह मिलकर काम करता है।

चरण 1: सुरक्षा गार्ड (PCNET)

सबसे पहले, उन्होंने PCNET नामक एक विशेष डिटेक्टर बनाया।

उपमा: कल्पना कीजिए कि कहानीकार का मस्तिष्क एक विशाल, भीड़भाड़ वाला डांस फ्लोर है। जब वे सच बोल रहे होते हैं, तो वे एक विशिष्ट, अच्छी तरह से बने क्षेत्र ("फैक्टुअल मैनिफोल्ड") में नाचते हैं। जब वे झूठ बोलना या हैलुसिनेशन करना शुरू करते हैं, तो वे कमरे के एक अजीब, खाली कोने में चले जाते जहाँ कोई नहीं नाचता।
यह कैसे काम करता है: PCNET एक सुरक्षा गार्ड की तरह है जिसके पास डांस फ्लोर का एक सटीक नक्शा है। इसे अनुमान लगाने या अन्य लोगों से मदद मांगने की ज़रूरत नहीं है। यह कहानीकार के वर्तमान "डांस मूव" (कंप्यूटर की मेमोरी में छिपा हुआ स्टेट) को देखता है और तुरंत गणना करता है: "क्या डांसर सुरक्षित क्षेत्र में है या अजीब कोने में?"
जादू: यह एक "प्रोबेबिलिस्टिक सर्किट" नामक गणितीय ट्रिक का उपयोग करके करता है। यह इसे लाखों सिमुलेशन चलाने या किसी बाहरी विशेषज्ञ से पूछने की आवश्यकता के बिना तुरंत उत्तर जानने की अनुमति देता है। यदि डांसर "अजीब कोने" में है, तो गार्ड एक शांत अलार्म बजा देता है।

चरण 2: विशेषज्ञ संपादक (PC-LDCD)

यदि गार्ड अलार्म बजाता है, तो PC-LDCD नामक एक दूसरा सिस्टम हस्तक्षेप करता है।

उपमा: संपादक पूरे दृश्य को फिर से लिखने के लिए स्क्रिप्ट को पकड़ने के बजाय (जो प्रवाह को बिगाड़ देता है), केवल तब हस्तक्षेप करता है जब गार्ड उसे कहता है। जब गार्ड किसी संभावित झूठ को फ्लैग करता है, तो संपादक एक सेकंड के लिए रुकता है। वह अगले कुछ शब्दों को देखता है जो कहानीकार शायद कहेगा और पूछता है: "यदि मैं इस शब्द को चुनता हूँ, तो क्या यह डांसर को सुरक्षित क्षेत्र में रखेगा, या उसे और अधिक अजीब कोने की ओर धकेल देगा?"
परिणाम: यह उस शब्द को चुनता है जो कहानी को सही रास्ते पर रखता है। यदि गार्ड ने अलार्म नहीं बजाया, तो संपादक कुछ नहीं करता, जिससे कहानी स्वाभाविक रूप से चलती रहती है।

यह एक बड़ी बात क्यों है

शोधकर्ताओं ने इस प्रणाली का परीक्षण चार अलग-अलग AI मॉडलों (छोटे से मध्यम आकार के) और चार अलग-अलग प्रकार के परीक्षणों (जैसे सामान्य ज्ञान के उत्तर देना, समझ/रीडिंग कॉम्प्रिहेनशन, और यह जांचना कि क्या AI सच बोल रहा है) पर किया।

सुपर डिटेक्शन: "सुरक्षा गार्ड" (PCNET) अविश्वसनीय रूप से सटीक था। यह हैलुसिनेशन को लगभग पूरी तरह से पकड़ सकता था (कुछ परीक्षणों में 99% तक सटीकता), जो पिछले तरीकों से कहीं बेहतर था जो केवल शब्दों की संभावनाओं के आधार पर अनुमान लगाते थे।
गलती से न बिगाड़ना: क्योंकि "संपादक" (PC-LDCD) केवल तभी हस्तक्षेप करता है जब गार्ड सुनिश्चित होता है, इसने पुराने संकट को रोक दिया जहाँ बिना ज़रूरत के चीजों को सुधारा जा रहा था।
- आंकड़ा: पुराने तरीकों ने उन सही उत्तरों को लगभग 54% तक बिगाड़ दिया जिन्हें वे ठीक करने की कोशिश कर रहे थे। नया सिस्टम केवल 54% कुल प्रयासों को बिगाड़ता है (जिसका अर्थ है कि इसने पहले की तुलना में बहुत अधिक सही उत्तरों को बचाया) और सफलतापूर्वक 79% उन सही जनरेशन को सुरक्षित किया जो पहले खराब हो रहे थे।
बेहतर सत्यनिष्ठा (Truthfulness): "TruthfulQA" टेस्ट पर (जो AI को झूठ बोलने के लिए फंसाने के लिए बनाया गया है), इस नए सिस्टम ने चार में से तीन मॉडलों में सत्यनिष्ठ और सूचनात्मक होने के लिए उच्चतम अंक प्राप्त किए।

सारांश

इस शोध पत्र को AI के लिए एक स्मार्ट ट्रैफिक लाइट बनाने के रूप में सोचें।

पुराना तरीका: एक पुलिस अधिकारी जो यह जांचने के लिए हर कार को रोकता है कि वह तेज चल रही है या नहीं, जिससे अक्सर उन कारों को भी रोका जाता है जो बिल्कुल ठीक चल रही होती हैं, जिससे ट्रैफिक जाम लग जाता है।
नया तरीका: एक सेंसर जो केवल उन्हीं कारों को रोकता है जो वास्तव में तेज चल रही हैं, जिससे बाकी सभी को सुचारू रूप से चलने दिया जाता है।

परिणामस्वरूप, एक ऐसा AI मिलता है जो झूठ बोलने की संभावना बहुत कम रखता है, लेकिन सच बोलते समय भ्रमित या अटकने की संभावना भी बहुत कम होती है। लेखकों ने इस कोड को दूसरों के उपयोग के लिए उपलब्ध कराया है।

तकनीकी सारांश: संभाव्य सर्किट के माध्यम से विसंगति के रूप में मतिभ्रम (Hallucination)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) मतिभ्रम (hallucinations) से ग्रस्त होते हैं, जो प्रवाहपूर्ण लेकिन तथ्यात्मक रूप से गलत आउटपुट उत्पन्न करते हैं। जबकि मौजूदा पहचान विधियाँ (अनिश्चितता की निगरानी करना) और सुधार विधियाँ (रिप्रेजेंटेशन इंजीनियरिंग) व्यक्तिगत रूप से आशाजनक दिखती हैं, उनका संयोजन एक मौलिक सीमा को प्रकट करता है जिसे डिटेक्शन-करेक्शन असिमेट्री (Detection-Correction Asymmetry) कहा जाता है। वर्तमान सुधार तकनीकें अक्सर हर टोकन पर बिना सोचे-समझे स्टीयरिंग वेक्टर्स लागू करती हैं। लेटेंट स्टेट्स (latent states) का यह निरंतर संपादन सक्रियणों (activations) को मॉडल के प्री-ट्रेन्ड मैनिफोल्ड (pre-trained manifold) से दूर धकेल देता है, जिससे प्रवाह (fluency) कम हो जाती है और मूल रूप से सही जनरेशन भी दूषित हो जाते हैं। यह शोध पत्र तर्क देता है कि अन-गेटेड (un-gated) सुधार 26% से 90% तक तथ्यात्मक जनरेशन को दूषित कर सकता है, जिसके लिए एक ऐसे फ्रेमवर्क की आवश्यकता है जो तथ्यात्मक आउटपुट की अखंडता को बनाए रखने के लिए डिटेक्शन को करेक्शन से अलग (decouple) करे।

कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय फ्रेमवर्क प्रस्तावित करते हैं: सुलभ विसंगति पहचान (tractable anomaly detection) के लिए PCNET और गेटेड, मैनिफोल्ड-प्रिजर्विंग करेक्शन के लिए PC-LDCD।

1. PCNET: सुलभ लेटेंट विसंगति पहचान (Tractable Latent Anomaly Detection)

PCNET एक प्रोबेबिलिस्टिक सर्किट (PC) है जिसे LLM के रेसिडुअल स्ट्रीम (residual stream) के लो-डायमेंशनल प्रोजेक्शन पर एक डेंसिटी एस्टिमेटर के रूप में प्रशिक्षित किया गया है।

आर्किटेक्चर: LLM के अंतिम हिडन स्टेट ( $h \in \mathbb{R}^{D_{LLM}}$ ) को एक MLP बॉटलनेक के माध्यम से एक कॉम्पैक्ट लेटेंट स्पेस ( $z \in \mathbb{R}^{D_{PC}}$ ) में प्रोजेक्ट किया जाता है। PCNET इस स्पेस पर जॉइंट प्रोबेबिलिटी डिस्ट्रीब्यूशन $P(z)$ को मॉडल करता है।
संरचना: यह सर्किट एक डायरेक्टेड एसाइक्लिक ग्राफ (DAG) है जिसमें इनपुट, सम (Sum), और प्रोडक्ट (Product) नोड्स शामिल हैं। मानक PCs के विपरीत, इसके इनपुट नोड्स LLM रिप्रेजेंटेशन की जटिल, हेवी-टेल्ड ज्योमेट्री को कैप्चर करने के लिए हेट्रोजेनियस मिश्रण (Gaussian, Laplace, और Student-T डिस्ट्रीब्यूशन) का उपयोग करते हैं।
प्रशिक्षण: PCNET और प्रोजेक्शन बॉटलनेक को एक कंपोजिट ऑब्जेक्टिव का उपयोग करके संयुक्त रूप से अनुकूलित किया जाता है: एक जेनेरेटिव टर्म (तथ्यात्मक अवस्थाओं पर नेगेटिव लॉग-लाइक्लीहुड) और एक कॉन्ट्रास्टिव मार्जिन टर्म (मतिभ्रम वाली अवस्थाओं को लो-डेंसिटी क्षेत्रों में धकेलना)। बेस LLM फ्रीज रहता है।
इन्फरेंस (Inference): PCNET बिना सैंपलिंग या बाहरी वेरीफायर के, एक सिंगल फॉरवर्ड पास में लेटेंट स्टेट का सटीक नेगेटिव लॉग-लाइक्लीहुड (NLL) कंप्यूट करता है। उच्च NLL एक ज्यामितीय विसंगति (geometric anomaly) को दर्शाता है, जो "तथ्यात्मक मैनिफोल्ड" से विचलन का संकेत देता है।

2. PC-LDCD: मैनिफोल्ड-प्रिजर्विंग करेक्शन

PC-LDCD (प्रोबेबिलिस्टिक सर्किट लेटेंट डेंसिटी कॉन्ट्रास्टिव डिकोडिंग) केवल आवश्यकता होने पर हस्तक्षेप करने के लिए एक डायनेमिक गेट के रूप में PCNET का उपयोग करता है।

डायनेमिक गेटिंग: प्रत्येक डिकोडिंग स्टेप पर, वर्तमान स्टेट का NLL कंप्यूट किया जाता है। यदि NLL एक कैलिब्रेटेड थ्रेशोल्ड $\tau$ से अधिक हो जाता है, तो एक हस्तक्षेप (intervention) ट्रिगर किया जाता है। यदि स्टेट को तथ्यात्मक माना जाता है (लो NLL), तो स्टैंडर्ड डिकोडिंग बिना किसी बदलाव के चलती रहती है, जिससे बेस मॉडल का व्यवहार सुरक्षित रहता है।
डिस्क्रीट लुकअहेड (Discrete Lookahead): जब विसंगति का पता चलता है, तो सिस्टम स्टैंडर्ड डिकोडिंग को रोक देता है। यह डिस्क्रीट टोकन स्पेस में $k$ -कैंडिडेट लुकअहेड सर्च करता है। इष्टतम टोकन का चयन एक पेनलाइज्ड लॉग-प्रोबेबिलिटी को मैक्सिमाइज करके किया जाता है:
$\text{Score}_{LDCD}(c_i) = \log P_{LM}(c_i | x_{<t}) - \beta_t \cdot \text{SNLL}(f_\phi(h(c_i)_{t+1}))$
यहाँ, $\beta_t$ एनोमली स्कोर पर आधारित एक डायनेमिक स्ट्रेंथ पैरामीटर है, और $\text{SNLL}$ काल्पनिक भविष्य की अवस्था का NLL है। यह दृष्टिकोण जेनेरेटिव कॉन्फिडेंस की तुलना में सीखा गया सटीक लॉग-डेंसिटी के विरुद्ध कार्य करता है, और केवल तभी हस्तक्षेप करता है जब ट्रैजेक्टरी को मतिभ्रम वाले क्षेत्रों में गहरा होने से रोकना हो।

मुख्य योगदान

डिटेक्शन-करेक्शन असिमेट्री की अनुभवजन्य जांच: यह शोध पत्र व्यवस्थित रूप से प्रदर्शित करता है कि अन-गेटेड रिप्रेजेंटेशन इंजीनियरिंग तथ्यात्मक जनरेशन को दूषित करती है, जो गेटेड इंटरवेंशन की गणितीय आवश्यकता को स्थापित करती है।
सुलभ लेटेंट एनोमली डिटेक्शन (PCNET): लेखक PCNET पेश करते हैं, यह दिखाते हुए कि कॉन्ट्रास्टिवली प्रशिक्षित लेटेंट मैनिफोल्ड पर सटीक डेंसिटी एस्टिमेशन, बिना सैंपलिंग या वेट मॉडिफिकेशन के, विविध मॉडल्स और बेंचमार्क पर स्टेट-ऑफ-द-आर्ट AUROC के साथ मतिभ्रम की पहचान करता है।
मैनिफोल्ड-प्रिजर्विंग करेक्शन (PC-LDCD): प्रस्तावित डेंसिटी-गेटेड डिकोडिंग रणनीति सबसे कम कोरप्शन रेट और उच्चतम प्रिजर्वेशन रेट प्राप्त करती है, जो कि सफल सुधार करती है जबकि सही जनरेशन को अछूता छोड़ देती है।

प्रयोगात्मक परिणाम

इस फ्रेमवर्क का मूल्यांकन चार LLMs (1B से 8B पैरामीटर्स तक) और चार बेंचमार्क (CoQA, SQuAD v2.0, TriviaQA, और TruthfulQA) पर किया गया।

डिटेक्शन प्रदर्शन: PCNET ने CoQA, SQuAD v2.0, और TriviaQA पर लगभग पूर्ण मतिभ्रम पहचान प्राप्त की, जहाँ AUROC स्कोर 99% तक पहुँच गया। इसने टोकन-NLL, सिमेंटिक एंट्रॉपी प्रोब्स (SEP), और HaloScope जैसे बेसलाइन्स को विशेष रूप से नॉलेज-इंटेंसिव और एडवरसेरियल बेंचमार्क पर काफी पीछे छोड़ दिया।
करेक्शन प्रभावकारिता:
- प्रिजर्वेशन (Preservation): PC-LDCD ने तथ्यात्मक जनरेशन के औसत कोरप्शन रेट को घटाकर 53.7% कर दिया और 79.3% की प्रिजर्वेशन रेट हासिल की, जो अन-गेटेड बेसलाइन्स से काफी बेहतर है।
- ट्रुथफुलनेस (Truthfulness): TruthfulQA पर, PC-LDCD ने चार में से तीन मॉडल्स में उच्चतम True+Info, MC2, और MC3 स्कोर प्राप्त किया। इसने विशेष रूप से MC2 और MC3 में सुधार किया, जो यह सुझाव देता है कि यह केवल सिंगल-आंसर कॉन्फिडेंस को बदलने के बजाय अधिक मजबूती से सत्यपूर्ण आउटपुट डिस्ट्रीब्यूशन बनाता है।
- स्टैंडर्ड QA: स्टैंडर्ड QA बेंचमार्क पर, PC-LDCD प्रतिस्पर्धी बना रहा, जो बेस्ट बेसलाइन्स के करीब रहा (जैसे, Mistral-7B पर SQuAD EM 0.87 प्राप्त करना)।
दक्षता (Efficiency): इस विधि के लिए किसी बाहरी रिट्रीवल या वेट अपडेट की आवश्यकता नहीं है। एब्लेशन स्टडीज से पता चला कि केवल 100 ट्रेनिंग सैंपल्स और 128 के प्रोजेक्शन डायमेंशन के साथ भी निकट-इष्टतम डिटेक्शन प्रदर्शन प्राप्त किया जा सकता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि मतिभ्रम को एक तथ्यात्मक मैनिफोल्ड पर ज्यामितीय विसंगति के रूप में फ्रेम करके और सटीक डेंसिटी एस्टिमेशन के लिए प्रोबेबिलिस्टिक सर्किट्स का उपयोग करके, डिटेक्शन और करेक्शन के बीच के तनाव को हल करना संभव है। प्राथमिक महत्व इसके गेटिंग मैकेनिज्म में निहित है: केवल तभी जब लेटेंट ज्योमेट्री विचलित होती है, डिस्क्रीट टोकन स्पेस में सुधार को रूट करके, यह विधि अन-गैडेड कंटीन्यूअस एडिटिंग के कारण होने वाले "सिमेंटिक कोलैप्स" से बचती है।

लेखक अपने कार्य को उच्च-जोखिम वाले डोमेन में विश्वसनीय LLM परिनियोजन (deployment) की दिशा में एक कदम के रूप में देखते हैं, जो एक सिद्धांत आधारित, सिंगल-पास अनसर्टेनिटी सिग्नल प्रदान करता है जो टोकन प्रोबेबिलिटी की ओवरकॉन्फिडेंस या मल्टी-पास सैंपलिंग के कम्प्यूटेशनल ओवरहेड पर निर्भर नहीं करता है। वे सीमाओं को भी स्वीकार करते हैं, जिसमें लेबल किए गए स्टेट्स का एक छोटा कैलिब्रेशन सेट और वर्तमान मूल्यांकन का दायरा 8B पैरामीटर्स तक सीमित होना शामिल है, जो बड़े मॉडल्स में ज्यामितीय पृथक्करण (geometric separation) के प्रश्न को खुला छोड़ता है।