🤖 machine learning

Low-Cost Black-Box Detection of LLM Hallucinations via Dynamical System Prediction

यह योगदान भ्रम पहचान (hallucination detection) के लिए एक लागत प्रभावी, ब्लैक-बॉक्स पद्धति प्रस्तुत करता है जो महंगी सैंपलिंग या बाहरी ज्ञान पुनर्प्राप्ति की आवश्यकता के बिना, स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करने के लिए कूपमैन ऑपरेटर सिद्धांत (Koopman operator theory) का उपयोग करके LLM प्रतिक्रियाओं को गतिशील प्रणालियों के रूप में मॉडल करता है।

मूल लेखक: Dan Wilson, Mohamed Akrout

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dan Wilson, Mohamed Akrout

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानीकार को सुन रहे हैं। कभी-कभी, वह आपको अतीत की एक सच्ची कहानी सुनाता है। अन्य समय में, वह एक ऐसी कहानी बुनता है जो सुनने में पूरी तरह से सुव्यवस्थित और आत्मविश्वासी लगती है लेकिन पूरी तरह से मनगढ़ंत होती है। बड़े भाषा मॉडल (LLMs) बिल्कुल यही करते हैं: वे "भ्रम" (hallucinate) पैदा कर सकते हैं और ऐसे तथ्य बना सकते हैं जो वास्तविक लगते हैं लेकिन सच नहीं होते।

आमतौर पर, इन झूठों को उजागर करना कठिन होता है। या तो आपको AI से एक ही सवाल सौ बार पूछना होगा यह देखने के लिए कि क्या वह अपनी कहानी बदलता है (जो धीमा और महंगा है), या आपको उत्तर को एक अलग तथ्य-जांचकर्ता (fact-checker) के पास भेजना होगा (जिसके लिए इंटरनेट एक्सेस और अतिरिक्त उपकरणों की आवश्यकता होती है)।

यह लेख एक चतुर, कम लागत वाला शॉर्टकट प्रस्तावित करता है। कहानी की सामग्री (content) की जांच करने के बजाय, लेखक उस लय (rhythm) को सुनते हैं जिसमें कहानी सुनाई जा रही है।

मुख्य विचार: "डांसिंग" रिपोर्ट

लेखक AI को एक लेखक के रूप में नहीं, बल्कि एक डायनेमिक सिस्टम के रूप में देखते हैं—एक शानदार शब्द जिसका अर्थ है एक ऐसी मशीन जो एक अनुमानित पैटर्न के माध्यम से चलती है, जैसे एक नर्तक मंच पर कदम रखता है।

मंच (एम्बेडिंग स्पेस): AI द्वारा बोला गया हर शब्द एक विशाल, अदृश्य 3D (या यहाँ तक कि 1000D) स्थान में एक गणितीय बिंदु में परिवर्तित हो जाता है। जैसे-जैसे AI एक वाक्य बनाता है, वह एक बिंदु से दूसरे बिंदु तक जाता है, जिससे एक पथ या "प्रक्षेपवक्र" (trajectory) बनता है।
दो डांस फ्लोर: शोधकर्ताओं ने पाया कि जब एक AI सच बोलता है, तो उसका पथ एक विशिष्ट डांस फ्लोर (एक "मैनिफोल्ड") का अनुसरण करता है। जब वह झूठ बोलता है (भ्रम पैदा करता है), तो वह पूरी तरह से अलग डांस फ्लोर पर कदम रखता है। हालांकि शब्द समान दिख सकते हैं, लेकिन शब्दों के बीच गणितीय "कदम" अलग होते हैं।
प्रेडिक्शन गेम: उन्होंने दो "प्रेडिक्टर्स" (जैसे दो अलग-अलग डांस इंस्ट्रक्टर) बनाए:
- इंस्ट्रक्टर A ने "सत्य नृत्य" के कदमों को सीखा।
- इंस्ट्रक्टर B ने "झूठ के नृत्य" के कदमों को सीखा।
स्कोर: जब एक नया वाक्य आता है, तो वे दोनों इंस्ट्रक्टर्स से अगले कदम की भविष्यवाणी करने के लिए कहते हैं।
- यदि वाक्य सत्य है, तो इंस्ट्रक्टर A (सत्य) अगले कदम की सटीक भविष्यवाणी करता है, जबकि इंस्ट्रक्टर B (झूठ) लड़खड़ा जाता है।
- यदि वाक्य एक झूठ है, तो इंस्ट्रक्टर B इसकी अच्छी भविष्यवाणी करता है, और इंस्ट्रक्टर A लड़खड़ा जाता है।
- वे एक "डिफरेंशियल रेसिडुअल स्कोर" की गणना करते हैं: मूल रूप से, एक इंस्ट्रक्टर दूसरे की तुलना में कितना बेहतर प्रदर्शन करता है। यदि "झूठ वाला इंस्ट्रक्टर" जीतता है, तो सिस्टम इसे भ्रम (hallucination) के रूप में चिह्नित करता है।

यह एक बड़ी बात क्यों है

वन-पास वंडर: अधिकांश अन्य विधियों को एक ही प्रश्न को कई बार पूछना पड़ता है या डेटाबेस में तथ्यों को खोजना पड़ता है। यह विधि उत्तर को एक ही बार में देखती है और तुरंत निर्णय लेती है। यह एक असली पेंटिंग की तुलना गैलरी की असली पेंटिंग्स से करने के बजाय, ब्रश के स्ट्रोक को एक ही नज़र में पहचानने जैसा है।
ब्लैक-बॉक्स फ्रेंडली: आपको AI के आंतरिक मस्तिष्क को देखने की आवश्यकता नहीं है (जिसे बड़ी कंपनियाँ छिपाकर रखती हैं)। आपको केवल उसके द्वारा आउटपुट किए गए टेक्स्ट की आवश्यकता है। यह एक "ब्लैक-बॉक्स" डिटेक्टर की तरह काम करता है।
समायोज्य कठोरता (Adjustable Strictness): लेखकों ने एक "कैलिब्रेशन" फंक्शन जोड़ा है। कल्पना कीजिए कि आप एक न्यायाधीश हैं। कभी-कभी आप बहुत सख्त होना चाहते हैं और सूक्ष्म त्रुटियों को भी पकड़ना चाहते हैं। अन्य समय में, आप केवल बड़े, स्पष्ट झूठों में रुचि रखते हैं। सिस्टम को आपके कुछ उदाहरणों के साथ ट्यून किया जा सकता है ताकि एकदम सही "झूठ पकड़ने वाली" संवेदनशीलता सेट की जा सके।

उन्होंने इसका परीक्षण कैसे किया

उन्होंने इस "रिदम डिटेक्टर" का परीक्षण तीन अलग-अलग डेटासेट्स पर किया:

WikiBio: तथ्यात्मक त्रुटियों के लिए जीवनियों की जाँच करना।
HaluEval: मनगढ़ंत विवरणों के लिए सारांशों की जाँच करना।
FELM: गणित और विज्ञान में तार्किक तर्क की जाँच करना।

परिणाम:

उनकी विधि वर्तमान में उपलब्ध, सबसे महंगी और सबसे संसाधन-गहन विधियों के बराबर या उनसे बेहतर प्रदर्शन करती है।
दिलचस्प बात यह है कि उन्होंने पाया कि वाक्य जितना लंबा होता है (जितना लंबा नृत्य), "सत्य नृत्य" और "झूठ के नृत्य" के बीच अंतर करना उतना ही आसान होता जाता है।
यहाँ तक कि जब उन्होंने एक AI मॉडल (जैसे Llama-3) पर प्रशिक्षित होकर दूसरे (जैसे Mistral) पर परीक्षण किया, तो यह आश्चर्यजनक रूप से अच्छा काम करता है, जो बताता है कि "झूठ बोलने की लय" विभिन्न AIs के लिए एक सार्वभौमिक गुण है।

निचोड़

यह लेख शब्दों के बजाय शब्दों के गणितीय प्रवाह का विश्लेषण करके AI के झूठ का पता लगाने की एक विधि पेश करता है। यह तेज़ है, सस्ता है, इसके लिए किसी बाहरी डेटाबेस की आवश्यकता नहीं है, और यह टेक्स्ट पर एक ही नज़र में काम करता है। यह एक ऐसे झूठ पकड़ने वाले यंत्र की तरह है जो शब्दों के बजाय भाषण के संगीत को सुनता है।

उल्लिखित सीमाएँ:
लेख नोट करता है कि जबकि यह विधि झूठ का पता लगाने में उत्कृष्ट है, यह आपको यह नहीं बताती कि वास्तविक सत्य क्या है, न ही यह AI के व्यवहार को ठीक करती है। यह एक डिटेक्टर है, सुधारक (corrector) नहीं।

तकनीकी निष्कर्ष: डायनेमिकल सिस्टम्स के प्रेडिक्शन के माध्यम से LLMs में ब्लैक-बॉक्स मतिभ्रम (Hallucinations) का लागत-कुशल पता लगाना

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर प्रवाहपूर्ण लेकिन तथ्यात्मक रूप से गलत सामग्री उत्पन्न करते हैं, जिसे 'मतिभ्रम' (hallucination) कहा जाता है। यह समस्या स्वास्थ्य सेवा, कानून और वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में LLMs को तैनात करने के लिए एक महत्वपूर्ण बाधा है। यद्यपि सीमित प्रशिक्षण डेटा और ओपन-एंडेड जनरेशन के बीच के ट्रेड-ऑफ के कारण मतिभ्रम सैद्धांतिक रूप से अपरिहार्य है, वर्तमान पहचान विधियों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

व्हाइट-बॉक्स/ग्रे-बॉक्स विधियाँ (White-Box/Gray-Box Methods): इनके लिए मॉडल की आंतरिक अवस्थाओं (हिडन स्टेट्स, अटेंशन मैप्स) या टोकन-लेवल प्रोबेबिलिटीज तक पहुंच की आवश्यकता होती है, जो API के माध्यम से उपलब्ध वाणिज्यिक, क्लोज्ड-सोर्स मॉडल्स के लिए उपलब्ध नहीं होती हैं।
मौजूदा ब्लैक-बॉक्स विधियाँ (Existing Black-Box Methods): ये आमतौर पर कम्प्यूटेशनल रूप से गहन सैंपलिंग-आधारित कंसिस्टेंसी चेक्स (जैसे SelfCheckGPT) या बाहरी ज्ञान पुनर्प्राप्ति (external knowledge retrieval) पर निर्भर करती हैं। ये दृष्टिकोण उच्च API लागत, विलंबता (latency) और संसाधन ओवरहेड का कारण बनते हैं, जिससे वे सिंगल सैंपल वाले रियल-टाइम अनुप्रयोगों के लिए अव्यवहारिक हो जाते हैं।

एक स्टैंडअलोन, लागत-प्रभावी डिटेक्शन फ्रेमवर्क की तत्काल आवश्यकता है जो बाहरी एंकरिंग या कई सैंपलिंग रन की आवश्यकता के बिना, विशेष रूप से उत्पन्न टेक्स्ट पर कार्य कर सके।

कार्यप्रणाली (Methodology)

लेखक एक LLM को एक ब्लैक-बॉक्स डायनेमिकल सिस्टम (DS) के रूप में मानने का प्रस्ताव देते हैं। टोकन को स्वतंत्र इकाइयों के रूप में विश्लेषण करने के बजाय, यह विधि टोकन एम्बेडिंग्स के टेम्पोरल इवोल्यूशन (temporal evolution) को मॉडल के लेटेंट स्टेट-स्पेस डायनेमिक्स के अवलोकन योग्य वास्तविकताओं के रूप में मॉडल करती है।

मुख्य ढांचा (Core Framework)

डायनेमिकल सिस्टम का सूत्रीकरण (Formulation of the Dynamical System):
LLM आउटपुट को एक डिस्क्रीट, नॉनलीनियर सिस्टम के रूप में मॉडल किया गया है:
$x_{k+1} = F(x_k), \quad y_k = H(x_k)$
जहाँ $x_k$ आंतरिक अवस्थाओं का प्रतिनिधित्व करता है और $y_k$ अवलोकन योग्य टोकन एम्बेडिंग्स का प्रतिनिधित्व करता है। लेखक इन ऑब्जर्वेबल्स की डायनेमिक्स को लीनियर करने के लिए कोपमैन ऑपरेटर थ्योरी (Koopman Operator Theory) का उपयोग करते हैं, जिससे पिछले अवलोकनों के आधार पर भविष्य की अवस्थाओं की भविष्यवाणी करना संभव हो जाता है।
चरण 1: डायनेमिकल सिस्टम का डेटा-ड्रिवन इन्फरेंस (ऑफलाइन अनुकूलन):
- विधि एक छोटे लेबल किए गए डेटा सेट का उपयोग करती है जिसमें तथ्यात्मक और मतिभ्रम युक्त दोनों प्रतिक्रियाएं शामिल हैं।
- टोकन एम्बेडिंग्स को एक्सटेंडेड डायनेमिक मोड डिकंपोजिशन (Extended DMD) का उपयोग करके एक उच्च-आयामी स्थान में "लिफ्ट" किया जाता है।
- दो अलग-अलग लीनियर डायनेमिकल मॉडल्स को इन्फर किया जाता है:
  - $A_c$ : तथ्यात्मक (सही) प्रतिक्रियाओं के लिए ट्रांजिशन ऑपरेटर।
  - $A_h$ : मतिभ्रम युक्त (गलत) प्रतिक्रियाओं के लिए ट्रांजिशन ऑपरेटर।
- परिकल्पना यह है कि तथ्यात्मक और मतिभ्रम युक्त प्रतिक्रियाएं एम्बेडिंग स्पेस के भीतर अलग-अलग मैनिफोल्ड्स ( $M_c$ और $M_h$ ) पर विकसित होती हैं, जिससे कोपमैन ऑपरेटर का अलग-अलग अनुमान प्राप्त होता है।
चरण 2: डिफरेंशियल रेसिड्यूल स्कोर के माध्यम से वर्गीकरण (इन्फरेंस):
- एक नए, अज्ञात LLM रिस्पॉन्स के लिए, विधि दोनों मॉडल्स ( $A_c$ और $A_h$ ) का उपयोग करके टोकन एम्बेडिंग ट्राजेक्टरी के लिए प्रेडिक्शन एरर (रेसिड्यूल) की गणना करती है।
- रिस्पॉन्स लेवल पर, एक डिफरेंशियल रेसिड्यूल स्कोर ( $\Delta E$ ) की गणना की जाती है:
  $\Delta E = \sqrt{\sum \epsilon_{h,j}^2} - \sqrt{\sum \epsilon_{c,j}^2}$
  जहाँ $\epsilon$ प्रेडिक्शन एरर का प्रतिनिधित्व करता है।
- तर्क: यदि प्रतिक्रिया मतिभ्रम युक्त है, तो मतिभ्रम के लिए अनुकूलित मॉडल ( $A_h$ ) तथ्यात्मक मॉडल ( $A_c$ ) की तुलना में ट्राजेक्टरी की अधिक सटीक भविष्यवाणी करेगा, जिसके परिणामस्वरूप एक नकारात्मक $\Delta E$ प्राप्त होगा। इसके विपरीत, तथ्यात्मक टेक्स्ट एक सकारात्मक $\Delta E$ देता है।
- $\Delta E$ पर एक निर्णय थ्रेशोल्ड $\eta$ लागू किया जाता है ताकि आउटपुट को तथ्यात्मक (0) या मतिभ्रम युक्त (1) के रूप में वर्गीकृत किया जा सके।
प्रेफरेंस-अवेयर कैलिब्रेशन (Preference-Aware Calibration):
विभिन्न उपयोगकर्ता आवश्यकताओं (जैसे मामूली अशुद्धियों के प्रति सख्त बनाम सहिष्णु) को समायोजित करने के लिए, लेखक एक कैलिब्रेशन तंत्र पेश करते हैं। उपयोगकर्ता द्वारा एनोटेट किए गए प्रदर्शनों के एक छोटे सेट का उपयोग करके, थ्रेशोल्ड $\eta$ को विशिष्ट संवेदनशीलता प्राथमिकताओं के साथ संरेखित करने के लिए अनुकूलित किया जाता है, जिससे डिटेक्टर को व्यक्तिगत उपयोग के मामलों के अनुकूल बनाया जा सके।

मुख्य योगदान (Main Contributions)

नया डायनेमिकल परिप्रेक्ष्य: यह कार्य पहली बार LLM आउटपुट को ब्लैक-बॉक्स डायनेमिकल सिस्टम के रूप में देखता है, जहाँ तथ्यात्मक और मतिभ्रम युक्त प्रतिक्रियाएं स्टेट स्पेस में अलग-अलग मैनिफोल्ड्स पर विकसित होती हैं।
कम्प्यूटेशनल रूप से कुशल सिंगल-पास डिटेक्शन: मल्टी-सैंपलिंग रन या बाहरी रिट्रीवल की आवश्यकता के बिना, यह दृष्टिकोण एक सिंगल-पास प्रक्रिया में मतिभ्रम की पहचान करता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि तीन अलग-अलग बेंचमार्क (WikiBio, HaluEval, FELM) पर संसाधन-गहन बेसलाइन्स की तुलना में प्रतिस्पर्धी या बेहतर परिणाम प्राप्त करती है।
उपयोगकर्ता-केंद्रित कैलिब्रेशन: थ्रेशोल्ड को उपयोगकर्ता-निर्धारित सख्ती के स्तरों के आधार पर समायोजित करने के लिए एक तंत्र पेश करने से व्यक्तिगत डिटेक्शन संभव होता है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन तीन डेटासेट्स पर किया गया: WikiBio (जीवनी), HaluEval (समराइजेशन), और FELM (गणित, विज्ञान और तर्क में रीजनिंग)।

प्रदर्शन:
- HaluEval समराइजेशन टास्क पर, विधि ने Llama-3 एम्बेडिंग मॉडल का उपयोग करके 99.3% की सटीकता प्राप्त की, जो ज़ीरो-शॉट डिटेक्टर्स और अन्य ब्लैक-बॉक्स बेसलाइन्स से काफी बेहतर है।
- WikiBio पर, विधि ने गैर-तथ्यात्मक वाक्यों का पता लगाने के लिए 85.3 का AUC-PR (Llama-3 का उपयोग करके) प्राप्त किया, जो SelfCheckGPT (81.96) से अधिक है।
- FELM पर, Llama-3 वेरिएंट ने 68.4 की बैलेंस्ड एक्यूरेसी हासिल की, जो GPT-4 और अन्य मजबूत बेसलाइन्स के बराबर या उनसे बेहतर है।
अनुक्रम लंबाई (Sequence Length): लंबे टोकन सीक्वेंस के साथ प्रदर्शन में सुधार होता है, क्योंकि लंबी ट्राजेक्टरीज समृद्ध सिमेंटिक जानकारी प्रदान करती हैं। छोटे एम्बेडिंग मॉडल्स को बढ़ी हुई सीक्वेंस लेंथ से सबसे अधिक लाभ होता है, जबकि बड़े मॉडल्स (जैसे Llama-3) छोटी सीक्वेंस के साथ भी उच्च प्रदर्शन बनाए रखते हैं।
क्रॉस-एम्बेडिंग जनरलाइजेशन: अध्ययन में आश्चर्यजनक ट्रांसफरैबिलिटी देखी गई; एक एम्बेडिंग स्पेस (जैसे Qwen3) पर अनुकूलित डायनेमिकल मॉडल्स दूसरे एम्बेडिंग स्पेस (जैसे Llama-3) में एम्बेड किए गए रिस्पॉन्स का मूल्यांकन करने के लिए आंशिक रूप से सामान्यीकरण कर सकते हैं। यह विभिन्न एम्बेडिंग मैनिफोल्ड्स में फॅक्टुअलिटी के सार्वभौमिक डायनेमिकल सिग्नेचर का सुझाव देता है।
दक्षता: यह दृष्टिकोण बाहरी रिट्रीवल या मल्टीपल सैंपलिंग की विलंबता और लागतों से बचता है, जो रियल-टाइम अनुप्रयोगों के लिए उपयुक्त एक लो-ओवरहेड समाधान प्रदान करता है।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि यह कार्य मौजूदा मतिभ्रम डिटेक्शन विधियों के लिए एक लागत-प्रभावी, स्केलेबल विकल्प प्रदान करता है। डायनेमिकल सिस्टम के लेंस के माध्यम से समस्या को फिर से परिभाषित करके, वे प्रदर्शित करते हैं कि टोकन एम्बेडिंग्स का टेम्पोरल इवोल्यूशन स्वाभाविक रूप से तथ्यात्मक और मतिभ्रम युक्त सामग्री के बीच के अंतर को एनकोड करता है।

यह कार्य इस बात पर जोर देता है कि उनकी विधि:

मॉडल के इंटरनल तक पहुंच की आवश्यकता नहीं है (ट्रू ब्लैक-बॉक्स),
किसी बाहरी ज्ञान पुनर्प्राप्ति की आवश्यकता नहीं है,
किसी मल्टीपल सैंपलिंग रन की आवश्यकता नहीं है,
कम संसाधन ओवरहेड के साथ स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करती है।

लेखक सीमाओं को स्वीकार करते हुए नोट करते हैं कि जबकि विधि मतिभ्रम का पता लगाती है, यह बाहरी तथ्यात्मक सुधार प्रदान नहीं करती है या मतिभ्रम को कम करने की रणनीति (जैसे प्रॉम्प्ट संशोधन के माध्यम से) पेश नहीं करती है। हालाँकि, वे इस कार्य को महत्वपूर्ण डोमेन में LLMs के विश्वसनीय परिनियोजन के लिए आवश्यक स्टैंडअलोन, स्वायत्त डिटेक्शन फ्रेमवर्क की दिशा में एक मौलिक कदम के रूप में देखते हैं।