Temporal Multi-Signal Fusion for Token-Level Hallucination Detection
यह शोध पत्र एक टेम्पोरल मल्टी-सिग्नल फ्यूजन दृष्टिकोण प्रस्तावित करता है जो टेक्स्ट स्टैटिस्टिक्स, एनएलआई एंटेलमेंट और लैंग्वेज मॉडल सरप्राइज़ल को संयोजित करने के लिए एक BiGRU का उपयोग करके मतिभ्रम (hallucination) को एक सीक्वेंस-लेबलिंग समस्या के रूप में मानता है, जो मॉडल क्षमता के बजाय टेम्पोरल कॉन्टेक्स्ट का लाभ उठाकर RAGTruth पर 0.840 का महत्वपूर्ण AUC सुधार प्राप्त करता है, जबकि क्लोज्ड-सोर्स और अनसीन मॉडल्स पर प्रभावशीलता बनाए रखता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट द्वारा लिखी गई कहानी पढ़ रहे हैं। कभी-कभी, रोबोट सच बोलता है। अन्य समय में, वह आत्मविश्वास के साथ मनगढ़ंत झूठ बोलता है। पेचीदगी यह है कि रोबोट को पता नहीं चलता कि वह झूठ बोल रहा है। वह बस टाइप करता रहता है, और जैसे-जैसे वह आगे बढ़ता है, वह खुद के प्रति अधिक आश्वस्त होता जाता है।
लंबे समय तक, वैज्ञानिकों ने हर एक शब्द को एक-एक करके जांचकर इन झूठों को पकड़ने की कोशिश की, जैसे कोई शिक्षक क्विज़ को ग्रेड दे रहा हो। वे पूछते थे, "क्या यह विशिष्ट शब्द सत्य है?" लेकिन इगोर इटकिन का शोध पत्र कहता है कि इस दृष्टिकोण में एक घातक दोष है: यह हर शब्द को एक द्वीप (island) की तरह मानता है।
"द्वीप" की समस्या बनाम "नदी" की वास्तविकता
शोध पत्र का तर्क है कि मतिभ्रम (hallucinations/झूठ) केवल यादृच्छिक, अलग-थलग गलतियाँ नहीं हैं। वे एक नदी की तरह हैं। एक बार जब रोबोट झूठ बोलना शुरू कर देता है, तो वह केवल एक बार गलती करता है और रुक नहीं जाता। वह कल्पना की एक धारा में बह जाता है। एक बनावटी शब्द दूसरे की ओर ले जाता है, जो तीसरे की ओर ले जाता है, जिससे निरर्थकता का एक लंबा, बहता हुआ विस्तार बन जाता है।
लेखकों ने पाया कि यदि कोई रोबोट एक क्षण में झूठ बोलता है, तो इसकी 90.2% संभावना है कि वह अगले ही क्षण भी झूठ बोलता रहेगा। यह अचानक सच पर वापस आने की बहुत कम संभावना की तुलना में एक विशाल 150-से-1 का अनुपात है।
इस कारण से, शब्दों को एक-एक करके जांचने वाली पुरानी विधि विफल हो जाती है। यह एक अकेले वर्षा की बूंद को अलग-थलग देखकर तूफान की भविष्यवाणी करने की कोशिश करने जैसा है। आप पूरे मौसम की प्रणाली को चूक जाते हैं।
नया जासूस: एक समय-यात्रा करने वाला जासूस
शब्दों को एक-एक करके जांचने के बजाय, शोधकर्ताओं ने एक नए प्रकार का जासूस बनाया: एक BiGRU (एक प्रकार का न्यूरल नेटवर्क जो टेक्स्ट को एक कहानी की तरह, शुरू से अंत तक और फिर पीछे से पढ़ता है)।
यह कैसे काम करता है:
- यह रोबोट के मस्तिष्क के अंदर झाँकने की कोशिश नहीं करता। जासूस केवल उस टेक्स्ट को देखता है जो रोबोट ने लिखा है और कुछ बाहरी संकेतों को देखता है। यह बहुत बड़ी बात है क्योंकि इसका मतलब है कि जासूस किसी भी रोबोट के झूठ को पकड़ सकता है, यहाँ तक कि उन गुप्त, क्लोज्ड-सोर्स रोबोटों को भी जिन्हें कंपनियाँ छूने नहीं देतीं।
- यह एक 33-आयामी "सुपर-सेंस" का उपयोग करता है। प्रत्येक शब्द के लिए, जासूस 33 अलग-अलग सुराग एकत्र करता है:
- टेक्स्ट सांख्यिकी (Text Stats): क्या यह शब्द मूल कहानी का हिस्सा लगता है? क्या यह नया है?
- NLI (तर्क की जाँच): क्या यह वाक्य स्रोत सामग्री का खंडन करता है?
- सरप्राइज़ल (Surprisal): क्या यह शब्द एक छोटे, सरल रोबोट के लिए अजीब तरह से अप्रत्याशित लगता है?
- यह समय के साथ कड़ियों को जोड़ता है। जासूस केवल इस शब्द के सुराग को नहीं देखता। वह इससे पहले और इसके बाद के शब्दों के सुरागों को भी देखता है। वह कहानी के "नदी" को देखता है। यदि सुराग अजीब होने लगते हैं, तो जासूस जानता है कि टेक्स्ट का वह पूरा हिस्सा संभवतः एक झूठ है, न कि केवल एक शब्द।
परिणाम: नदी को पकड़ना
जब शोधकर्ताओं ने इस नए जासूस का परीक्षण RAGTruth नामक डेटासेट पर किया, तो परिणाम स्पष्ट थे:
- पुराने "द्वीप" विधि (एक साधारण लॉजिस्टिक रिग्रेशन) ने 0.730 का AUC स्कोर किया।
- नए "नदी" जासूस (BiGRU) ने 0.840 का AUC स्कोर किया।
यह 11 अंकों की छलांग है, जो इस क्षेत्र में एक बहुत बड़ा सुधार है। शोध पत्र सिद्ध करता है कि यह केवल इसलिए नहीं है क्योंकि नया जासूस "अधिक स्मार्ट" या अधिक मस्तिष्क शक्ति वाला है। उन्होंने एक नियंत्रित प्रयोग चलाया जहाँ उन्होंने शब्दों के क्रम को बदल दिया। जब समय का क्रम गड़बड़ा दिया गया, तो जासूस का स्कोर वापस नीचे गिर गया। यह दर्शाता है कि असली सफलता समय (timing) में है—यह समझना कि एक शब्द से दूसरे शब्द तक कहानी कैसे बहती है।
यह शोध पत्र किन बातों को "ना" कहता है
यह शोध पत्र बहुत विशिष्ट है कि क्या काम नहीं करता है:
- कोई "जादुई" आंतरिक प्रोब्स नहीं: कई अन्य शोधकर्ता रोबोट की छिपी हुई मस्तिष्क परतों के अंदर झाँकने की कोशिश करते हैं ताकि झूठ का पता लगाया जा सके। लेखकों ने इसका परीक्षण किया और पाया कि टोकन-स्तर के पता लगाने के लिए, ये आंतरिक प्रोब्स कमजोर हैं (लगभग 0.54–0.57 स्कोर)। रोबोट का मस्तिष्क इस तरह से "जानता" नहीं है कि वह झूठ बोल रहा है जिसे आसानी से पढ़ा जा सके।
- कोई एकल संकेत नहीं: आप केवल एक चीज़ पर निर्भर नहीं रह सकते, जैसे कि रोबोट कितना "हैरान" है। सबसे अच्छा एकल सुराग (NLI एंटेलमेंट) केवल 0.641 स्कोर करता है। आपको टेक्स्ट सांख्यिकी, तर्क की जाँच और आश्चर्य के स्तरों को एक साथ मिलाने की आवश्यकता है ताकि उच्च स्कोर प्राप्त हो सके।
- कोई "ब्लैक बॉक्स" जादू नहीं: शोध पत्र स्पष्ट रूप से कहता है कि यदि आप क्लोज्ड-सोर्स मॉडल (जैसे बड़े व्यावसायिक मॉडल) में झूठ का पता लगाना चाहते हैं, तो आपको एक ऐसा तरीका उपयोग करना होगा जिसके लिए आंतरिक पहुंच की आवश्यकता न हो। उनका तरीका ही काम करने वाला एकमात्र तरीका है।
वे कितने आश्वस्त हैं?
लेखक काफी आश्वस्त हैं, लेकिन वे अपने शब्दों के प्रति सावधान हैं।
- उन्होंने अलग-अलग रैंडम सीड के साथ प्रयोग को 10 बार चलाया, और परिणाम स्थिर थे (स्कोर 0.840 ± 0.007 था)।
- उन्होंने एक सांख्यिकीय परीक्षण (Wilcoxon signed-rank) चलाया और पाया कि सुधार सांख्यिकीय रूप से महत्वपूर्ण (p = 0.002) था। इसका मतलब है कि इसकी बहुत कम संभावना है कि यह कोई संयोग हो।
- उन्होंने परीक्षण किया कि क्या जासूस उन रोबोटों को संभाल सकता है जिन्हें उसने पहले कभी नहीं देखा (जैसे GPT-4 या LLaMA)। यह लगभग उतना ही अच्छा काम करता है, जिसकी सटीकता में 4% से भी कम की कमी आई।
- उन्होंने एक अलग डेटासेट (PsiloQA) पर भी इसका परीक्षण किया और पाया कि अधिक विस्तृत लेबल (एनोटेशन डेंसिटी) का महत्व बड़े डेटासेट के आकार से अधिक था।
मुख्य निष्कर्ष
शोध पत्र सुझाव देता है कि रोबोट को झूठ पकड़ने के लिए, आपको केवल यह नहीं देखना चाहिए कि वह अभी कौन सा शब्द बोल रहा है। आपको पूरी कहानी को सामने आते हुए देखना चाहिए। मतिभ्रम को एक कालिक विस्तार (temporal span) के रूप में मानकर—झूठ की एक बहती हुई नदी के रूप में, न कि केवल एक पत्थर के रूप में—आप उन्हें बहुत बेहतर तरीके से पकड़ सकते हैं।
लेखक निष्कर्ष निकालते हैं कि हालांकि उनकी विधि बेहतरीन है, लेकिन यह पूर्ण नहीं है। यह अभी भी बहुत लंबी, जटिल कहानियों के साथ थोड़ा संघर्ष करती है, और यह भारी काम करने के लिए बाहरी उपकरणों (जैसे एक छोटे रोबोट और एक लॉजिक चेकर) पर निर्भर करती है। लेकिन वास्तविक समय में झूठ पकड़ने के लिए, विशेष रूप से गुप्त रोबोटों के मामले में, यह "समय-यात्रा करने वाले जासूस" वाला दृष्टिकोण वर्तमान में उपलब्ध सबसे अच्छा उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।