MultiHaluDet: Multilingual Hallucination Detection via LLM Hidden State Probing
MultiHaluDet एक नवीन, भाषा-अज्ञेय (language-agnostic) तीन-चरणीय ढांचा है जो एक हाइब्रिड अटेंशन आर्किटेक्चर के साथ पूर्ण हिडन स्टेट प्रक्षेप पथों (hidden state trajectories) की जांच करके फ्रोजन लार्ज लैंग्वेज मॉडल्स में बहुभाषी मतिभ्रम (multilingual hallucinations) का पता लगाता है, जो भाषा-विशिष्ट फाइन-ट्यूनिंग की आवश्यकता के बिना उच्च, मध्यम और निम्न-संसाधन वाली भाषाओं में अत्याधुनिक प्रदर्शन और मजबूत क्रॉस-लिंगुअल सामान्यीकरण प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुभाषी रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसे कहानियाँ सुनाना और सवालों के जवाब देना बहुत पसंद है। कभी-कभी, यह रोबोट बहुत आत्मविश्वासी हो जाता है लेकिन पूरी तरह से मनगढ़ंत बातें बनाने लगता है। इन मनगढ़ंत तथ्यों को हैलुसिनेशन (hallucinations) कहा जाता है।
यह शोध पत्र MULTIHALUDET (मल्टीलिंगुअल हैलुसिनेशन डिटेक्शन) नामक एक नया टूल पेश करता है। इसे एक ऐसे तथ्य-जांचकर्ता (fact-checker) के रूप में न समझें जो उत्तर खोजने के लिए गूगल करता है, बल्कि इसे एक झूठ पकड़ने वाले यंत्र (lie detector) के रूप में समझें जो रोबोट की धड़कन सुनता है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:
1. समस्या: पुराने तरीके क्यों विफल होते हैं
झूठ पकड़ने के पिछले तरीके रोबोट से यह पूछने जैसे थे, "क्या आप पक्का जानते हैं?"
- आत्मविश्वास का जाल (The Confidence Trap): यदि रोबोट कहता है, "मैं 100% आश्वस्त हूँ," तो पुराने तरीकों ने सोचा कि वह सच बोल रहा है। लेकिन यह शोध दिखाता है कि रोबोट आत्मविश्वास के साथ गलत भी हो सकता है। यह एक चिकनी-चुपड़ी बातें करने वाले झूठे व्यक्ति की तरह है जो बहुत प्रभावशाली होता है।
- एकल-जांच का जाल (The Single-Check Trap): अन्य तरीके रोबोट के मस्तिष्क के केवल एक हिस्से (एक लेयर) या उसके द्वारा बोले गए अंतिम शब्द को देखते थे। यह शोध तर्क देता है कि झूठ अक्सर विचार प्रक्रिया की 'यात्रा' में छिपे होते हैं, न कि केवल 'मंजिल' में।
2. समाधान: "मस्तिष्क की तरंगों" को सुनना
MULTIHALUDET रोबोट से यह नहीं पूछता कि वह क्या सोचता है। इसके बजाय, यह रोबोट के सोचने के दौरान उसके आंतरिक "हिडन स्टेट्स" (hidden states) की जांच करता है।
- उपमा (Analogy): कल्पना कीजिए कि रोबोट एक कहानी लिख रहा है।
- पुराना तरीका: यह देखने के लिए अंतिम वाक्य को पढ़ता है कि क्या वह समझ में आता है।
- MULTIHALUDET: यह हर एक अक्षर लिखते समय रोबोट के हाथ को देखता है, हर कदम पर दबाव, गति और हिचकिचाहट को महसूस करता है। यह लिखने की प्रक्रिया में उन "कंपनों" (tremors) को खोजता है जो झूठ का संकेत देते हैं, भले ही अंतिम वाक्य बिल्कुल सही दिखाई दे रहा हो।
3. यह कैसे काम करता है (चार चरण)
यह प्रणाली एक चार-चरणीय जासूसी एजेंसी की तरह कार्य करती है:
- स्कैन (विशेषता निष्कर्षण - Feature Extraction): रोबोट एक प्रश्न का उत्तर देता है। सिस्टम रोबोट को फ्रीज कर देता है (उसके मस्तिष्क को बदलता नहीं है) और उसके मस्तिष्क की पहली परत से अंतिम परत तक जाने वाले उसके आंतरिक विचारों का एक "वीडियो" रिकॉर्ड करता है।
- ज़ूम लेंस (मल्टी-स्केल अटेंशन - Multi-Scale Attention): सिस्टम केवल पूरे वीडियो को नहीं देखता या केवल एक फ्रेम को नहीं देखता। यह बड़ी तस्वीर और सूक्ष्म विवरणों को एक साथ देखने के लिए एक "ज़ूम लेंस" का उपयोग करता है। यह देखता है कि रोबोट के विचार विकसित होने के तरीके में अचानक बदलाव या अजीब पैटर्न कहाँ आते हैं।
- टीम हडल (एन्सेम्बल मेटा-लर्नर - Ensemble Meta-Learner): केवल एक जासूस द्वारा निर्णय लेने के बजाय, सिस्टम विभिन्न विशेषज्ञों की एक टीम का उपयोग करता है (जैसे कि एक ट्री-बेस्ड जासूस, एक गणित-आधारित जासूस, और एक न्यूरल नेटवर्क जासूस)। वे सभी इस बात पर वोट करते हैं कि रोबोट झूठ बोल रहा है या नहीं।
- सुरक्षा जाल (आउट-ऑफ-फोल्ड स्टैकिंग - Out-of-Fold Stacking): यह सुनिश्चित करने के लिए कि टीम उत्तर याद करके नकल न करे, वे इस तरह से अभ्यास करते हैं जहाँ वे परीक्षण के प्रश्नों को प्रशिक्षण के दौरान कभी नहीं देखते। यह सुनिश्चित करता है कि वे वास्तव में झूठ पकड़ना सीख रहे हैं, न कि केवल तथ्यों को रट रहे हैं।
4. बहुभाषी महाशक्ति (The Multilingual Superpower)
अधिकांश झूठ पकड़ने वाले यंत्र केवल अंग्रेजी में अच्छी तरह काम करते हैं। MULTIHALUDET विशेष है क्योंकि यह बिना प्रत्येक भाषा के लिए पुन: प्रशिक्षित हुए फ्रेंच, बांग्ला और अम्मारा (Amharic) (एक ऐसी भाषा जिसके डिजिटल संसाधन बहुत कम हैं) में काम करता है।
- परिणाम: यह फ्रेंच में लगभग उतना ही अच्छा काम करता है जितना कि अंग्रेजी में। बांग्ला और अम्मारा में, यह अभी भी बहुत अच्छा काम करता है, पिछले किसी भी तरीके की तुलना में कहीं बेहतर, भले ही रोबोट उन भाषाओं में उतना "निपुण" न हो। यह साबित करता है कि झूठ के "कंपन" रोबोट के मस्तिष्क में समान दिखते हैं, चाहे वह कोई भी भाषा बोल रहा हो।
5. परिणाम
इस शोध पत्र ने दो बड़े प्रश्न समूहों (HaluEval और TriviaQA) पर इसका परीक्षण किया।
- स्कोर: जहाँ सर्वश्रेष्ठ पिछले तरीकों ने लगभग 95% सटीकता प्राप्त की, वहीं MULTIHALUDET ने 98.5% हासिल किया।
- मजबूती (Robustness): यह रोबोट के दो अलग-अलग प्रकार के मस्तिष्क (Mistral-7B और LLaMA2-7B) पर समान रूप से प्रभावी रहा, जिससे सिद्ध होता है कि यह केवल एक विशिष्ट मॉडल के कारण सफल नहीं हुआ है।
6. कमी (सीमाएं)
शोध पत्र ईमानदार है कि यह क्या नहीं कर सकता:
- व्हाइट-बॉक्सเท่านั้น (White-Box Only): आपको इस प्रणाली का उपयोग करने के लिए रोबोट के मस्तिष्क के अंदर देखने में सक्षम होना चाहिए। आप बंद, गुप्त रोबोट (जैसे GPT-4) का उपयोग नहीं कर सकते जहाँ आप आंतरिक "धड़कन" नहीं देख सकते।
- भारी काम (Heavy Lifting): इसके लिए रोबोट को एक पूर्ण "फॉरवर्ड पास" (पूरा उत्तर सोचना) करने और सभी डेटा को रिकॉर्ड करने की आवश्यकता होती है, जिसमें केवल "क्या आप पक्का जानते हैं?" पूछने की तुलना में अधिक कंप्यूटर मेमोरी लगती है।
सारांश
MULTIHALUDET एआई (AI) के लिए एक हाई-टेक स्टेथोस्कोप है। यह इस पर भरोसा करने के बजाय कि एआई क्या कहता है, इस पर ध्यान देता है कि एआई कैसे सोचता है। कई भाषाओं में रोबोट के आंतरिक विचारों के सूक्ष्म और जटिल पैटर्न का विश्लेषण करके, यह अविश्वसनीय सटीकता के साथ पहचान सकता है कि रोबोट कब मनगढ़ंत बातें बना रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।