MMD-Flagger: Leveraging Maximum Mean Discrepancy to Detect Hallucinations
यह शोध पत्र MMD-Flagger को प्रस्तुत करता है, जो लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक टेस्ट-टाइम हेलुसिनेशन डिटेक्शन विधि है, जो विभिन्न डिकोडिंग टेम्परेचर्स के माध्यम से आउटपुट्स की स्थिरता का विश्लेषण करने के लिए मैक्सिमम मीन डिसक्रीपेंसी (Maximum Mean Discrepancy) का लाभ उठाता है, जिससे ग्राउंड-ट्रुथ लेबल्स के बिना तथ्यात्मक त्रुटियों की विश्वसनीय पहचान संभव हो पाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, लार्ज लैंग्वेज मॉडल्स शक्तिशाली उपकरण बन गए हैं जो मानव के समान टेक्स्ट जनरेट करने, जटिल प्रश्नों के उत्तर देने और यहाँ तक कि स्वायत्त निर्णय लेने में सहायता करने में सक्षम हैं। हालाँकि, इन प्रणालियों में एक निरंतर दोष है: वे कभी-कभी ऐसे कथन प्रस्तुत करते हैं जो सुनने में सुसंगत और आत्मविश्वासी लगते हैं लेकिन पूरी तरह से तथ्यात्मक रूप से गलत होते हैं। यह घटना, जिसे 'हैलुसिनेशन' (hallucination) कहा जाता है, एक महत्वपूर्ण सुरक्षा जोखिम पैदा करती है, विशेष रूप से जब इन मॉडल्स को कानून, चिकित्सा या स्वायत्त ड्राइविंग जैसे महत्वपूर्ण क्षेत्रों में तैनात किया जाता है, जहाँ एक गलत कदम विनाशकारी परिणाम दे सकता है। शोधकर्ताओं के लिए मुख्य चुनौती यह है कि बिना किसी "गोल्ड स्टैंडर्ड" उत्तर कुंजी (answer key) के वास्तविक समय में इन त्रुटियों का पता कैसे लगाया जाए। चूंकि ये मॉडल लाइव उपयोग के दौरान बाहरी सत्यापन के बिना काम करते हैं, इसलिए वैज्ञानिकों को केवल मॉडल के अपने व्यवहार के आधार पर उत्तर की विश्वसनीयता को आंकने का तरीका खोजना होगा। इसकी कुंजी मॉडल के अपने आंतरिक सेटिंग्स में मामूली बदलावों के प्रति उसकी प्रतिक्रिया को समझने में निहित है; यदि कोई मॉडल वास्तव में आत्मविश्वासी और तथ्यों पर आधारित है, तो उसके उत्तर स्थिर रहने चाहिए, भले ही उसके जनरेशन की स्थितियाँ थोड़ी बदल जाएँ। इसके विपरीत, यदि उत्तर एक कल्पना (fabrication) है, तो उन समान बदलावों के तहत मॉडल का आउटपुट अस्थिर और अनिश्चित हो जाता है।
इस सिद्धांत पर आधारित, फ्रांस और जर्मनी के शोधकर्ताओं की एक टीम ने इन हैलुसिनेशन्स को पकड़ने के लिए एक नई विधि विकसित की है जिसे MMD-Flagger कहा जाता है। उनका दृष्टिकोण तथ्यों की जांच किसी डेटाबेस से करने या त्रुटियों को पहचानने के लिए नए मॉडल को प्रशिक्षित करने पर निर्भर नहीं है। इसके बजाय, यह एक स्थिरता मॉनिटर (stability monitor) के रूप में कार्य करता है जो यह देखता है कि मॉडल की जनरेशन प्रक्रिया के 'टेम्परेचर' (temperature) को समायोजित करने पर भाषा मॉडल का आउटपुट कैसे बदलता है। इन मॉडल्स के संदर्भ में, "टेम्परेचर" एक ऐसी सेटिंग है जो यह नियंत्रित करती है कि मॉडल द्वारा अपने अगले शब्द का चयन करते समय कितनी यादृच्छिकता (randomness) पेश की जाती है। कम टेम्परेचर मॉडल को बहुत पूर्वानुमानित और दोहराव वाला बनाता है, जबकि उच्च टेम्परेचर अधिक रचनात्मक और विविध प्रतिक्रियाओं की अनुमति देता है। शोधकर्ताओं ने यह परिकल्पना की कि एक सत्य उत्तर इन विभिन्न सेटिंग्स के बीच अपेक्षाकृत स्थिर रहेगा, जबकि एक काल्पनिक उत्तर टेम्परेचर बदलने पर नाटकीय रूप से डगमगाएगा और अपना आकार बदलेगा।
इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने एक प्रणाली बनाई जो एक ही प्रश्न के लिए एक उत्तर के कई संस्करण उत्पन्न करती है, जिसमें प्रत्येक बार एक अलग टेम्परेचर सेटिंग का उपयोग किया जाता है। उन्होंने फिर 'मैक्सिमम मीन डिस्क्रीपेंसी' (Maximum Mean Discrepancy) नामक एक सांख्यिकीय उपकरण का उपयोग करके मूल उत्तर की तुलना इन विविध संस्करणों से की। यह उपकरण मापता है कि डेटा के दो समूह एक-दूसरे से कितने भिन्न हैं। टेम्परेचर की एक श्रृंखला में इन अंतरों को प्लॉट करके, सिस्टम एक दृश्य पथ, या 'ट्रैजेक्टरी' (trajectory) बनाता है। शोधकर्ताओं ने पाया कि जब मॉडल सच बोल रहा होता है, तो यह पथ सुचारू और पूर्वानुमानित होता है, जो अक्सर यादृच्छिकता बढ़ने के साथ लगातार ऊपर उठता है। हालाँकि, जब मॉडल हैलुसिनेशन कर रहा होता है, तो पथ एक विशिष्ट, तीक्ष्ण 'U' आकार ले लेता है। वक्र के बीच में यह गिरावट एक स्पष्ट संकेत के रूप में कार्य करती है कि मॉडल एक सुसंगत अर्थ बनाए रखने के लिए संघर्ष कर रहा है, जिससे प्रतिक्रिया को अविश्वसनीय के रूप में चिह्नित किया जाता है।
टीम ने आधुनिक लैंग्वेज मॉडल्स, जिनमें Llama-3 और Gemma-3 परिवार शामिल हैं, का उपयोग करके एक बेंचमार्क डेटासेट पर इस विधि का मूल्यांकन किया, जिसे कई भाषाओं में तथ्यात्मक सटीकता का परीक्षण करने के लिए डिज़ाइन किया गया है। उन्होंने अपनी नई विधि की तुलना कई मौजूदा तकनीकों से की जो टेक्स्ट समानता या आंतरिक मॉडल अवस्थाओं पर निर्भर करती हैं। परिणामों ने दिखाया कि हैलुसिनेशन डिटेक्शन की प्रभावशीलता विशिष्ट मॉडल आर्किटेक्चर पर अत्यधिक निर्भर है; जबकि MMD-Flagger (Ensemble) ने Llama-3.1-8B और Gemma-3-4B पर सर्वश्रेष्ठ प्रदर्शन किया, अन्य एस्टिमेटर्स (estimators) Llama-3.2-3B पर बेहतर प्रदर्शन करते थे। यह प्रणाली मॉडल से निकाले गए विभिन्न प्रकार के डेटा, जैसे शब्दों के कच्चे अर्थ या न्यूरल नेटवर्क की छिपी हुई परतों के साथ काम करने के लिए पर्याप्त लचीली साबित हुई। एक विशिष्ट टेस्ट केस में, जिसमें एक टीवी शो में बिल्ली के बारे में प्रश्न शामिल था, सिस्टम ने सफलतापूर्वक एक काल्पनिक उत्तर की पहचान की जिसे अन्य तरीकों ने मिस कर दिया था, जिससे वह क्षण पकड़ा गया जब टेम्परेचर बदलने के साथ मॉडल का आउटपुट निरर्थकता की ओर बढ़ने लगा। इसके विपरीत, ग्लासगो के एक संगीत समूह के संबंध में एक अन्य केस स्टडी में, विश्लेषण ने एक ऐसा परिदृश्य प्रकट किया जहाँ MMD-Flagger एक हैलुसिनेशन का पता लगाने में विफल रहा जिसे दूसरे तरीके (KLE) ने सही ढंग से पहचाना था, जो यह दर्शाता है कि मॉडल के आउटपुट की ट्रैजेक्टरी कभी-कभी भ्रामक रूप से सुचारू बनी रह सकती है, भले ही सामग्री गलत हो।
इन आशाजनक परिणामों के बावजूद, शोधकर्ता स्वीकार करते हैं कि इस विधि की कुछ सीमाएँ हैं। क्योंकि एक विश्वसनीय स्थिरता प्रोफाइल बनाने के लिए उत्तर के कई संस्करण उत्पन्न करने की आवश्यकता होती है, इसलिए यह गणनात्मक रूप से महंगा और केवल एक बार उत्तर पूछने की तुलना में धीमा हो सकता है। यह इसे उन अनुप्रयोगों के लिए कम आदर्श बनाता है जिनमें तत्काल प्रतिक्रिया की आवश्यकता होती है, हालांकि यह उन सुरक्षा-महत्वपूर्ण प्रणालियों के लिए एक शक्तिशाली उपकरण बना हुआ है जहाँ सटीकता सर्वोपरि है। अध्ययन सुझाव देता है कि विभिन्न स्थितियों में मॉडल के आउटपुट की स्थिरता की निगरानी करके, हम आर्टिफिशियल इंटेलिजेंस के लिए एक अधिक भरोसेमंद निगरानी परत बना सकते हैं। यह दृष्टिकोण बिना यह जाने कि सही उत्तर क्या है, स्वायत्त एजेंटों की विश्वसनीयता का ऑडिट करने का एक तरीका प्रदान करता है, जो सुरक्षित और अधिक विश्वसनीय AI सिस्टम की ओर एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।