LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals
यह शोध पत्र LUMINA को प्रस्तुत करता है, जो एक सुदृढ़ ढांचा है जो वितरण संबंधी दूरी (distributional distance) और टोकन विकास ट्रैकिंग के माध्यम से बाहरी संदर्भ और आंतरिक ज्ञान के उपयोग के बीच संतुलन को मात्रात्मक रूप से निर्धारित करके रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) प्रणालियों में मतिभ्रम (hallucinations) का पता लगाता है, और व्यापक हाइपरपैरामीटर ट्यूनिंग की आवश्यकता के बिना मौजूदा विधियों की तुलना में बेहतर प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही महत्वपूर्ण परीक्षा दे रहे एक छात्र हैं। आपके पास प्रश्नों के उत्तर देने के लिए सूचनाओं के दो स्रोत हैं:
- आपका मस्तिष्क (आंतरिक ज्ञान): वह सब कुछ जो आपने स्कूल में याद किया था।
- आपकी पाठ्यपुस्तक (बाहरी संदर्भ): इस परीक्षा के लिए आपको दिए गए विशिष्ट नोट्स और तथ्य।
आदर्श रूप से, यदि पाठ्यपुस्तक में सही उत्तर है, तो आपको उसका उपयोग करना चाहिए। लेकिन कभी-कभी, भले ही पाठ्यपुस्तक वहीं मौजूद हो, आपका मस्तिष्क जिद्दी हो जाता है। आप किताब को अनदेखा कर सकते हैं और उस स्मृति के आधार पर उत्तर दे सकते हैं जो वास्तव में गलत है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे हैलुसिनेशन (Hallucination) कहा जाता है: एआई (AI) आत्मविश्वास से भरा और सुसंगत लगता है, लेकिन वह मनगढ़ंत बातें बना रहा होता है या उसे दिए गए तथ्यों का खंडन करता है।
यह शोध पत्र एक नया टूल पेश करता है जिसे LUMINA (लाइटनिंग-फास्ट अंडरस्टैंडिंग ऑफ मशीन इंटरनल एंड एक्सटर्नल सिग्नल्स) कहा जाता है ताकि इन गलतियों को पकड़ा जा सके। यह कैसे काम करता है, इसे सरल उपमाओं (analogies) का उपयोग करके यहाँ समझाया गया है:
समस्या: जिद्दी छात्र
वर्तमान एआई सिस्टम (जिन्हें RAG सिस्टम कहा जाता है) को उत्तर देने से पहले "पाठ्यपुस्तक" (प्राप्त दस्तावेज़ों) को देखना चाहिए। हालाँकि, शोधकर्ताओं ने पाया कि भले ही पाठ्यपुस्तक एकदम सही हो, एआई कभी-कभी उसे अनदेखा कर देता है और अपने "मस्तिष्क" (आंतरिक प्रशिक्षण डेटा) पर बहुत अधिक निर्भर हो जाता है। पिछले तरीकों ने इसे पकड़ने की कोशिश की, लेकिन इसके लिए एआई के मस्तिष्क के बहुत छोटे, विशिष्ट हिस्सों (जैसे विशिष्ट न्यूरॉन्स) को देखना पड़ता था, जो कि कार के इंजन को ठीक करने के लिए यह अनुमान लगाने जैसा था कि किस विशिष्ट बोल्ट को कसना है। इसके लिए बहुत अधिक परीक्षण और त्रुटि (trial and error) की आवश्यकता थी और यह अलग-अलग प्रकार की कारों (एआई मॉडल) पर अच्छी तरह से काम नहीं करता था।
समाधान: LUMINA का दो-भाग वाला परीक्षण
LUMINA एक स्मार्ट प्रॉक्टर (निरीक्षक) की तरह कार्य करता है जिसे छात्र के मस्तिष्क की विशिष्ट वायरिंग जानने की आवश्यकता नहीं है। इसके बजाय, यह कैसे छात्र सोचता है, इसे मापने के लिए दो संकेतों को देखता है:
1. "पाठ्यपुस्तक संवेदनशीलता" परीक्षण (बाहरी संदर्भ)
- उपमा: कल्पना कीजिए कि आप छात्र को दो अलग-अलग पाठ्यपुस्तकें देते हैं। एक सही तथ्य वाली सही पुस्तक है। दूसरी निरर्थक बातों वाली एक रैंडम पत्रिका है।
- LUMINA कैसे जाँचता है: यह एआई को एक प्रश्न का उत्तर सही पाठ्यपुस्तक का उपयोग करके देने के लिए कहता है, और फिर फिर से वही प्रश्न एक रैंडम पत्रिका का उपयोग करके पूछता है।
- संकेत: यदि एआई अपना काम सही से कर रहा है, तो पाठ्यपुस्तक बदलने पर उसका उत्तर नाटकीय रूप से बदल जाना चाहिए। यदि एआई पाठ्यपुस्तक या पत्रिका पढ़ने के बावजूद एक ही उत्तर देता है, तो इसका मतलब है कि वह बाहरी संदर्भ को अनदेखा कर रहा है। LUMINA गणितीय रूप से इस "परिवर्तन" को मापता है। एक बड़ा बदलाव मतलब एआई स्रोत को सुन रहा है; एक छोटा बदलाव मतलब वह इसे अनदेखा कर रहा है।
2. "मस्तिष्क प्रसंस्करण" परीक्षण (आंतरिक ज्ञान)
- उपमा: एआई के मस्तिष्क को एक फैक्ट्री असेंबली लाइन के कई स्टेशनों (लेयर्स) के रूप में सोचें। उत्तर शुरुआत में एक कच्चे विचार के रूप में शुरू होता है और जैसे-जैसे यह लाइन में नीचे जाता है, इसे परिष्कृत किया जाता है।
- LUMINA कैसे जाँचता है: यह हर स्टेशन पर "सबसे संभावित उत्तर" को देखता है।
- संकेत:
- अच्छा परिदृश्य: एआई उत्तर को जल्दी देख लेता है और जैसे-जैसे यह लाइन में नीचे जाता है, इसे थोड़ा सा परिष्कृत करता है। इसका मतलब है कि वह दी गई जानकारी का उपयोग कर रहा है।
- बुरा परिदृश्य (हैलुसिनेशन): एआई हर स्टेशन पर अपने विचार को बहुत अधिक बदलता रहता है, या उसे एक उत्तर पर "स्थिर" होने में लंबा समय लगता है। यह सुझाव देता है कि एआई नई जानकारी और अपनी आंतरिक यादों के बीच तालमेल बिठाने में संघर्ष कर रहा है, या वह अपने आंतरिक ज्ञान को तथ्यों पर हावी करने की कोशिश कर रहा है। LUMINA मापता है कि एआई अपने मस्तिष्क में गहराई तक जाने पर अपने अनुमान को कितना "प्रोसेस" या बदलता है।
निर्णय: हॉलुसिनेशन स्कोर
LUMINA इन दोनों परीक्षणों को एक एकल स्कोर में जोड़ता है:
- कम बाहरी संवेदनशीलता + उच्च आंतरिक प्रसंस्करण = हॉलुसिनेशन।
- अनुवाद: एआई तथ्यों को अनदेखा कर रहा है और अपनी यादों के बारे में बहुत अधिक सोच रहा है।
- उच्च बाहरी संवेदनशीलता + कम आंतरिक प्रसंस्करण = विश्वसनीय।
- अनुवाद: एआई स्रोत को सुन रहा है और भ्रमित नहीं हो रहा है।
यह शोध पत्र क्यों महत्वपूर्ण है
लेखकों ने चार अलग-अलग लोकप्रिय एआई मॉडलों पर LUMINA का परीक्षण किया और पाया कि यह पिछले तरीकों की तुलना में बहुत बेहतर काम करता है।
- यह लचीला है: पिछले उपकरणों के विपरीत जिन्हें प्रत्येक एआई मॉडल के लिए विशेष रूप से ट्यून करने की आवश्यकता थी (जैसे हर कार के लिए अलग रिंच की आवश्यकता होना), LUMINA बिना किसी बड़े बदलाव के लगभग किसी भी मॉडल पर काम करता है।
- यह मजबूत है: भले ही "पाठ्यपुस्तक" (प्राप्त दस्तावेज़) थोड़ी अव्यवस्थापूर्ण या शोर भरी हो, LUMIMA फिर भी झूठ को पकड़ लेता है।
- यह ईमानदार है: टीम ने गणितीय रूप से सिद्ध किया कि उनका स्कोर वास्तव में वही मापता है जो वे कहते हैं, न कि केवल अनुमान लगाता है।
संक्षेप में, LUMINA यह बताने का एक नया, विश्वसनीय तरीका है कि क्या एक एआई वास्तव में आपके द्वारा दिए गए तथ्यों को पढ़ रहा है, या वह केवल वही बना रहा है जो वह सोचता है कि वह जानता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।