Probabilistic distances-based hallucination detection in LLMs with RAG
यह शोध पत्र रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम के लिए एक अनसुपरवाइज्ड, कुशल मतिभ्रम (hallucination) डिटेक्शन पद्धति प्रस्तावित करता है जो कार्य-विशिष्ट प्रशिक्षण की आवश्यकता के बिना अत्याधुनिक प्रदर्शन प्राप्त करने के लिए प्रॉम्प्ट और रिस्पॉन्स टोकन एम्बेडिंग्स के बीच संभाव्यता दूरियों (probabilistic distances) का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Probabilistic Distances-Based Hallucination Detection in LLMs with RAG" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
बड़ी तस्वीर: "आत्मविश्वासी झूठा" (Confident Liar) की समस्या
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, पढ़ाकू लाइब्रेरियन है (LLM)। आप उनसे एक सवाल पूछते हैं, और वे जवाब खोजने के लिए अपनी लाइब्रेरी की अलमारियों (RAG सिस्टम या "रिट्रीव्ड कॉन्टेक्स्ट") तक जाते हैं।
आमतौर पर, लाइब्रेरियन बहुत अच्छा काम करता है। लेकिन कभी-कभी, वे थोड़े अधिक रचनात्मक हो जाते हैं। वे दो किताबों को आपस में मिला सकते हैं, एक ऐसा तथ्य गढ़ सकते हैं जो सुनने में तो सही लगे लेकिन किताबों में मौजूद न हो, या आत्मविश्वास के साथ कुछ ऐसा कह सकते हैं जो उनके द्वारा अभी पढ़ी गई किताब के विपरीत हो। इसे हैलुसिनेशन (Hallucination) कहा जाता है।
कानून या चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों में, एक आत्मविश्वासी झूठ खतरनाक होता है। हमें लाइब्रेरियन को आपको गलत उत्तर देने से पहले ही पकड़ने का एक तरीका चाहिए।
पुराना तरीका बनाम नया तरीका
पुराना तरीका ("फैक्ट-चेकर" दृष्टिकोण):
वर्तमान के अधिकांश तरीके लाइब्रेरियन को एक ही सवाल पाँच अलग-अलग बार पूछकर झूठ पकड़ने की कोशिश करते हैं। यदि सभी उत्तर अलग-अलग हैं, तो वे झूठ बोल रहे हैं।
- समस्या: यह धीमा है, महंगा है, और कभी-कभी लाइब्रेरियन लगातार गलत होता है। यह एक झूठे व्यक्ति से वही झूठ पाँच बार पूछने जैसा है; यदि वे इसमें माहिर हैं, तो आप फिर भी धोखा खा जाएंगे।
नया तरीका ("वाइब चेक" दृष्टिकोण):
यह पेपर एक चतुर नया तरीका प्रस्तावित करता है। AI को खुद को दोहराने के लिए कहने के बजाय, लेखक AI की आंतरिक "सोचने की प्रक्रिया" को देखते हैं।
वे AI की आंतरिक मस्तिष्क गतिविधि (जिसे हिडन स्टेट्स/Hidden States कहा जाता है) को एक भौतिक स्थान (physical space) की तरह मानते हैं।
- प्रॉम्प्ट (सवाल): कल्पना कीजिए कि सवाल पेंट का एक विशिष्ट रंग है (जैसे, "नीला")।
- कॉन्टेक्स्ट (लाइब्रेरी की किताबें): कल्पना कीजिए कि किताबें "नीले" पेंट की एक बाल्टी हैं।
- जवाब:
- यदि जवाब सत्यपूर्ण (truthful) है, तो जवाब के लिए AI का आंतरिक "पेंट" किताबों के "नीले" पेंट के बहुत समान दिखना चाहिए। वे एक ही पड़ोस में हैं।
- यदि जवाब एक हैलुसिनेशन है, तो जवाब के लिए AI का आंतरिक "पेंट" अचानक "लाल" या "हरा" दिखने लगेगा, भले ही किताबें "नीली" थीं। AI पेंट की दुकान के किसी दूसरे हिस्से में भटक गया है।
मुख्य विचार: "ड्रिफ्ट" (Drift) को मापना
लेखक एक गणितीय उपकरण का उपयोग करते हैं जिसे मैक्सिमम मीन डिसक्रीपेंसी (MMD) कहा जाता है। इसे पेंट के रंगों के दो समूहों के बीच की दूरी मापने वाला एक अति-सटीक रूलर (पैमाना) समझें।
- सेटअप: वे सवाल/किताबों से "नीला" पेंट लेते हैं और जवाब से "पेंट" लेते हैं।
- मापन: वे AI के दिमाग में इन दो समूहों के बीच की दूरी मापते हैं।
- फैसला:
- छोटा अंतर (Small Distance): जवाब कॉन्टेक्स्ट से मेल खाता है। यह संभवतः सत्य है।
ạch बड़ा अंतर (Large Distance): जवाब कॉन्टेक्स्ट से दूर भटक रहा है। यह संभवतः हैलुसिनेशन है।
- छोटा अंतर (Small Distance): जवाब कॉन्टेक्स्ट से मेल खाता है। यह संभवतः सत्य है।
गुप्त नुस्खा: "वाइल्ड बूटस्ट्रैप" और "हेड सिलेक्शन"
पेपर इस रूलर को और भी बेहतर बनाने के लिए दो विशेष तरकीबें पेश करता है:
1. "वाइल्ड बूटस्ट्रैप" (तनाव परीक्षण/Stress Test)
दूरी मापना हमेशा सटीक नहीं होता; कभी-कभी पेंट अलग दिखता है क्योंकि वह केवल रैंडम शोर (noise) के कारण होता है। यह सुनिश्चित करने के लिए, लेखक वाइल्ड बूटस्ट्रैप तकनीक का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि आप परीक्षण कर रहे हैं कि एक पुल सुरक्षित है या नहीं। आप केवल एक बार उस पर खड़े नहीं होते। आप उसे हिलाते हैं, उस पर कूदते हैं, और हवा और बारिश का अनुकरण करते हैं (यही "बूटस्ट्रैप" है)।
- पेपर में, वे डेटा को गणितीय रूप से "हिलाते" हैं ताकि यह देखा जा सके कि सवाल और जवाब के बीच की दूरी वास्तव में महत्वपूर्ण है या केवल एक इत्तेफाक। यह उन्हें एक "p-value" देता है, जो मूल रूप से एक आत्मविश्वास स्कोर है: "हमें 99% यकीन है कि यह जवाब एक झूठ है।"
2. "हेड सिलेक्शन" (सबसे अच्छे जासूसों को चुनना)
आधुनिक AI मॉडल में हजारों आंतरिक "न्यूरॉन्स" (जिन्हें अटेंशन हेड्स/Attention Heads कहा जाता है) होते हैं। कुछ व्याकरण में अच्छे होते हैं, कुछ तथ्यों में, और कुछ बकवास में।
- उपमा: कल्पना कीजिए कि 1,000 जासूसों का एक कमरा है। यदि आप उनसे किसी अपराध के बारे में रिपोर्ट करने को कहते हैं, तो आपको बहुत सारा शोर मिलेगा। लेकिन यदि आप उन शीर्ष 6 जासूसों को खोज लेते हैं जो झूठ पकड़ने में सबसे अच्छे हैं, तो उनकी रिपोर्ट बहुत स्पष्ट होगी।
- लेखकों ने पता लगाया कि कौन से विशिष्ट "जासूस" (अटेंशन हेड्स) सत्य और झूठ के बीच के अंतर को पहचानने में सबसे अच्छे हैं, और वे केवल उन्हीं की बात सुनते हैं। यह पहचान को बहुत सटीक बनाता है।
यह एक बड़ी बात क्यों है?
- यह तेज़ है: इसे कई बार उत्तर जेनरेट करने की आवश्यकता नहीं होती। यह उत्तर बनते समय ही उसे एक बार में चेक कर लेता है।
- यह "अनसुपरवाइज्ड" (Unsupervised) है: आपको इसे प्रशिक्षित करने के लिए "ज्ञात झूठों" के विशाल डेटाबेस की आवश्यकता नहीं है। क्योंकि यह विधि AI के मस्तिष्क की संरचना (जवाब सवाल से कितना दूर भटकता है) पर आधारित है, यह तब भी काम करती है जब आपने पहले कभी हैलुसिनेशन नहीं देखा हो। यह एक ऐसे झूठ पकड़ने वाले यंत्र की तरह है जो जानता है कि एक "सामान्य" बातचीत कैसी दिखती है, इसलिए वह तुरंत पहचान लेता है कि कोई कब बड़बड़ाना शुरू कर रहा है।
- यह अच्छी तरह से ट्रांसफर होता है: लेखकों ने दिखाया कि यदि वे इस सिस्टम को एक लॉजिक पज़ल (NLI) पर प्रशिक्षित करते हैं, तो यह चिकित्सा या कानूनी ग्रंथों में झूठ पकड़ने के लिए भी बेहतरीन काम करता है। यह एक सार्वभौमिक झूठ पकड़ने वाला यंत्र है।
सारांश
यह पेपर AI हैलुसिनेशन को पकड़ने का एक नया तरीका प्रस्तुत करता है, जो यह मापता है कि AI जो पढ़ रहा है और जो सोच रहा है, उनके बीच की दूरी कितनी है।
- सत्य (Truth) = AI के विचार टेक्स्ट के करीब रहते हैं।
- झूठ (Lies) = AI के विचार बहुत दूर भटक जाते हैं।
एक गणितीय रूलर (MMD), एक तनाव परीक्षण (Wild Bootstrap), और सबसे अच्छे आंतरिक सेंसरों (Head Selection) को सुनकर, उन्होंने एक ऐसा सिस्टम बनाया है जो तेज़, सटीक है और जिसे पहले से यह सिखाने की आवश्यकता नहीं है कि झूठ कैसा दिखता है। यह AI के लिए एक "वाइब चेक" है जो वास्तव में काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।