Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction
यह शोध पत्र विश्वसनीय रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) के लिए एक नवीन दो-चरणीय दृष्टिकोण प्रस्तावित करता है जो उच्च-गुणवत्ता वाले रिट्रीव्ड कॉन्टेक्स्ट को फ़िल्टर करने के लिए कॉन्फॉर्मल प्रेडिक्शन और उत्तर की निष्ठा (faithfulness) को मापने के लिए एक अटेंशन-आधारित क्लासिफायर को जोड़ता है, जिससे बेहतर उत्तर गुणवत्ता और निरंतरता का पता लगाने के साथ प्रमाणित RAG सिस्टम स्थापित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े अविश्वसनीय सहायक (AI) को आपके लिए एक रिपोर्ट लिखने के लिए काम पर रख रहे हैं। उनकी मदद करने के लिए, आप उन्हें संदर्भ पुस्तकों का एक ढेर (जिसे "रिट्रीव्ड कॉन्टेक्स्ट" कहा जाता है) देते हैं। समस्या यह है कि कभी-कभी सहायक गलत किताबें उठा लेता है, या यदि वे सही किताबें भी उठा लेते हैं, तो भी वे ऐसी बातें बना सकते हैं जो टेक्स्ट में नहीं हैं। यह पेपर एक दो-चरणीय "क्वालिटी कंट्रोल" सिस्टम का प्रस्ताव करता है ताकि यह सुनिश्चित किया जा सके कि सहायक की रिपोर्ट भरोसेमंद है।
यहाँ बताया गया है कि उनका सिस्टम कैसे काम करता है, सरल उपमाओं (analogies) के माध्यम से:
सेटअप: लाइब्रेरियन और राइटर
AI सिस्टम को दो अलग-अलग भूमिकाओं के रूप में देखें:
- लाइब्रेरियन (रिट्रीवल): उनका काम लाइब्रेरी से सही पन्ने ढूँढना है।
- राइटर (जनरेशन): उनका काम केवल उन्हीं पन्नों का उपयोग करके उत्तर लिखना है।
पेपर तर्क देता है कि अंतिम रिपोर्ट पर भरोसा करने से पहले हमें लाइब्रेरियन और राइटर दोनों के लिए एक "प्रमाणन" (certification) की आवश्यकता है।
चरण 1: लाइब्रेरियन को प्रमाणित करना (कॉन्फॉर्मल प्रेडिक्शन)
पहली समस्या यह है: क्या लाइब्रेरियन ने वास्तव में सही किताब ढूँढी है, या उन्होंने बस कुछ ऐसा उठाया जो दिखने में समान था?
लेखक कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) नामक एक सांख्यिकीय ट्रिक का उपयोग करते हैं। कल्पना कीजिए कि आपके पास कंचों (marbles) का एक बैग है। कुछ "सही" हैं (उनमें उत्तर है), और कुछ "गलत" हैं। आप मुट्ठी भर कंचे चुनना चाहते हैं, लेकिन आप 90% सुनिश्चित होना चाहते हैं कि उनमें से कम से कम एक कंचा "सही" हो।
- वे इसे कैसे करते हैं: वे पहले एक अभ्यास सेट के प्रश्नों पर लाइब्रेरियन का परीक्षण करते हैं। वे एक "स्कोर थ्रेशोल्ड" (score threshold) निर्धारित करते हैं। यदि किसी किताब का स्कोर इस रेखा से ऊपर है, तो उसे "ट्रस्ट बैज" (Trust Badge) मिलता है।
- कैच (Catch): यह तभी काम करता है जब लाइब्रेरियन अपना काम करने में अच्छा हो। यदि लाइब्रेरियन बहुत बुरा है और सही किताबें बिल्कुल नहीं ढूँढ पाता, तो "ट्रस्ट बैज" प्रणाली विफल हो जाती है।
- डायग्नोस्टिक टूल: लेखकों ने दो सरल जाँच (जिन्हें m1 और m2 कहा जाता है) बनाई हैं जिससे यह पता चल सके कि क्या लाइब्रेरियन भरोसे के लायक भी है।
- m1: "क्या हमें कम से कम एक भरोसेमंद किताब मिली?"
- m2: "हमें मिली हुई किताबों में से कितने प्रतिशत किताबें भरोसेमंद हैं?"
- सबक: यदि ये संख्याएँ कम हैं, तो पूरा सिस्टम जोखिम भरा है। उनके कुछ परीक्षणों में, "अविश्वसनीय" किताबों को हटाने से अंतिम उत्तर वास्तव में और खराब हो गया क्योंकि लाइब्रेरियन इतना बुरा था कि "अविश्वसनीय" ढेर ही एकमात्र जगह थी जहाँ सही उत्तर मौजूद था!
चरण 2: राइटर को प्रमाणित करना (अटेंशन मॉनिटरिंग)
दूसरी समस्या यह है: भले ही लाइब्रेरियन ने सही किताबें दी हों, क्या राइटर ने वास्तव में उन्हें पढ़ा है, या उन्होंने अपनी याददाश्त से कुछ भी बना लिया है?
इसकी जाँच करने के लिए, लेखक AI की "मस्तिष्क तरंगों" (तकनीकी रूप से जिन्हें अटेंशन मैप्स कहा जाता है) को देखते हैं। कल्पना कीजिए कि राइटर एक वाक्य पढ़ रहा है। आप देख सकते हैं कि उनकी आँखें संदर्भ पुस्तकों के किन शब्दों पर टिकी हुई हैं।
- "लुकबैक" अनुपात (Lookback Ratio): वे यह मापते हैं कि राइटर दिए गए टेक्स्ट के विशिष्ट हिस्सों को कितना देखता है बनाम वह प्रश्न या सिस्टम निर्देशों को कितना देखता है।
- क्लासिफायर (Classifier): उन्होंने इन "आँखों की गतिविधियों" को देखने के लिए एक छोटा, सरल डिटेक्टर (एक लॉजिस्टिक रिग्रेशन मॉडल) प्रशिक्षित किया है।
- यदि राइटर की आँखें संदर्भ टेक्स्ट (reference text) पर टिकी हुई हैं, तो डिटेक्टर कहता है: "यह तथ्यात्मक लग रहा है।"
- यदि राइटर की आँखें भटक रही हैं या गलत हिस्सों पर टिकी हैं, तो डिटेक्टर चेतावनी देता है: "चेतावनी! यह एक मतिभ्रम (hallucination/झूठ) हो सकता है।"
- आश्चर्य: लेखकों ने पाया कि यदि आप डिटेक्टर को सब कुछ (प्रश्न और सिस्टम निर्देशों सहित) देखने देते हैं, तो यह अनुमान लगाने में बहुत अच्छा हो जाता है, लेकिन यह "चीटिंग" है। यह ऐसे पैटर्न सीख लेता है जैसे "फाइनेंस के सवाल आमतौर पर कठिन होते हैं" बजाय इसके कि "क्या आपने टेक्स्ट पढ़ा?"
- समाधान: उन्होंने तय किया कि वे प्रश्न और निर्देशों को अनदेखा करेंगे और केवल यह देखेंगे कि राइटर रिट्रीव किए गए चंक्स (chunks) पर कैसे ध्यान केंद्रित करता है। यह डिटेक्टर को समग्र रूप से थोड़ा कम सटीक बनाता है, लेकिन यह अधिक ईमानदार है कि क्या AI ने वास्तव में दिए गए तथ्यों का उपयोग किया था।
निचोड़ (The Bottom Line)
यह पेपर यह वादा नहीं करता कि यह सभी AI त्रुटियों का जादुई समाधान है। इसके बजाय, यह एक डायग्नोस्टिक टूलकिट प्रदान करता है:
- पहले लाइब्रेरियन की जाँच करें: "ट्रस्ट बैज" प्रणाली का उपयोग करें। यदि सिस्टम यह गारंटी नहीं दे सकता कि सही किताबें ढेर में हैं, तो उत्तर पर भरोसा न करें।
- दूसरे, राइटर की जाँच करें: यह देखने के लिए कि क्या उत्तर वास्तव में किताबों से बनाया गया था या बस मनगढ़ंत था, "आई मूवमेंट" (आँखों की गति) डिटेक्टर का उपयोग करें।
इन दो चरणों का उपयोग करके, कंपनियाँ ऐसे AI सिस्टम बना सकती हैं जो केवल यह अनुमान नहीं लगाते कि वे सही हैं, बल्कि वास्तव में एक सांख्यिकीय प्रमाण (certificate) प्रदान कर सकते हैं कि, "हम 90% आश्वस्त हैं कि यह जानकारी एक विश्वसनीय स्रोत से आई है, और हम 77% आश्वस्त हैं कि AI ने इसमें कुछ मनगढ़ंत नहीं जोड़ा है।" यह उन उद्योगों के लिए महत्वपूर्ण है जहाँ तथ्यों को गलत साबित करना खतरनाक हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।