"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

तकनीकी सारांश: "मुझे नहीं पता" – निश्चितता-जागरूक रिट्रीवल ऑगमेंटेड जनरेशन के साथ उपयुक्त विश्वास की ओर

समस्या विवरण
यह शोध पत्र एआई (AI) प्रणालियों, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) में "उपयुक्त विश्वास" स्थापित करने की चुनौती को संबोधित करता है। जबकि LLMs मानवीय स्तर का संचार प्रदान करते हैं, वे मतिभ्रम (hallucinations - तथ्यात्मक रूप से गलत आउटपुट) और "चापलूसी" (sycophancy - सटीकता की कीमत पर उपयोगकर्ता की प्राथमिकताओं के साथ अत्यधिक तालमेल बिठाना) से ग्रस्त होते हैं। एक महत्वपूर्ण मुद्दा यह है कि LLMs अक्सर अपने उत्तरों के बारे में अत्यधिक आत्मविश्वास व्यक्त करते हैं, भले ही प्रश्न गैर-वस्तुनिष्ठ हो या संदर्भ अपर्याप्त हो। यह अति-आत्मविश्वास उपयोगकर्ताओं को प्रणाली की सत्यता का सटीक निर्णय लेने से रोकता है। लेखक तर्क देते हैं कि परोपकार (benevolence) का मानवीय मूल्य—जिसे यहाँ ईमानदारी, विश्वसनीयता और निर्भरता के रूप में परिभाषित किया गया है—तब पूरा किया जा सकता है जब एक एआई सिस्टम अपने ज्ञान की निगरानी कर सके, अपनी अनिश्चितता पर विचार कर सके, और इस आत्म-चिंतन को उपयोगकर्ता के सामने प्रस्तुत कर सके।

कार्यप्रणाली
लेखक CERTA (सर्टेना - सर्टेन्टी एन्हांस्ड आरएजी फॉर ट्रस्टवर्दी आंसर्स) प्रस्तावित करते हैं, जो एक विशेष रिट्रीवल ऑगमेंटेड जनरेशन (RAG) प्रणाली है जिसे अपने उत्तरों में आत्म-चिंतित निश्चितता को शामिल करने के लिए डिज़ाइन किया गया है।

1. RAG ट्रायड निश्चितता मॉडलिंग:
   LLM द्वारा स्वयं अपनी आत्मविश्वास का आकलन करने पर निर्भर रहने के बजाय (जो पक्षपाती हो सकता है), CERTA RAG पाइपलाइन के तीन घटकों के बीच सिमेंटिक समानता के आधार पर अनिश्चितता की गणना करता है, जिन्हें RAG ट्रायड के रूपas जाना जाता है:

• प्रश्न-संदर्भ प्रासंगिकता (Question-Context Relevance - QCR): यह मापता है कि क्या पुनर्प्राप्त (retrieved) संदर्भ उपयोगकर्ता के प्रश्न के साथ सिमेंटिक रूप से संरेखित है।
• संदर्भ-उत्तर प्रासंगिकता (Context-Answer Relevance - CAR): यह मापता है कि क्या उत्पन्न उत्तर पुनर्प्राप्त संदर्भ द्वारा समर्थित है (ग्राउंडेडनेस)।
• उत्तर-प्रश्न प्रासंगिकता (Answer-Question Relevance - AQR): यह मापता है कि क्या उत्पन्न उत्तर मूल प्रश्न को सिमेंटिक रूप से संबोधित करता है।

ये स्कोर कोसाइन सिमिलरिटी (cosine similarity) का उपयोग करके एम्बेडिंग्स (OpenAI का text-embedding-3-small) के माध्यम से गणना किए जाते हैं। इन संख्यात्मक स्कोरों को फिर टेक्स्ट आधारित "निश्चितता निर्देशों" में अनुवादित किया जाता है जो LLM जनरेटर को दिए जाते हैं।

2. सिस्टम दृष्टिकोण:
   शोध पत्र दो LLMs (OpenAI का GPT-4.1 और Mistral-Small-3.1) का उपयोग करके चार अलग-अलग दृष्टिकोणों का मूल्यांकन करता है:

• RAG (बेसलाइन): बिना किसी विशिष्ट निश्चितता निर्देश के मानक RAG।
• CERTA-0: प्रॉम्प्ट में उत्तर की निश्चितता के बारे में ईमानदार रहने के लिए एक सामान्य निर्देश जोड़ता है।
• CERTA-1: QCR स्कोर और निर्देश को प्रॉम्प्ट में शामिल करता है, जिससे मॉडल को प्रश्न और पुनर्प्राप्त संदर्भ के बीच प्रासंगिकता की जानकारी मिलती है।
• CERTA-2: एक बहु-चरणीय दृष्टिकोण। यह पहले एक मध्यवर्ती उत्तर उत्पन्न करता है, तीनों ट्रायड स्कोर (QCR, CAR, AQR) की गणना करता है, और फिर मॉडल को प्रश्न, संदर्भ, मध्यवर्ती उत्तर और तीनों निश्चितता निर्देशों के साथ पुनः प्रॉम्प्ट करता है ताकि एक अंतिम, आत्म-चिंतित प्रतिक्रिया तैयार की जा सके।

3. निश्चितता बेंचमार्क (Certainty Benchmark):
   इन विधियों के मूल्यांकन के लिए, लेखकों ने TrustLLM बेंचमार्क से प्राप्त 90 प्रश्न-संदर्भ युग्मों का एक डेटासेट बनाया। यह डेटासेट चार श्रेणियों को कवर करता है:

• तथ्यात्मकता (Factuality): तथ्यात्मक प्रश्न (कुछ जो उत्तर देने योग्य नहीं हैं)।
• व्यक्तिगत प्राथमिकता (Personal Preference): व्यक्तिपरक प्रश्न (जैसे, "क्या बेहतर है?")।
• चापलूसी (Sycophancy): प्रश्न जो यह परीक्षण करने के लिए डिज़ाइन किए गए हैं कि क्या मॉडल उपयोगकर्ता के घोषित (संभावित रूप से त्रुटिपूर्ण) दृष्टिकोण से सहमत होता है।
• नैतिक विकल्प (Moral Choices): नैतिक दुविधाएं।

प्रत्येक प्रश्न को तीन प्रकार के संदर्भों के साथ जोड़ा गया है: प्रासंगिक (जिसमें उत्तर मौजूद है), अपूर्ण (जिसमें विशिष्ट उत्तर की कमी है), और अप्रासंगिक (जिसमें कोई उत्तर नहीं है)।

प्रमुख योगदान

1. CERTA सिस्टम: RAG का एक नवीन विस्तार जो संख्यात्मक और मौखिक दोनों रूपों में अनिश्चितता की गणना और संचार करने के लिए RAG ट्रायड का उपयोग करता है। इसमें एक डैशबोर्ड शामिल है जो उपयोगकर्ताओं को कम-निश्चितता वाले परिदृश्यों के लिए व्यवहार चुनने की अनुमति देता है (जैसे, डिफॉल्ट प्रतिक्रिया, "मुझे नहीं पता", या LLM ज्ञान पर वापस जाना)।
2. निश्चितता बेंचमार्क: 90 गैर-वस्तुनिष्ठ प्रश्न-संदर्भ युग्मों का एक क्यूरेटेड डेटासेट, जो चार मूल्य-आधारित श्रेणियों और तीन संदर्भ प्रकारों में फैला हुआ है, जिसे विशेष रूप से एआई की उपयुक्त अनिश्चितता व्यक्त करने की क्षमता का परीक्षण करने के लिए डिज़ाइन किया गया है।
3. अनुभवजन्य मूल्यांकन: दो अलग-अलग LLMs का उपयोग करके बेसलाइन RAG बनाम तीन CERTA कॉन्फ़िगरेशन का तुलनात्मक अध्ययन।

परिणाम
प्रयोगों से संकेत मिलता है कि CERTA सफलतापूर्वक सिस्टम व्यवहार को उपयुक्त अनिश्चितता की ओर स्थानांतरित करता है:

• "मुझे नहीं पता" की आवृत्ति: बेसलाइन RAG की तुलना में CERTA-1 और CERTA-2 ने "मुझे नहीं पता" वाली प्रतिक्रियाओं का अधिक उत्पादन किया, विशेष रूप से तब जब संदर्भ अपूर्ण या अप्रासंगिक थे।
• तथ्यात्मकता: प्रासंगिक संदर्भों के साथ, सिस्टमों ने उचित उत्तर दिए। अप्रासंगिक संदर्भों के साथ, बेसलाइन RAG ने आंतरिक ज्ञान का उपयोग करके कभी-कभी मतिभ्रम (hallucination) किया, जबकि CERTA सिस्टम सख्त रूप से वस्तुनिष्ठ रहे और अनिश्चितता व्यक्त की।
• व्यक्तिगत प्राथमिकता: बेसलाइन RAG ने कभी-कभी व्यक्तिपरक प्रश्नों के लिए आत्मविश्वासी उत्तर दिए। CERTA दृष्टिकोणों ने वस्तुनिष्ठ उत्तरों की कमी को सही ढंग से पहचाना और "मुझे नहीं पता" का विकल्प चुना।
• चापलूसी और नैतिकता: जबकि बेसलाइन RAG और CERTA दोनों ने सीधे विरोध को टाला, CERTA सिस्टम विरोधी दृष्टिकोणों के साथ सहमत या असहमत होने की संभावना कम रखते थे, इसके बजाय अधिक बार "मुझे नहीं पता" का विकल्प चुनते थे। CERTA ने नैतिक निर्णयों में भी अधिक सावधानी दिखाई, अपूर्ण संदर्भ होने पर सख्त नैतिक उपदेश देने से बचा।
• मॉडल अंतर: ओपन-सोर्स मिस्ट्रल (Mistral) मॉडल ने GPT-4.1 की तुलना में अधिक स्वाभाविक अनिश्चितता प्रदर्शित की, लेकिन CERTA ने दोनों में सुधार किया।
• निरंतरता: निश्चितता निर्देशों के जुड़ने से सिस्टमों ने सही उत्तरों को गलत में नहीं बदला; इसने मुख्य रूप से जहाँ उचित था, वहां सतर्क प्रतिक्रियाओं की दर को बढ़ाया।

महत्व और दावे
यह शोध पत्र दावा करता है कि आत्म-चिंतित निश्चितता को संप्रेषित करना एआई में उपयुक्त विश्वास बनाने के लिए एक व्यवहार्य तंत्र है, जो परोपकार के मानवीय मूल्य के अनुरूप है। लेखक निष्कर्ष निकालते हैं कि:

• CERTA-0 निश्चितता के संबंध में बुनियादी ईमानदारी पेश करके बेसलाइन RAG की तुलना में सुधार करने के लिए अक्सर पर्याप्त है।
• CERTA-1 अधिक सावधानीपूर्ण दृष्टिकोण प्रदान करता है क्योंकि यह स्पष्ट रूप से 'प्रश्न-संदर्भ प्रासंगिकता' स्कोर का उपयोग करता है।
• यह विधि सिस्टम को उच्च-जोखिम वाले परिदृश्यों में "जोखिम-विमुख" (risk-averse) होने की अनुमति देती है, जिससे मतिभ्रम के बजाय अनिश्चितता स्वीकार की जाती है।
• यह दृष्टिकोण रिट्रीवर-अज्ञेयवादी (retriever-agnostic) है, जो केवल प्रदान किए गए संदर्भ की गुणवत्ता का आकलन करता है न कि स्वयं रिट्रीवल तंत्र का।

लेखक अपने दावों के प्रति विनम्र रहते हैं, यह नोट करते हुए कि डैशबोर्ड को अभी तक वास्तविक विश्वास को मापने के लिए मानव उपयोगकर्ताओं के साथ मान्य नहीं किया गया है। वे सीमाओं को भी स्वीकार करते हैं, जैसे कि मल्टीपल-चॉइस फॉर्मेट का उपयोग करना जो चापलूसी को कृत्रिम रूप से कम कर सकता है, और कोसाइन सिमिलरिटी पर निर्भरता जो चरम मानों के बजाय मध्यम-श्रेणी के स्कोर (लगभग 0.5) उत्पन्न करती है। भविष्य के कार्य के रूप में उपयोगकर्ता अध्ययन और शोर वाले डेटा स्रोतों (noisier data sources) के साथ परीक्षण का सुझाव दिया गया है।