तकनीकी सारांश: सिमेंटिक प्रासंगिकता से परे: सुदृढ़ रिट्रीवल-ऑगमेंटेड जनरेशन के लिए काउंटरफैक्चुअल रिस्क मिनिमाइजेशन

1. समस्या विवरण: प्रासंगिकता-सुदृढ़ता अंतराल (The Relevance-Robustness Gap)

मानक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम इस धारणा पर कार्य करते हैं कि सिमेंटिक प्रासंगिकता (Semantic Relevance) निर्णय उपयोगिता (Decision Utility) के लिए एक पर्याप्त प्रॉक्सी है। वे वेक्टर समानता के आधार पर दस्तावेज़ों को रिट्रीव करते हैं, यह मानकर कि उपयोगकर्ता की क्वेरी के साथ सिमेंटिक रूप से समान दस्तावेज़ एक सही जनरेशन की ओर ले जाएगा।

लेखक एक महत्वपूर्ण विफलता मोड की पहचान करते हैं, जिसे "प्रासंगिकता-सुदृढ़ता अंतराल" (Relevance-Robustness Gap) कहा गया है। इन वास्तविक निर्णय लेने वाले परिदृश्यों में, उपयोगकर्ता की क्वेरी अक्सर संज्ञानात्मक पूर्वाग्रहों (Cognitive Biases) (जैसे, पुष्टिकरण पूर्वाग्रह, गलत धारणाएं, या एंकरिंग बायस) से भरी होती है। जब एक उपयोगकर्ता के मन में कोई गलत विश्वास होता है (जैसे, "शार्क कार्टलेज कैंसर का इलाज करता है") और वह LLM से प्रश्न पूछता है, तो एक मानक सिमेंटिक रिट्राइवर ऐसे दस्तावेज़ों को खोज निकालता है जो क्वेरी के कीवर्ड्स के साथ अत्यधिक समान होते हैं, लेकिन तथ्यात्मक रूप से गलत या छद्म वैज्ञानिक होते हैं। ये दस्तावेज़ "चापलूसी करने वाले साक्ष्य" (Sycophantic Evidence) के रूप में कार्य करते हैं, जो उपयोगकर्ता के पूर्वाग्रह को पुष्ट करते हैं और LLM को मतिभ्रम (Hallucination) करने या गलत धारणा से सहमत होने के लिए प्रेरित करते हैं।

मूल समस्या यह है कि सिमेंटिक प्रासंगिकता को अधिकतम करना विरोधाभासी रूप से प्रतिकूल सेटिंग्स में विश्वसनीयता को न्यूनतम कर देता है। सिस्टम ज्ञान की कमी के कारण नहीं, बल्कि संज्ञानात्मक शोर (Cognitive Noise) के विरुद्ध सुदृढ़ता (Robustness) की कमी के कारण विफल होता है।

2. कार्यप्रणाली: CoRM-RAG फ्रेमवर्क

इसे संबोधित करने के लिए, लेखक CoRM-RAG (Counterfactual Risk Minimization for RAG) प्रस्तावित करते हैं, जो रिट्रीवल के उद्देश्य को सिमेंटिक समानता से बदलकर निर्णय सुरक्षा (Decision Safety) और साक्ष्य सुदृढ़ता (Evidential Robustness) की ओर ले जाता है।

2.1 सैद्धांतिक सूत्रीकरण

लेखक इस समस्या को एक कॉज़ल (Causal) दृष्टिकोण से औपचारिक रूप देते हैं। $P(d|x)$ (प्रासंगिकता) को अनुकूलित करने के बजाय, वे रोबस्टनेस यूटिलिटी (Robustness Utility) $U(d, x)$ को अधिकतम करने का प्रयास करते हैं, जिसे इस रूप में परिभाषित किया गया है कि दस्तावेज़ $d$, सही निर्णय $y$ उत्पन्न करने में जनरेटर को सक्षम बनाता है, भले ही क्वेरी $x$ को संज्ञानात्मक पूर्वाग्रहों $\delta$ द्वारा विचलित (Perturb) किया गया हो:
$$U(d, x) = \mathbb{E}_{\delta \sim P(\delta)} [I(M(x \oplus \delta, d) = y)]$$
लक्ष्य ऐसे दस्तावेज़ों को रिट्रीव करना है जो उपयोगकर्ता के इरादे में प्रतिकूल परिवर्तनों के बावजूद एक सही निर्णय के लिए पर्याप्त बने रहें।

2.2 संज्ञानात्मक विक्षेपण प्रोटोकॉल (Cognitive Perturbation Protocol)

सिस्टम को ऐसे सुदृढ़ दस्तावेज़ों की पहचान करने के लिए प्रशिक्षित करने हेतु, लेखक एक संज्ञानात्मक विक्षेपण प्रोटोकॉल पेश करते हैं जो प्रशिक्षण के दौरान उपयोगकर्ता पूर्वाग्रहों का अनुकरण करता है। एक एडवर्सरी LLM (Adversary LLM) क्वेरी को तीन अलग-अलग प्रकार के पक्षपाती इनपुट में फिर से लिखता है, जिससे यह सुनिश्चित होता है कि परिणामी क्वेरी स्वाभाविक और वास्तविक उपयोगकर्ता त्रुटियों के समान हो:

1. टाइप I: गलत-धारणा पुनलेखन (False-Premise Rewriting): एक गलत तथ्यात्मक विश्वास को पूर्वधारणा के रूप में इंजेक्ट करना (जैसे, "माइकल एंजेलो के पोर्ट्रेट में...")।
2. टाइप II: पुष्टिकरण-पूर्वाग्रह पुनलेखन (Confirmation-Bias Rewriting): गलत ऐतिहासिक, सामयिक या मात्रात्मक दावों को ईमानदार पृष्ठभूमि विश्वासों के रूप में शामिल करना (जैसे, "स्टीव जॉब्स अभी भी एप्पल चलाते हैं...")।
3. टाइप III: विषयात्मक भटकाव (Topical Distraction): संज्ञानात्मक भार का अनुकरण करने के लिए किसी अन्य डोमेन से एक असंबंधित लेकिन प्रशंसनीय वाक्य जोड़ना।

2.3 एविडेंस क्रिटिक (The Evidence Critic)

इन्फरेंस (Inference) के दौरान सीधे रोबस्टनेस यूटिलिटी की गणना करना कम्प्यूटेशनल रूप से कठिन है। इसलिए, लेखक एक टीचर-स्टूडेंट डिस्टिलेशन (Teacher-Student Distillation) पाइपलाइन का प्रस्ताव करते हैं:

• टीचर (ऑफलाइन): एक बड़ा LLM (टीचर) उम्मीदवार दस्तावेज़ों का विचलित क्वेरीज़ के विरुद्ध मूल्यांकन करता है। यह प्रत्येक दस्तावेज़ के लिए एक सॉफ्ट रोबस्टनेस स्कोर उत्पन्न करता है, जो उन परिवर्तनों के अंश को दर्शाता है जिनके तहत दस्तावेज़ सही उत्तर की ओर ले जाता है।
• स्टूडेंट (ऑनलाइन): एक हल्का एविडेंस क्रिटिक (एक DeBERTa-v3 आधारित क्रॉस-एनकोडर) इन रोबस्टनेस स्कोर की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
  • प्रशिक्षण उद्देश्य: क्रिटिक को एक हाइब्रिड लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है:
    1. लिस्टवाइज रैंकिंग लॉस (Listwise Ranking Loss): यह एक विक्षेपण समूह के भीतर दस्तावेज़ों के सापेक्ष क्रम को अनुकूलित करता है, जिससे मॉडल को सुधारात्मक साक्ष्य और चापलूसी करने वाले विकर्षणों के बीच अंतर करने के लिए मजबूर किया जाता है।
    2. पॉइंटवाइज कॉन्फिडेंस लॉस (Pointwise Confidence Loss): यह जोखिम मूल्यांकन को सक्षम करने के लिए पूर्ण संभाव्यता स्कोर को कैलिब्रेट करता है।

2.4 इन्फरेंस: रिस्क-अवेयर एब्स्टेंशन (Risk-Aware Abstention)

इन्फरेंस के दौरान, एविडेंस क्रिटिक एक रिस्क-अवेयर रेंकर के रूप में कार्य करता है। यह रिट्रीव किए गए उम्मीदवारों को सिमेंटिक समानता के बजाय अनुमानित रोबस्टनेस के आधार पर स्कोर करता है।

• डायनेमिक रोबस्ट कॉन्टेक्स्ट: सिस्टम दस्तावेज़ों को फ़िल्टर करता है, केवल उन्हीं को जनरेटर के कॉन्टेक्स्ट में शामिल करता है जिनका स्कोर सुरक्षा थ्रेशोल्ड $\gamma$ से ऊपर होता है।
• रिस्क-अवेयर एब्स्टेंशन: यदि शीर्ष-रैंक वाला दस्तावेज़ सुरक्षा थ्रेशोल्ड को पूरा करने में विफल रहता है, तो सिस्टम उत्तर देने से अब्स्टेन (Abstain/परहेज) कर लेता है, जिससे पक्षपाती मतिभ्रम (Hallucinations) के उत्पन्न होने से रोका जा सके।

3. मुख्य योगदान

1. प्रासंगिकता-सुदृढ़ता अंतराल की पहचान: पेपर यह प्रदर्शित करता है कि सिमेंटिक प्रासंगिकता, जब उपयोगकर्ता की क्वेरी में संज्ञानात्मक पूर्वाग्रह होते हैं, तो निर्णय विश्वसनीयता के साथ खराब सहसंबंध रखती है।
2. CoRM-RAG फ्रेमवर्क: एक नया दृष्टिकोण जो रिट्रीवल को निर्णय सुरक्षा के साथ संरेखित करता है (संज्ञानात्मक पूर्वाग्रहों का अनुकरण करके प्रशिक्षित) ताकि एक ऐसा सिस्टम बनाया जा सके जो निर्णय जोखिम को कम करता है।
3. एविडेंस क्रिटिक: डिस्टिलेशन के माध्यम से प्रशिक्षित एक कुशल स्कोरिंग मॉड्यूल जो "रोबस्टनेस यूटिलिटी" की भविष्यवाणी करता है। यह भारी रीजनिंग मॉडल्स की सुरक्षा और मानक रेंकर्स की लेटेंसी के बीच संतुलन बनाता है।
4. रिस्क-अवेयर मैकेनिज्म: सुरक्षा थ्रेशोल्ड का एकीकरण एक ऐसी क्षमता प्रदान करता है जिससे सिस्टम विश्वसनीय साक्ष्य उपलब्ध न होने पर उत्तर देने से बच सकता है, जो कि मानक RAG में मौजूद नहीं है।

4. प्रयोगात्मक परिणाम

लेखक मानक बेंचमार्क (Natural Questions, WebQA) और एडवर्सरियल डेटासेट्स (TruthfulQA, और एक सिंथेटिक Biased-NQ सेट जो उनके विक्षेपण प्रोटोकॉल का उपयोग करके बनाया गया है) पर CoRM-RAG का मूल्यांकन करते हैं।

• सुदृढ़ता (Robustness): CoRM-RAG प्रतिकूल सेटिंग्स में मजबूत बेसलाइन्स (BM25, Contriever, मानक Cross-Encoders, और LLM-आधारित रेंकर्स) को काफी पीछे छोड़ देता है। Biased-NQ पर, यह 52.6% सटीकता प्राप्त करता है, जबकि एक मानक Cross-Encoder के लिए यह 40.9% और एक विक्षेपण-संवर्धित बेसलाइन (PA-CE) के लिए 48.0% है।
• प्रासंगिकता-सुदृढ़ता अंतराल: विश्लेषण से पता चलता है कि मानक रेंकर्स अक्सर तब "गोल्ड" (सुधारात्मक) साक्ष्य खोजने में विफल रहते हैं जब क्वेरी पक्षपाती होती है, जबकि CoRM-RAG सुधारात्मक साक्ष्य को काफी उच्च रैंक देता है (Recall@1 में 11.8% का पूर्ण लाभ)।
• रिस्क-अवेयर एब्स्टेंशन: एविडेंस क्रिटिक अच्छी तरह से कैलिब्रेटेड कॉन्फिडेंस स्कोर प्रदान करता है। निचले 20% कम-विश्वास वाली क्वेरीज़ पर परहेज करके, सिस्टम चयनात्मक सटीकता (Selective Accuracy) को 52.6% से बढ़ाकर 62.0% कर देता है।
• दक्षता (Efficiency): CoRM-RAG ~215ms की लेटेंसी के साथ कार्य करता है, जो मानक Cross-Encoders के तुलनीय है, लेकिन जेनेरेटिव रेंकर्स (जैसे, GPT-4o रेंकिंग में ~20 सेकंड लगता है) की तुलना में काफी तेज़ है। यह सुदृढ़ता और लेटेंसी के बीच के ट्रेड-ऑफ को प्रभावी ढंगत: तोड़ता है।
• सामान्यीकरण (Generalization): एक जनरेटर (Qwen-3) पर प्रशिक्षित एविडेंस क्रिटिक, अनदेखे जनरेटर्स (Llama-3, GPT-4o) पर सफलतापूर्वक स्थानांतरित होता है, जो यह दर्शाता है कि यह मॉडल-विशिष्ट ह्यूरिस्टिक्स के बजाय सार्वभौमिक साक्ष्य शक्ति को कैप्चर करता है।

5. महत्व और दावे

पेपर RAG सिस्टम के लिए एक प्रतिमान परिवर्तन (Paradigm Shift) का दावा करता है: सूचना खोजने (सिमेंटिक ओवरलैप को अधिकतम करना) से कॉज़ल इंटरवेंशन (साक्ष्य सुदृढ़ता को अधिकतम करना) की ओर।

• सुरक्षा प्रथम: फ्रेमवर्क तर्क देता है कि उच्च-दांव वाले डोमेन में, रिट्रीवल को ऐसे साक्ष्य को प्राथमिकता देनी चाहिए जो उपयोगकर्ता की क्वेरी की पुष्टि करने के बजाय संज्ञानात्मक शोर का सामना कर सके।
• स्केलेबल सुरक्षा: अपने काउंटरफैक्टुअल रीजनिंग को एक हल्के क्रिटिक में डिस्टिल करके, CoRM-RAG एक सुदृढ़ RAG के लिए एक स्केलेबल समाधान प्रदान करता है जिसमें प्रत्येक क्वेरी के लिए महंगी इन्फरेंस-टाइम रीजनिंग की आवश्यकता नहीं होती है।
• मॉड्यूलरिटी: एविडेंस क्रिटिक एक मॉड्यूलर सुरक्षा घटक के रूप में कार्य करता जिसे पूरे जनरेशन पाइपलाइन को फिर से प्रशिक्षित किए बिना निर्णय विश्वसनीयता बढ़ाने के लिए विभिन्न रिट्राइवर्स और जनरेटर्स के साथ एकीकृत किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि CoRM-RAG पुष्टिकरण पूर्वाग्रह और गलत धारणाओं के प्रभाव को काफी हद तक कम करता है, भविष्य के कार्य मल्टी-हॉप रीजनिंग और व्यक्तिगत विक्षेपण जनरेशन तक इस ढांचे का विस्तार करने की खोज करेंगे।