💻 computer science

CTRL-RAG: Contrastive Likelihood Reward Based Reinforcement Learning for Context-Faithful RAG Models

यह शोधपत्र CTRL-RAG का प्रस्ताव करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो सहायक साक्ष्य के साथ और साक्ष्य के बिना प्रतिक्रियाओं के लॉग-लाइक्लीहुड अंतराल (log-likelihood gap) को अनुकूलित करने के लिए एक कंट्रास्टिव लाइकलीहुड रिवॉर्ड (Contrastive Likelihood Reward) का उपयोग करता है, जिससे रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) मॉडलों में संदर्भ निष्ठा (context faithfulness) में वृद्धि होती है और मतिभ्रम (hallucinations) को कम किया जाता है।

मूल लेखक: Zhehao Tan, Yihan Jiao, Dan Yang, Junjie Wang, Duolin Sun, Jie Feng, Xidong Wang, Lei Liu, Yue Shen, Jian Wang, Jinjie Gu

प्रकाशित 2026-03-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhehao Tan, Yihan Jiao, Dan Yang, Junjie Wang, Duolin Sun, Jie Feng, Xidong Wang, Lei Liu, Yue Shen, Jian Wang, Jinjie Gu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत कठिन परीक्षा दे रहे एक छात्र हैं। आपके पास एक पाठ्यपुस्तक (Retrieved Documents) है और आपकी अपनी याददाश्त (Model's Internal Knowledge) है।

अतीत में, जब AI को इन पाठ्यपुस्तकों का उपयोग करने के लिए प्रशिक्षित किया जाता था, तो शिक्षकों (Reward Systems) को दो मुख्य समस्याओं का सामना करना पड़ता था:

बाहरी निर्णायक दोषपूर्ण था: कभी-कभी शिक्षक केवल यह देखते थे कि उत्तर सही दिख रहा है या छात्र ने पुस्तक का सही उल्लेख किया है या नहीं। लेकिन एक छात्र बिना किताब पढ़े ही सही उत्तर का अनुमान लगा सकता था या उद्धरण (citation) की नकल कर सकता था।
स्व-मूल्यांकन खतरनाक था: यदि हम छात्र को खुद ग्रेड देने दें, तो वे अति-आत्मविश्वासी हो सकते हैं और मनगढ़ंत बातें (hallucinations) बनाना शुरू कर सकते हैं क्योंकि उन्हें कोई बताने वाला नहीं होगा कि वे गलत हैं।

CTRL-RAG इन AI छात्रों को प्रशिक्षित करने का एक नया, चतुर तरीका है। यह एक "कॉन्ट्रास्टिव लाइकलीहुड रिवॉर्ड" (CLR) पेश करता है, जो एक सुपर-इंटेलिजेंट स्टडी कोच की तरह काम करता है। यह कैसे काम करता है, यहाँ सरल उपमाओं में दिया गया है:

1. "क्या-होता-अगर" का खेल (मुख्य विचार)

कोच केवल अंतिम उत्तर को नहीं देखता है। इसके बजाय, वह छात्र के मस्तिष्क के साथ एक "क्या-होता-अगर" (What-If) खेल खेलता है।

परिदृश्य A: छात्र पाठ्यपुस्तक खुली रखकर एक प्रश्न का उत्तर देता है।
परिदृश्य B: कोच पूछता है, "क्या होगा अगर हम पाठ्यपुस्तक का सबसे महत्वपूर्ण पन्ना हटा दें? अब आप कितने आश्वस्त होंगे?"

CLR इन दोनों परिदृश्यों के बीच के अंतर (gap) को मापता है।

यदि किताब हटा दिए जाने पर छात्र का आत्मविश्वास तेजी से गिर जाता है, तो इसका मतलब है कि वे वास्तव में किताब पर निर्भर थे। बहुत अच्छा काम! (उच्च रिवॉर्ड)।
यदि किताब के बिना भी छात्र का आत्मविश्वास समान रहता है, तो इसका मतलब है कि वे केवल अपनी याददाश्त से अनुमान लगा रहे थे या मनगढ़ंत बातें बना रहे थे। बुरा काम! (कम या कोई रिवॉर्ड नहीं)।

2. "नॉइज़ फ़िल्टर" (खराब किताबों को संभालना)

कल्पना कीजिए कि पाठ्यपुस्तक 30 पन्नों का एक अस्त-व्यस्त ढेर है, लेकिन केवल 2 पन्नों में ही उत्तर है। बाकी 28 पन्ने केवल शोर (noise) या अप्रासंगिक तथ्य हैं।

पुराने तरीके इस शोर से भ्रमित हो सकते थे। CTRL-RAG एक मेटल डिटेक्टर की तरह है। यह विशेष रूप से मॉडल को "सिग्नल" (सही 2 पन्ने) खोजने और "शोर" (बाकी 28 पन्ने) को अनदेखा करने के लिए पुरस्कृत करता है। यह मॉडल को सिखाता है: "सिर्फ बात मत करो; विशेष रूप से उस बारे में बात करो जो तुमने किताब में पाया है।"

3. "ट्रुथ गेट" (गलत लेकिन 'वफादार' उत्तरों से बचना)

एक पेचीदा स्थिति होती है: क्या होगा यदि पाठ्यपुस्तक में ही कोई झूठ हो?

पुरानी समस्या: यदि मॉडल आँख बंद करके किताब का पालन करता है, तो वह एक "फिदेल" (faithful) उत्तर दे सकता है जो तथ्यात्मक रूप से गलत हो (जैसे, "किताब कहती है कि आकाश हरा है, इसलिए मैं कहता हूँ कि आकाश हरा है")।
CTRL-RAG समाधान: यह सिस्टम एक हाइब्रिड रिवॉर्ड का उपयोग करता है। यह "बुक रिलायंस स्कोर" (CLR) को "करेक्टनेस स्कोर" के साथ जोड़ता है।
- इसे एक क्लब के बाउंसर की तरह समझें। भले ही आपके पास टिकट हो (आपने किताब का उपयोग किया है), यदि आपने गलत कपड़े पहने हैं (उत्तर तथ्यात्मक रूप से गलत है), तो आप अंदर नहीं जा सकते। मॉडल को तभी पुरस्कृत किया जाता है जब वह किताब का उपयोग और तथ्यों को सही रखता है।

4. "लंबाई दंड" (बड़बड़ाने से रोकना)

AI मॉडल बहुत अधिक बातें करना पसंद करते हैं। यदि रिवॉर्ड केवल यह होता कि "आपने किताब का कितना उपयोग किया?", तो मॉडल उच्च स्कोर पाने के लिए पूरी किताब को कॉपी-पेस्ट कर सकता था।

CTRL-RAG लंबाई के लिए एक सूक्ष्म दंड (शब्द गणना पर टैक्स की तरह) जोड़ता है। यह मॉडल को संक्षिप्त होने के लिए प्रोत्साहित करता है। यह कहता है, "आपको किताब का उपयोग करने के लिए अंक मिलते हैं, लेकिन यदि आप एक ही वाक्य को पांच बार दोहराते हैं, तो आपके अंक कट जाएंगे।" यह मॉडल को कुशल बनने और सीधे मुद्दे पर आने के लिए मजबूर करता है।

यह एक बड़ी बात क्यों है?

कोई "नकली उद्धरण" नहीं: यह AI को स्रोत का उपयोग करने का नाटक करने से रोकता है।
बेहतर तर्क: यह AI को साक्ष्यों के माध्यम से वास्तव में सोचने के लिए मजबूर करता है, न कि केवल अनुमान लगाने के लिए।
हर जगह काम करता है: पेपर दिखाता है कि यह तब भी काम करता है जब AI छोटा या बहुत बड़ा हो, और चाहे वह सरल प्रश्न हो या जटिल, बहु-चरणीय पहेलियाँ।

सारांश में:
CTRL-RAG एक सख्त लेकिन निष्पक्ष कोच की तरह है जो AI को सिखाता है: "अपनी याददाश्त से केवल अनुमान मत लगाओ। किताब को अंधाधुंध कॉपी भी मत करो। किताब पढ़ो, विशिष्ट सत्य को खोजो, और मुझे एक संक्षिप्त, सटीक उत्तर दो। यदि तुम ऐसा करते हो, तो तुम्हें गोल्ड स्टार मिलेगा।"

यहाँ शोध पत्र "CTRL-RAG: Context-Faithful RAG मॉडल्स के लिए Contrastive Likelihood Reward आधारित Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Retrieval-Augmented Generation (RAG) के लिए Large Language Models (LLMs) को प्रशिक्षित करने में आने वाली महत्वपूर्ण सीमाओं को संबोधित करता है, जो विशेष रूप से संदर्भगत निष्ठा (contextual faithfulness) (प्राप्त दस्तावेज़ों के आधार पर उत्तर देना) और तर्क क्षमताओं (reasoning capabilities) पर केंद्रित है। मौजूदा दृष्टिकोण दो मुख्य चुनौतियों का सामना करते हैं:

बाहरी पुरस्कारों (External Rewards) में कमियाँ: RAG के लिए पारंपरिक Reinforcement Learning (RL), उद्धरण सटीकता ( $R_{cite}$ $R_{c i t e}$ ) या उत्तर की शुद्धता ( $R_{acc}$ $R_{a cc}$ ) जैसे बाहरी संकेतों पर निर्भर करता है। ये अक्सर अपूर्ण होते हैं:
- वे इस बात का मूल्यांकन करने में विफल रहते हैं कि मॉडल संदर्भ का उपयोग कैसे कर रहा है (उदाहरण के लिए, एक मॉडल दस्तावेज़ का उद्धरण तो दे सकता है लेकिन उसकी सामग्री के बारे में भ्रमित/hallucinate कर सकता है)।
- वे "रिवॉर्ड हैकिंग" (reward hacking) के प्रति संवेदनशील हैं (जैसे, तर्क करने के बजाय केवल उद्धरण प्रारूपों की नकल करना)।
- वे ओपन-डोमेन सेटिंग्स में समान संभावित उत्तरों को रैंक करने में संघर्ष करते हैं।
आंतरिक पुरस्कारों (Internal Rewards) की सीमाएँ: मौजूदा स्व-पुरस्कार (self-rewarding) तंत्र (एन्ट्रॉपी या पर्प्लेक्सिटी पर आधारित) सामान्य जनरेशन के लिए डिज़ाइन किए गए हैं, RAG के लिए नहीं। बिना बाहरी सत्यापन के केवल आंतरिक संकेतों पर निर्भर रहने से भ्रम का संचय (hallucination accumulation) और मॉडल कोलैप्स हो सकता है, क्योंकि मॉडल के पास प्राप्त साक्ष्य का कोई वस्तुनिष्ठ आधार (objective anchor) नहीं होता।

मूल समस्या एक ऐसे रिवॉर्ड मैकेनिज्म की कमी है जो मॉडल को प्रासंगिक साक्ष्य की पहचान करने, तर्क के लिए उनका उपयोग करने और तथ्यात्मक शुद्धता बनाए रखने के लिए एक साथ प्रोत्साहित करे, बिना किसी नाजुक बाहरी जज पर निर्भर रहे।

2. कार्यप्रणाली: CTRL-RAG फ्रेमवर्क

लेखक एक नया RL फ्रेमवर्क प्रस्तावित करते हैं जो Contrastive Likelihood Reward (CLR) पर केंद्रित है। यह एक हाइब्रिड रिवॉर्ड मैकेनिज्म है जो मॉडल की आंतरिक संभावनाओं (intrinsic probabilities) को बाह्य दस्तावेज़ पर्यवेक्षण (extrinsic document supervision) के साथ एकीकृत करता है।

A. मुख्य अवधारणा: साक्ष्य योगदान (Evidential Contribution)

यह विधि मात्रा निर्धारित करती है कि एक उत्पन्न प्रतिक्रिया (response) विशिष्ट सहायक दस्तावेज़ों पर कितनी निर्भर है।

Full Context Likelihood ( $S(y|D)$ ): क्वेरी $q$ और पूर्ण दस्तावेज़ सेट $D$ दिए जाने पर प्रतिक्रिया $y$ उत्पन्न करने की लॉग-लाइक्लीहुड (log-likelihood)।
Leave-One-Out (LOO) Likelihood ( $S^-(y|D)$ ): सबसे महत्वपूर्ण सहायक दस्तावेज़ ( $d^*$ ) को हटाने के बाद की लॉग-लाइक्लीहुड।
Evidential Contribution ( $E(y)$ ): इसे अंतर के रूप में परिभाषित किया गया है: $E(y) = S(y|D) - S^-(y|D)$ $E (y) = S (y ∣ D) - S^{-} (y ∣ D)$ ।
- एक उच्च $E(y)$ यह दर्शाता है कि उस विशिष्ट दस्तावेज़ के बिना मॉडल का उत्तर देने का आत्मविश्वास काफी कम हो जाता है, जो यह सिद्ध करता है कि उत्तर उस साक्ष्य पर आधारित है।

B. Contrastive Likelihood Reward ( $R_{CLR}$ )

$E(y)$ को एक उपयोगी रिवॉर्ड सिग्नल बनाने के लिए, लेखक दो समस्याओं का समाधान करते हैं: लंबाई का पक्षपात (Length Bias) (लंबे टेक्स्ट अधिक स्कोर जमा करते हैं) और सिग्नल शोर (Signal Noise) (छोटे सकारात्मक मान सांख्यिकीय शोर हो सकते हैं)।

Normalization: रिवॉर्ड को $\sqrt{T}$ (जहाँ $T$ अनुक्रम की लंबाई है) से विभाजित किया जाता है ताकि अत्यधिक विस्तार (verbosity) को उप-रेखीय (sub-linearly) रूप से दंडित किया जा सके।
Significance Threshold ( $\tau$ ): एक इंडिकेटर फंक्शन $I(E(y) > \tau)$ नगण्य या नकारात्मक योगदान को फ़िल्टर करता है। केवल वे प्रतिक्रियाएँ जिन्हें पर्याप्त और स्पष्ट आधार प्राप्त है, उन्हें ही रिवॉर्ड मिलता है।
Formula:
$R_{CLR}(y) = \frac{E(y) \cdot I(E(y) > \tau)}{\sqrt{T}}$

C. हाइब्रिड रिवॉर्ड एकीकरण (Hybrid Reward Integration)

$R_{CLR}$ निष्ठा (faithfulness) सुनिश्चित करता है लेकिन तथ्यात्मक शुद्धता की गारंटी नहीं देता (एक मॉडल गलत जानकारी को भी निष्ठापूर्वक निकाल सकता है)। इसे हल करने के लिए, लेखक एक Gating Formulation प्रस्तावित करते हैं:

Normalization: $R_{CLR}$ को एक बैच के भीतर $[0, 1]$ के बीच min-max स्केल किया जाता है।
Multiplicative Gating: अंतिम हाइब्रिड रिवॉर्ड $R_{hybrid} = R'_{CLR} \cdot R_{acc}$ $R_{h y b r i d} = R_{C L R}^{'} \cdot R_{a cc}$ है।
- योगात्मक योग (weighted sums) के विपरीत, यह गेटिंग मैकेनिज्म शून्य रिवॉर्ड प्रदान करता है यदि उत्तर गलत है ( $R_{acc}=0$ ), चाहे वह दस्तावेज़ के प्रति कितना भी निष्ठावान क्यों न हो। यह मॉडल को (संभावित रूप से त्रुटिपूर्ण) दस्तावेज़ के प्रति निष्ठा बनाए रखते हुए शुद्धता को प्राथमिकता देने के लिए मजबूर करता है।

D. अनुकूलन (Optimization)

फ्रेमवर्क पॉलिसी को अनुकूलित करने के लिए Group Relative Policy Optimization (GRBO) का उपयोग करता है। विशेष रूप से, लेखकों ने पाया कि इस विशिष्ट कंट्रास्टिव सेटिंग में मानक KL-divergence पेनल्टी (रेफरेंस मॉडल के विरुद्ध) शामिल करने से प्रशिक्षण अस्थिरता और रिवॉर्ड कोलैप्स हुआ, इसलिए उन्होंने इसे हटा दिया ( $\beta=0$ )।

3. प्रमुख योगदान

नया RAG-विशिष्ट RL फ्रेमवर्क: CTRL-RAG पहला RL दृष्टिकोण है जिसे विशेष रूप से Contrastive Likelihood Rewards का उपयोग करके प्रासंगिक निष्ठा को अनुकूलित करने के लिए डिज़ाइन किया गया है। यह आंतरिक आत्मविश्वास और बाह्य साक्ष्य के बीच के अंतर को पाटता है।
वास्तुकलाओं में मजबूती (Robustness Across Architectures): इस विधि को Dense (Qwen3-8B) और Mixture-of-Experts (Qwen3-30B-A3B) दोनों मॉडल्स पर मान्य किया गया है, जो इसकी सामान्यीकरण क्षमता को दर्शाता है।
भ्रम का शमन (Mitigation of Hallucination): दस्तावेज़ों के सीमांत योगदान (marginal contribution) को स्पष्ट रूप से पुरस्कृत करके, यह विधि पैरामीट्रिक मेमोरी पर निर्भरता को कम करती है और गेटिंग मैकेनिज्म के माध्यम से "निष्ठापूर्वक गलत" (faithfully wrong) आउटपुट को रोकती है।
व्याख्यात्मकता (Interpretability): टोकन-स्तरीय विश्लेषण दिखाता है कि मॉडल विशिष्ट साक्ष्य टोकन (जैसे, दस्तावेज़ आईडी, विशिष्ट तथ्य) और तर्क लिंक को पुरस्कृत करना सीखता है, जबकि अनावश्यकता (redundancy) को दंडित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने कई बेंचमार्क पर CTRL-RAG का मूल्यांकन किया: 2Wiki, HotpotQA, MuSiQue (Multi-hop), TriviaQA, PopQA (Single-hop), PubMed (Biomedical), और PRGB (Faithfulness)।

प्रदर्शन लाभ (Performance Gains):
- Multi-hop Reasoning: $R_{CLR}$ और $R_{hybrid}$ ने मानक सटीकता-आधारित ( $R_{acc}$ ) और उद्धरण-आधारित ( $R_{cite}$ ) रिवॉर्ड्स को काफी पीछे छोड़ दिया। उदाहरण के लिए, Qwen3-30B मॉडल पर, हाइब्रिड दृष्टिकोण ने औसत स्कोर 84.9 प्राप्त किया, जबकि सर्वश्रेष्ठ बेसलाइन ( $R_{total}$ ) का स्कोर 84.2 था।
- Faithfulness (PRGB): CTRL-RAG के साथ प्रशिक्षित मॉडल्स ने आंतरिक ज्ञान को बाहरी संदर्भ से अलग करने में समकक्षों की तुलना में 3+ पॉइंट का सुधार दिखाया।
- Reference Reliance ( $RR_\theta$ ): दस्तावेज़ों का उपयोग करने से प्रदर्शन में होने वाला लाभ मापने वाला मीट्रिक प्रशिक्षण के दौरान 6% बढ़ा, जो यह दर्शाता है कि मॉडल ने पैरामीट्रिक मेमोरी पर निर्भर रहने के बजाय बाहरी संदर्भ का प्रभावी ढंग से उपयोग करना सीख लिया है।
Ablation Studies:
- Length Normalization: $\sqrt{T}$ नॉर्मलाइजेशन का उपयोग करना महत्वपूर्ण था; इसके बिना, मॉडल बहुत अधिक विस्तारवादी और दोहराव वाला टेक्स्ट उत्पन्न करते थे।
- LOO Strategy: दस्तावेज़ों के बीच न्यूनतम लॉग-लाइक्लीहुड (बॉटलनेक प्रभाव) का उपयोग करना औसत पूलिंग (average pooling) की तुलना में बेहतर था।
- Gating vs. Summation: मल्टीप्लिकेटिव गेटिंग ( $R_{CLR} \cdot R_{acc}$ ) योगात्मक संयोजनों से बेहतर रहा, जो सिद्ध करता है कि निष्ठा (faithfulness) को मूल्यवान बनाने के लिए शुद्धता (correctness) एक कठोर बाधा (hard constraint) होनी चाहिए।

5. महत्व और प्रभाव

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र RAG प्रशिक्षण को भंगुर बाहरी जजों (LLM-as-a-judge या नियम-आधारित उद्धरण जाँच) से हटाकर एक गणितीय रूप से सुदृढ़, आंतरिक-लाइक्लीहुड-आधारित रिवॉर्ड सिस्टम की ओर ले जाता है।
"निष्ठापूर्वक गलत" (Faithfully Wrong) की समस्या का समाधान: कंट्रास्टिव लाइक्लीहुड को शुद्धता गेट के साथ जोड़कर, CTRL-RAG यह सुनिश्चित करता है कि मॉडल केवल दस्तावेज़ों को उद्धृत करने में ही अच्छे नहीं हैं, बल्कि वास्तव में सही उत्तर प्राप्त करने के लिए उनका उपयोग कर रहे हैं।
दक्षता (Efficiency): यह विधि RL प्रशिक्षण के दौरान महंगे बाहरी रिवॉर्ड मॉडल्स या मानव-इन-द-लूप सत्यापन की आवश्यकता को कम करती है, क्योंकि रिवॉर्ड विभिन्न संदर्भ उपसमुच्चयों (context subsets) पर मॉडल की अपनी लाइक्लीहुड्स से प्राप्त होता है।
भविष्य की दिशा: लेखक कम्प्यूटेशनल ओवरहेड (लाइक्लीहुड अनुमान के लिए अतिरिक्त फॉरवर्ड पास की आवश्यकता) और संभावित संघर्षों को स्वीकार करते हैं जब प्राप्त दस्तावेज़ तथ्यात्मक रूप से गलत होते हैं लेकिन मॉडल का आंतरिक ज्ञान सही होता है, जो भविष्य में 'अनुकूली विश्वास तंत्र' (adaptive trust mechanisms) की ओर संकेत करता है।

संक्षेप में, CTRL-RAG उन RAG मॉडल्स को प्रशिक्षित करने के लिए एक मजबूत, सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करता है जो प्राप्त संदर्भ के प्रति अत्यधिक निष्ठावान और तथ्यात्मक रूप से सटीक दोनों हैं, जो जटिल तर्क कार्यों के लिए विश्वसनीय LLMs की तैनाती में एक महत्वपूर्ण बाधा को संबोधित करता है।