Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models

यहाँ "Faithfulness-QA: Training के लिए एक Counterfactual Entity Substitution Dataset" नामक शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सिस्टम को बाहरी साक्ष्यों (external evidence) के आधार पर लार्ज लैंग्वेज मॉडल्स (LLMs) को ग्राउंड करने के लिए डिज़ाइन किया गया है। हालाँकि, एक महत्वपूर्ण विफलता मोड जिसे unfaithfulness (अविश्वासनीयता) कहा जाता है, तब होता है जब मॉडल रिट्रीव किए गए संदर्भ (context) को अनदेखा कर देते हैं और इसके बजाय अपने आंतरिक पैरामेट्रिक मेमोरी (pre-training के दौरान प्राप्त ज्ञान) पर निर्भर हो जाते हैं।

• मूल कारण: मानक नेक्स्ट-टोकन प्रेडिक्शन लॉस (next-token prediction losses) सभी टोकन को समान मानते हैं, जिससे वे संदर्भ-व्युत्पन्न जानकारी और याद किए गए तथ्यों के बीच अंतर करने में विफल रहते हैं। बिना स्पष्ट ट्रेनिंग सिग्नल के जो संदर्भ-ग्राउंडिंग को पुरस्कृत करते हैं, मॉडल संघर्ष (conflict) की स्थिति में अपने आंतरिक ज्ञान की ओर लौट जाते हैं।
• अंतराल (Gap): मौजूदा समाधान या तो इन्फरेंस-टाइम संघर्ष समाधान (जैसे Self-RAG, FaithfulRAG) पर ध्यान केंद्रित करते हैं या छोटे पैमाने के मूल्यांकन बेंचमार्क (जैसे ~4.9K सैंपल्स के साथ FaithEval) प्रदान करते हैं। नियंत्रित ज्ञान संघर्षों के माध्यम से मॉडल्स को आंतरिक मेमोरी के ऊपर रिट्रीव किए गए संदर्भ को प्राथमिकता देने के लिए मजबूर करने हेतु विशेष रूप से डिज़ाइन किए गए बड़े पैमाने के, उच्च-गुणवत्ता वाले प्रशिक्षण डेटा की कमी है।

2. कार्यप्रणाली: Faithfulness-QA निर्माण (Methodology: Faithfulness-QA Construction)

लेखक Faithfulness-QA का प्रस्ताव करते हैं, जो 99,094 सैंपल्स का एक डेटासेट है जिसे पूरी तरह से स्वचालित, चार-चरणीय पाइपलाइन के माध्यम से बनाया गया है। इसका मुख्य तंत्र Counterfactual Entity Substitution (प्रति-तथ्यात्मक इकाई प्रतिस्थापन) है, जो मॉडल के संभावित पैरामेट्रिक ज्ञान और संदर्भ के बीच कृत्रिम संघर्ष पैदा करता है।

A. स्रोत डेटा (Source Data)

यह डेटासेट दो पूरक एक्सट्रैक्टिव QA बेंचमार्क से बनाया गया है:

1. SQuAD: 87,599 जोड़े (विकिपीडिया पैराग्राफ, औसत लंबाई 701 वर्ण)।
2. TriviaQA: 87,041 जोड़े (लंबे साक्ष्य दस्तावेज़, औसत लंबाई 1,581 वर्ण)।

B. चार-चरणीय पाइपलाइन (The Four-Stage Pipeline)

1. Entity Bank Construction (इकाई बैंक निर्माण):

   • SpaCy के en_core_web_lg NER मॉडल का उपयोग करके स्रोत संदर्भों से नामित संस्थाओं (named entities) को निकाला गया।
   • 8 प्रकारों (PERSON, GPE, ORG, DATE, CARDINAL, NORP, LOC, और EVENT) में 76,953 अद्वितीय संस्थाओं का एक बैंक तैयार किया गया।
   • संस्थाओं को उनकी लंबाई (2–100 वर्ण) के आधार पर फ़िल्टर किया गया।

2. Answer–Entity Matching (उत्तर-इकाई मिलान):

   • प्रत्येक QA सैंपल $(q, c, a)$ के लिए, सिस्टम संदर्भ $c$ में एक मान्यता प्राप्त NER इकाई के साथ उत्तर $a$ को मिलाने का प्रयास करता है।
   • यह एक तीन-रणनीति कैस्केड का उपयोग करता है: Exact match, Substring match, और Positional overlap।
   • जो सैंपल नामित इकाई से मेल खाने में विफल रहते हैं उन्हें फ़िल्टर कर दिया जाता है (यह प्राथमिक बाधा है)।

3. Counterfactual Entity Substitution (मुख्य चरण):

   • मूल उत्तर इकाई ($e_{orig}$) और उसके प्रकार ($t$) की पहचान करता है।
   • बैंक से एक प्रतिस्थापन इकाई ($e_{new}$) चुनता है जो समान प्रकार $t$ साझा करती है लेकिन $e_{orig}$ से भिन्न है।
   • लंबाई अनुकूलता ($0.3 \le |e_{new}|/|e_{orig}| \le 3.0$) लागू करता है।
   • Global Replacement: $e_{orig}$ के सभी केस-इन्सेंसिटिव (case-insensitive) उद्भवों को $e_{new}$ के साथ बदलकर $c'$ बनाता है।
   • नया "faithful" उत्तर $e_{new}$ बन जाता है।

4. Quality Filtering & Splitting (गुणवत्ता फ़िल्टरिंग और विभाजन):

   • 6 नियम-आधारित जाँच लागू करता है (जैसे यह सुनिश्चित करना कि नई इकाई संशोधित संदर्भ में मौजूद है, मूल हटा दिया गया है, संदर्भ की लंबाई पर्याप्त है, अत्यधिक प्रतिस्थापन नहीं हुआ है)।
   • पास होने वाले सैंपल्स को एक निश्चित सीड (42) के साथ Train/Dev/Test (80/10/10) में विभाजित किया गया।
   • पूरी पाइपलाइन नियतात्मक (deterministic) है, जो लगभग 5.5 घंटों में एक सिंगल CPU पर चलती है, और इसके लिए किसी GPU की आवश्यकता नहीं है।

3. प्रमुख योगदान (Key Contributions)

1. Faithfulness-QA Dataset: एक बड़े पैमाने का (99K सैंपल्स) संसाधन, जिसे विशेष रूप से RAG मॉडल्स को रिट्रीव किए गए संदर्भ को आंतरिक मेमोरी से ऊपर प्राथमिकता देने के लिए प्रशिक्षित करने हेतु डिज़ाइन किया गया है। यह मौजूदा निष्ठा मूल्यांकन बेंचमार्क से लगभग 20 गुना बड़ा है।
2. स्वचालित निर्माण पाइपलाइन: एक पूरी तरह से स्वचालित, ओपन-सोर्स पाइपलाइन जो 56.7% प्रतिस्थापन सफलता दर और ऑडिट किए गए सैंपल्स पर 100% गुणवत्ता पास दर प्राप्त करती है।
3. Typed Entity Bank: 8 श्रेणियों में 76,953 संस्थाओं का एक पुन: प्रयोज्य संसाधन, जो पुनरुत्पादक (reproducible) और विस्तार योग्य डेटासेट निर्माण को सक्षम बनाता है।
4. व्यापक विश्लेषण: इकाई वितरण, संदर्भ लंबाई और विफलता मोड का विस्तृत सांख्यिकीय विश्लेषण, जो SQuAD और TriviaQA स्रोतों की पूरकता को प्रदर्शित करता है।

4. परिणाम और सांख्यिकी (Results and Statistics)

• पैमाना (Scale): कुल 99,094 सैंपल्स (49,094 SQuAD से, 50,000 TriviaQA से)।
• सफलता दर (Success Rate): कुल 56.7% (SQuAD के लिए 56.0%, TriviaQA के लिए 57.4%)।
• विफलता विश्लेषण: फ़िल्टरिंग का प्राथमिक कारण (64.0%) एक मिलान करने वाली NER इकाई का अभाव है (जैसे उत्तर वर्णनात्मक वाक्यांश या बूलियन मान हैं)। यह एक टाइप-संगत, सुपरिभाषित प्रतिस्थापन सुनिश्चित करने के लिए एक जानबूझकर किया गया समझौता है।
• गुणवत्ता ऑडिट: एक रैंडम 200-सैंपल ऑडिट ने चार आयामों में 100% पास दर प्राप्त की: प्रतिस्थापन की उपस्थिति, मूल का निष्कासन, संदर्भ संशोधन, और लंबाई अनुपात।
• इकाई वितरण:
  • TriviaQA में PERSON संस्थाओं का वर्चस्व है (45.7%)।
  • SQuAD ORG, DATE और PERSON में अधिक समान वितरण दिखाता है।
  • यह संयोजन व्यापक कवरेज सुनिश्चित करता है, जिससे टाइप-विशिष्ट ओवरफिटिंग कम होती है।

5. महत्व और अनुप्रयोग (Significance and Applications)

Faithfulness-QA निष्ठा (faithfulness) के मूल्यांकन से ध्यान हटाकर उसे प्रशिक्षण की ओर ले जाकर RAG इकोसिस्टम में एक महत्वपूर्ण अंतराल को भरता है।

• Faithfulness-Aware Fine-Tuning: मॉडल्स को तब आंतरिक पैरामेटिक मेमोरी को ओवरराइड करने के लिए प्रशिक्षित करने में सक्षम बनाता है जब वह रिट्रीव किए गए साक्ष्य के साथ संघर्ष करती है।
• Attention-Based Loss Functions: स्पष्ट रूप से संशोधित क्षेत्र क्रॉस-अटेंशन वेट्स (cross-attention weights) के पर्यवेक्षण की अनुमति देते हैं, जिससे मॉडल्स को संदर्भ पर ध्यान केंद्रित करने के लिए प्रोत्साहित किया जाता है।
• Knowledge Conflict Research: एक नियंत्रित वातावरण प्रदान करता है जिसमें LLMs यह अध्ययन कर सकें कि वे बाहरी साक्ष्य और आंतरिक विश्वासों के बीच संघर्ष को कैसे हल करते हैं।
• पूरकता: जबकि FaithEval मूल्यांकन के लिए एक बेंचमार्क के रूप में कार्य करता है, Faithfulness-QA उन मॉडल्स को बनाने के लिए एक प्रशिक्षण संसाधन के रूप में कार्य करता है जो ऐसे बेंचमार्क को पास करने में सक्षम हों।

6. सीमाएँ और भविष्य का कार्य (Limitations and Future Work)

• सीमाएँ:
  • कोई कोरफ़्रेंस रेज़ोल्यूशन (coreference resolution) नहीं है (सर्वनाम जो प्रतिस्थापित संस्थाओं को संदर्भित करते हैं, उन्हें अपडेट नहीं किया गया है)।
  • यह NLI मॉडल्स के बजाय नियम-आधारित फ़िल्टरिंग पर निर्भर है।
  • कुछ प्रतिस्थापन सिंटैक्टिक रूप से वैध लेकिन अर्थपूर्ण रूप से अस्वाभाविक हो सकते हैं (जैसे, "Amritsar, Illinois")।
  • वर्तमान में केवल अंग्रेजी तक सीमित है।
• भविवी दिशाएँ: कोरफ़्रेंस रेज़ोल्यूशन को एकीकृत करना, इकाई मिलान के लिए LLMs का उपयोग करना ताकि सफलता दर में सुधार हो सके, NLI-आधारित फ़िल्टरिंग लागू करना, और ओपन-सोर्स LLMs (Llama-3, Mistral, Qwen) के साथ डाउनस्ट्रीम ट्रेनिंग प्रयोग करना।

निष्कर्ष: Faithfulness-QA RAG सिस्टम को "रिट्रीवल-ऑगमेंटेड" से "रिट्रीवल-फेथफुल" (retrieval-faithful) बनाने के लिए आवश्यक बुनियादी ढांचा प्रदान करता है, यह सुनिश्चित करता है कि मॉडल्स वास्तव में उन्हें दिए गए साक्ष्यों पर भरोसा करें न कि अपने प्री-ट्रेंड पूर्वाग्रहों पर।