तकनीकी सारांश: बहुभाषी RAG में भाषाई भाई-भतीजावाद (Linguistic Nepotism)

समस्या विवरण

बहुभाषी रिट्रीवल-ऑगमेंटेड जनरेशन (mRAG) सिस्टम विविध भाषाओं में ज्ञान-गहन प्रश्नों के उत्तर देने और उद्धरण-समर्थित (citation-supported) प्रतिक्रियाएं प्रदान करने के लिए डिज़ाइन किए गए हैं। हालांकि, एक महत्वपूर्ण खुला प्रश्न बना हुआ है: क्या रिट्रीवल कॉन्टेक्स्ट में दस्तावेज़ों की भाषाओं का मिश्रण अनजाने में मॉडल के जनरेशन और साइटेशन व्यवहार को पक्षपाती बनाता है?

भाषा प्राथमिकता को मापने के मौजूदा तरीके दो प्राथमिक सीमाओं से ग्रस्त हैं:

1. सत्यता नियंत्रण का अभाव (Lack of Correctness Control): लघु-रूप mRAG अध्ययन अक्सर सूचना ओवरलैप या एम्बेडिंग समानता के माध्यम से प्राथमिकता का अनुमान लगाते हैं, जो सीधे तौर पर यह सत्यापित नहीं करते कि उद्धृत स्रोत वास्तव में दावे का समर्थन करता है या नहीं।
2. कन्फाउंडिंग कारक (Confounding Factors): दीर्घ-रूप mRAG अध्ययन, जो दस्तावेज़ वितरण के विरुद्ध साइटेशन आवृत्ति को मापते हैं, वे स्रोतों की परिवर्तनशील प्रासंगिकता और सूचनात्मकता से प्रभावित होते हैं। इसके अलावा, इनलाइन साइटेशन (inline citations) मतिभ्रम (hallucinations) के प्रति संवेदनशील होते हैं, जिससे वास्तविक एट्रिब्यूशन और स्प्यूरियस (spurious) साइटेशन के बीच अंतर करना कठिन हो जाता है।

परिणामस्वरूप, यह स्पष्ट नहीं है कि मॉडल विशिष्ट भाषाओं को वास्तविक सूचनात्मकता के कारण उद्धृत करते हैं या एक व्यवस्थित पूर्वाग्रह के कारण जो "भाषाई भाई-भतीजावाद" (linguistic nepotism) की ओर ले जा सकता है—अर्थात भाषा की पसंद के लिए दस्तावेज़ की प्रासंगिकता का त्याग करना।

कार्यप्रणाली (Methodology)

भाषा प्राथमिकता को अन्य चरों से अलग करने के लिए, लेखक मॉडल इंटरनल्स का उपयोग करते हुए एक नियंत्रित कार्यप्रणाली प्रस्तावित करते हैं, जिसे चित्र 1 में दर्शाया गया है। यह दृष्टिकोण चार चरणों में शामिल है:

1. सिंथेटिक डेटा जनरेशन (चरण 1–2):

   • अनुवाद: अंग्रेजी प्रश्नों और उनके प्रासंगिक साक्ष्य दस्तावेजों ($D_{en}$) से शुरू करते हुए, लेखक मशीन अनुवाद (Google Translate API) का उपयोग करके आठ लक्षित भाषाओं ($D_{fr}, D_{ar}, D_{ko}, \dots$) में समानांतर दस्तावेज़ सेट बनाते हैं।
   • संदर्भ जनरेशन (Reference Generation): एक शक्तिशाली LLM (OpenAI o3) प्रत्येक प्रश्न के लिए अंग्रेजी दस्तावेजों का उपयोग करके एक संदर्भ साइटेशन-समर्थित रिपोर्ट तैयार करता है। यह रिपोर्ट वाक्य-स्तर के कथनों में विभाजित है, जिनमें से प्रत्येक को एक विशिष्ट साइटेशन ID के साथ जोड़ा गया है।

2. सत्यापन फ़िल्टरिंग (चरण 3):

   • सत्यापन की शुद्धता सुनिश्चित करने के लिए, लेखक कथन-साइटेशन जोड़ों पर दो-चरणीय फ़िल्टर लागू करते हैं:
     • LLM-as-Judge: कई जज मॉडल (OpenAI o4 mini, QWEN-3 32B, Gemini 2.5 Pro) प्रत्येक कथन के लिए दस्तावेजों की प्रासंगिकता को रैंक करते हैं। केवल वे कथन रखे जाते हैं जहाँ अधिकांश जज उद्धृत दस्तावेज़ पर सहमत होते हैं।
     • NLI Entailment: एक नेचुरल लैंग्वेज इंफरेंस (NLI) क्लासिफायर यह सत्यापित करता है कि उद्धृत दस्तावेज़ तार्किक रूप से कथन का समर्थन (entails) करता है।
   • यह प्रक्रिया 792 कथनों का एक सत्यापित पूल प्रदान करती है जहाँ साइटेशन की शुद्धता की गारंटी है।

3. नेक्स्ट टोकन प्रेडिक्शन के माध्यम से मापन (चरण 4):

   • मुख्य मीट्रिक सही साइटेशन ID टोकन को अगले टोकन के रूप में भविष्यवाणी करने की सटीकता है।
   • कॉन्ट्रास्टिव कॉन्टेक्स्ट्स (Contrastive Contexts): प्रत्येक सत्यापित कथन के लिए, मॉडल को एक कथन और एक ऐसे कॉन्टेक्स्ट के साथ प्रॉम्प्ट किया जाता है जहाँ केवल वह विशिष्ट दस्तावेज़ जिसे उद्धृत किया जाना है, एक लक्षित भाषा $\ell$ में प्रस्तुत किया जाता है, जबकि अन्य सभी साक्ष्य दस्तावेज़ अंग्रेजी में रहते हैं।
   • मीट्रिक: साइटेशन सटीकता ($Acc(\ell)$) को इस आवृत्ति के रूप में गणना किया जाता है कि मॉडल कितनी बार सही साइटेशन ID का सफलतापूर्वक अनुमान लगाता है जब स्रोत भाषा $\ell$ में होता है।
   • प्रेफरेंस गैप (Preference Gap): भाषा प्राथमिकता को $\Delta(\ell_{target}) = Acc(\ell_{target}) - Acc(en)$ के रूप में मात्रात्मक रूप से मापा जाता है। ऋणात्मक मान अंग्रेजी के ऊपर लक्षित भाषा के प्रति प्राथमिकता को दर्शाता है।

प्रयोगात्मक सेटअप

• डेटासेट: प्राथमिक डेटासेट ELI5 (Explain Like I'm Five) दीर्घ-रूप QA डेटासेट (WebGPT टेस्ट सेट से 270 प्रश्न) है। प्रासंगिकता बनाम भाषा प्रयोगों के लिए, अप्रासंगिक डिस्ट्रैक्टर्स (distractors) पेश करने के लिए MIRACL डेटासेट का उपयोग किया जाता है।
• भाषाएँ: आठ लक्षित भाषाएँ जो विभिन्न संसाधन स्तरों का प्रतिनिधित्व करती हैं: अरबी, बंगाली, फ्रेंच, कोरियाई, रूसी, स्पेनिश, स्वाहिली और चीनी।
• मॉडल: विभिन्न आकार और आर्किटेक्चर के छह ओपन-वेट LLMs: LLAMA-3.1 8B, LLAMA-3.3 70B, QWEN-3 8B/14B, GEMMA-3 27B, और AYA23 8B।

मुख्य परिणाम

1. प्रबल अंग्रेजी प्राथमिकता

सभी छह मॉडलों और आठ भाषाओं में, मॉडल अंग्रेजी प्रश्न होने पर अंग्रेजी दस्तावेज़ों को उद्धृत करने की एक स्पष्ट प्रवृत्ति प्रदर्शित करते हैं।

• परिमाण: जब उद्धृत दस्तावेज़ गैर-अंग्रेजी भाषा में होता है, तो अंग्रेजी की तुलना में साइटेशन सटीकता काफी कम हो जाती है।
• संसाधन सहसंबंध (Resource Correlation): कम-संसाधन वाली भाषाओं के लिए यह पूर्वाग्रह अधिक तीव्र होता है। उदाहरण के लिए, स्वाहिली और बंगाली में सबसे बड़ी सटीकता गिरावट देखी गई (AYA23 8B में -37.6% तक), जबकि फ्रेंच और स्पेनिश जैसी उच्च-संसाधन वाली भाषाओं में कमी कम है।
• पोजीशन बायस (Position Bias): "लॉस्ट इन द मिडल" (lost in the middle) घटना इस पूर्वाग्रह को बढ़ा देती है। साइटेशन सटीकता तब सबसे कम होती है जब दस्तावेज़ कॉन्टेक्स्ट के बीच में आता है, और अंग्रेजी तथा लक्षित भाषा की सटीकता के बीच का अंतर इस स्थिति में सबसे अधिक होता है।

2. क्वेरी भाषा प्राथमिकता

जब स्वयं प्रश्न को लक्षित भाषा में अनुवादित किया जाता है, तो मॉडल अपनी प्राथमिकता को क्वेरी भाषा के दस्तावेज़ों की ओर स्थानांतरित कर देते हैं, भले ही वह भाषा अंग्रेजी न हो।

• मॉडल तब सबसे अच्छा प्रदर्शन करते हैं जब उद्धृत दस्तावेज़ क्वेरी भाषा से मेल खाता है, भले ही अन्य कॉन्टेक्स्ट दस्तावेज़ अंग्रेजी में हों।
• यह एक "क्वेरी-भाषा प्राथमिकता" का सुझाव देता है जहाँ मॉडल क्वेरी और साक्ष्य के बीच भाषाई संरेखण (alignment) को प्राथमिकता देते हैं, जो वैज्ञानिक साइटेशन में मानव "स्व-भाषा प्राथमिकता" की नकल करता है।

3. भाषा प्रासंगिकता से अधिक प्रभावी है

अप्रासंगिक डिस्ट्रैक्टर्स पेश करने वाले प्रयोगों में, लेखक पाते हैं कि मॉडल दस्तावेज़ की प्रासंगिकता के बजाय भाषा की प्राथमिकता के लिए समझौता करते हैं।

• अप्रासंगिक अंग्रेजी बनाम प्रासंगिक गैर-अंग्रेजी: जब एक प्रासंगिक दस्तावेज़ लक्षित भाषा में होता है और एक अप्रासंगिक दस्तावेज़ अंग्रेजी में होता है, तो साइटेशन सटीकता बेसलाइन से काफी नीचे गिर जाती है। मॉडल अप्रासंगिक अंग्रेजी स्रोत द्वारा भ्रमित हो जाता है।
• प्रासंगिक अंग्रेजी बनाम अप्रासंगिक गैर-अंग्रेजी: इसके विपरीत, जब प्रासंगिक दस्तावेज़ अंग्रेजी में होता है और डिस्ट्रैक्टर लक्षित भाषा में होता है, तो सटीकता बेसलाइन से ऊपर बढ़ जाती है। मॉडल अप्रासंगिक गैर-अंग्रेजी डिस्ट्रैक्टर्स को आसानी से खारिज कर देता है।
• यह इंगित करता है कि दीर्घ-रूप mRAG में, भाषा की प्राथमिकता दस्तावेज़ की तथ्यात्मक प्रासंगिकता की तुलना में साइटेशन व्यवहार का एक अधिक शक्तिशाली चालक हो सकती है।

4. मॉडल इंटरनल्स विश्लेषण

LLAMA-3.1 8B पर 'लॉगिट लेंस' (Logit Lens) विज़ुअलाइज़ेशन का उपयोग करते हुए, लेखक देखते हैं कि:

• मॉडल शुरू में अंग्रेजी का पक्ष नहीं लेते और बाद में खुद को सुधारते नहीं हैं।
• इसके बजाय, एक विशिष्ट संक्रमण क्षेत्र (लेयर्स 18–22) होता है जहाँ साइटेशन भविष्यवाणियाँ स्पष्ट (crystallize) होती हैं। एक बार जब मॉडल एक साइटेशन (सही या गलत) को चुन लेता है, तो वह बाद की लेयर्स में इस चुनाव को काफी हद तक बनाए रखता है।
• कम-संसाधन वाली भाषाओं के लिए सही और गलत भविष्यवाणियों के बीच का अंतर कम हो जाता है, जो इन मामलों में मजबूत अंग्रेजी पूर्वाग्रह की पुष्टि करता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह प्रासंगिकता को स्थिर रखने के लिए मॉडल इंटरनल्स का उपयोग करके दीर्घ-रूप mRAG में भाषा प्राथमिकता का पहला नियंत्रित मापन प्रदान करता है। इन निष्कर्षों का महत्व यहाँ निहित है:

1. व्यवस्थित पूर्वाग्रह को उजागर करना: अध्ययन प्रदर्शित करता है कि साइटेशन विकल्प केवल सूचनात्मकता से प्रेरित नहीं होते हैं। मॉडल "भाषाई भाई-भतीजावाद" प्रदर्शित करते हैं, जो प्रासंगिकता की कीमत पर भी व्यवस्थित रूप से अंग्रेजी (या क्वेरी भाषा) का पक्ष लेते हैं।
2. विश्वास और समानता पर प्रभाव: ये पूर्वाग्रह गैर-अंग्रेजी स्रोतों को हाशिए पर धकेलने का जोखिम उठाते हैं, मौजूदा भाषाई पदानुक्रमों को सुदृढ़ करते हैं, और बहुभाषी उपयोगकर्ताओं के लिए, विशेष रूप से स्वास्थ्य सेवा और पत्रकारिता जैसे उच्च-जोखिम वाले क्षेत्रों में, AI-सहायता प्राप्त उपकरणों में विश्वास को कम करते हैं।
3. कार्यप्रणाली संबंधी योगदान: प्रस्तावित ढांचा दस्तावेज़ की प्रासंगिकता से भाषा के प्रभावों को अलग करके साइटेशन व्यवहार का मूल्यांकन करने का एक मजबूत तरीका प्रदान करता है, जो पूर्व के कार्यों की सीमाओं को संबोधित करता जो मोटे आवृत्ति गणनाओं या unverifiable ओवरलैप मेट्रिक्स पर निर्भर थे।

लेखक निष्कर्ष निकालते हैं कि अधिक मजबूत और समावेशी mRAG सिस्टम बनाने के लिए यह स्वीकार करना आवश्यक है कि वर्तमान मॉडलों में भाषा स्वयं दस्तावेज़ की प्रासंगिकता से अधिक प्रभाव डालती है, जिसके लिए पारदर्शी और भाषा-जागरूक मूल्यांकन प्रथाओं की आवश्यकता है।