💻 computer science

Optimizing Language Models for Crosslingual Knowledge Consistency

यह शोध पत्र डायरेक्ट कंसिस्टेंसी ऑप्टिमाइज़ेशन (DCO) को प्रस्तुत करता है, जो एक सुदृढीकरण लर्निंग (रिनफोर्समेंट लर्निंग) से प्रेरित विधि है जो मॉडल से सीधे एक संरचित रिवॉर्ड फंक्शन प्राप्त करके बड़े भाषा मॉडलों में क्रॉसलिंगुअल ज्ञान की निरंतरता में महत्वपूर्ण सुधार करती है, जिससे एक स्पष्ट रिवॉर्ड मॉडल की आवश्यकता समाप्त हो जाती है और मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन होता है।

मूल लेखक: Tianyu Liu, Jirui Qi, Mrinmaya Sachan, Ryan Cotterell, Raquel Fernández, Arianna Bisazza

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyu Liu, Jirui Qi, Mrinmaya Sachan, Ryan Cotterell, Raquel Fernández, Arianna Bisazza

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Optimizing Language Models for Crosslingual Knowledge Consistency" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

समस्या: "स्किज़ोफ्रेनिक" (Schizophrenic) अनुवादक

कल्पना कीजिए कि आपके पास "AI" नाम का एक शानदार, बहुभाषी सहायक है। आप उससे अंग्रेजी में एक सरल प्रश्न पूछते हैं: "What is the capital of the Netherlands?" (नीदरलैंड की राजधानी क्या है?) वह आत्मविश्वास से उत्तर देता है, "Amsterdam."

लेकिन फिर, आप उससे ठीक वही प्रश्न डच भाषा में पूछते हैं: "Wat is de hoofdstad van Nederland?" अचानक, AI भ्रमित हो जाता है और उत्तर देता है, "Rotterdam."

यही वह समस्या है जिसे यह पेपर हल करता है। लार्ज लैंग्वेज मॉडल्स (LLMs) उन मेहनती छात्रों की तरह हैं जिन्होंने कई अलग-अलग भाषाओं में एक परीक्षा के लिए पढ़ाई तो की, लेकिन उन्हें यह अहसास नहीं हुआ कि वे एक ही परीक्षा दे रहे हैं। वे अक्सर उपयोग की जाने वाली भाषा के आधार पर असंगत (inconsistent) उत्तर देते हैं। यह उन्हें अविश्वसनीय बनाता है। यदि आप अंग्रेजी में उन पर भरोसा करते हैं लेकिन स्पेनिश में वे आपसे झूठ बोलते हैं, तो आप उन पर बिल्कुल भी भरोसा नहीं कर सकते।

पुराना तरीका: "बहुमत का निर्णय" (CALM)

इस समस्या को ठीक करने के पुराने प्रयास थोड़े अनाड़ी थे। एक विधि (जिसे CALM कहा जाता है) 10 अलग-अलग भाषाओं में एक ही सवाल पूछने वाले 10 लोगों के समूह से पूछने जैसा था, और फिर सही उत्तर तय करने के लिए "बहुमत के वोट" का उपयोग करना था।

खामी: यदि आपके पास केवल दो भाषाएँ हैं (जैसे अंग्रेजी और स्वाहिली), तो आप बहुमत का वोट नहीं ले सकते। साथ ही, यदि आप ऐसी भाषाएँ शामिल करते हैं जिनमें AI कमजोर है, तो "वोट" शोर भरा और गलत हो जाएगा। यह एक कमरे में भरे लोगों से सच खोजने जैसा है जहाँ 90% लोग केवल अंदाज़ा लगा रहे हैं।

नया समाधान: DCO (Direct Consistency Optimization)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे DCO कहा जाता है। DCO को एक ऐसे शिक्षक के रूप में न देखें जो परीक्षा का ग्रेड देता है, बल्कि एक कंडक्टर (conductor) के रूप रूप में देखें जो ऑर्केस्ट्रा को ट्यून कर रहा है।

1. मुख्य विचार: "गूँज का कमरा" (The Echo Chamber)

पुराने दिनों में, AI इस बात से सीखता था कि "यह उत्तर सही है, वह गलत है।" DCO अलग है। इसे यह बताने के लिए किसी इंसान की ज़रूरत नहीं है कि "सही" या "गलत"।

इसके बजाय, यह AI से पूछता है: "यदि आपने यह प्रश्न अंग्रेजी में पूछा होता, तो आप क्या कहते? अब, यदि आपने इसे फ्रेंच में पूछा होता, तो आप क्या कहते? क्या वे उत्तर मेल खाते हैं?"

यदि AI अंग्रेजी में "Amsterdam" कहता है लेकिन फ्रेंच में "Rotterdam" कहता है, तो DCO कहता है, "हे, तुम खुद का खंडन कर रहे हो! चलो तुम्हारी आंतरिक सेटिंग्स को इस तरह समायोजित करते हैं कि तुम्हारा 'अंग्रेजी मस्तिष्क' और 'फ्रेंच मस्तिष्क' एक ही तथ्य पर सहमत हों।"

2. जादुई सूत्र: "विशेषज्ञों का उत्पाद" (The Product of Experts)

पेपर AI के नए मस्तिष्क को एक "प्रोडक्ट ऑफ एक्सपर्ट्स" के रूप में वर्णित करता है।

कल्पना कीजिए कि AI के पास हर उस भाषा के लिए एक अलग "विशेषज्ञ" (expert) है जो वह जानता है।

अंग्रेजी विशेषज्ञ कहता है: "मुझे लगता है कि उत्तर एम्स्टर्डम है।"
फ्रेंच विशेषज्ञ कहता है: "मुझे लगता है कि उत्तर पेरिस है।" (रुको, यह गलत है)।
डच विशेषज्ञ कहता है: "मुझे लगता है कि उत्तर एम्स्टर्डम है।"

DCO इन विशेषज्ञों को आपस में बात करने के लिए मजबूर करता है। यह एक नियम बनाता है: "आपका अंतिम उत्तर इस बात का मिश्रण होना चाहिए कि सभी भाषा विशेषज्ञ क्या कहते हैं।" यदि अंग्रेजी और डच विशेषज्ञ सहमत हैं, लेकिन फ्रेंच विशेषज्ञ भ्रमित है, तो सिस्टम फ्रेंच विशेषज्ञ को दूसरों की बात सुनने के लिए प्रेरित करता है।

यह एक स्व-सुधार लूप (self-correcting loop) बनाता है। AI एक भाषा में अपने ज्ञान का उपयोग दूसरी भाषा के ज्ञान को ठीक करने के लिए करता है, बिना किसी इंसान के हस्तक्षेप के कि "नहीं, यह गलत है।"

3. "दिशा का डायल" (The Direction Dial - नियंत्रण का प्रवाह)

DCO की एक सबसे शानदार विशेषता यह है कि आप नियंत्रित कर सकते हैं कि कौन किससे सीखता है।

कल्पना कीजिए कि एक डायल है जिसमें दो सेटिंग्स हैं: अंग्रेजी और स्वाहिली।

डिफ़ॉल्ट सेटिंग: दोनों एक-दूसरे से समान रूप से सीखते हैं।
English-Stable मोड: आप डायल को इस तरह घुमाते हैं कि अंग्रेजी वैसी ही बनी रहे जैसी वह है (क्योंकि वह पहले से ही बहुत अच्छी है), और स्वाहिली को अंग्रेजी से मेल खाने के लिए मजबूर किया जाए।
Swahili-Stable मोड: आप इसका उल्टा करते हैं (जो शायद ही कभी किया जाता है)।

यह एक मेंटरशिप प्रोग्राम (mentorship program) की तरह है। यदि आपके पास एक मास्टर शेफ (अंग्रेजी) और एक प्रशिक्षु (स्वाहिली) है, तो आप प्रशिक्षु को कह सकते हैं: "मास्टर की रेसिपी की हुबहू नकल करो।" आप नहीं चाहेंगे कि प्रशिक्षु मास्टर की रेसिपी को गलती से बदल दे। DCO आपको इस "मेंटरशिप" की दिशा आसानी से सेट करने देता है।

यह क्यों महत्वपूर्ण है

इंसान की ज़रूरत नहीं: अन्य विधियों के विपरीत जिन्हें उत्तरों को ग्रेड करने के लिए इंसानों की आवश्यकता होती है, DCO AI को खुद के साथ सुसंगत होने के लिए सिखाता है। यह एक छात्र द्वारा अपने ही नोट्स में विरोधाभास खोजने के अध्ययन जैसा है।
हर जगह काम करता है: यह तब भी काम करता है जब आप AI को 2 भाषाएँ सिखा रहे हों या 20।
बेहतर सटीकता: आश्चर्यजनक रूप से, AI को सुसंगत बनाने के लिए मजबूर करके, यह वास्तव में अधिक स्मार्ट हो जाता है। जब "अंग्रेजी मस्तिष्क" और "फ्रेंच मस्तिष्क" सहमत होते हैं, तो वे एक-दूसरे को सुदृढ़ करते हैं, जिससे गलतियाँ कम होती हैं।

निष्कर्ष

यह पेपर AI मॉडल्स को भाषाओं के बीच ईमानदार बनाने का एक तरीका पेश करता है। एक भ्रमित पर्यटक की तरह व्यवहार करने के बजाय जो अलग-अलग भाषाएं बोलता है लेकिन हर भाषा में अलग कहानियाँ सुनाता है, DCO AI को एक एकीकृत, विश्वसनीय विशेषज्ञ बनने में मदद करता है जो एक ही सच बताता है, चाहे आप किसी भी भाषा में पूछें।

यह AI को एक एकल, वैश्विक मेमोरी बैंक देने जैसा है, यह सुनिश्चित करता है कि चाहे आप अंग्रेजी, जापानी या स्वाहिली में पूछें, "Amsterdam" हमेशा "Amsterdam" ही रहे।

यहाँ शोध पत्र "Optimizing Language Models for Crosslingual Knowledge Consistency" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर क्रॉसलिंगुअल नॉलेज इनकंसिस्टेंसी (CLC) प्रदर्शित करते हैं। जब एक ही तथ्यात्मक प्रश्न अलग-अलग भाषाओं में पूछा जाता है, तो एक LLM विरोधाभासी उत्तर दे सकता है (उदाहरण के लिए, अंग्रेजी में "Amsterdam" कहना लेकिन डच में "Rotterdam" कहना)। यह बहुभाषी प्रणालियों की विश्वसनीयता को कम करता है और उपयोगकर्ताओं को भ्रमित करता है।

मौजूदा अलाइनमेंट विधियाँ जैसे कि डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) या रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) आमतौर पर मानव प्राथमिकता युग्मों (जीतने वाले/हारने वाले उत्तरों) या विशिष्ट भाषाओं पर प्रशिक्षित रिवॉर्ड मॉडल्स पर निर्भर करती हैं। हालाँकि, ये दृष्टिकोण स्वाभाविक रूप से यह गारंटी नहीं देते कि मॉडल की प्राथमिकता रैंकिंग विभिन्न भाषाओं में सुसंगत बनी रहे। इसके अलावा, CALM जैसी विधियाँ (जो भाषाओं के बीच मेजॉरिटी वोटिंग का उपयोग करती हैं) द्विभाषी सेटिंग्स में या कम-संसाधन वाली भाषाओं (low-resource languages) के मामले में शोर वाले वोटिंग संकेतों (noisy voting signals) के कारण संघर्ष करती हैं।

2. कार्यप्रणाली: डायरेक्ट कंसिस्टेंसी ऑप्टिमाइजेशन (DCO)

लेखक LLMs को प्रत्येक भाषा जोड़ी के लिए स्पष्ट रिवॉर्ड मॉडल या गोल्ड-स्टैंडर्ड लेबल की आवश्यकता के बिना क्रॉसलिंगुअल कंसिस्टेंसी के लिए अलाइन करने हेतु एक नया फ्रेमवर्क प्रस्तावित करते हैं।

A. सैद्धांतिक आधार: स्ट्रक्चर्ड रिवॉर्ड फंक्शन

मुख्य अंतर्दृष्टि समानांतर भाषाओं में मॉडल द्वारा दिए गए लाइकलीहुड (likelihoods) के आधार पर एक रिवॉर्ड फंक्शन को परिभाषित करना है।

कंसिस्टेंसी की परिभाषा: एक पॉलिसी $\pi^*$ तब सुसंगत (consistent) होती है जब दो प्रतिक्रियाओं ( $y_w$ बनाम $y_l$ ) के बीच सापेक्ष प्राथमिकता वही रहती है, चाहे प्रॉम्प्ट किसी भी भाषा ( $L_1$ या $L_2$ ) में हो।
रिवॉर्ड फंक्शन ( $r_{ALIGN}$ ):
प्रॉम्प्ट $x$ और भाषा $L_1$ में प्रतिक्रिया $y$ के लिए, रिवॉर्ड को $L_2$ में अनुवादित प्रतिक्रिया के लॉग-लाइकलीहुड का उपयोग करके परिभाषित किया गया है:
$r_{ALIGN}(x, y) = \gamma_1 \log \pi_{REF}(\tau^2(y) | \tau^2(x))$
(और $L_2$ के लिए इसके विपरीत)।
यहाँ, $\pi_{REF}$ बेस रेफरेंस मॉडल है, $\tau$ अनुवाद को दर्शाता है, और $\gamma$ अलाइनमेंट स्ट्रेंथ को नियंत्रित करने वाले हाइपरपैरामीटर हैं।
ऑप्टिमल पॉलिसी: KL-डाइवर्जेंस बाधा के साथ इस रिवॉर्ड को अधिकतम करके, ऑप्टिमल पॉलिसी एक प्रोडक्ट-ऑफ-एक्सपर्ट्स (Product-of-Experts) रूप लेती है:
$\pi^*(y | x) \propto \pi_{REF}(y | x) \cdot \pi_{REF}(\tau(y) | \tau(x))^{\gamma/\beta}$
लेखक सिद्ध करते हैं कि यदि हाइपरपैरामीटर्स $\gamma_1 \gamma_2 = \beta^2$ को संतुष्ट करते हैं, तो परिणामी पॉलिसी सैद्धांतिक रूप से भाषाओं के बीच सुसंगत होने की गारंटी देती है।

B. एल्गोरिदम: डायरेक्ट कंसिस्टेंसी ऑप्टिमाइजेशन (DCO)

ऑनलाइन सैंपलिंग (जैसा कि PPO में होता है) या एक अलग रिवॉर्ड मॉडल को प्रशिक्षित करने (जैसा कि मानक RLHF में होता है) की कम्प्यूटेशनल लागत से बचने के लिए, लेखक DCO को एक DPO-प्रेरित एल्गोरिदम के रूप में निकालते हैं।

तंत्र: रिवॉर्ड मॉडल को मानव प्राथमिकताओं की भविष्यवाणी करने के लिए प्रशिक्षित करने के बजाय, DCO सीधे नीति (policy) को समानांतर प्रॉम्प्ट-रिस्पॉन्स जोड़ों के बीच लॉग-लाइकलीहुड के अंतर से मेल खाने के लिए अनुकूलित करता है।
लॉस फंक्शन: ऑब्जेक्टिव मॉडल के अनुमानित रिवॉर्ड अंतर और समानांतर भाषा में रेफरेंस मॉडल के लाइकलीहुड्स से प्राप्त लक्षित रिवॉर्ड अंतर के बीच के अंतर को कम करता है:
$L(\theta) = \mathbb{E} \left[ \left| (\hat{r}_\theta(y_w) - \hat{r}_\theta(y_l)) - \gamma \log \frac{\pi_{REF}(y_w')}{\pi_{REF}(y_l')} \right| \right]$
जहाँ $y'$ प्रतिक्रिया का अनुवाद है।
लाभ:
- कोई गोल्ड लेबल आवश्यक नहीं: इसके लिए हर भाषा के लिए "सही" उत्तर जानने की आवश्यकता नहीं है, केवल समानांतर डेटा (प्रश्न और उम्मीदवार उत्तर कई भाषाओं में) चाहिए।
- कोई रिवॉर्ड मॉडल नहीं: यह एक अलग रिवॉर्ड मॉडल को प्रशिक्षित करने की आवश्यकता को दरकिनार करता है।
- दक्षता: यह पॉलिसी का एक सीधा अनुकूलन है, जो DPO के समान है।

3. मुख्य योगदान

नया रिवॉर्ड फॉर्मूलेशन: एक स्ट्रक्चर्ड रिवॉर्ड फंक्शन पेश किया जो मॉडल के अपने क्रॉस-लिंगुअल लाइकलीहुड्स का लाभ उठाकर कंसिस्टेंसी को लागू करता है, जो विशिष्ट हाइपरपैरामीटर बाधाओं के तहत सैद्धांतिक रूप से सुसंगत प्राथमिकता की गारंटी देता है।
DCO एल्गोरिदम: एक कुशल, DPO-समान एल्गोरिदम प्रस्तावित किया जो स्पष्ट रिवॉर्ड मॉडलिंग या ऑनलाइन सैंपलिंग के बिना कंसिस्टेंसी अलाइनमेंट ऑब्जेक्टिव को हल करता है।
नियंत्रणीय अलाइनमेंट (Controllable Alignment): प्रदर्शित किया कि हाइपरपैरामीटर्स ( $\gamma_1, \gamma_2$ ) अलाइनमेंट की "दिशा" (जैसे, अंग्रेजी जैसी उच्च-संसाधन वाली भाषा पर एंकर करना जबकि कम-संसाधन वाली भाषा को अपडेट करना, या दोनों को संतुलित करना) को नियंत्रित करने की अनुमति देते हैं।
सामान्यीकरण (Generalizability): दिखाया कि यह विधि विविध मॉडल परिवारों (Qwen, Llama, Gemma, Aya) में काम करती है और आउट-ऑफ-डोमेन परिदृश्यों तक विस्तारित होती है।

4. प्रयोगात्मक परिणाम

लेखकों ने 9 उन्नत LLMs (3B से 14B पैरामीटर्स तक) का 3 डेटासेट्स (MMMLU, XCSQA, BMLAMA) पर मूल्यांकन किया, जो 26 भाषाओं को कवर करते हैं।

क्रॉसलिंगुअल कंसिस्टेंसी (RankC): DCO ने सभी मॉडल्स में कंसिस्टेंसी स्कोर (RankC) में महत्वपूर्ण सुधार किया।
- जॉइंट मल्टी-लैंग्वेज ट्रेनिंग में, DCO ने SFT, स्टैंडर्ड DPO और CALM को पछाड़ दिया।
- MMMLU डेटासेट पर, DCO ने बेसलाइन्स की तुलना में कंसिस्टेंसी में +4.79 से +12.60 अंक का सुधार किया।
- विशेष रूप से, DCO ने टाइपोलॉजिकल रूप से दूर स्थित भाषा युग्मों (जैसे, कोरियाई-फ्रेंच, अरबी-चीनी) के लिए भी कंसिस्टेंसी में सुधार किया।
सटीकता का संरक्षण/सुधार (Accuracy Preservation/Improvement):
- कुछ अलाइनमेंट विधियों के विपरीत जो प्रदर्शन को कम करती हैं, DCO ने गैर-अंग्रेजी भाषाओं में सटीकता को बनाए रखा या सुधार किया।
- द्विभाषी सेटिंग्स में, DCO ने पारेटो सुधार (Pareto improvement) प्राप्त किया: कम-संसाधन वाली भाषा में सटीकता बढ़ाते हुए अंग्रेजी की सटीकता को स्थिर या थोड़ा बेहतर रखा।
आउट-ऑफ-डोमेन जनरलाइजेशन: जब इसे एक एकल विषय (हाई स्कूल माइक्रोइकॉनॉमिक्स) पर प्रशिक्षित किया गया, तो DCO ने अनदेखे डोमेन (जैसे, मेडिकल जेनेटिक्स, कॉलेज मैथ) पर कंसिस्टेंसी और सटीकता में सुधार किया, जो मजबूत ज्ञान हस्तांतरण (knowledge transfer) को प्रदर्शित करता है।
द्विभाषी बनाम बहुभाषी: DCO दोनों सेटिंग्स में प्रभावी था। द्विभाषी सेटअप में, इसने CALM जैसी मेजॉरिटी-वोटिंग विधियों में देखी गई शोर की समस्याओं के बिना, विशिष्ट स्थानीय भाषाओं (जैसे, स्वाहिली, योरूबा) के साथ अंग्रेजी को सफलतापूर्वक अलाइन किया।
ऑन-पॉलिसी RL: एक पायलट अध्ययन ने दिखाया कि कंसिस्टेंसी रिवॉर्ड का उपयोग ओपन-एंडेड जनरेशन (जैसे, GSM8K) के लिए ऑन-पॉलिसी RL सेटिंग्स में भी किया जा सकता है, जो इस दृष्टिकोण को और अधिक पुख्ता करता है।

5. महत्व और प्रभाव

विश्वसनीयता: DCO मल्टीलिंगुअल LLMs की एक गंभीर खामी—ज्ञान की असंगतता—को संबोधित करता है, जिससे वे वैश्विक तैनाती के लिए अधिक विश्वसनीय बनते हैं।
दक्षता: रिवॉर्ड मॉडल और गोल्ड लेबल की आवश्यकता को हटाकर, DCO मल्टीलिंगुअल कंसिस्टेंसी में सुधार के लिए बाधाओं को कम करता है, जिससे यह कम डेटा वाली भाषाओं के लिए सुलभ हो जाता है।
व्यावहारिक नियंत्रण: दिशात्मकता (directionality) को ट्यून करने की क्षमता डेवलपर्स को विशिष्ट भाषाओं (जैसे, एक उच्च-गुणवत्ता वाले अंग्रेजी मॉडल पर एंकर करना) को प्राथमिकता देने की अनुमति देती है, जो वास्तविक दुनिया के अनुप्रयोगों के लिए एक महत्वपूर्ण विशेषता है जहाँ संसाधनों की उपलब्धता भिन्न होती है।
भविष्य के कार्य के लिए आधार: यह शोध पत्र सुझाव देता है कि इस स्ट्रक्चर्ड रिवॉर्ड दृष्टिकोण को अन्य प्रकार की कंसिस्टेंसी, जैसे कि पैराफ्रेज के माध्यम से सेल्फ-कंसिस्टेंसी या क्रॉस-मोडल कंसिस्टेंसी तक विस्तारित किया जा सकता है।

निष्कर्षतः, DCO एक मजबूत, कुशल और सैद्धांतिक रूप से आधारित समाधान स्थापित करता है, जो यह सुनिश्चित करता है कि मॉडल को क्वेरी करने के लिए उपयोग की जाने वाली भाषा की परवाह किए बिना ज्ञान सुसंगत रूप से प्रस्तुत किया जाए।