💬 NLP

Distill Where the Student Goes: Teacher-Regularized RL for English-Evidence Cross-Lingual RAG

यह शोध पत्र TR-RAG प्रस्तुत करता है, जो एक शिक्षक-नियमित सुदृढीकरण शिक्षण (टीचर-रेगुलराइज्ड रीइन्फोर्समेंट लर्निंग) ढांचा है जो अंग्रेजी-साक्ष्य क्रॉस-लिंगुअल रिट्रीवल-ऑगमेंटेड जनरेशन में भाषा विचलन (लैंग्वेज ड्रिफ्ट) को प्रभावी ढंग से कम करने और साक्ष्य ग्राउंडिंग में सुधार करने के लिए एक फ्रोजन टीचर एंकर और एक डीकंपोज्ड रिवॉर्ड सिग्नल के साथ ऑन-पॉलिसी डिस्टिलेशन को जोड़ता है।

मूल लेखक: Haotian Zhou, Weiran Huang, Siqi Liu, Xiting Wang, Xin Zhang, Zhihao Wen

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haotian Zhou, Weiran Huang, Siqi Liu, Xiting Wang, Xin Zhang, Zhihao Wen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक टूर गाइड (AI) हैं जो पर्यटकों के एक समूह को एक जटिल कहानी समझाने की कोशिश कर रहे हैं जो इंडोनेशियाई, कोरियाई या थाई बोल रहे हैं। लेकिन यहाँ एक मोड़ है: आपके पास एकमात्र नक्शा और गाइडबुक है जो पूरी तरह से अंग्रेजी में लिखी गई है। यह आज कई AI सिस्टम की दैनिक वास्तविकता है, जिसे यह पेपर "इंग्लिश-एविडेंस क्रॉस-लिंगुअल RAG" कहता है।

समस्या क्या है? जब AI उस अंग्रेजी नक्शे को पढ़ने और दूसरी भाषा में बोलने की कोशिश करता है, तो वह अक्सर भ्रमित हो जाता है। वह गलती से अंग्रेजी बोलना शुरू कर सकता है, या भाषाओं को अजीब तरह से मिला सकता है, या गलत तथ्य बना सकता है क्योंकि वह अंग्रेजी संकेतों को एक सुसंगत उत्तर में अनुवाद करने के लिए संघर्ष कर रहा है। पेपर इसे "लैंग्वेज ड्रिफ्ट" (भाषा का भटकना) और "ब्रिटल एविडेंस यूज़" (भंगुर साक्ष्य उपयोग) कहता है।

बड़ा विचार: एक सख्त कोच और एक बहादुर छात्र

लेखक एक नई प्रशिक्षण पद्धति प्रस्तावित करते हैं जिसे TR-RAG कहा जाता है। इसे एक छात्र (एक छोटे, तेज़ AI मॉडल) के लिए एक अनूठे कोचिंग सत्र के रूप में समझें जो उस अंग्रेजी-मात्र नक्शे का उपयोग करके प्रश्नों के उत्तर देने का सीखने की कोशिश कर रहा है।

आमतौर पर, जब आप एक AI को प्रशिक्षित करते हैं, तो या तो आप उसे सटीक उत्तर दिखाते हैं (जैसे एक पाठ्यपुस्तक) या आप उसे अनुमान लगाने देते हैं और जब वह गलत होता है तो उसे दंडित करते हैं (जैसे एक वीडियो गेम जिसमें स्कोर मिलता है)। यह पेपर तर्क देता है कि दोनों विधियों में खामियां हैं। पाठ्यपुस्तक सीखना इसलिए विफल होता है क्योंकि AI अपने उत्तर के शुरुआत में ही गलतियाँ कर देता है, और जब तक वह अंत तक पहुँचता है, तब तक वह गलत रास्ते पर जा चुका होता है, इसलिए पाठ्यपुस्तक सुधार काम नहीं आता। शुद्ध "अनुमान लगाना और स्कोर देना" (Reinforcement Learning) जोखिम भरा है क्योंकि स्कोर केवल अंत में आता है, और AI एक गलत उत्तर के साथ भाग्यशाली हो सकता है या यह महसूस किए बिना अंग्रेजी में भटक सकता है कि वह कब भटक गया।

TR-RAG समाधान: "रिवर्स-KL" एंकर

TR-RAG एक "टीचर" (एक बहुत अधिक स्मार्ट, फ्रीज़्ड AI मॉडल) पेश करता है जो एक सुरक्षा जाल के रूप में कार्य करता है। चतुर हिस्सा यह है: टीचर उत्तर नहीं लिखता है। इसके बजाय, स्टूडेंट उत्तर बनाता है, और जैसे ही स्टूडेंट टाइप कर रहा होता है, टीचर फुसफुसाता है, "हे, अगर मैं तुम्हारी जगह होता, तो मैं अगला शब्द यह नहीं कहता। मैं यह कहता।"

पेपर इसे "प्रिफिक्स-वाइज रिवर्स-KL एंकर" कहता है। हमारी उपमा में, यह एक कोच की तरह है जो छात्र के ठीक बगल में खड़ा है, उसके द्वारा टाइप किए गए हर एक शब्द को देख रहा है। यदि छात्र अंग्रेजी में भटकने लगता है या कोई गलती करता है, तो कोच उसे तुरंत वापस सही रास्ते पर लाता है इससे पहले कि वह गलती एक आपदा बन जाए। यह वास्तविक समय में, छात्र द्वारा लिए गए सटीक पथ पर होता है, न कि किसी पाठ्यपुस्तक के आदर्श पथ पर।

स्कोरकार्ड: जीतने के तीन तरीके

यह सुनिश्चित करने के लिए कि छात्र अच्छा काम कर रहा है, सिस्टम एक तीन-भाग वाले स्कोरकार्ड का उपयोग करता है, न कि केवल एक ग्रेड का:

भाषा निरंतरता (Language Consistency): क्या आपने पूरे समय सही भाषा बनाए रखी? (अंग्रेजी में फिसलना नहीं!)
कैरेक्टर 3-ग्राम रिकॉल (Character 3-gram Recall): क्या आपने अंग्रेजी नक्शे से महत्वपूर्ण तथ्यों और नामों को बनाए रखा? (इसे यह जाँचने के रूप में सोचें कि क्या आपने अक्षरों के सही "टुकड़े" रखे हैं, जो थाई या कोरियाई जैसी भाषाओं के लिए पूरे शब्दों की तुलना में बेहतर काम करता है)।
LLM-जज स्कोर (LLM-Judge Score): क्या एक सुपर-स्मार्ट AI जज ने कहा कि उत्तर वास्तव में सही था और साक्ष्य पर आधारित था?

पेपर ने क्या पाया (और क्या नहीं पाया)

लेखकों ने तीन अलग-अलग प्रश्न सेटों (BioASQ, HotpotQA, और MKQA) पर इंडोनेशियाई, कोरियाई, थाई, वियतनामी और जापानी जैसी भाषाओं का उपयोग करके परीक्षण किया।

अच्छी खबर: TR-RAG ने बहुत अच्छा काम किया। इसने अन्य मजबूत तरीकों को पछाड़ दिया। वास्तव में, कुछ परीक्षणों में, छोटा स्टूडेंट मॉडल अपने विशाल 70-बिलियन-पैरामीटर वाले टीचर से भी बेहतर प्रदर्शन करता है कि उसने महत्वपूर्ण तथ्यों को बनाए रखा (3-ग्राम रिकॉल)।
सुरक्षा जाल प्रभाव: यह सबसे महत्वपूर्ण निष्कर्ष है। पेपर दिखाता है कि यदि आप केवल स्कोर-आधारित विधि (Reward-only RL) का उपयोग करते हैं, तो AI कभी-कभी बुरी तरह क्रैश हो सकता है। एक विशिष्ट मामले में, सही भाषा में रहने की AI की क्षमता 27 प्रतिशत अंक गिर गई, जो बुनियादी, बिना प्रशिक्षित मॉडल से भी कम थी। TR-RAG ने इस क्रैश को रोका। इसने एक सीटबेल्ट की तरह काम किया।
सीमाएँ: पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि केवल एक "प्रॉम्प्ट" (जैसे "कृपया कोरियाई में बोलें" जैसा निर्देश) देना पर्याप्त है। उन्होंने इसे आजमाया, और इससे केवल मामूली सुधार हुआ। उन्होंने यह भी पाया कि केवल प्रश्नों और उत्तरों का अनुवाद करना ("ट्रांसलेट" पाइपलाइन) चीजों को बदतर बना देता है क्योंकि यह नए त्रुटियों को पेश करता है।
"इंश्योरेंस प्रीमियम": लेखक सुझाव देते हैं कि TR-RAG "सुरक्षित" स्थितियों में एक विशिष्ट मीट्रिक (LLM-जज स्कोर) में थोड़ा कम पूर्ण हो सकता है, जो एक जोखिम भरी, अन-एंकर्ड विधि की तुलना में है। हालांकि, वे तर्क देते हैं कि यह एक छोटा बीमा प्रीमियम है जो बाद में बड़े क्रैश से बचने के लिए दिया जाता है। "सुरक्षित" क्षेत्रों में, अन-एंकर्ड विधि TR-RAG से 1-1.5 प्रतिशत अंक आगे निकल सकती है, लेकिन "खतरनाक" क्षेत्रों में (जैसे दूर की भाषाएं या जब AI भटकने लगता है), अन-एंकर्ड विधि पूरी तरह विफल हो जाती है, जबकि TR-RAG काम करना जारी रखता है।

वे कितने आश्वस्त हैं?

पेपर इन परिणामों के बारे में बहुत आश्वस्त है क्योंकि उन्होंने इन्हें केवल सिम्युलेट नहीं किया, बल्कि सीधे वास्तविक बेंचमार्क पर मापा है। उन्होंने मॉडलों को चलाया, स्कोर की गणना की और प्रशिक्षण को चरण-दर-चरण देखा। उन्होंने इसे उन भाषाओं पर भी परखा जिन्हें AI ने पहले कभी नहीं देखा था (जैसे नॉर्वेजियन और खमेर) ताकि यह देखा जा सके कि क्या यह टूट जाएगा। उन चरम मामलों में, अन-एंकर्ड विधि एक "सीलिंग" (छत) पर पहुंच गई जहां वह बिल्कुल भी सुधार नहीं कर सकी, लेकिन TR-RAG अभी भी थोड़ी अधिक सटीकता निकालने में सफल रहा।

निष्कर्ष

पेपर सुझाव देता है कि यदि आप किसी AI को अंग्रेजी संकेतों का उपयोग करके कई भाषाएं बोलने के लिए सिखाना चाहते हैं, तो आप केवल उसे अंत में अनुमान लगाने और ग्रेड देने के लिए नहीं छोड़ सकते। आपको एक "टीचर" की आवश्यकता है जो छात्र द्वारा उठाए गए हर कदम को देखता है और जैसे-जैसे वे आगे बढ़ते हैं, उन्हें धीरे से सुधारता है। यह विधि, TR-RAG, AI को गलत भाषा में भटकने से रोकती है और तथ्यों को थामे रखने में मदद करती है, एक सुरक्षा जाल के रूप में कार्य करती है जो विनाशकारी विफलताओं को रोकता है जबकि AI को सीखने और सुधारने भी देता है।

तकनीकी सारांश: अंग्रेजी-साक्ष्य क्रॉस-लिंगुअल RAG के लिए TR-RAG

1. समस्या की परिभाषा

यह शोध पत्र अंग्रेजी-साक्ष्य क्रॉस-लिंगुअल रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) को संबोधित करता है, जो एक प्रचलित औद्योगिक सेटिंग है जहाँ उपयोगकर्ता विविध गैर-अंग्रेजी भाषाओं में प्रश्न पूछते हैं और उत्तर की अपेक्षा करते हैं, लेकिन रिट्रीव किया गया ज्ञान आधार (knowledge base) पूरी तरह से अंग्रेजी गद्यांशों (passages) का होता है।

मजबूत बेस मॉडल्स के बावजूद, यह व्यवस्था जनरेशन चरण में दो प्राथमिक विफलताओं से ग्रस्त है:

भाषा विचलन (Language Drift): मॉडल अंग्रेजी साक्ष्य को प्रोसेस करते समय अक्सर अंग्रेजी में स्विच कर जाते हैं या कोड-स्विच करते हैं, भले ही क्वेरी किसी अन्य भाषा में हो। इसका कारण अंग्रेजी साक्ष्य द्वारा अगले-टोकन की संभावनाओं (next-token probabilities) को अंग्रेजी निरंतरता की ओर धकेलना है।
भंगुर साक्ष्य उपयोग (Brittle Evidence Use): मॉडल विश्वसनीय रूप से प्रासंगिक स्पैन (spans) की पहचान करने, जानकारी को एकत्रित करने, या लक्षित भाषा में निष्कर्ष व्यक्त करने में विफल रहते हैं, और अक्सर अप्रासंगिक साक्ष्य की ओर ध्यान केंद्रित करते हैं या बिना समर्थित विवरण पेश करते हैं।

ये विफलताएं प्रिफिक्स-निर्भर (prefix-dependent) हैं: एक प्रारंभिक त्रुटि (जैसे, गलत-भाषा वाला टोकन) बाद की त्रुटियों को बढ़ा देती है। यह मानक पोस्ट-ट्रेनिंग में दो अनुकूलन बाधाओं (optimization bottlenecks) को उजागर करता है:

प्रिफिक्स मिसमैच (Prefix Mismatch): सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या ऑफलाइन नॉलेज डिस्टिलेशन (KD) केवल रेफरेंस ट्रेजेक्टरीज पर ग्रेडिएंट्स प्रदान करता है। एक बार जब छात्र मॉडल जनरेशन के दौरान (ऑन-पॉलिसी) भटक जाता है, तो वह उन विफलता प्रिफिक्स पर पहुँच जाता है जहाँ कोई प्रत्यक्ष पर्यवेक्षण नहीं होता (एक्सपोज़र बायस)।
शोर युक्त क्रेडिट असाइनमेंट (Noisy Credit Assignment): सीक्वेंस-लेवल रिवॉर्ड्स (जैसे, भाषा निरंतरता जाँच, जज स्कोर) आंशिक रूप से डिस्क्रीट होते हैं या LLM जजों पर निर्भर करते हैं, जिससे हाई-वेरिएंस पॉलिसी-ग्रेडिएंट अपडेट होते हैं।

2. कार्यप्रणाली: TR-RAG

लेखक TR-RAG (टीचर-रेगुलराइज्ड RL) प्रस्तावित करते हैं, जो सीक्वेंस-लेवल रिवॉर्ड ऑप्टिमाइजेशन को ऑन-पॉलिसी डिस्टिलेशन के साथ जोड़ता है।

मुख्य घटक

ऑन-पॉलिसी स्टूडेंट रोलआउट्स (On-Policy Student Rollouts): एक कॉम्पैक्ट स्टूडेंट मॉडल ( $\pi_\theta$ ) एक क्वेरी $q$ और अंग्रेजी साक्ष्य $D$ दिए जाने पर ऑन-पॉलिसी ( $y \sim \pi_\theta$ ) उत्तर उत्पन्न करता है।
टीचर-रेगुलराइज्ड एंकर (रिवर्स-KL): पूर्ण टीचर रोलआउट्स जेनरेट करने के बजाय (जो कम्प्यूटेशनल रूप से महंगा है), एक मजबूत, फ्रोजन टीचर मॉडल ( $\pi_T$ $π_{T}$ ) को केवल उन्हीं प्रिफिक्स पर क्वेरी किया जाता है जो छात्र द्वारा वास्तव में विज़िट किए गए हैं ( $s_t = (q, D, y_{<t})$ $s_{t} = (q, D, y_{< t})$ )।
- यह विधि एक प्रिफिक्स-वाइज रिवर्स-KL डाइवर्जेंस को मिनिमाइज करती है: $KL(\pi_\theta(\cdot|s_t) \parallel \pi_T(\cdot|s_t))$ ।
- यह एक सघन (dense), टोकन-लेवल एंकर के रूप में कार्य करता है जो अकल्पनीय निरंतरता को रोकता है (प्रिफिक्स मिसमैच को कम करता है) और बिना टीचर रोलआउट्स की आवश्यकता के रिवॉर्ड ऑप्टिमाइजेशन को स्थिर करता है।
रिवॉर्ड डिकंपोजिशन (Reward Decomposition): विशिष्ट विफलता मोडों को संबोधित करने के लिए कार्य रिवॉर्ड $r(q, D, y)$ $r (q, D, y)$ को तीन पूरक घटकों में विभाजित किया गया है:
- भाषा निरंतरता ( $r_{lang}$ ): एक बाइनरी सिग्नल जो यह जाँचता है कि क्या जेनरेट की गई भाषा क्वेरी की भाषा से मेल खाती है (fastText LID क्लासिफायर का उपयोग करके)।
- कैरेक्टर 3-ग्राम रिकॉल ( $r_{3g}$ ): एक टोकनाइज़ेशन-रोबस्ट मेट्रिक जो जेनरेट किए गए उत्तर और रेफरेंस के बीच लेक्सिकल ओवरलैप को मापता है। यह मॉर्फोलॉजिकल वेरिएशंस और स्क्रिप्ट अंतरों (जैसे, थाई, कोरियाई) को संभालने के लिए महत्वपूर्ण है जहाँ टोकन-लेवल मेट्रिक्स विफल हो जाते हैं।
- LLM-जज स्कोर ( $r_{judge}$ ): एक LLM-एज़-ए-जज से प्राप्त निरंतर स्कोर जो साक्ष्य-आधारित शुद्धता, निष्ठा (faithfulness), और पूर्णता का मूल्यांकन करता है।

अनुकूलन उद्देश्य (Optimization Objective)

छात्र को एक संयुक्त उद्देश्य को मैक्सिमाइज करने के लिए अपडेट किया जाता है:
$\max_\theta \mathbb{E} [ (1-\alpha) r(x, y) - \alpha L_{revKL}(x, y) ]$
जहाँ $L_{revKL}$ छात्र-विज़िटेड प्रिफिक्स पर लेंथ-नॉर्मलाइज़्ड रिवर्स-KL लॉस है। कार्यान्वयन GRPO-शैली के ऑन-पॉलिसी अपडेट का उपयोग करता है जिसमें ग्रुप-वाइज एडवांटेज शामिल है।

3. मुख्य योगदान

समस्या का निरूपण: अंग्रेजी-साक्ष्य क्रॉस-लिंगुअल RAG के लिए विशिष्ट प्रिफिक्स-निर्भर विफलता मोड (भाषा विचलन और भंगुर साक्ष्य उपयोग) की पहचान और लक्षण वर्णन करता है।
एल्गोरिदम डिज़ाइन: TR-RAG पेश करता है, जो अनूठे रूप से सीक्वेंस-लेवल रिवॉर्ड्स को एक सघन, प्रिफिक्स-वाइज रिवर्स-KL एंकर के माध्यम से ऑन-पॉलिसी डिस्टिलेशन के साथ जोड़ता है। यह दृष्टिकोण ऑफलाइन KD के प्रिफिक्स मिसमैच और प्योर RL के हाई-वेरिएंस को टालता है।
रिवॉर्ड इंजीनियरिंग: एक कंपोजिट रिवॉर्ड फंक्शन प्रस्तावित करता है जो विशेष रूप से अंग्रेजी साक्ष्य के तहत मल्टीलिंगुअल जनरेशन के लिए डिज़ाइन किया गया है, जिसमें भाषा निरंतरता, कैरेक्टर n-ग्राम और LLM-जज स्कोरिंग को शामिल किया गया है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन बेंचमार्क पर किया गया: BioASQ-ENKB5, Hotpot-ENKB5 (क्वेरी/उत्तर को ट्रांसलेट करके बनाया गया जबकि अंग्रेजी साक्ष्य को बरकरार रखा गया), और स्वाभाविक रूप से मल्टीलिंगुअल MKQA (अंग्रेजी विकिपीडिया के साथ युग्मित)। दो बैकबोन का परीक्षण किया गया: Llama-3.2-3B और Qwen3-4B, जिन्हें क्रमशः Llama-3.3-70B और Qwen3-30B जैसे मजबूत टीचर्स के साथ जोड़ा गया।

कंपोजिट प्रदर्शन: TR-RAG सभी बेंचमार्क पर सबसे अच्छा समग्र कंपोजिट स्कोर प्राप्त करता है (भाषा पालन, लेक्सिकल निष्ठा और साक्ष्य-आधारित शुद्धता का औसत), जो SFT, नॉलेज डिस्टिलेशन, नेटिव-RL और केवल ऑन-पॉलिसी डिस्टिलेशन (OPD) सहित मजबूत बेसलाइन्स से बेहतर प्रदर्शन करता है।
भाषा निरंतरता: TR-RAG भाषा विचलन को काफी हद तक कम करता है। महत्वपूर्ण रूप से, यह एक सेफ्टी नेट के रूप में कार्य करता है:
- इन-डोमेन भाषाओं पर, यह रिवॉर्ड-ओनली RL (Naive-RL) में देखे गए भाषा निरंतरता के बड़े पतन (लगभग ~27 प्रतिशत अंक) को रोकता है, जो कभी-कभी बेस मॉडल के प्रदर्शन से भी नीचे गिर जाता है।
- दूरस्थ आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) भाषाओं (जैसे, नॉर्वेजियन, खमेर) पर, जहाँ रिवॉर्ड-ओनली RL बेस मॉडल की सीलिंग पर रुक जाता है, TR-RAG अभी भी साक्ष्य ग्राउंडिंग में सुधार करता है।
लेक्सिकल निष्ठा: TR-RAG अक्सर अपने 70B टीचर से कैरेक्टर 3-ग्राम रिकॉल में आगे निकल जाता है, जो भाषाओं के बीच लेक्सिकल कंटेंट के प्रभावी हस्तांतरण को दर्शाता है।
दक्षता: यह विधि न्यूनतम ओवरहेड जोड़ती है, जिसमें छात्र प्रिफिक्स पर केवल एक सिंगल टीचर फॉरवर्ड पास की आवश्यकता होती है (कोई टीचर रोलआउट नहीं)। कॉम्पैक्ट या MoE टीचर्स के साथ, ट्रेनिंग का समय Naive-RL/OPD के बराबर रहता है।

5. महत्व और दावे

शोध पत्र का दावा है कि TR-RAG क्रॉस-लिंगुअल RAG के व्यावहारिक बॉटलनेक के लिए एक मजबूत समाधान प्रदान करता है जहाँ साक्ष्य अंग्रेजी है लेकिन उपयोगकर्ता मल्टीलिंगुअल हैं।

सेफ्टी नेट मैकेनिज्म: मुख्य महत्व स्टेबलाइज़र के रूप में टीचर एंकर की भूमिका में निहित है। यह शुद्ध रिवॉर्ड ऑप्टिमाइजेशन द्वारा प्रेरित होने वाली विनाशकारी भाषा निरंतरता विफलताओं को रोकता है, जो प्रभावी रूप से एक "इंश्योरेंस प्रीमियम" के रूप में कार्य करता है जो चुनौतीपूर्ण परिदृश्यों में ड्रिफ्ट के विरुद्ध मजबूती के लिए "सुरक्षित" सेटिंग्स में मामूली लाभ का ट्रेड-ऑफ करता है।
सामान्यीकरण (Generalization): लाभ अनदेखी भाषाओं और स्वाभाविक रूप से मल्टीलिंगुअल डेटासेट (MKQA) में मजबूती से ट्रांसफर होते हैं, जो सुझाव देते हैं कि विधि विशिष्ट ट्रांसलेशन आर्टिफैक्ट्स के बजाय मौलिक जनरेशन-साइड विफलताओं को संबोधित करती है।
व्यावहारिकता: फ्रेमवर्क कॉम्पैक्ट स्टूडेंट मॉडल्स को विशिष्ट मेट्रिक्स (जैसे, कैरेक्टर 3-ग्राम रिकॉल) में बहुत बड़े टीचर्स के बराबर या उनसे बेहतर प्रदर्शन करने में सक्षम बनाता है, बिना टीचर रोलआउट्स की कम्प्यूटेशनल लागत के।

लेखक निष्कर्ष निकालते हैं कि प्रिफिक्स-वाइज एंकर के माध्यम से रिवॉर्ड ऑप्टिमाइजेशन को ऑन-पॉलिकी डिस्टिलेशन के साथ जोड़ना, भाषा-मिसमैच्ड साक्ष्य के तहत क्रॉस-लिंगुअल जनरेशन को स्थिर करने के लिए एक आवश्यक कदम है, जो मौजूदा रिट्रीवल-साइड ऑप्टिमाइजेशन या मोनोलिंगुअल RL विधियों द्वारा पर्याप्त रूप से संबोधित नहीं किया गया है।