💬 NLP

Rewrite to Translate, Translate to Reward: Reinforcement Learning for Source Rewriting in Machine Translation

यह शोध पत्र RLSR को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो विशिष्ट अनुवाद मॉडलों के लिए मैन्युअल प्रॉम्प्ट ट्यूनिंग की आवश्यकता के बिना, सीधे डाउनस्ट्रीम मशीन अनुवाद गुणवत्ता को अनुकूलित करने के लिए स्रोत पुनर्लेखन (source rewriting) मॉडलों को प्रशिक्षित करता है।

मूल लेखक: Boxuan Lyu, Haiyue Song, Zhi Qu, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Boxuan Lyu, Haiyue Song, Zhi Qu, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक दोस्त को संदेश भेजने की कोशिश कर रहे हैं जो एक अलग भाषा बोलता है। आपके पास एक अनुवादक (एक मशीन ट्रांसलेशन मॉडल) है जो बहुत बुद्धिमान है लेकिन कभी-कभी आपके बोलने के विशिष्ट तरीके, स्लैंग या अव्यवस्थित वाक्य संरचना से भ्रमित हो जाता है।

आमतौर पर, यदि अनुवाद गलत आता है, तो आप अपने मूल संदेश को स्पष्ट बनाने के लिए उसे फिर से लिखने की कोशिश कर सकते हैं। AI की दुनिया में, इसे "सोर्स रीराइटिंग" (Source Rewriting) कहा जाता है।

पुराना तरीका: "अनुमान और जाँच" वाला प्रॉम्प्ट (The "Guess-and-Check" Prompt)

पहले, शोधकर्ता एक बहुत ही स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल, या LLM) को आपका संदेश फिर से लिखने के लिए निर्देश देने की कोशिश करते थे। वे इसे करने के लिए AI को निर्देशों का एक विशिष्ट सेट देते थे, जिसे "प्रॉम्ट" (Prompt) कहा जाता है।

इसे एक कुत्ते को नया करतब सिखाने की तरह समझें जिसमें आप तब तक अलग-अलग कमांड चिल्लाते रहते हैं जब तक कि वह अंततः सुन न ले।

"बैठो!" (नहीं।)
"लेट जाओ!" (नहीं।)
"बैठो!" (शायद!)

समस्या यह है कि यह "चिल्लाना" (प्रॉम्प्टिंग) अनिश्चित होता है। एक कमांड जो एक अनुवादक के लिए पूरी तरह काम करता है, वह दूसरे अनुवादक को भ्रमित कर सकता है। शोधकर्ताओं को हर एक अनुवादक के लिए इन कमांड्स को मैन्युअल रूप से बदलना पड़ता था, जो धीमा, महंगा और निराशाजनक था। यह ऐसा था जैसे हर बार पार्क बदलने पर आपको कुत्ते को फिर से प्रशिक्षित करना पड़े।

नया तरीका: RLSR (द "स्कोरबोर्ड" अप्रोच)

इस पेपर के लेखकों, बोक्सुआन ल्यू (Boxuan Lyu) और उनकी टीम ने एक स्मार्ट तरीका प्रस्तावित किया जिसे RLSR (Reinforcement Learning for Source Rewriting) कहा जाता है।

सही कमांड का अनुमान लगाने के बजाय, वे AI को एक स्कोरबोर्ड के साथ गेम खेलकर सीखने देते हैं।

खेल: AI आपके मूल संदेश को फिर से लिखता है।
अनुवाद: एक निश्चित अनुवादक इस नए संस्करण का अनुवाद करता है।
स्कोर: एक जज (एक मेट्रिक) नए अनुवाद की तुलना आदर्श अनुवाद से करता है।
- यदि नया अनुवाद बेहतर है, तो AI को एक सकारात्मक स्कोर (इनाम) मिलता है।
- यदि यह बदतर है, तो उसे नकारात्मक स्कोर मिलता है।
सीखना: AI स्कोर को देखता है। यदि उसे उच्च स्कोर मिला, तो वह याद रखता है, "हे, इस तरह से फिर से लिखना काम कर गया!" यदि उसे कम स्कोर मिला, तो वह सोचता है, "ठीक है, मुझे अगली बार कुछ अलग आज़माना होगा।"

समय के साथ, AI अनुमान लगाना बंद कर देता है और बिल्कुल वही सीख जाता है जो बदलाव अनुवादक को खुश करते हैं, बिना किसी के द्वारा इसके लिए मैन्युअल रूप से निर्देश लिखे जाने के।

"कॉपीकैट" की समस्या (The "Copycat" Problem)

शोधकर्ताओं ने इस नए "स्कोरबोर्ड" तरीके की तुलना पुराने "टीचर" तरीके (जिसे सुपरवाइज्ड फाइन-ट्यूनिंग, या SFT कहा जाता है) से भी की।

पुराने "टीचर" तरीके में, AI को "अच्छे रीराइट्स" के उदाहरण दिखाए जाते थे और उन्हें कॉपी करने के लिए कहा जाता था। समस्या क्या थी? AI आलसी हो गया। उसने महसूस किया कि अच्छा ग्रेड पाने का सबसे सुरक्षित तरीका मूल टेक्स्ट को ठीक वैसा ही कॉपी करना है। वह एक "कॉपीकैट" बन गया जिसने वास्तव में कुछ भी नहीं बदला, क्योंकि चीजों को बदलना जोखिम भरा था।

नए "स्कोरबोर्ड" तरीके (RLSR) ने AI को रचनात्मक होने के लिए मजबूर किया। चूंकि टेक्स्ट को कॉपी करने से उसे शून्य अंक मिलते थे (क्योंकि इससे अनुवाद में सुधार नहीं हुआ था), इसलिए AI को वास्तव में उन विशिष्ट शब्दों को खोजने और उन्हें ठीक करने के लिए मजबूर होना पड़ा जो परेशानी पैदा कर रहे थे।

परिणाम: छोटा दिमाग, बड़ी जीत (Small Brain, Big Wins)

यहाँ सबसे आश्चर्यजनक हिस्सा है:

उन्होंने इस नए तरीके का उपयोग करके एक अपेक्षाकृत छोटे AI (4 बिलियन पैरामीटर्स) को प्रशिक्षित किया।
उन्होंने इसकी तुलना विशाल, अत्यंत स्मार्ट AI (235 बिलियन पैरामीटर्स) से की जो पुराने "अनुमान और जाँच" वाले प्रॉम्प्टिंग तरीके का उपयोग कर रहे थे।

छोटे, स्व-शिक्षित AI ने विशाल, मैन्युअल रूप से ट्यून किए गए दिग्गजों को भी पीछे छोड़ दिया।

यह स्पष्ट हुआ कि एक छोटा AI जो जानता है कि एक विशिष्ट अनुवादक के लिए वाक्य को ठीक कैसे करना है, वह एक विशाल AI की तुलना में बहुत अधिक प्रभावी है जो केवल अस्पष्ट निर्देशों के आधार पर अनुमान लगा रहा है।

यह क्यों महत्वपूर्ण है

कोई मैन्युअल ट्यूनिंग नहीं: आपको हर नए अनुवादक के लिए एकदम सही प्रॉम्ट खोजने में हफ्तों बिताने की आवश्यकता नहीं है। AI इसे खुद सीख लेता है।
निरंतरता: यह तरीका कई अलग-अलग अनुवादकों और भाषाओं में अच्छी तरह से काम करता है, जबकि पुराना "प्रॉम्ट" तरीका बहुत अस्थिर था (यह एक के लिए बहुत अच्छा काम करता था, तो दूसरे के लिए बहुत बुरा)।
स्मार्ट एडिटिंग: AI ने पूरी कहानी को शुरू से फिर से लिखने के बजाय छोटे, सटीक सुधार (जैसे एक भ्रमित करने वाले शब्द को बदलना या व्याकरण की त्रुटि को ठीक करना) करने के लिए सीखा।

संक्षेप में, यह पेपर दिखाता है कि AI को निर्देश चिल्लाने के बजाय, यह बेहतर है कि उसे एक खेल खेलने दिया जाए जहाँ वह अपनी गलतियों और सफलताओं से सीखता है, जिसके परिणामस्वरूप कम मानवीय प्रयास के साथ बहुत बेहतर अनुवाद प्राप्त होते हैं।

तकनीकी सारांश: RLSR (सोर्स रीराइटिंग के लिए सुदृढीकरण शिक्षण - Reinforcement Learning for Source Rewriting)

समस्या विवरण
सोर्स रीराइटिंग (या प्री-एडिटिंग) का लक्ष्य मशीन ट्रांसलेशन (MT) मॉडल में प्रवेश करने से पहले स्रोत पाठ (source text) को संशोधित करके MT की गुणवत्ता में सुधार करना है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) प्रॉम्प्टिंग के माध्यम से इस कार्य को कर सकते हैं, वर्तमान दृष्टिकोण दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

अनुमानी निर्भरता (Heuristic Dependency): प्रॉम्प्ट डिज़ाइन अत्यधिक अनुभवजन्य और असंगत है; एक रणनीति जो एक MT मॉडल के लिए प्रभावी होती है, वह अक्सर दूसरे मॉडल के लिए प्रदर्शन को कम कर देती है या विफल हो जाती है।
संसाधन गहनता (Resource Intensity): निरंतर परिणाम प्राप्त करने के लिए मैन्युअल, प्रति-मॉडल प्रॉम्प्ट ट्यूनिंग की आवश्यकता होती है, जो समय लेने वाली और संसाधन-गहन है।
मौजूदा विधियाँ जो पुनरावृत्ति अनुमान (iterative inference) या फीडबैक लूप का उपयोग करती हैं, वे गणनात्मक रूप से महंगी हैं। लेखक पूछते हैं कि क्या एक सार्वभौमिक रीराइटिंग विधि खोजी जा सकती है जो बिना किसी मैन्युअल प्रॉम्प्ट ट्यूनिंग के विविध MT मॉडलों में लगातार प्रदर्शन कर सके।

कार्यप्रणाली: RLSR फ्रेमवर्क
लेखक RLSR (Reinforcement Learning for Source Rewriting) प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो सोर्स रीराइटिंग को एक सुदृढीकरण शिक्षण (reinforcement learning) समस्या के रूप में मानता है जहाँ रिवॉर्ड (reward) डाउनस्ट्रीम ट्रांसलेशन गुणवत्ता में सीधा सुधार है।

रिवॉर्ड की परिभाषा: रिवॉर्ड $R$ को रीराइट किए गए स्रोत ( $\tilde{s}$ ) और मूल स्रोत ( $s$ ) के ट्रांसलेशन के बीच ऑटोमैटिक इवैल्यूएशन मेट्रिक स्कोर के अंतर के रूप में परिभाषित किया गया है:
$R(s, \tilde{s}, r) = Q(s, M(\tilde{s}), r) - Q(s, M(s), r)$
जहाँ $M$ एक फिक्स्ड डाउनस्ट्रीम MT मॉडल है, $r$ एक रेफरेंस ट्रांसलेशन है, और $Q$ एक ऑटोमैटिक मेट्रिक (विशेष रूप से प्रयोगों में xCOMET-XL) है।
ऑप्टिमाइज़ेशन ऑब्जेक्टिव: चूंकि MT मॉडल और मेट्रिक नॉन-डिफरेंशिएबल (non-differentiable) हैं, इसलिए मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) इस ऑब्जेक्टिव को सीधे ऑप्टिमाइज़ नहीं कर सकती है। इसके बजाय, RLSR एक ऑन-पॉलिसी RL एल्गोरिदम, DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization) का उपयोग करता है।
KL रेगुलराइजेशन: "रिवॉर्ड हैकिंग" (जैसे, मेट्रिक की कमजोरियों का फायदा उठाने वाला निरर्थक टेक्स्ट उत्पन्न करना) को रोकने के लिए, कुल रिवॉर्ड में एक रेफरेंस पॉलिसी ( $R_{ref}$ ) के विरुद्ध कुलबैक-लीब्लर (Kullback-Leibler) डाइवर्जेंस पेनल्टी शामिल है, जो आमतौर पर एक स्टैंडर्ड प्रॉम्प्ट वाला इंस्ट्रक्शन-फॉलोइंग LLM होता है:
$R_{total} = R(s, \tilde{s}, r) - \beta \log \frac{R_\theta(\tilde{s}|s)}{R_{ref}(\tilde{s}|s)}$
प्रशिक्षण प्रक्रिया: रीराइटिंग मॉडल एक रीराइट $\tilde{s}$ सैंपल करता है, MT मॉडल दोनों $s$ और $\tilde{s}$ का अनुवाद करता है, मेट्रिक $Q$ उनका मूल्यांकन करता है, और परिणामी रिवॉर्ड रीराइटिंग पॉलिसी को अपडेट करता है।

मुख्य योगदान

प्रॉम्प्ट-मुक्त अनुकूलन (Prompt-Free Optimization): RLSR डाउनस्ट्रीम ट्रांसलेशन ऑब्जेक्टिव की ओर रीराइटिंग मॉडल को सीधे ऑप्टिमाइज़ करके मैन्युअल प्रॉम्प्ट ट्यूनिंग की आवश्यकता को समाप्त करता है।
दक्षता (Efficiency): पुनरावृत्ति फीडबैक विधियों के विपरीत, RLSR प्रत्येक ट्रेनिंग स्टेप में रीराइटिंग मॉडल और MT मॉडल के केवल एक फॉरवर्ड पास की आवश्यकता रखता है, जिससे यह इन्फरेंस के समय गणनात्मक रूप से कुशल बनता है।
SFT पर श्रेष्ठता: यह पेपर प्रदर्शित करता है कि जब सोर्स रीराइटिंग पर SFT लागू किया जाता है, तो यह अक्सर "डिजनरेशन" (degeneration) की ओर ले जाता है जहाँ मॉडल केवल स्रोत टेक्स्ट को कॉपी करता है (उन टोकन्स पर लॉस को कम करने के लिए जो नहीं बदले हैं) बजाय इसके कि सार्थक संपादन करना सीखे। RL मॉडल को रिवॉर्ड को अधिकतम करने के लिए विविध रणनीतियों को एक्सप्लोर करने के लिए मजबूर करता है।
सामान्यीकरण (Generalization): एक विशिष्ट MT मॉडल के लिए RLSR द्वारा प्रशिक्षित मॉडल अन्य, अनदेखे MT मॉडलों के लिए भी अच्छा प्रदर्शन करते हैं, जो यह सुझाव देता है कि सीखी गई रणनीतियाँ मजबूत हैं न कि केवल एक सिंगल मॉडल की विशिष्टताओं के प्रति ओवरफिटेड।

प्रायोगिक परिणाम
लेखकों ने छह अलग-अलग डाउनस्ट्रीम MT मॉडलों (Gemma और Qwen वेरिएंट सहित, 4B से 31B पैरामीटर्स तक) पर WMT2025 जनरल MT शेयर्ड टास्क (16 भाषा जोड़े) पर RLSR का मूल्यांकन किया।

बेसलाइन्स के मुकाबले प्रदर्शन:
- RLSR-प्रशिक्षित 4B मॉडल्स ने सभी मेट्रिक्स (xCOMET, MetricX, GEMBA) में "नो-रीराइटिंग" बेसलाइन और मौजूदा समान-स्केल (4B) प्रॉम्प्ट-आधारित बेसलाइन्स (Simplification, Paraphrase, Easy Translate) को काफी पीछे छोड़ दिया।
- 4B RLSR मॉडल्स ने एक विशाल 235B LLM का उपयोग करने वाले प्रॉम्प्ट-आधारित बेसलाइन्स के साथ प्रतिस्पर्धी प्रदर्शन हासिल किया, जो उच्च पैरामीटर दक्षता को प्रदर्शित करता है।
मजबूती (Robustness): जबकि प्रॉम्प्ट-आधारित विधियों ने उच्च वेरिएंस दिखाया (उदाहरण के लिए, "Paraphrase" अक्सर प्रदर्शन को कम कर देता था), RLSR ने बिना किसी प्रॉम्प्ट एडजस्टमेंट के सभी टेस्ट किए गए MT मॉडलों में निरंतर सुधार प्रदान किया।
मेट्रिक बायस मिटिगेशन: हालांकि xCOMET का उपयोग करके प्रशिक्षित किया गया था, लेकिन मॉडल्स ने GEMBA (एक प्रॉम्प्ट-आधारित, रेफरेंस-फ्री मेट्रिक) पर भी सुधार दिखाया, जो इंगित करता है कि लाभ केवल ट्रेनिंग मेट्रिक के प्रति ओवरफिटिंग नहीं थे।
गुणात्मक विश्लेषण: केस स्टडीज से पता चला कि RLSR विशिष्ट अनुवाद बाधाओं (disfluencies, ambiguities) को लक्षित करते हुए स्थानीयकृत, लेंथ-प्रिजर्विंग संपादन करना सीखता है, जबकि प्रॉम्प्ट-आधारित विधियाँ अक्सर पूरे टेक्स्ट को अनियंत्रित रूप से रीराइट करती हैं या कंटेंट को हैलुसिनेट (hallucinate) करती हैं।

महत्व और दावे
पेपर का दावा है कि RLSR सोर्स रीराइटिंग के लिए एक सुव्यवस्थित, स्वचालित दृष्टिकोण प्रदान करता है जो विविध MT मॉडलों के अनुकूल आसानी से ढल जाता है। ह्यूरिस्टिक प्रॉम्प्ट इंजीनियरिंग से सीधे रिवॉर्ड ऑप्टिमाइज़ेशन की ओर शिफ्ट होकर, यह विधि पुनरावृत्ति अनुमान के कम्प्यूटेशनल ओवरहेड या प्रॉम्प्ट ट्यूनिंग के मैन्युअल श्रम के बिना ट्रांसलेशन की गुणवत्ता में उल्लेखनीय सुधार करती है। लेखक इसे रीराइटिंग कार्यों के लिए SFT के मुकाबले एक अधिक प्रभावी प्रतिमान (paradigm) के रूप में प्रस्तुत करते हैं, क्योंकि RL सफलतापूर्वक उस "कॉपीइंग" डिजनरेशन से बचता है जो सुपरवाइज्ड अप्रोच में आम है।

स्वीकृत सीमाएँ

प्रशिक्षण लागत: RLSR, SFT की तुलना में अधिक महंगा है क्योंकि इसके लिए रिवॉर्ड की गणना करने के लिए डाउनस्ट्रीम MT मॉडल और इवैल्यूएशन मेट्रिक को बार-बार चलाने की आवश्यकता होती है।
मेट्रिक पर निर्भरता: यह दृष्टिकोण यह मान लेता है कि ऑटोमैटिक मेट्रिक (xCOMET) ट्रांसलेशन की गुणवत्ता को निष्ठापूर्वक दर्शाता है। हालांकि GEMBA के परिणाम मेट्रिक बायस की चिंताओं को कम करते हैं, लेखक नोट करते हैं कि मानव मूल्यांकन निर्णायक होता लेकिन लागत के कारण इसे नहीं किया गया।
दायरा (Scope): प्रयोग छह MT मॉडलों और 16 भाषा जोड़ों तक सीमित थे; भविष्य के कार्य के लिए व्यापक सत्यापन का सुझाव दिया गया है।