💬 NLP

Reference-Free Reinforcement Learning Fine-Tuning for MT: A Seq2Seq Perspective

यह शोध पत्र प्रदर्शित करता है कि हाइब्रिड रेफरेंस-फ्री रिवॉर्ड के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), समानांतर डेटा के बिना 13 विविध भाषाओं में एनकोडर-डिकोडर मशीन ट्रांसलेशन मॉडल (NLLB-200) को प्रभावी ढंग से फाइन-ट्यून कर सकता है, जिससे महत्वपूर्ण प्रदर्शन लाभ प्राप्त होते हैं जो उन लो-रिसोर्स परिदृश्यों में सबसे अधिक स्पष्ट हैं जहाँ बेसलाइन प्रदर्शन सबसे कमजोर होता है।

मूल लेखक: Ernesto Garcia-Estrada, Carlos Escolano, José A. R. Fonallosa

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ernesto Garcia-Estrada, Carlos Escolano, José A. R. Fonallosa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, बहुभाषी अनुवादक है जिसका नाम "NLLB" है। यह कई चीजों में बहुत अच्छा है, लेकिन यदि आप इसे किसी ऐसी भाषा में एक कठिन वाक्य का अनुवाद करने के लिए कहें जिसे यह अच्छी तरह से नहीं जानता (जैसे कि कोई जटिल बोली या ऐसी भाषा जिसके बहुत कम उदाहरण इसकी प्रशिक्षण पुस्तकों में हों), तो यह लड़खड़ा सकता है।

आमतौर पर, इसे ठीक करने के लिए, आपको एक मानव विशेषज्ञ को नियुक्त करना होगा जो हजारों सटीक "स्रोत वाक्य → सटीक अनुवाद" जोड़े लिख सके। फिर आप उस अनुवादक को उन जोड़ों को बार-बार दिखाकर सिखाएंगे। इसे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहा जाता है। यह अच्छा काम करता है, लेकिन यह महंगा, धीमा है, और अक्सर दुर्लभ भाषाओं के लिए असंभव है क्योंकि ऐसे सटीक जोड़े मौजूद नहीं होते।

यह शोध पत्र इस अनुवादक को सिखाने का एक अलग तरीका प्रस्तावित करता है, जिसे ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) नामक विधि कहा जाता है। इसे एक "कोशिश करो, अनुमान लगाओ, और अपनी गलतियों से सीखो" वाले खेल के रूप में समझें जिसमें आपको किसी मानव शिक्षक की आवश्यकता नहीं है।

इस शोध पत्र का दृष्टिकोण यहाँ सरल अवधारणाओं में विभाजित किया गया है:

1. "ग्रुप गेसिंग" (समूह अनुमान) का खेल (GRPO)

अनुवादक को सही उत्तर दिखाने के बजाय, शोधकर्ता अनुवादक को एक ही वाक्य के लिए 12 अलग-अलग संस्करण एक साथ उत्पन्न करने की अनुमति देते हैं।

कल्पना कीजिए कि अनुवादक एक परीक्षा दे रहा छात्र है। केवल एक उत्तर लिखने के बजाय, वे 12 अलग-अलग ड्राफ्ट (मसौदे) लिखते हैं।
सिस्टम फिर उन सभी 12 ड्राफ्ट्स को देखता है और पूछता है: "इनमें से कौन सा दूसरों की तुलना में सबसे अच्छा दिखता है?"
इसे किसी "सही" उत्तर कुंजी की आवश्यकता नहीं है। यह केवल उन ड्राफ्ट्स को पुरस्कृत करता है जो समूह के औसत से बेहतर दिखते हैं। यही "ग्रुप रिलेटिव" (समूह सापेक्ष) वाला हिस्सा है।

2. "स्मार्ट ग्रेडर" (संदर्भ-मुक्त पुरस्कार)

बिना मानव के सिस्टम कैसे जान सकता है कि कौन सा ड्राफ्ट बेहतर है? इसके लिए यह दो स्वचालित "ग्रेडर्स" (AI उपकरण जिन्हें LaBSE और COMET-Kiwi कहा जाता है) का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप एक कुकिंग प्रतियोगिता का निर्णय कर रहे हैं, लेकिन आपके पास मूल रेसिपी (संदर्भ) नहीं है।
- ग्रेडर A (LaBSE): यह जाँचता है कि क्या आपके व्यंजन में सामग्री मूल अनुरोध से मेल खाती है (सिमेंटिक सिमिलैरिटी)। क्या आपने सही मसालों का उपयोग किया है?
- ग्रेडर B (COMET-Kiwi): यह जाँचता है कि क्या व्यंजन वास्तव में स्वादिष्ट है और समझ में आता है, जैसा कि पेशेवर शेफ आमतौर पर पसंद करते हैं (क्वालिटी एस्टिमेशन)।
यह शोध पत्र इन दोनों ग्रेडर्स को जोड़ता है। महत्वपूर्ण बात यह है कि उन्हें अपना काम करने के लिए मूल "सटीक अनुवाद" की आवश्यकता नहीं है। वे केवल मूल वाक्य और नए अनुवाद को देखते हैं। इसका मतलब है कि आप अनुवादक को उन भाषाओं पर प्रशिक्षित कर सकते हैं जहाँ अभी तक कोई सटीक अनुवाद मौजूद नहीं है।

3. परिणाम: कौन बेहतर हुआ?

शोधकर्ताओं ने 13 बहुत अलग भाषाओं (चीनी से लेकर तिब्बती और स्वाहिली तक) पर इसका परीक्षण किया। उन्हें यहाँ क्या मिला:

"लो-हैंगिंग फ्रूट" (आसान लक्ष्य) का नियम: अनुवादक उन भाषाओं में सबसे अधिक सुधार करता था जहाँ यह मूल रूप से सबसे खराब था।
- उपमा: यदि एक छात्र गणित में फेल हो रहा है, तो थोड़ा अतिरिक्त अभ्यास उसकी बहुत मदद करता है। यदि एक छात्र पहले से ही गणित का ए+ जीनियस है, तो अतिरिक्त अभ्यास से बहुत कम फर्क पड़ता है।
- सबसे बड़ी छलांग पारंपरिक चीनी (5 अंक तक) के साथ हुई, क्योंकि अनुवादक शुरुआत में इसके बारे में बहुत भ्रमित था।
- अनुवादक में अरबी पर बहुत कम सुधार हुआ, क्योंकि वह पहले से ही बहुत अच्छा काम कर रहा था, और "ग्रेडर" एक "अच्छे" और "बेहतरीन" अरबी अनुवाद के बीच अंतर नहीं कर सका।
प्रतिस्पर्धा को पछाड़ना: जब उन्होंने इस "अनुमान लगाने वाले खेल" की विधि की तुलना पारंपरिक "मानव शिक्षक" विधि (SFT) से की:
- जब मानव शिक्षक के पास बहुत कम डेटा था, तब यह "अनुमान लगाने वाला खेल" मानव शिक्षक विधि के समान ही अच्छा था।
- सबसे कठिन भाषाओं पर, यह "अनुमान लगाने वाला खेल" वास्तव में मानव शिक्षक विधि से बेहतर साबित हुआ, भले ही मानव शिक्षक के पास सटीक उत्तर कुंजियों तक पहुंच थी जिसे अनुमान लगाने वाले खेल के पास नहीं था।

4. पकड़ (सीमाएँ)

शोध पत्र ईमानदार है कि यह विधि कहाँ संघर्ष करती है:

"कोलैप्स" (पतन) की समस्या: कभी-कभी, यदि अनुवादक अनुमान लगाने का खेल बहुत लंबे समय तक खेलता रहता है, तो इसके सभी 12 ड्राफ्ट बिल्कुल एक जैसे दिखने लगते हैं (और खराब होते हैं)। सिस्टम भ्रमित हो जाता है क्योंकि यह अंतर नहीं कर पाता कि कौन सा बेहतर है। शोधकर्ताओं को कुछ भाषाओं (जैसे तिब्बती) के लिए प्रशिक्षण को जल्दी रोकना पड़ा ताकि इसे रोका जा सके।
"ग्रेडर" का पूर्वाग्रह: स्वचालित ग्रेडर सामान्य भाषाओं पर प्रशिक्षित थे। यदि कोई भाषा बहुत दुर्लभ है या उसकी संरचना अद्वितीय है (जैसे अरबी), तो ग्रेडर उसे अच्छी तरह से नहीं समझ पाएगा, और अनुवादक में सुधार नहीं होगा।

निचोड़

यह शोध पत्र दिखाता है कि आप एक एकल सटीक अनुवाद उदाहरण की आवश्यकता के बिना, एक कठिन भाषाओं के लिए मशीन अनुवादक को काफी बेहतर बना सकते हैं। आपको बस स्रोत पाठ और अपने स्वयं के कार्य की आलोचना करने के लिए एक स्मार्ट तरीका चाहिए।

यह किसी को साइकिल चलाना सिखाने जैसा है—उसे गिरने देने, फिर से उठने देने, और यह महसूस करने देने के रूप में कि, "ठीक है, वह तरीका डगमगाता हुआ था, यह तरीका स्थिर था," बजाय इसके कि एक कोच साइकिल को पकड़कर रखे और हर एक हरकत को सुधारे। यह तब सबसे अच्छा काम करता है जब सवार शुरू करने में वास्तव में संघर्ष कर रहा हो, और यह आपको हर भाषा जोड़ी के लिए एक कोच की आवश्यकता से बचाता है।

तकनीकी सारांश: MT के लिए संदर्भ-मुक्त सुदृढीकरण शिक्षण फाइन-ट्यूनिंग (Reference-Free Reinforcement Learning Fine-Tuning)

समस्या विवरण

प्रोडक्शन मशीन ट्रांसलेशन (MT) एनकोडर-डिकोडर सीक्वेंस-टू-सीक्वेंस (Seq2Seq) मॉडलों के कारण प्रभावी है क्योंकि वे कुशल और संरेखण (alignment) क्षमताओं से युक्त होते हैं। हालाँकि, फाइन-ट्यूनिंग के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) में हालिया प्रगति, विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), लगभग विशेष रूप से $\ge$ 7B पैरामीटर्स वाले बड़े डिकोडर-ओनली लार्ज लैंग्वेज मॉडल्स (LLMs) पर लागू की गई है। ये मॉडल कंप्यूटेशनल बाधाओं के कारण दुनिया के 'लॉन्ग-टेल' भाषा युग्मों (long-tail of language pairs) के उत्पादन परिनियोजन (production deployment) के लिए अक्सर अव्यावहारिक होते हैं। इसके अलावा, मौजूदा RL दृष्टिकोण आमतौर पर समानांतर डेटा या लक्ष्य-भाषा संदर्भों पर निर्भर करते हैं, जो कम-संसाधन वाले परिदृश्यों में उनकी प्रयोज्यता को सीमित करते हैं। कुशल एनकोडर-डिकोडर आर्किटेक्चर पर संदर्भ-मुक्त रिवॉर्ड सिग्नल का उपयोग करते हुए GRPO की प्रभावकारिता के संबंध में व्यवस्थित अध्ययन का अभाव है।

कार्यप्रणाली (Methodology)

लेखक NLLB-200 एनकोडर-डिकोडर मॉडल (600M और 1.3B पैरामीटर्स) के लिए GRPO का उपयोग करके एक संदर्भ-मुक्त RL फाइन-ट्यूनिंग पाइपलाइन प्रस्तावित करते हैं।

1. पॉलिसी और अनुकूलन (Policy and Optimization):

मॉडल: बेस मॉडल NLLB-200 है। प्रशिक्षण के लिए 4-बिट क्वांटाइजेशन (NF4) और क्वेरी एवं वैल्यू प्रोजेक्शन पर लागू लो-रैंक अडैप्टेशन (LoRA) का उपयोग किया जाता है, जिससे एकल NVIDIA A10G GPU पर प्रशिक्षण संभव हो पाता है।
एल्गोरिदम: अलग से वैल्यू मॉडल की आवश्यकता को समाप्त करने के लिए GRPO का उपयोग किया गया है, जिससे मेमोरी ओवरहेड कम हो जाता है। प्रत्येक परिकल्पना (hypothesis) के लिए एडवांटेज $A_i$ का अनुमान इंट्रा-ग्रुप रिवॉर्ड वेरिएशन से लगाया जाता है:
$A_i = \frac{r_i - \text{mean}(r)}{\text{std}(r) + \epsilon}$
जहाँ $\epsilon = 10^{-4}$ शोर के प्रवर्धन (noise amplification) को रोकता है। पॉलिसी को संदर्भ मॉडल से विचलन को रोकने के लिए KL पेनल्टी के साथ PPO-क्लिप्ड सरोगेट ऑब्जेक्टिव के माध्यम से अपडेट किया जाता है। संदर्भ मॉडल ( $\pi_{ref}$ ) को उसी मॉडल पर LoRA एडेप्टर को अक्षम करके प्राप्त किया जाता है, जिससे एक अलग संदर्भ मॉडल की आवश्यकता नहीं होती।

2. हाइब्रिड संदर्भ-मुक्त रिवॉर्ड (Hybrid Reference-Free Reward):
रिवॉर्ड सिग्नल को फाइन-ट्यूनिंग के समय किसी समानांतर डेटा की आवश्यकता नहीं होती है, बल्कि यह मोनोलिंगुअल सोर्स टेक्स्ट पर निर्भर करता है। यह दो पूर्व-प्रशिक्षित गुणवत्ता अनुमानकों (quality estimators) को जोड़ता है:

LaBSE: सोर्स और हाइपोथेसिस एम्बेडिंग्स के बीच कोसाइन सिमिलैरिटी के माध्यम से क्रॉस-लिंगुअल सिमेंटिक पर्याप्तता (semantic adequacy) प्रदान करता है।
COMET-Kiwi: डायरेक्ट असेसमेंट एनोटेशन पर आधारित एक सीखा हुआ गुणवत्ता अनुमान प्रदान करता है।
हाइब्रिड रिवॉर्ड: अंतिम रिवॉर्ड LaBSE और COMET-Kiwi स्कोर का समान-भारित औसत ( $0.5/0.5$ ) है। यह संयोजन कम प्रतिनिधित्व वाली भाषाओं पर व्यक्तिगत अनुमानकों की सीमाओं को कम करने और प्रवाह (fluency) एवं निष्ठा (faithfulness) को संतुलित करने के लिए डिज़ाइन किया गया है।

3. प्रयोगात्मक डिज़ाइन (Experimental Design):

प्रयोग A (व्यवस्थित मूल्यांकन): 13 टाइपोलॉजिकल रूप से विविध भाषाओं में FLORES-200 डेवलपमेंट स्प्लिट्स (केवल सोर्स साइड) पर प्रशिक्षित किया गया। इसका मूल्यांकन अनफाइन-ट्यून्ड बेसलाइन और SFT बेसलाइन्स (1-इपोक और 3-इपोक) के विरुद्ध किया गया।
प्रयोग B (क्रॉस-डोमेन): CCNews से 10,000 मोनोलिंगुअल अंग्रेजी वाक्यों पर प्रशिक्षित किया गया। इसका मूल्यांकन FLORES-200 (आउट-ऑफ-डोमेन) और NTREX-128 (न्यूज़ डोमेन) पर किया गया।
एब्लेशन (Ablations): KL रेगुलराइजेशन स्ट्रेंथ ( $\beta$ ) और ट्रेनिंग डेटा साइज ( $N$ ) की जांच की गई।

मुख्य परिणाम

1. निरंतर संदर्भ-मुक्त लाभ (Consistent Reference-Free Gains):
GRPO ने बिना किसी लक्ष्य-भाषा डेटा के, सभी 13 भाषाओं और दोनों मॉडल स्केल्स (600M और 1.3B) में बेसलाइन की तुलना में निरंतर सुधार दिखाया।

अधिकतम लाभ: पारंपरिक चीनी (Traditional Chinese) ने 1.3B मॉडल पर सबसे बड़ा सुधार (+5.03 chrF++) दिखाया।
SFT के साथ प्रतिस्पर्धा: रूपात्मक रूप से जटिल भाषाओं (जैसे बास्क, बंगाली, स्वाहिली) पर, जहाँ बेसलाइन कमजोर थी, GRPO ने 1-इपोक SFT को पीछे छोड़ दिया या उसके बराबर प्रदर्शन किया और 3-इपोक SFT के साथ प्रतिस्पर्धी बना रहा, बावजूद इसके कि बाद वाले के पास प्रशिक्षण के दौरान समानांतर लक्ष्य डेटा तक पहुंच थी।

2. अनुभवजन्य लाभ पैटर्न (Empirical Gain Pattern):
अध्ययन ने एक सुसंगत पैटर्न की पहचान की जहाँ लाभ का परिमाण वहां सबसे अधिक होता है जहाँ:

बेसलाइन प्रदर्शन सबसे कमजोर होता है।
रिवॉर्ड डिस्क्रिमिनेबिलिटी (रिवॉर्ड मॉडल द्वारा गुणवत्ता अंतर को पहचानने की क्षमता) उच्चतम होती है।
यह पैटर्न अंग्रेजी और स्पेनिश दोनों सोर्स भाषाओं में बना रहा, जो बताता है कि लाभ सोर्स-विशिष्ट ट्रेनिंग डायनेमिक्स के बजाय टारगेट-लैंग्वेज प्रॉपर्टीज द्वारा संचालित होते हैं।

3. मॉडल स्केलिंग और विफलता मोड (Model Scaling and Failure Modes):

स्केलिंग: 1.3B मॉडल ने आम तौर पर 600M मॉडल से बेहतर प्रदर्शन किया, हालांकि कुछ भाषाओं (जैसे तिब्बती, योरूबा) में "रिवर्स स्केलिंग" देखी गई जहाँ छोटा मॉडल बेहतर प्रदर्शन कर रहा था, जो संभावित रूप से शोर वाले रिवॉर्ड सिग्नल के खिलाफ एक निहित रेगुलराइज़र के रूप में कार्य करता है।
अरबी: इसमें लगातार सुधार विफल रहा, जिसका कारण एक मजबूत बेसलाइन (जिससे सुधार की गुंजाइश कम थी), रूट-पैटर्न मॉर्फोलॉजी है जिसे COMET-Kiwi स्कोर करने में संघर्ष करता है, और डोमेन मिसमैच है।
तिब्बती: विस्तारित प्रशिक्षण (प्रयोग B) में रिवॉर्ड वेरिएंस कोलैप्स (reward variance collapse) प्रदर्शित किया, जहाँ हाइपोथीसिस समान स्कोर पर अभिसरित (converge) हो गए, जिससे संख्यात्मक अस्थिरता (numerical instability) उत्पन्न हुई। इसे कम करने के लिए बेस्ट-चेकपॉइंट चयन की आवश्यकता थी।

4. व्यावहारिक सुलभता (Practical Accessibility):
पूरा पाइपलाइन एकल 24GB GPU पर चलता है। ट्रेनिंग डेटा के लिए लगभग 500 सोर्स वाक्यों का विश्वसनीयता थ्रेशोल्ड पहचाना गया; इससे नीचे, न तो GRPO और न ही SFT महत्वपूर्ण लाभ प्रदान कर सके। इस दृष्टिकोण ने होल्ड-आउट भाषाओं (फ्रेंच, हिंदी, रूसी) पर शून्य कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) प्रदर्शित किया।

महत्व और दावे

यह पेपर दावा करता है कि यह समानांतर डेटा के बिना प्रोडक्शन-ग्रेड Seq2Seq MT मॉडलों को बेहतर बनाने के लिए एक व्यावहारिक मार्ग प्रदर्शित करता है। इसके प्राथमिक योगदान हैं:

कुशल आर्किटेक्चर पर संदर्भ-मुक्त RL की व्यवहार्यता: यह सिद्ध करना कि GRPO केवल मोनोलिंगुअल सोर्स टेक्स्ट का उपयोग करके छोटे एनकोडर-डिकोडर मॉडल (600M/1.3B) को प्रभावी ढंग से फाइन-ट्यून कर सकता है, जिससे RL उन कम-संसाधन वाले भाषा युग्मों के लिए सुलभ हो जाता है जहाँ बड़े डिकोडर-ओनली LLMs अव्यावहारिक हैं।
एक भविष्य कहने योग्य पैटर्न की पहचान: यह स्थापित करना कि संदर्भ-मुक्त RL की उपयोगिता समान नहीं है बल्कि पूर्वानुमेय है; यह उन भाषाओं के लिए सबसे प्रभावी है जिनमें कमजोर बेसलाइन और उच्च रिवॉर्ड डिस्क्रिमिनेबिलिटी है। यह अभ्यासकर्ताओं (practitioners) के लिए एक ह्यूरिस्टिक प्रदान करता है कि वे किन भाषाओं को चुनने में इस दृष्टिकोण के सफल होने की संभावना है।
सुपरवाइज्ड मेथड्स के साथ प्रतिस्पर्धा: यह प्रदर्शित करना कि संदर्भ-मुक्त GRPO विशिष्ट भाषा परिवारों पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के प्रदर्शन के बराबर या उससे अधिक हो सकता है, भले ही SFT के पास समानांतर डेटा तक पहुंच हो, जो डेटा-दुर्लभ व्यवस्थाओं में रिवॉर्ड-गाइडेड एक्सप्लोरेशन की क्षमता को उजागर करता है।

लेखक विनम्र रहते हुए नोट करते हैं कि रिवॉर्ड मॉडल स्वयं समानांतर डेटा पर प्री-ट्रेन किए गए थे, जो इस दृष्टिकोण को फाइन-ट्यूनिंग चरण में "जीरो-रिसोर्स" तक सीमित करता है। वे यह भी स्वीकार करते हैं कि देखे गए पैटर्न को बड़े भाषा नमूने पर सत्यापन की आवश्यकता है और वर्तमान रिवॉर्ड डिस्क्रिमिनेबिलिटी कुछ रूपात्मक प्रकारों (जैसे अरबी) के लिए क्वालिटी सीलिंग को सीमित करती है।