💻 computer science

Beyond Scalar Scores: Reinforcement Learning for Error-Aware Quality Estimation of Machine Translation

यह शोध पत्र ALOPE-RL प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो मानव-एनोटेटेड अनुवाद टिप्पणियों और स्कोर से त्रुटि-जागरूक पुरस्कारों का लाभ उठाता है ताकि कॉम्पैक्ट लार्ज लैंग्वेज मॉडल्स को संदर्भ अनुवादों पर निर्भर किए बिना कम-संसाधन वाले अंग्रेजी-मलयालम भाषा युग्म के लिए अत्याधुनिक गुणवत्ता अनुमान प्रदर्शन प्राप्त करने में सक्षम बनाया जा सके।

मूल लेखक: Archchana Sindhujan, Girish A. Koushik, Shenbin Qian, Diptesh Kanojia, Constantin Orăsan

प्रकाशित 2026-02-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Archchana Sindhujan, Girish A. Koushik, Shenbin Qian, Diptesh Kanojia, Constantin Orăsan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र द्वारा अंग्रेजी से मलयालम में किए गए कहानी के अनुवाद को ग्रेड दे रहे हैं।

पुराना तरीका: "केवल स्कोर" वाला दृष्टिकोण
परंपरागत रूप से, जब कंप्यूटर इन अनुवादों को ग्रेड देने की कोशिश करते हैं, तो वे एक सख्त लेकिन अंधे ग्रेडर की तरह काम करते हैं। वे स्रोत वाक्य और अनुवादित वाक्य को देखते हैं, और फिर एक एकल संख्या निकाल देते हैं, जैसे "100 में से 72"।

समस्या: यह संख्या आपको बताती है कि अनुवाद कितना खराब है, लेकिन यह नहीं बताती कि क्यों। यह वैसा ही है जैसे गणित के टेस्ट में बिना यह देखे "C" ग्रेड मिलना कि आपने कौन से सवाल गलत किए। यदि कंप्यूटर को यह नहीं पता कि अनुवाद क्यों विफल हुआ (क्या यह व्याकरण की गलती थी? क्या उसने एक शब्द पूरी तरह से छोड़ दिया?), तो वह बेहतर होने के लिए सीख नहीं सकता, खासकर उन भाषाओं के लिए जिनके पास अध्ययन करने के लिए बहुत अधिक उदाहरण नहीं हैं (जैसे मलयालम)।

नया डेटासेट: "शिक्षक के नोट्स" जोड़ना
इस शोध पत्र के लेखकों ने महसूस किया कि केवल एक संख्या देना पर्याप्त नहीं है। इसलिए, उन्होंने अंग्रेजी-से-मलयालम अनुवादों के लिए एक नया डेटासेट बनाया। स्कोर के साथ-साथ, मानव एनोटेटरों ने संक्षिप्त, मुक्त रूप वाली टिप्पणियाँ लिखीं जिन्हें अनुवाद गुणवत्ता टिप्पणी (TQR) कहा जाता है।

उपमा: अब शिक्षक केवल "72/100" लिखने के बजाय यह लिखता है: "आपने दूसरे वाक्य में 'बिल्ली' शब्द छोड़ दिया, और अंतिम वाक्य का व्याकरण अप्राकृतिक लगता है।"
ये टिप्पणियाँ छोटी और सरल हैं, कोई जटिल या समय लेने वाली चेकलिस्ट नहीं। वे कंप्यूटर को वह "संदर्भ" प्रदान करती हैं जिसकी उसे कमी महसूस हो रही थी।

नया इंजन: ALOPE-RL (एक "स्मार्ट ट्यूटर")
यह शोध पत्र ALOPE-RL नामक एक नया सिस्टम पेश करता है। इसे एक "स्मार्ट ट्यूटर" के रूप में समझें जो सुदृढीकरण शिक्षण (Reinforcement Learning) नामक तकनीक का उपयोग करता है।

यह कैसे सीखता है: कल्पना कीजिए कि एक वीडियो गेम का पात्र लक्ष्य तक पहुँचने की कोशिश कर रहा है। हर बार जब वह कोई चाल चलता है, तो उसे अंक (पुरस्कार) मिलते हैं।
- यदि वह स्कोर का सही अनुमान लगाता है, तो उसे अंक मिलते हैं।
- यदि वह त्रुटि के प्रकार (जैसे, "गलत अनुवाद" या "प्रवाह त्रुटि") की सही पहचान करता है, तो उसे अतिरिक्त अंक मिलते हैं।
- यदि वह त्रुटि की स्पष्ट व्याख्या लिखता है, तो उसे और भी अधिक अंक मिलते हैं।
ट्विस्ट: यह सिस्टम उन संक्षिप्त "शिक्षक के नोट्स" (TQR) का उपयोग एक मार्गदर्शक के रूप में करता है ताकि यह पता लगाया जा सके कि "सही" चाल क्या होती है। यह केवल यह समझने के लिए नहीं, बल्कि यह समझने के लिए सीखता है कि अनुवाद क्यों खराब है।

परिणाम: छोटा लेकिन शक्तिशाली
आमतौर पर, कंप्यूटर को किसी कार्य में बहुत अच्छा बनाने के लिए, आपको एक विशाल मस्तिष्क (एक विशाल AI मॉडल) और उदाहरणों के एक विशाल पुस्तकालय (विशाल डेटासेट) की आवश्यकता होती है।

शोध पत्र का दावा: लेखकों ने दिखाया कि उनका "स्मार्ट ट्यूटर" (ALOPE-RL) निम्नलिखित का उपयोग करके अत्याधुनिक (state-of-the-art) परिणाम प्राप्त कर सकता था:
1. छोटे मॉडल: छोटे AI मस्तिष्क (4 बिलियन पैरामीटर से कम) जो मानक कंप्यूटरों पर फिट होते हैं।
2. छोटे डेटासेट: केवल लगभग 5,000 उदाहरण (जो AI के लिए बहुत कम हैं)।
3. दक्षता: यह तेज़ और सस्ता चलाने के लिए एक विशेष "संपीड़न" तकनीक (क्वांटाइजेशन) का उपयोग करता है।

तुलना: क्यों "शिक्षक के नोट्स" जीते
शोधकर्ताओं ने अपने सिस्टम का अन्य शीर्ष-स्तरीय AI ग्रेडरों के विरुद्ध परीक्षण किया।

उन्होंने "वर्ड टैग्स" (केवल विशिष्ट शब्दों को "खराब" या "अच्छा" के रूप में चिह्नित करना) का उपयोग करने के बजाय "शिक्षक के नोट्स" का उपयोग करने का प्रयास किया।
निष्कर्ष: "शिक्षक के नोट्स" (TQR) बहुत बेहतर काम करते हैं। यह एक शिक्षक द्वारा लाल स्याही से गलत शब्द को घेरने के बजाय यह समझाने के लिए एक वाक्य लिखने के अंतर जैसा है कि वाक्य की संरचना क्यों भ्रमित करने वाली थी। इस व्याख्या ने AI को भाषा की बारीकियों को समझने में बहुत बेहतर मदद की, विशेष रूप से मलयालम जैसी जटिल भाषाओं के लिए।

सारांश में
यह शोध पत्र सिद्ध करता है कि अनुवादों को अच्छी तरह से ग्रेड करने के लिए आपको एक विशाल, महंगे AI की आवश्यकता नहीं है। यदि आप एक छोटे, सस्ते AI को मानवीय बुद्धिमत्ता का एक छोटा सा हिस्सा देते हैं—जो कि सरल, संक्षिप्त टिप्पणियों के रूप में है कि क्या गलत हुआ—तो वह वर्तमान में उपलब्ध सबसे बड़े, सबसे महंगे सिस्टम के समान या उनसे बेहतर ग्रेडिंग करना सीख सकता है। यह एक अंधे स्कोर को एक बुद्धिमान, त्रुटि-जागरूक निर्णय में बदल देता है।

तकनीकी सारांश: स्केलर स्कोर से परे: मशीन ट्रांसलेशन के त्रुटि-जागरूक गुणवत्ता अनुमान के लिए सुदृढीकरण शिक्षण (Reinforcement Learning)

समस्या विवरण
क्वालिटी एस्टीमेशन (QE) मशीन ट्रांसलेशन (MT) आउटपुट का संदर्भ अनुवादों (reference translations) के बिना मूल्यांकन करने के लिए महत्वपूर्ण है, जो बड़े पैमाने पर वास्तविक दुनिया की तैनाती के लिए एक आवश्यकता है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने MT मूल्यांकन में प्रगति की है, वे कम-संसाधन (low-resource) परिवेश में महत्वपूर्ण चुनौतियों का सामना करते हैं। वर्तमान LLM-आधारित इवैल्यूएटर्स उच्च-संसाधन वाली भाषाओं की तुलना में कम-संसाधन वाली भाषाओं के लिए मानव निर्णयों के साथ कम सहसंबंध (correlation) प्रदर्शित करते हैं। इसके अलावा, मौजूदा QE दृष्टिकोण मुख्य रूप से स्केलर गुणवत्ता स्कोर (जैसे, डायरेक्ट असेसमेंट या DA स्कोर) पर निर्भर करते हैं। ये स्केलर संकेत विशिष्ट अनुवाद त्रुटियों के बारे में स्पष्ट प्रासंगिक जानकारी की कमी रखते हैं जो निर्णय को संचालित करती हैं, जिससे मॉडल की यह समझने की क्षमता सीमित हो जाती है कि अनुवाद खराब क्यों है। पारंपरिक सूक्ष्म-स्तरीय एनोटेशन विधियाँ जैसे मल्टी-डायमेंशनल क्वालिटी मेट्रिक्स (MQM) या एरर स्पैन एनोटेशन (ESA) त्रुटि संदर्भ प्रदान करते हैं, लेकिन वे लागत-साध्य हैं, अत्यधिक विशेषज्ञता की आवश्यकता होती है, और उन्हें स्केल करना कठिन है। साहित्य में एक ऐसे QE फ्रेमवर्क के लिए अंतराल है जो संसाधन-दुर्लभ वातावरण में प्रदर्शन को बेहतर बनाने के लिए प्रभावी ढंग से हल्के, त्रुटि-जागरूक संकेतों का उपयोग कर सके।

कार्यप्रणाली (Methodology)
लेखक ALOPE-RL (एडैप्टिव लर्निंग एंड ऑप्टिमाइजेशन फॉर पॉलिसी-बेस्ड क्वालिटी एस्टीमेशन विद रीइन्फोर्समेंट लर्निंग) का प्रस्ताव करते हैं, जो QE के लिए कुशल एडैप्टर को प्रशिक्षित करने के लिए डिज़ाइन किया गया एक पॉलिसी-आधारित सुदृढीकरण शिक्षण फ्रेमवर्क है।

डेटासेट निर्माण (En→Malayalam):
- लेखक अंग्रेजी→मलयालम (En→Ml) के लिए पहला सेगमेंट-लेवल QE डेटासेट पेश करते हैं, जो एक गंभीर रूप से संसाधन-दुर्स्कर भाषा युग्म है।
- इस डेटासेट में फाइनेंस, न्यूज और लीगल डोमेन के 5,000 इंस्टेंस शामिल हैं।
- महत्वपूर्ण रूप से, इसमें ट्रांसलेशन क्वालिटी रिमार्क्स (TQR) शामिल हैं: मानव एनोटेटर्स से प्राप्त संक्षिप्त, मुक्त-रूप प्राकृतिक भाषा टिप्पणियाँ जो त्रुटि प्रकारों (जैसे, Untranslated, Addition, Mistranslation, Fluency Error) और त्रुटिपूर्ण स्पैन का वर्णन करती हैं। यह एक कमजोर पर्यवेक्षण (weak supervision) संकेत के रूप में कार्य करता है जो MQM-शैली के स्पैन मार्किंग की तुलना में अधिक लचीला और कम संज्ञानात्मक रूप से कठिन है।
- सिंथेटिक स्पष्टीकरण: TQR, स्रोत और लक्ष्य सेगमेंट का उपयोग करके, लेखकों ने रिवॉर्ड कैलकुलेशन के लिए ग्राउंड-ट्रुथ रेफरेंस के रूप में विस्तृत सिंथेटिक स्पष्टीकरण (त्रुटि श्रेणियाँ और विवरण) उत्पन्न किए (DEEPSEEK-V3 और GEMINI-2.5-pro का उपयोग करके)।
ALOPE-RL फ्रेमवर्क:
- पॉलिसी ऑप्टिमाइजेशन: फ्रेमवर्क GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन) का उपयोग करके QE को एक पॉलिसी ऑप्टिमाइजेशन समस्या के रूप में मानता है। पॉलिसी ( $\pi_\theta$ ) एक स्ट्रक्चर्ड रिस्पॉन्स जेनरेट करती है जिसमें एक DA स्कोर, त्रुटि श्रेणियाँ और एक प्राकृतिक भाषा स्पष्टीकरण होता है।
- बहु-घटक रिवॉर्ड सिस्टम: मॉडल को छह रिवॉर्ड घटकों के भारित योग (weighted sum) का उपयोग करके प्रशिक्षित किया जाता है:
  - एक्जेक्ट स्कोर रिवॉर्ड ( $R_{exact}$ ): अनुमानित और गोल्ड DA स्कोर के बीच की दूरी के लिए दंडित करता है।
  - स्कोर बिन रिवॉर्ड ( $R_{bin}$ ): भविष्यवाणियों को सही स्कोर रेंज (बिन) के भीतर रहने के लिए प्रोत्साहित करता है।
  - एरर टाइप रिवॉर्ड ( $R_{err}$ ): अनुमानित और गोल्ड त्रुटि श्रेणियों के बीच समानता मापने के लिए जैकार्ड इंडेक्स (Jaccard index) का उपयोग करता है।
  - डिस्क्रिप्शन रिवॉर्ड ( $R_{desc}$ ): अनुमानित और सिंथेटिक विवरणों के बीच सिमेंटिक समानता का आकलन करने के लिए BERTScore F1 का उपयोग करता है।
  - लेंथ रिवॉर्ड ( $R_{len}$ ): लक्षित शब्द गणना (60–140 शब्द) के भीतर विवरणों को पुरस्कृत करता है।
  - फॉर्मेट रिवॉर्ड ( $R_{fmt}$ ): एक सख्त XML स्कीमा का पालन सुनिश्चित करता है।
- दक्षता: सिस्टम को कम-संसाधन बाधाओं के लिए डिज़ाइन किया गया है, जो LoRA (लो-रैंक एडैप्टेशन) और 4-बिट क्वांटाइजेशन के साथ फाइन-ट्यून किए गए कॉम्पैक्ट LLMs (≤4B पैरामीटर्स: QWEN3-4B, GEMMA-3-4B, LLAMA-3.2-3B) का उपयोग करता है। प्रशिक्षण छोटे डेटासेट्स (≤5K इंस्टेंस) पर किया जाता है।
अन्य भाषाओं में विस्तार:
- फ्रेमवर्क का परीक्षण अंग्रेजी→तमिल, अंग्रेजी→मराठी और अंग्रेजी→हिंदी पर भी किया गया था। चूंकि इन भाषा युग्मों के लिए TQR उपलब्ध नहीं था, इसलिए लेखकों ने सामान्यीकरण का परीक्षण करने के लिए एक वैकल्पिक कमजोर पर्यवेक्षण संकेत के रूप में वर्ड-लेवल QE टैग्स (WTAG) (पोस्ट-एडिटिंग एलाइनमेंट्स से प्राप्त बाइनरी OK/BAD लेबल) का उपयोग किया।

प्रमुख योगदान

नया डेटासेट: अंग्रेजी→मलयालम के लिए पहला सेगमेंट-लेवल QE डेटासेट पेश करना, जिसमें मानव-एनोटेटेड DA स्कोर और ट्रांसलेशन क्वालिटी रिमार्क्स (TQR) शामिल हैं।
नवाचार (Novel Framework): ALOPE-RL का विकास, एक पॉलिसी-आधारित RL फ्रेमवर्क जो कॉम्पैक्ट LLMs को प्रशिक्षित करने के लिए त्रुटि-जागरूक कमजोर पर्यवेक्षण (TQR) को एकीकृत करता है।
प्रदर्शन: यह प्रदर्शन करना कि TQR को एक प्रासंगिक इनपुट के रूप में शामिल करने से LLM-आधारित QE प्रदर्शन में काफी सुधार होता है, जिससे छोटे मॉडल बड़े बेसलाइन्स को भी पछाड़ सकते हैं।
दक्षता: कॉम्पैक्ट, क्वांटाइज्ड मॉडल्स (≤4B पैरामीटर्स) और सीमित डेटा का उपयोग करके स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करना, जो सीमित कंप्यूट और डेटा बजट के तहत त्रुटि-जागरूक पॉलिसी लर्निंग की व्यवहार्यता को सिद्ध करता है।

परिणाम

En→Ml पर प्रदर्शन: ALOPE-RL ने "कोर रिवॉर्ड्स" (स्कोर और एरर टाइप पर केंद्रित) का उपयोग करके GEMMA-3-4B के साथ En→Ml डेटासेट पर 0.571 का स्पीयरमैन सहसंबंध ( $\rho$ $ρ$ ) प्राप्त किया। इसने निम्नलिखित को पीछे छोड़ दिया:
- स्ट्रॉन्ग एनकोडर-बेस्ड बेसलाइन्स (COMETKIKI: $\rho$ =0.474; XCOMET-XL: $\rho$ =0.352)।
- बड़े LLM बेसलाइन्स (DEEPSEEK-V3: $\rho$ =0.474)।
- उसी मॉडल के इंस्ट्रक्शन फाइन-ट्यून्ड (IFT) वेरिएंट ( $\rho$ =0.525)।
TQR का प्रभाव: TQR के साथ प्रशिक्षित मॉडल ने WTAG या बिना किसी कमजोर सिग्नल के प्रशिक्षित मॉडल्स की तुलना में लगातार उच्च सहसंबंध प्राप्त किया। TQR द्रविड़ियन भाषाओं (मलयालम, तमिल) के लिए विशेष रूप से प्रभावी साबित हुआ, जबकि WTAG इंडो-आर्यन भाषाओं (मराठी, हिंदी) के लिए कम प्रभावी रहा या शोर (noise) उत्पन्न करता रहा, जो संभवतः रूपात्मक (morphological) अंतरों के कारण है।
रिवॉर्ड एब्लेशन: "कोर रिवॉर्ड्स" कॉन्फ़िगरेशन (स्कोर + एरर टाइप + फॉर्मेट) ने "ऑल रिवॉर्ड्स" कॉन्फ़िगरेशन की तुलना में बेहतर परिणाम दिए, जो यह सुझाव देता है कि जटिल सिमेंटिक रिवॉर्ड्स (डिस्क्रिप्शन/लेंथ) शोर पेश कर सकते हैं जो DA प्रेडिक्शन के लिए रिवॉर्ड सिग्नल को विसरित (diffuse) कर देते हैं।

महत्व और दावे
पेपर का दावा है कि त्रुटि-जागरक, पॉलिसी-आधारित लर्निंग कम-संसाधन सेटिंग्स में QE के लिए एक व्यवहार्य और कुशल मार्ग है। स्केलर स्कोर से आगे बढ़कर मुक्त-रूप, प्रासंगिक त्रुटि रिमार्क्स (TQR) को शामिल करके, लेखक यह प्रदर्शित करते हैं कि:

संदर्भ मायने रखता है: LLMs को स्पष्ट त्रुटि संदर्भ प्रदान करने से उन्हें केवल संख्यात्मक स्कोर पर निर्भर रहने की तुलना में अनुवाद की गुणवत्ता के बारे में अधिक प्रभावी ढंग से तर्क करने की अनुमति मिलती है।
दक्षता: उच्च-प्रदर्शन वाला QE के लिए आवश्यक नहीं है कि विशाल डेटासेट या बड़े मॉडल्स की आवश्यकता हो; RL के साथ फाइन-ट्यून किए गए कॉम्पैक्ट, क्वांटाइज्ड मॉडल्स बड़े, डेटा-गहन बेसलाइन्स को पछाड़ सकते हैं।
स्केलेबिलिटी: TQR, स्केलर स्कोर की सरलता और सूक्ष्म-स्तरीय त्रुटि एनोटेशन की जटिलता के बीच एक व्यावहारिक मध्य मार्ग प्रदान करता है, जो QE सिस्टम को बेहतर बनाने के लिए एक स्केलेबल सिग्नल है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण कमजोर, प्राकृतिक भाषा पर्यवेक्षण का लाभ उठाकर नीति अनुकूलन (policy optimization) को संचालित करके कम-संसाधन परिदृश्यों में वर्तमान LLM इवैल्यूएटर्स की सीमाओं को सफलतापूर्वक संबोधित करता है।

इसी तरह के और पेपर