💬 NLP

$M^2PO$ : Multi-Perspective Multi-Pair Preference Optimization for Machine Translation

यह शोध पत्र $M^2PO$ का प्रस्ताव करता है, जो एक डेटा-केंद्रित ढांचा है जो एक दोहरे-परिप्रेक्ष्य पाठ्यक्रम और एक बहु-जोड़ी प्राथमिकता उद्देश्य का उपयोग करके गुणवत्ता अनुमान मॉडलों के प्रवाह (fluency) के प्रति निष्ठा (faithfulness) की तुलना में पूर्वाग्रह को संबोधित करता है, जिससे एक 9B मॉडल को अग्रणी मालिकाना प्रणालियों के तुलनीय अनुवाद गुणवत्ता प्राप्त करने में सक्षम बनाया जा सके।

मूल लेखक: Hao Wang, Linlong Xu, Heng Liu, Yangyang Liu, Xiaohu Zhao, Bo Zeng, Liangying Shao, Yichen Dong, Xinwei Wu, Jiang Zhou, Tianyu Dong, xiangxiang Zeng, Longyue Wang, Weihua Luo

प्रकाशित 2026-07-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hao Wang, Linlong Xu, Heng Liu, Yangyang Liu, Xiaohu Zhao, Bo Zeng, Liangying Shao, Yichen Dong, Xinwei Wu, Jiang Zhou, Tianyu Dong, xiangxiang Zeng, Longyue Wang, Weihua Luo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को भाषा अनुवाद करना सिखा रहे हैं। आप नहीं चाहते कि वह केवल धाराप्रवाह बोले; आप चाहते हैं कि वह ईमानदार भी हो। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक चिकनी-चुपड़ी बातें करने वाले झूठे और एक सच्चे कहानीकार के बीच का अंतर है। लंबे समय से, वैज्ञानिक "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) नामक एक विधि का उपयोग करके इन विशाल भाषा मॉडलों को मानवीय प्राथमिकताओं के साथ जोड़ने का प्रयास कर रहे हैं। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें: जब वह कुछ सही करता है तो आप उसे एक इनाम (पुरस्कार) देते हैं और जब वह गलती करता है तो उसे धीरे से "नहीं" कहते हैं। पेचीदा हिस्सा यह समझना है कि वास्तव में "सही" क्या है। आमतौर पर, हम रोबोट के काम को ग्रेड देने के लिए स्वचालित स्कोरकार्ड का उपयोग करते हैं। लेकिन यहाँ एक पेंच है: इन स्कोरकार्डों को आसानी से मूर्ख बनाया जा सकता है। वे एक ऐसे अनुवाद को उच्च अंक दे सकते हैं जो सुनने में सुंदर और एकदम सटीक लगता है, लेकिन वास्तव में तथ्य गढ़ रहा है या महत्वपूर्ण विवरण छोड़ रहा है। यह एक ऐसे छात्र की तरह है जो सुंदर शब्दों से भरी कविता लिखता है लेकिन परीक्षा में वास्तविक प्रश्न का उत्तर देना भूल जाता है। रोबोट को शैली के लिए गोल्ड स्टार मिलता है, लेकिन शिक्षक जानता है कि अर्थ गलत है। यह एक बड़ी समस्या है क्योंकि यदि रोबोट को लगता है कि वह अच्छा काम कर रहा है जबकि वास्तव में वह झूठ बोल रहा है, तो वह झूठ बोलना जारी रखेगा।

यही वह पहेली है जिसे M2PO पेपर के पीछे के शोधकर्ता हल करने की कोशिश कर रहे हैं। उन्होंने देखा कि अनुवादों को ग्रेड देने के लिए उपयोग किए जाने वाले मानक "स्कोरकार्ड" में एक अंध बिंदु (blind spot) होता है। वे स्पष्ट आपदाओं (जैसे कि निरर्थक शब्द) और पूर्ण अनुवादों को पहचानने में बेहतरीन हैं, लेकिन वे बीच के स्तर पर भ्रमित हो जाते हैं। इस बीच के स्तर को लेखक "अनिश्चितता का क्षेत्र" (Zone of Uncertainty) कहते हैं। इस क्षेत्र में, एक अनुवाद कुछ प्रमुख विवरण छोड़ सकता है या थोड़ी सी मनगढ़ंत जानकारी जोड़ सकता है, लेकिन क्योंकि यह अभी भी धाराप्रवाह लगता है, स्कोरकार्ड इसे उच्च ग्रेड दे देता है। रोबोट, इस उच्च ग्रेड को देखकर सोचता है, "बहुत बढ़िया, मैं अच्छा कर रहा हूँ!" और वे सूक्ष्म गलतियाँ करना जारी रखता है।

इसे ठीक करने के लिए, टीम ने M2PO (मल्टी-परस्पेक्टिव मल्टी-पेयर प्रिफरेंस ऑप्टिमाइजेशन) नामक एक नया प्रशिक्षण ढांचा विकसित किया है। केवल अंतिम ग्रेड देखने के बजाय, M2PO दो चतुर तरीकों से रोबोट के सीखने के तरीके को बदल देता है। पहला, यह एक सख्त संपादक की तरह कार्य करता है जो केवल यह नहीं देखता कि वाक्य का प्रवाह कैसा है, बल्कि यह भी जाँचता है कि क्या कहानी वास्तव में सच है। वे एक विशेष "सत्य डिटेक्टर" (जिसे सिमेंटिक एलाइनमेंट क्लासिफायर कहा जाता है) का उपयोग करते हैं जो किसी भी ऐसे अनुवाद को कड़ी सजा देता है जो चीजें गढ़ रहा है या छोड़ रहा है, भले ही वह सुनने में सुंदर क्यों न लगे। यह सुनिश्चित करता है कि रोबोट सीखे कि केवल धाराप्रवाह होना पर्याप्त नहीं है; उसे मूल पाठ के प्रति वफादार भी होना चाहिए।

दूसरा, M2PO खेल को एक साधारण "सर्वश्रेष्ठ बनाम सबसे खराब" तुलना से बदलकर एक पूर्ण टूर्नामेंट में बदल देता है। आमतौर पर, प्रशिक्षण केवल एक एकल सर्वश्रेष्ठ अनुवाद और एक एकल सबसे खराब अनुवाद को देखता है। लेकिन शोधकर्ताओं ने महसूस किया कि सबसे महत्वपूर्ण सबक बीच में छिपे होते हैं—वे अनुवाद जो लगभग सही हैं लेकिन उनमें वे चालाकी भरी, सूक्ष्म त्रुटियाँ हैं। M2PO सभी संभावित अनुवादों को सबसे अच्छे से सबसे खराब के क्रम में खड़ा करता है और उन्हें जोड़ों में एक-दूसरे के साथ तुलना करने के लिए मजबूर करता है। यह एक कोच की तरह है जो खिलाड़ी को केवल स्वर्ण पदक विजेता और अंतिम स्थान पर आने वाले व्यक्ति को ही नहीं दिखाता, बल्कि रनर-अप की ओर भी इशारा करता है जिसने एक छोटी सी गलती की थी, यह कहते हुए, "अंतर देखो? यही वह चीज़ है जिसे तुम्हें सुधारने की ज़रूरत है।"

इस नए दृष्टिकोण के परिणाम प्रभावशाली हैं। जब उन्होंने 9-बिलियन-पैरामीटर वाले मॉडल पर इसका परीक्षण किया (जो बड़ा है, लेकिन दुनिया में सबसे बड़ा नहीं है), तो रोबोट अनुवाद करने में इतना कुशल हो गया कि वह बहुत बड़े, ओपन-सोर्स मॉडलों को हरा सका और यहाँ तक कि GPT-4o और Gemini-2.0-Flash जैसे महंगे, प्रोप्राइटरी सिस्टम के प्रदर्शन के बराबर पहुँच गया। यह पेपर दिखाता है कि "स्कोरकार्ड" के पूर्वाग्रह को ठीक करके और रोबोट को उन पेचीदा, मध्य-स्तर की गलतियों पर ध्यान देने के लिए सिखाकर, हम ऐसे अनुवाद उपकरण बना सकते हैं जो न केवल धाराप्रवाह हैं, बल्कि वास्तव में विश्वसनीय भी हैं। लेखकों ने पाया कि यह विधि विभिन्न भाषाओं और डेटासेट पर काम करती है, जो यह सिद्ध करती है कि प्रशिक्षण का एक स्मार्ट तरीका केवल रोबोट को बड़ा बनाने जितना ही शक्तिशाली हो सकता है।

तकनीकी सारांश: M2PO (मल्टी-परस्पेक्टिव मल्टी-पेयर प्रिफरेंस ऑप्टिमाइज़ेशन)

1. समस्या विवरण

यह शोध पत्र मशीन अनुवाद (MT) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को संरेखित करने में एक महत्वपूर्ण बाधा को संबोधित करता है: प्रिफरेंस ऑप्टिमाइज़ेशन (PO) में उपयोग किए जाने वाले रिवॉर्ड सिग्नल्स की अविश्वसनीयता। हालांकि सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और रिइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक (RLHF) ने MT में प्रगति की है, वे अक्सर रिवॉर्ड सिग्नल प्रदान करने के लिए क्वालिटी एस्टिमेशन (QE) मॉडल्स (जैसे, XCOMET, COMET-KIWI) पर निर्भर करते हैं।

लेखक इन QE मेट्रिक्स में एक व्यवस्थित "ब्लाइंड स्पॉट" (अंध बिंदु) की पहचान करते हैं: वे सतही प्रवाह (fluency) की ओर अत्यधिक झुकाव दिखाते हैं, और अक्सर आंशिक त्रुटियों (विशेष रूप से आंशिक मतिभ्रम/hallucinations और लोप/omissions) को दंडित करने में विफल रहते हैं। ये त्रुटियां ऐसी अनुवाद प्रस्तुत करती हैं जो भाषाई रूप से प्रवाहपूर्ण तो होती हैं लेकिन अर्थगत रूप से निष्ठावान (faithful) नहीं होतीं। लेखक एक "अनिश्चितता का क्षेत्र" (कवरेज स्कोर 30–80 के बीच) परिभाषित करते हैं जहाँ ये आंशिक त्रुटियाँ केंद्रित होती हैं। इस क्षेत्र में, मानक QE मेट्रिक्स निष्ठा (faithfulness) के साथ मोनोटोनिक संरेखण खो देते हैं, और त्रुटिपूर्ण उम्मीदवारों को भ्रामक रूप से उच्च स्कोर प्रदान करते हैं। फलस्वरूप, मानक PO विधियाँ, जो आमतौर पर एकल "सर्वश्रेष्ठ-बनाम-सबसे-खराब" युग्म तुलनाओं पर निर्भर करती हैं, इन गैर-चरम नमूनों को त्याग देती हैं, जिससे वे सीखने की प्रक्रिया के लिए अदृश्य हो जाते हैं और रिवॉर्ड हैकिंग की ओर ले जाते हैं।

2. कार्यप्रणाली: M2PO फ्रेमवर्क

M2PO एक डेटा-केंद्रित फ्रेमवर्क है जिसे इन रिवॉर्ड पूर्वाग्रहों को सुधारने और डेटा दक्षता में सुधार करने के लिए डिज़ाइन किया गया है। इसमें दो प्राथमिक घटक शामिल हैं: मल्टी-परस्पेक्टिव प्रिफरेंस कंस्ट्रक्शन और मल्टी-पेयर जॉइंट ऑप्टिमाइज़ेशन।

A. मल्टी-परस्पेक्टिव प्रिफरेंस कंस्ट्रक्शन

मानक QE मेट्रिक्स की सीमाओं को कम करने के लिए, M2PO एक हाइब्रिड दृष्टिकोण के माध्यम से मजबूत रिवॉर्ड सिग्नल बनाता है:

हाइब्रिड कैंडिडेट जनरेशन: प्रत्येक सोर्स इनपुट के लिए, फ्रेमवर्क $K$ उम्मीदवारों (जैसे, $K=8$ ) का एक पूल बनाता है, जिसमें आधे एक मजबूत बाहरी मॉडल (जैसे, GPT-4o-mini) से और आधे बेस मॉडल से सैंपल किए जाते हैं। यह त्रुटियों का एक विविध स्पेक्ट्रम सुनिश्चित करता है, जो पूर्ण निष्ठा से लेकर प्रवाहपूर्ण लेकिन निष्ठाहीन आंशिक त्रुटियों तक फैला हुआ है।
सिमेंटिक एलाइनमेंट क्लासिफायर (SAC): QE के प्रवाह पूर्वाग्रह को ठीक करने के लिए, M2PO एक LLM-संचालित SAC पेश करता है। केवल निरंतर QE स्कोर पर निर्भर रहने के बजाय, SAC उम्मीदवारों को असतत स्तरों (discrete tiers) में वर्गीकृत करता है: फुल मैच, हाई पार्शियल, लो पार्शियल, और नो मैच।
डायनेमिक रिवॉर्ड फ्यूजन: अंतिम रिवॉर्ड एक स्टैटिक QE स्कोर (जैसे, KIWI-XXL) और SAC गुणांक का फ्यूजन है, जिसे एक डायनेमिक करिकुलम द्वारा नियंत्रित किया जाता है।
- स्टैटिक रिवॉर्ड की गणना $r_s = r_{qe} \cdot S_{align}$ के रूप में की जाती है, जहाँ SAC एक "गंभीरता-जागरूक वीटो" (severity-aware veto) के रूप में कार्य करता है ताकि उच्च-विश्वास वाले लेकिन निष्ठाहीन उम्मीदवारों को दबाया जा सके।
- इसे एक डायनेमिक वेटिंग स्कीम ( $\alpha_t$ ) का उपयोग करके मॉडल के आंतरिक आत्मविश्वास (log-probability) के साथ फ्यूज किया जाता है। करिकुलम प्रशिक्षण चरणों के दौरान बाहरी ग्राउंडिंग (कम $\alpha_t$ ) से स्वयं-परिष्करण (उच्च $\alpha_t$ ) की ओर संक्रमण करता है, जिससे प्रारंभिक पूर्वाग्रहों को ठीक करते हुए रिवॉर्ड ओवर-ऑप्टिमाइज़ेशन को रोका जा सके।

B. मल्टी-पेयर जॉइंट ऑप्टिमाइज़ेशन

सूक्ष्म त्रुटियों को पकड़ने में मानक युग्म तुलनाओं की अक्षमता को दूर करने के लिए, M2PO ऑब्जेक्टिव को एक मल्टी-पेयर फॉर्मूलेशन तक विस्तारित करता है:

हाइरार्किकल पेयरिंग: उम्मीदवारों को उनके फ्यूज्ड रिवॉर्ड स्कोर द्वारा क्रमबद्ध किया जाता है। केवल एकल सर्वश्रेष्ठ ( $y_w$ ) और सबसे खराब ( $y_l$ ) युग्म चुनने के बजाय, फ्रेमवर्क शीर्ष- $i$ और निचले- $i$ उम्मीदवारों को जोड़कर $M = K/2$ जोड़े बनाता है। यह कठिनाई का एक ग्रेडिएंट बनाता है, जो स्पष्ट रूप से उन "हार्ड नेगेटिव्स" (आंशिक त्रुटियों) को शामिल करता है जिन्हें मानक विधियाँ अनदेखा कर देती हैं।
लोकल ऑब्जेक्टिव (डायनेमिक मल्टी-पेयर CPO): मॉडल जोड़ों के बीच सामान्यीकृत मार्जिन गैप द्वारा भारित एक संयुक्त प्रिफरेंस ऑब्जेक्टिव को कम करता है। यह स्पष्ट गुणवत्ता अंतराल पर जोर देता है जबकि "अनिश्चितता के क्षेत्र" में ओवरफिटिंग को रोकने के लिए संदिग्ध जोड़ों को कम करता है।
ग्लोबल रेगुलराइजेशन (लिस्टवाइज रैंकिंग लॉस): वैश्विक ऑर्डिनल निरंतरता सुनिश्चित करने के लिए, एक लिस्टवाइज रैंकिंग लॉस लागू किया जाता है। यह मॉडल के आउटपुट डिस्ट्रीब्यूशन को फ्यूज्ड रिवॉर्ड्स से प्राप्त टारगेट डिस्ट्रीब्यूशन के विरुद्ध रेगुलराइज़ करता है, जो निष्ठा क्षरण (faithfulness degradation) के खिलाफ एक सुरक्षा कवच के रूप में कार्य करता है।

अंतिम ऑब्जेक्टिव भारित मल्टी-पेयर CPO लॉस और रैंकिंग लॉस को जोड़ता है।

3. मुख्य योगदान

शोध पत्र तीन मुख्य योगदानों को रेखांकित करता है:

QE ब्लाइंड स्पॉट्स की पहचान: लेखक अनुभवजन्य रूप से प्रदर्शित करते हैं कि वर्तमान QE मेट्रिक्स "अनिश्चितता के क्षेत्र" के भीतर प्रवाहपूर्ण लेकिन निष्ठाहीन अनुवादों के बीच अंतर करने में व्यवस्थित रूप से विफल रहते हैं, जिससे भ्रामक रिवॉर्ड सिग्नल मिलते हैं।
M2PO फ्रेमवर्क: वे एक नया फ्रेमवर्क प्रस्तावित करते हैं जो मल्टी-परस्पेक्टिव एलाइनमेंट (डिस्क्रीट सिमेंटिक क्लासिफायर को निरंतर QE के साथ एकीकृत करना) और मल्टी-पेयर ऑप्टिमाइज़ेशन (पूर्ण कैंडिडेट स्पेक्ट्रम का लाभ उठाना) को फ्यूज करता है। यह डेटा दक्षता को अधिकतम करने और सूक्ष्म त्रुटि संकेतों को पकड़ने के लिए मानक युग्म विधियों से अलग है।
प्रोपराइटरी गैप को पाटना: यह फ्रेमवर्क कॉम्पैक्ट ओपन-सोर्स मॉडल्स (जैसे, 9B पैरामीटर्स) को सुपरविजन नॉइज़ को ठीक करने में सक्षम बनाता है, जिससे वे अपने डेटा जनरेटर्स (जैसे, GPT-4o-mini) को पछाड़ते हैं और शक्तिशाली प्रोपराइटरी सिस्टम जैसे GPT-4o और Gemini-2.0-Flash के प्रदर्शन के बराबर या कुछ मामलों में उनसे बेहतर प्रदर्शन करते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने छह अनुवाद दिशाओं (En↔Zh, En↔De, En↔Ja) में WMT23, WMT24, और FLORES-200 बेंचमार्क पर M2PO का मूल्यांकन किया।

प्रदर्शन: 9B पैरामीटर बेस मॉडल (GemmaX2-28-9B) का उपयोग करते हुए, M2PO ने WMT23 पर 97.87 कवरेज स्कोर और 89.67 XCOMET प्राप्त किया। इसने काफी बड़े ओपन-सोर्स बेसलाइन्स (जैसे, Aya-expanse-32B) को पीछे छोड़ दिया और अपने डेटा जनरेटर (GPT-4o-mini) से भी बेहतर प्रदर्शन किया।
निष्ठा बनाम गुणवत्ता: M2PO ने "अनिश्चितता के क्षेत्र" में आंशिक त्रुटियों के अनुपात को ~6.2% (मानक CPO में) से घटाकर 3.0% कर दिया, जबकि साथ ही साथ अनुवाद की गुणवत्ता में भी सुधार किया।
सामान्यीकरण (Generalization): फ्रेमवर्क ने विभिन्न बेस मॉडल्स (Qwen3-4B-Instruct और GemmaX2-28-9B) और विभिन्न प्रिफरेंस ऑब्जेक्टिव्स (DPO, KTO, SimPO, ORPO) में मजबूती प्रदर्शित की, जो इसकी लचीलेपन की पुष्टि करती है।
मानवीय मूल्यांकन: ब्लाइंड एक्सपर्ट इवैल्यूएशन में, M2PO ने 89.11% निष्ठा दर (Full Match) हासिल की, जो बेस मॉडल (72.67%) और डेटा जनरेटर (87.11%) की तुलना में एक महत्वपूर्ण सुधार है।

5. महत्व और दावे

शोध पत्र का दावा है कि M2PO कॉम्पैक्ट, ओपन-सोर्स मॉडल्स का उपयोग करके उच्च-निष्ठा वाले मशीन अनुवाद की ओर एक मजबूत मार्ग प्रदान करता है। फ्लोसी (प्रवाह) को सिमेंटिक फिडेलिटी (निष्ठा) से अलग करके और पूर्ण कैंडिडेट स्पेक्ट्रम का लाभ उठाकर, यह फ्रेमवर्क फ्लोसी-बायस्ड मेट्रिक्स के कारण होने वाले "रिवॉर्ड हैकिंग" को दूर करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण बड़े पैरामीटर काउंट पर निर्भर किए बिना ओपन-सोर्स मॉडल्स को प्रोप्राइटरी सिस्टम्स का मुकाबला करने में सक्षम बनाता है। वे M2PO को केवल एक ऑप्टिमाइज़ेशन एल्गोरिदम के रूप में नहीं, बल्कि एक डेटा-केंद्रित समाधान के रूप में देखते हैं जो MT में प्रिफरेंस डेटा के निर्माण और उपयोग में मौलिक खामियों को ठीक करता है। यह कार्य सुझाव देता है कि केवल स्केल (पैमाना) ही नहीं, बल्कि सटीक प्रिफरेंस एलाइनमेंट ही छोटे मॉडल्स में उच्च-निष्ठा वाली अनुवाद क्षमताओं को अनलॉक करने की कुंजी है।

शोध पत्र स्केलेबिलिटी के संबंध में विनम्र रहता है, यह नोट करते हुए कि बड़े आर्किटेक्चर (70B+) और कम-संसाधन वाली भाषाओं पर दृष्टिकोण को मान्य करने के लिए भविष्य में कार्य की आवश्यकता है, और सिग्नल जनरेशन के लिए कमर्शियल API पर निर्भरता के बिना फ्रेमवर्क को पूरी तरह से ओपन-सोर्स पर तैनात करने के लिए इसे और अनुकूलित करने की आवश्यकता है।