💬 NLP

From Utterance to Vividity: Training Expressive Subtitle Translation LLM via Adaptive Local Preference Optimization

यह शोध पत्र एक बहुदिशीय सबटाइटल समानांतर कॉर्पस और एडेप्टिव लोकल प्रेफरेंस ऑप्टिमाइज़ेशन (ALPO) पद्धति को पेश करके वर्टिकल डोमेन अनुवाद में लार्ज लैंग्वेज मॉडल्स की सीमाओं को संबोधित करता है, ताकि अभिव्यंजक और जीवंत सबटाइटल अनुवाद मॉडल प्रशिक्षित किए जा सकें जो बहुआयामी गुणवत्ता मूल्यांकनों में बेहतर प्रदर्शन प्राप्त करते हैं।

मूल लेखक: Chaoqun Cui, Shijing Wang, Liangbin Huang, Qingqing Gu, Zhaolong Huang, Xiao Zeng, Wenji Mao

प्रकाशित 2026-02-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chaoqun Cui, Shijing Wang, Liangbin Huang, Qingqing Gu, Zhaolong Huang, Xiao Zeng, Wenji Mao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "From Utterance to Vividity" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: रोबोट जो डिक्शनरी की तरह बोलते हैं

कल्पना कीजिए कि आप एक विदेशी फिल्म देख रहे हैं। आप पात्रों को समझना चाहते हैं, लेकिन आपको सबटाइटल्स (उपशीर्षक) की आवश्यकता है।

पुराना तरीका: पारंपरिक अनुवाद उपकरण सख्त लाइब्रेरियन की तरह होते हैं। यदि कोई पात्र कहता है, "I'm feeling blue" (मैं उदास महसूस कर रहा हूँ), तो लाइब्रेरियन इसका शाब्दिक अनुवाद "मैं नीला रंग महसूस कर रहा हूँ" कर देगा। यह सटीक तो है, लेकिन यह उदासी और भावना को छोड़ देता है। यह उबाऊ है।
लक्ष्य: लेखकों चाहते थे कि वे एक AI (लार्ज लैंग्वेज मॉडल) को एक रचनात्मक नाटककार (playwright) की तरह बनाना सिखाएं। वे चाहते थे कि AI "I'm feeling blue" का अनुवाद "मेरा दिल भारी है" के रूप में करे, जो केवल शब्दकोश की परिभाषा नहीं, बल्कि पात्र के 'वाइब', भावना और व्यक्तित्व को भी पकड़ सके।

खोज: "शाब्दिक" बनाम "स्वतंत्र" (Literal vs. Liberal)

शोधकर्ताओं ने पहले यह जांचा कि विभिन्न प्रकार के टेक्स्ट का अनुवाद कैसे किया जाता है। उन्होंने अनुवाद की दुनिया में एक दोहरे व्यक्तित्व का पता लगाया:

"सख्त" क्षेत्र (Strict Zones): कानून, चिकित्सा या समाचार जैसे क्षेत्रों में, आपको शाब्दिक अनुवाद (literal translation) की आवश्यकता होती है। यदि एक डॉक्टर कहता है "दो गोलियां लें," तो आप नहीं चाहेंगे कि AI रचनात्मक होकर कहे, "एक जोड़े गोलियों का सेवन करें।" यहाँ सटीकता ही सर्वोपरि है।
"रचनात्मक" क्षेत्र (Creative Zones): फिल्मों, टीवी शो और साहित्य में, आपको स्वतंत्र अनुवाद (liberal translation) की आवश्यकता होती है। AI को संवाद को स्वाभाविक और भावनात्मक बनाने के लिए कुछ छूट लेने की आवश्यकता होती है।

चौंकाने वाली बात: उन्होंने शक्तिशाली AI मॉडल का परीक्षण किया और पाया कि यहाँ तक कि स्मार्ट "चैट" AI (जिनसे आप रोज़ाना बात करते हैं) भी सख्त लाइब्रेरियन की तरह व्यवहार करने की प्रवृत्ति रखते थे। फिल्मों के लिए वे बहुत अधिक शाब्दिक थे। हालाँकि, "रीज़निंग" AI (वे मॉडल जो बोलने से पहले सोचते हैं) और मानव अनुवादक अधिक रचनात्मक होने में बेहतर थे।

समाधान: "एडेप्टिव लोकल प्रेफरेंस ऑप्टिमाइजेशन" (ALPO)

इसे ठीक करने के लिए, टीम ने एक नया प्रशिक्षण तरीका बनाया जिसे ALPO कहा जाता है। यह कैसे काम करता है, इसके लिए एक उपमा का उपयोग करते हैं:

कल्पना कीजिए कि आप एक स्टैंड-अप कॉमेडियन (AI) को किसी विदेशी भाषा में चुटकुले सुनाने के लिए प्रशिक्षित कर रहे हैं।

पुराना तरीका (मानक प्रशिक्षण): आप कॉमेडियन को एक स्क्रिप्ट दिखाते हैं और कहते हैं, "इसे याद कर लो।" वे इसे पूरी तरह से याद कर लेते हैं लेकिन उनकी आवाज़ रोबोटिक लगती है।
ALPO तरीका:
1. इम्प्रोवाइजेशन सेशन (Improv Session): AI को स्क्रिप्ट की एक पंक्ति दी जाती है। केवल एक उत्तर देने के बजाय, यह उस पंक्ति के 15 अलग-अलग संस्करण बनाता है।
2. जज (The Judge): एक "जज AI" (जिसे शोधकर्ताओं ने प्रमाणित किया है कि स्कोर करने में मानव के समान ही अच्छा है) उन सभी 15 संस्करणों को पढ़ता है। वह सबसे मज़ेदार, सबसे भावनात्मक या सबसे जीवंत संस्करण चुनता है।
3. फीडबैक लूप: AI जज के चुनाव से सीखता है। लेकिन यहाँ चालाकी भरा हिस्सा है:
  - यदि पंक्ति सरल है (जैसे "नमस्ते"), तो AI रचनात्मक होने में अपनी ऊर्जा बर्बाद नहीं करता है।
  - यदि पंक्ति जटिल है (जैसे एक नाटकीय ब्रेकअप), तो AI सबसे भावनात्मक संस्करण खोजने पर ध्यान केंद्रित करता है।
4. "मिक्सिंग" ट्रिक: AI को शो के दौरान भ्रमित होने से रोकने के लिए, प्रशिक्षण विधि "चुने गए" (chosen) पंक्तियों को "अस्वीकृत" (rejected) पंक्तियों के साथ मिला देती है। यह AI को सिखाता है कि भले ही वह तुरंत "परफेक्ट" रास्ता न चुन पाए, फिर भी वह आत्मविश्वासी रहे।

इस प्रक्रिया को एडेप्टिव लोकल प्रेफरेंस ऑप्टिमाइजेशन कहा जाता है। "एडेप्टिव" का अर्थ है कि यह पंक्ति के आधार पर अपने प्रयास को समायोजित करता है। "लोकल" का अर्थ है कि यह पूरी फिल्म के बजाय एक समय में एक वाक्य पर ध्यान केंद्रित करता है। "प्रेफरेंस" का अर्थ है कि यह वह नहीं सीखता जो केवल "सही" है, बल्कि वह सीखता है जो इंसान पसंद करते हैं (जीवंतता)।

परिणाम: एक नया सितारा जन्म लेता है

शोधकर्ताओं ने इस पद्धति का उपयोग करके एक 14-बिलियन-पैरामीटर वाला मॉडल (एक बहुत ही स्मार्ट AI) प्रशिक्षित किया।

परीक्षण: उन्होंने अपने नए मॉडल की तुलना शीर्ष-स्तरीय AI (जैसे GPT-4o) और मानव अनुवादकों से की।
परिणाम: उनके नए मॉडल ने केवल शब्दों का अनुवाद नहीं किया; उसने संवाद की आत्मा का अनुवाद किया।
- इसने लगभग अन्य सभी से अधिक जीवंतता (Vividness) (अनुवाद कितना जीवंत और भावनात्मक महसूस हुआ) में उच्च स्कोर किया।
- इसने उच्च सटीकता (Accuracy) और स्वाभाविकता (Naturalness) (यह रोबोट जैसा नहीं लगा) को भी बनाए रखा।
- कुछ परीक्षणों में, इसने कठिन भाषाओं (जैसे कोरियाई से चीनी या चीनी से थाई) में सबटाइटल्स को जीवंत बनाने में सर्वश्रेष्ठ मानव अनुवादकों को भी पीछे छोड़ दिया।

टूलकिट

अन्य शोधकर्ताओं की मदद करने के लिए, टीम ने जारी किया है:

एक नया डेटासेट: कई भाषाओं में मूवी और टीवी सबटाइटल्स का एक विशाल संग्रह (जिसे MuSC कहा जाता है) जिसे उन्होंने विशेष रूप से इस शोध के लिए बनाया है।
कोड: उन्होंने "रेसिपी" (ALPO) साझा की है ताकि दूसरे भी अपने स्वयं के "जीवंत" अनुवादक प्रशिक्षित कर सकें।

सारांश

यह शोध पत्र तर्क देता है कि फिल्मों और शो का अच्छी तरह से अनुवाद करने के लिए, हम केवल AI को सटीक होना नहीं सिखा सकते। हमें इसे अभिव्यंजक (expressive) होना सिखाना होगा। रचनात्मकता और भावना को पुरस्कृत करने वाले एक स्मार्ट, चरण-दर-चरण प्रशिक्षण तरीके का उपयोग करके, उन्होंने एक ऐसा AI बनाया है जो सूखे सबटाइटल्स को जीवंत, जीवित बातचीत में बदल देता है।

तकनीकी सारांश: अभिव्यक्ति से जीवंतता तक (From Utterance to Vividness)

समस्या विवरण

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने सामान्य मशीन अनुवाद डोमेन (जैसे समाचार, दैनिक बातचीत) में मानव-स्तर का प्रदर्शन हासिल कर लिया है, लेकिन वे विशिष्ट शैलीगत अनुकूलन (stylistic adaptation) की आवश्यकता वाले वर्टिकल डोमेन में महत्वपूर्ण सीमाओं का सामना करते हैं। विशेष रूप से, विजुअल मीडिया सबटाइटल अनुवाद (फिल्में, टीवी श्रृंखला, वृत्तचित्र) में, LLMs 'उदार अनुवाद' (liberal translation) के बजाय शाब्दिक अनुवाद (literal translation) को प्राथमिकता देते हैं।

सबटाइटल अनुवाद तकनीकी या कानूनी अनुवाद से भिन्न है; इसके लिए मूल वातावरण, भावनाओं और स्वर को व्यक्त करने के लिए स्थानीयकृत, शैलीगत समायोजन की आवश्यकता होती है, जिसमें अक्सर सख्त शाब्दिक सटीकता से विचलन की आवश्यकता होती है। हालाँकि, वर्तमान LLMs, विशेष रूप से मानक चैट मॉडल, इन अभिव्यंजक, जीवंत अनुवादों को उत्पन्न करने में संघर्ष करते हैं, और अक्सर ऐसे आउटपुट देते हैं जो सटीक तो होते हैं लेकिन उनमें आवश्यक सांस्कृतिक और भावनात्मक सूक्ष्मता का अभाव होता है। इसके अलावा, मौजूदा प्राथमिकता अनुकूलन विधियाँ (जैसे PPO या DPO) आउटकम-सुपरवाइज्ड कार्यों (संपूर्ण आउटपुट को अनुकूलित करना) के लिए डिज़ाइन की गई हैं और वे सूक्ष्म-स्तरीय, सेगमेंट-स्तर के प्राथमिकता संरेखण (fine-grained, segment-level preference alignment) के लिए अनुपयुक्त हैं, जिसकी आवश्यकता अनुक्रमिक सबटाइटल लाइनों के अनुवाद के दौरान होती है जहाँ संदर्भ और स्थानीय भिन्नता महत्वपूर्ण होती है।

कार्यप्रणाली (Methodology)

1. अनुभवजन्य जांच (Empirical Investigation)

लेखकों ने पहले समस्या की प्रकृति और इसे हल करने के लिए आवश्यक उपकरणों को मान्य करने के लिए एक मात्रात्मक जांच आयोजित की:

LLM-as-a-Judge विश्वसनीयता: उन्होंने सत्यापित किया कि LLMs (विशेष रूप से Qwen3-14B) कई भाषा युग्मों (en⇔zh, en⇔de, zh⇔th) में अनुवाद की जीवंतता का आकलन करने में मानव मूल्यांकनकर्ताओं के साथ उच्च निरंतरता प्रदर्शित करते हैं, जिससे LLMs को विश्वसनीय रिवॉर्ड मॉडल के रूप में स्थापित किया गया।
उदार बनाम शाब्दिक अनुवाद: विभिन्न डोमेन में बैक-ट्रांसलेशन निरंतरता (BLEU/ChrF++) का विश्लेषण करके, उन्होंने पुष्टि की कि कानून या चिकित्सा की तुलना में विजुअल मीडिया और साहित्य के लिए उच्च स्तर के उदार अनुवाद की आवश्यकता होती है।
मॉडल व्यवहार: उन्होंने पाया कि "रीजनिंग" (तर्क करने वाले) LLMs (जैसे GPT-5 Thinking, DeepSeek-R1) "चैट" LLMs की तुलना में अधिक उदार अनुवाद उत्पन्न करते हैं, हालांकि मानव अनुवादक अभी भी जीवंतता के मामले में दोनों से बेहतर प्रदर्शन करते हैं।

2. एडेप्टिव लोकल प्रेफरेंस ऑप्टिमाइजेशन (ALPO)

एक अभिव्यंजक सबटाइटल अनुवाद LLM को प्रशिक्षित करने की चुनौती का समाधान करने के लिए, लेखक ALPO का प्रस्ताव करते हैं, जो एक प्रोसेस-सुपरवाइज्ड प्रेफरेंस ऑप्टिमाइजेशन फ्रेमवर्क है। मानक DPO के विपरीत, जो पूर्ण प्रतिक्रिया को अनुकूलित करता है, ALPO सूक्ष्म-स्तरीय स्थानीय प्राथमिकताओं को लक्षित करता है।

सेगमेंट-वाइज सैंपलिंग रणनीति:
- प्रशिक्षण डेटा को लाइन-दर-लाइन प्रोसेस किया जाता है। एक दिए गए सोर्स लाइन $s_i$ के लिए, मॉडल $k$ कैंडिडेट ट्रांसलेशन सैंपल करता है।
- एक Qwen3-14B इवैल्यूएटर इन कैंडिडेट को जीवंतता के आधार पर स्कोर देता है।
- एक बेहतर अनुवाद को अगली लाइन के प्रीफिक्स (prefix) के रूप में उपयोग करने के लिए चुना जाता है, जिससे एक अनुक्रमिक निर्भरता बनती है जो संदर्भ का सम्मान करती है।
एडेप्टिव एलाइनमेंट लॉस (Adaptive Alignment Loss):
- गेटिंग फंक्शन (Gating Function): एक गेट मैकेनिज्म $\mathbb{I}(s_i)$ उन लाइनों को फ़िल्टर करता है जिनमें कम विविधता या अस्पष्ट गुणवत्ता अंतर है (जैसे "Good morning" जैसे साधारण अभिवादन), जिससे शोर (noise) ग्रेडिएंट को कमजोर न कर सके।
- इम्पॉर्टेंस स्कोरिंग: जिन लाइनों में सैंपल किए गए ट्रांसलेशन में अधिक विविधता होती है, उन्हें उच्च भार $\delta(s_i)$ दिया जाता है, क्योंकि वे जीवंतता बढ़ाने की अधिक क्षमता रखते हैं।
- डायनेमिक $\beta$ : पैरामीटर $\beta_i$ को चुने गए और अस्वीकृत ट्रांसलेशन के बीच रिवॉर्ड गैप के आधार पर गतिशील रूप से समायोजित किया जाता है, न कि एक निश्चित हाइपरपैरामीटर के रूप में।
- शेड्यूल्ड प्रीफिक्स मिक्सिंग: इन्फरेंस के दौरान एक्सपोज़र बायस (exposure bias) को कम करने के लिए, ट्रेनिंग प्रीफिक्स चुने गए अनुवाद और सैंपल किए गए ट्रांसलेशन का एक मिश्रण है, जिसमें मिक्सिंग रेश्यो $\lambda$ प्रशिक्षण के दौरान बढ़ता जाता है।

3. डेटासेट निर्माण

लेखकों ने MuSC (Multilingual Subtitle Corpus) का निर्माण किया और जारी किया, जो Youku वीडियो प्लेटफॉर्म से प्राप्त एक मल्टीडायरेक्शनल पैरेलल कॉर्पस है। यह कई भाषा युग्मों (कोरियाई/थाई से चीनी जैसे लो-रिसोर्स दिशाओं सहित) को कवर करता है और इसमें गैर-एक-से-एक (non-one-to-one) सबटाइटल लाइनों को संरेखित करने के लिए एक औपचारिक एल्गोरिदम शामिल है।

मुख्य योगदान

कार्य परिभाषा और जांच: यह अध्ययन विजुअल मीडिया सबटाइटल अनुवाद को एक अलग कार्य के रूप में औपचारिक रूप से प्रस्तुत करता है, उदार अनुवाद के स्पेक्ट्रम की जांच करता है और इस डोमेन में इवैल्यूएटर के रूप में LLMs की विश्वसनीयता को मान्य करता है।
ALPO एल्गोरिदम: एडेप्टिव लोकल प्रेफरेंस ऑप्टिमाइजेशन का प्रस्ताव, जो एक सूक्ष्म-स्तरीय प्राथमिकता संरेखण विधि है जो अनुक्रमिक, संदर्भ-निर्भर अनुवाद कार्यों में ग्लोबल ऑप्टिमाइजेशन विधियों की सीमाओं को संबोधित करती है।
संसाधन रिलीज: MuSC डेटासेट (मल्टीडायरेक्शनल सबटाइटल पैरेलल कॉर्परा) और संबंधित मूल्यांकन ढांचे का रिलीज।
प्रदर्शन सत्यापन: यह प्रदर्शन करना कि ALPO के साथ प्रशिक्षित 14B पैरामीटर वाला मॉडल मल्टीडायमेंशनल मूल्यांकन में स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है, विशेष रूप से जीवंतता (vividness) में।

प्रयोगात्मक परिणाम

लेखकों ने अपने ALPO-प्रशिक्षित Qwen2.5-14B मॉडल का पारंपरिक NMT मॉडल (NLLB, MADLAD), कमर्शियल सर्विसेज (Google Translate) और SOTA LLMs (GPT-4o, DeepSeek-R1, GPT-5) सहित बेसलाइन्स के विरुद्ध मूल्यांकन किया।

बहुआयामी मूल्यांकन: LLM-as-a-Judge फ्रेमवर्क (सटीकता, नैचुरलनेस, जीवंतता) का उपयोग करते हुए, ALPO मॉडल ने सभी परीक्षण किए गए भाषा दिशाओं में उच्चतम जीवंतता (Vividness) स्कोर प्राप्त किया, जो अक्सर सबसे बड़े रीजनिंग मॉडल्स (जैसे GPT-5) को भी पीछे छोड़ देता है।
मानव मूल्यांकन: मानव मूल्यांकनकर्ताओं के साथ पेयरवाइज तुलना ने पुष्टि की कि ALPO, सटीकता और नैचुरलनेस में SFT बेसलाइन्स से बेहतर प्रदर्शन करता है और SOTA मॉडल्स के साथ प्रतिस्पर्धा करता है, जबकि मानव-स्तर की जीवंतता के अंतर को काफी हद तक कम कर देता है।
एब्लेशन स्टडीज (Ablation Studies): एडेप्टिव घटकों (गेटिंग, इम्पॉर्टेंस स्कोरिंग, डायनेमिक $\beta$ , प्रीफिक्स मिक्सिंग) को हटाने से मापने योग्य प्रदर्शन गिरावट देखी गई, जो सूक्ष्म-स्तरीय नियंत्रण तंत्र की आवश्यकता की पुष्टि करती है।
बैकबोन मजबूती: ALPO ने विभिन्न बैकबोन मॉडल्स (LLaMA-3.1-8B, GLM4-9B, Qwen2.5-14B) पर प्रभावशीलता प्रदर्शित की, जिसमें बड़े मॉडल्स ने सबसे स्थिर और बेहतर परिणाम दिए।

महत्व और दावे

पेपर का दावा है कि ALPO उन वर्टिकल डोमेन में अभिव्यंजक अनुवाद मॉडल को प्रशिक्षित करने के लिए एक मजबूत समाधान प्रदान करता है जहाँ "जीवंतता" सटीकता जितनी ही महत्वपूर्ण है। आउटकम-सुपरवाइज्ड से प्रोसेस-सुपरवाइज्ड, सेगमेंट-लेवल ऑप्टिमाइजेशन की ओर स्थानांतरित होकर, यह विधि LLMs को विजुअल मीडिया में उदार अनुवाद के लिए मानवीय प्राथमिकताओं के साथ सफलतापूर्वक संरेखित करती है।

लेखक दावा करते हैं कि उनका कार्य:

सही ऑप्टिमाइजेशन रणनीति के साथ जोड़े जाने पर, कुशल रिवॉर्ड मॉडल और ट्रांसलेटर के रूप में छोटे, लागत प्रभावी मॉडल्स (14B) के उपयोग की व्यवहार्यता को मान्य करता है।
सबटाइटल अनुवाद के लिए एक नया बेंचमार्क स्थापित करता है जो सख्त शाब्दिकवाद के बजाय भावनात्मक और वायुमंडलीय निष्ठा (fidelity) को प्राथमिकता देता है।
समुदाय के लिए LLMs के डोमेन-विशिष्ट अनुकूलन को आगे तलाशने के लिए एक पुनरुत्पादनीय ढांचा (कोड और डेटा) प्रदान करता है।

अध्ययन निष्कर्ष निकालता है कि हालांकि LLMs में सामान्य अनुवाद क्षमताएं हैं, लेकिन ALCL जैसे तरीकों के माध्यम से डोमेन-विशिष्ट अनुकूलन विजुअल मीडिया जैसे जटिल, रचनात्मक अनुप्रयोग परिदृश्यों में उनकी पूर्ण क्षमता को अनलॉक करने के लिए आवश्यक है।