तकनीकी सारांश: MAVL और SylAVL-CoT

समस्या विवरण

गीत अनुवाद (Lyric translation) एक विशिष्ट क्षेत्र है जो "गाए जाने योग्य" (singability)—अर्थात अनुवादित गीतों की उस क्षमता को प्राथमिकता देता है जिससे वे एक धुन में फिट हो सकें और साथ ही अर्थ, काव्य संरचना और संगीत की लय को भी सुरक्षित रख सकें। यह कार्य मानक पाठ अनुवाद की तुलना में काफी अधिक जटिल है क्योंकि इसके लिए शाब्दिक अर्थ के साथ-साथ संगीत संबंधी बाधाओं (शब्दांश संख्या, लय, तुकबंदी) को संतुलित करने की आवश्यकता होती है और अक्सर इसमें गैर-शाब्दिक अनुकूलन की आवश्यकता होती है।

एनिमेटेड म्यूज़िकल्स के संदर्भ में यह चुनौती और भी तीव्र हो जाती है, जहाँ गीतों को न केवल ऑडियो के साथ बल्कि दृश्य संकेतों (चरित्र की क्रियाएं, दृश्य संदर्भ) के साथ भी संरेखित होना चाहिए। मौजूदा दृष्टिकोण मुख्य रूप से टेक्स्ट-आधारित या टेक्स्ट-और-स्कोर-आधारित विधियों तक सीमित हैं, जो प्राकृतिक, गाए जाने योग्य अनुवाद के लिए आवश्यक पूर्ण मल्टीमॉडल संदर्भ को पकड़ने में विफल रहते हैं। इसके अलावा, पिछले डेटासेट अक्सर विभिन्न मोडैलिटीज (टेक्स्ट, ऑडियो, वीडियो) और भाषाओं के बीच संरेखण की कमी रखते हैं, जिससे ऐसे मॉडल को प्रशिक्षित या मूल्यांकन करना कठिन हो जाता है जो इन विविध इनपुट को प्रभावी ढंग से एकीकृत कर सकें।

कार्यप्रणाली

1. MAVL डेटासेट

लेखक MAVL (Multilingual Audio-Video Lyrics Benchmark for Animated Song Translation) पेश करते हैं, जो एनिमेटेड म्यूज़िकल्स में गाए जाने योग्य गीत अनुवाद के लिए विशेष रूप से डिज़ाइन किया गया पहला बहुभाषी, मल्टीमॉडल बेंचमार्क है।

• संरचना: MAVL एनिमेटेड फिल्मों (जैसे, Frozen, Trolls, Encanto) से 228 गीतों से बना है, जो पांच भाषाओं में संरेखित है: अंग्रेजी, स्पेनिश, फ्रेंच, कोरियाई और जापानी।
• मोडैलिटी (Modality): केवल टेक्स्ट या स्कोर पर निर्भर रहने वाले पिछले डेटासेट्स के विपरीत, MAVL टेक्स्ट, ऑडियो और वीडियो को एकीकृत करता है।
• संरेखण पाइपलाइन (Alignment Pipeline): डेटासेट निर्माण में एक कठोर पाइपलाइन शामिल थी:
  1. संग्रहण (Collection): मेटाडेटा और मूल अंग्रेजी गीतों को एकत्र करना, फिर lyricstranslate जैसे प्लेटफार्मों से आधिकारिक डब किए गए गीतों को प्राप्त करना।
  2. मानव संरेखण (Human Alignment): मूल ऑडियो/वीडियो के साथ क्रॉस-रेफरेंस करके यह सत्यापित करना कि उम्मीदवार गीत आधिकारिक, गाए जाने योग्य डब किए गए संस्करणों के अनुरूप हैं। गैर-गाए जाने योग्य संवाद या ओवरलैपिंग गीतों को बाहर रखा गया था।
  3. ऑडियो-वीडियो-लिरिक्स संरेखण (Audio-Video-Lyrics Alignment): विशिष्ट गीत पंक्तियों से मेल खाने के लिए ऑडियो और वीडियो को खंडित करने के लिए स्थिर टाइमस्टैम्प उत्पन्न करने हेतु stable-ts (Whisper पर आधारित) का उपयोग करना।

2. SylAVL-CoT मॉडल

MAVL का लाभ उठाने के लिए, लेखक SylAVL-CoT (Syllable-Constrained Audio-Video LLM with Chain-of-Thought) प्रस्तावित करते हैं। यह दृष्टिकोण मौजूदा मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs), विशेष रूप से Gemini 2.0 Flash और Gemini 2.5 Flash का उपयोग करता है, जो फाइन-ट्यूनिंग के बजाय प्रॉम्प्ट इंजीनियरिंग और चेन-ऑफ-थॉट (CoT) तर्क पर निर्भर करता है।

मॉडल एक तीन-चरणीय CoT पाइपलाइन के माध्यम से संचालित होता है:

1. मुख्य गीत और शब्दांश विभाजन की पहचान (Identify Core Lyric & Syllable Segmentation): मॉडल प्रदान किए गए ऑडियो स्निपेट और टेक्स्ट का विश्लेषण करके सटीक गीत खंड की पहचान करता है। यह श्रव्य अंतराल और स्रोत के ज्ञात शब्दांशों के आधार पर गीतों को शब्दांशों (syllables) में विभाजित करता है, जिससे एक लयबद्ध टेम्पलेट स्थापित होता है।
2. लक्ष्य-भाषा शब्दांश सूची उत्पन्न करना (वीडियो संदर्भ) (Generate Target-Language Syllable List - Video Context): मॉडल वीडियो से दृश्य संकेतों (जैसे, चरित्र के भाव, गति, सांस्कृतिक संदर्भ) को संसाधित करने के लिए उपयोग करता है ताकि अनुवाद को परिष्कृत किया जा सके। इसका लक्ष्य स्रोत शब्दांश संख्या के मिलान वाला एक लक्ष्य-भाषा शब्दांश सूची तैयार करना है, जबकि इमेजरी और मूड को भी कैप्चर करना है।
3. पुनरावृत्ति और शोधन (Iterate and Refine): मॉडल सांस्कृतिक रूप से उपयुक्त, भाषाई रूप से सुसंगत और लक्ष्य शब्दांश संख्या का कड़ाई से पालन करने के लिए शब्दों को पुनरावृत्ति (paraphrase) और पुनर्व्यवस्थित करता है। यह चरण अलग-अलग व्याकरणिक संरचनाओं वाली भाषाओं के बीच लय बनाए रखने की कठिनाई को संबोधित करता है।

3. मूल्यांकन मेट्रिक्स

पेपर एक बहुआयामी मूल्यांकन ढांचा प्रस्तावित करता है जो तीन सिद्धांतों पर केंद्रित है:

• गाए जाने की क्षमता (Singability): इसे Syllable Error (SE), Syllable Count Distance (SCD), और Error Rate के माध्यम से मापा जाता है। SE एक दंड कारक ($\beta=2.0$) का उपयोग करता है ताकि संदर्भ शब्दांश संख्या से अधिक होने पर भारी दंड दिया जा सके, क्योंकि यह गाए जाने की क्षमता पर नकारात्मक प्रभाव डालता है।
• बोध (Sense): इसे मूल अंग्रेजी गीतों और मानव-अनुवादित डब किए गए गीतों दोनों के बीच मल्टीलिंगुअल एम्बेडिंग्स (mpnet-base-v2) के कोसाइन सिमिलैरिटी (cosine similarity) पर आधारित Semantic Scores का उपयोग करके मापा जाता है।
• स्वाभाविकता (Naturalness): इसे जनरेट किए गए गीतों और संदर्भ गीतों के इंटरनेशनल फोनेटिक अल्फाबेट (IPA) ट्रांसक्रिप्शन के बीच Phonetic Distance (Levenshtein distance) के माध्यम से मापा जाता है।

मुख्य परिणाम

मात्रात्मक प्रदर्शन (Quantitative Performance)

• गाए जाने की क्षमता (Singability): SylAVL-CoT सभी भाषाओं में टेक्स्ट-ओनली बेसलाइन्स (Google Translate, mBART-50, Qwen2.5-72B, GPT-4o, और Gemini 2.0 सहित) को काफी पीछे छोड़ देता है। यह सबसे कम Syllable Error, Syllable Distance, और Error Rate प्राप्त करता है। उदाहरण के लिए, अंग्रेजी-से-कोरियाई अनुवाद में, SylAVL-CoT ने Syllable Error को ~10.3 (GPT-4o) से घटाकर 0.695 कर दिया।
• बोध (Sense): जबकि टेक्स्ट-ओनली मॉडल अक्सर मूल अंग्रेजी गीतों के प्रति उच्च सिमिलैरिटी दिखाते हैं (जो शाब्दिक अनुवाद का संकेत है), SylAVL-CoT मूल के प्रति कम समानता दिखाता है लेकिन मानव-अनुवादित डब किए गए गीतों के प्रति उच्च समानता बनाए रखता है। यह सुझाव देता है कि SylAVL-CoT सफलतापूर्वक उन रचनात्मक पैराफ्रेसिंग रणनीतियों को अपनाता है जिनका उपयोग पेशेवर मानव द्वारा गाए जाने की क्षमता बनाए रखने के लिए किया जाता है, न कि केवल शाब्दिक अर्थों पर टिके रहने के लिए।
• स्वाभाविकता (Naturalness): SylAVL-CoT, मूल और डब किए गए संदर्भों दोनों की तुलना में सबसे कम फोनेटिक डिस्टेंस स्कोर देता है, जो इंगित करता है कि इसका आउटपुट पेशेवर अनुवादों के साथ उच्चारण और लय के गुण साझा करता है।

एब्लेशन अध्ययन (Ablation Studies)

• मल्टीमोडैलिटी (Multimodality): वीडियो इनपुट (T+A) को हटाने से पूर्ण T+A+V सेटअप की तुलना में डब किए गए गीतों के साथ कम सिमिलैरिटी मिली, जो बताता है कि संदर्भ के अनुसार उपयुक्त पैराफ्रेस बनाने के लिए वीडियो संदर्भ महत्वपूर्ण है।
• CoT चरण (CoT Steps): "Syllable List" जनरेशन और "Refine" चरण महत्वपूर्ण थे। इन चरणों को हटाने से Syllable Error में उल्लेखनीय वृद्धि हुई, जो पुष्टि करता है कि बाधाओं को लागू करने के लिए संरचित तर्क प्रक्रिया आवश्यक है।
• मॉडल का चयन (Model Choice): जबकि GPT-4o और Qwen2.5 ने सरल बाधाओं के साथ अच्छा प्रदर्शन किया, Gemini ने CoT दृष्टिकोण का उपयोग करते हुए बेहतर प्रदर्शन दिखाया, जो तर्क के दौरान कई बाधाओं को एक साथ ट्रैक करने की इसकी क्षमता को उजागर करता है।

उपयोगकर्ता अध्ययन (User Study)

नेटिव स्पीकर्स (प्रत्येक भाषा के लिए N=10) के साथ एक उपयोगकर्ता अध्ययन ने Singability, Sense, और Overall Quality पर गीतों को रेट किया। SylAVL-CoT ने सभी भाषाओं में उच्चतम Overall Quality स्कोर प्राप्त किया, विशेष रूप से Singability में अन्य मॉडलों को पछाड़ते हुए।

महत्व और दावे

पेपर दावा करता है कि MAVL और SylAVL-CoT टेक्स्ट-ओनली सीमाओं से आगे बढ़कर गीत अनुवाद में एक महत्वपूर्ण अंतर को संबोधित करते हैं।

• पहला मल्टीमॉडल बेंचमार्क: MAVL को टेक्स्ट, ऑडियो और वीडियो के माध्यम से बहुभाषी गीत अनुवाद का समर्थन करने वाले पहले डेटासेट के रूप में प्रस्तुत किया गया है, जो इन मोडैलिटीज को एकीकृत करने वाले मॉडलों के मूल्यांकन को सक्षम बनाता है।
• प्रभावी बाधा प्रबंधन (Effective Constraint Handling): अध्ययन दर्शाता है कि मौजूदा MLLMs में CoT तर्क का लाभ उठाना, मल्टीमॉडल इनपुट के साथ मिलकर, संसाधन-गहन फाइन-ट्यूनिंग की आवश्यकता के बिना सख्त शब्दांश बाधाओं को लागू करने की अनुमति देता है।
• मानव-समान अनुकूलन (Human-Like Adaptation): सिमेंटिक अनुकूलन और फोनेटिक स्वाभाविकता के मामले में मानव-अनुवादित डब किए गए गीतों के साथ संरेखित होकर, प्रस्तावित दृष्टिकोण शाब्दिक मशीन अनुवाद और पेशेवर गीत स्थानीयकरण की रचनात्मक, संगीतमय आवश्यकताओं के बीच के अंतर को पाटता है।

लेखक निष्कर्ष निकालते हैं कि उनका कार्य अधिक प्रभावी स्वचालित गीत अनुवाद प्रणालियों के लिए मार्ग प्रशस्त करता है, हालांकि वे शैलियों के दायरे (एनिमेटेड म्यूज़िकल्स पर केंद्रित), पंक्ति-दर-पंक्ति प्रसंस्करण बाधाओं, और टोनल भाषाओं के लिए विशेष तंत्र की कमी के संबंध में अपनी सीमाओं को स्वीकार करते हैं।