A Bridge from Audio to Video: Phoneme-Viseme Alignment Allows Every Face to Speak Multiple Languages
यह शोध पत्र मल्टीलिंगुअल एक्सपर्ट्स (MuEx) का प्रस्ताव करता है, जो एक नवीन फ्रेमवर्क है जो ऑडियो-विजुअल मोडैलिटीज के बीच सामंजस्य बिठाने के लिए एक फोनिम-गाइडेड मिक्सचर-ऑफ-एक्सपर्ट्स आर्किटेक्चर और एक फोनिम-विज़िम अलाइनमेंट मैकेनिज्म का लाभ उठाता है, जिससे कई भाषाओं में उच्च-गुणवत्ता वाले, सिंक्रोनाइज़्ड टॉकिंग फेस सिंथेसिस के लिए मजबूत ज़ीरो-शॉट जनरलाइजेशन क्षमताओं के साथ सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी सुनाना सिखाने की कोशिश कर रहे हैं। आप उसे एक वॉयस रिकॉर्डिंग देते हैं, और आप चाहते हैं कि उसका डिजिटल चेहरा शब्दों के साथ बिल्कुल तालमेल बिठाकर अपने होंठों को हिलाए। यह "टॉकिंग फेस सिंथेसिस" (talking face synthesis) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ मशीनें ऑडियो को वीडियो में बदलना सीखती हैं। लंबे समय तक, ये रोबोट उन अभिनेताओं की तरह थे जिन्हें केवल एक भाषा, अंग्रेजी, बोलना आता था। यदि आप उन्हें फ्रेंच, चीनी या अरबी में कोई स्क्रिप्ट देते, तो वे भ्रमित हो जाते। उनके होंठ गलत आकृतियों में हिलते, या वे आवाज बोलने के दौरान शून्य भाव से देखते रहते, जिससे एक अजीब सा बेमेल प्रभाव पैदा होता। समस्या यह नहीं थी कि रोबले बुरे थे, बल्कि यह थी कि उन्होंने केवल अंग्रेजी ध्वनियों के लिए विशिष्ट नृत्य कदमों को याद कर लिया था और वे सामान्य रूप से मुख से ध्वनियाँ निकालने के सार्वभौमिक नियमों को नहीं समझते थे।
इसे ठीक करने के लिए, वैज्ञानिकों को एक ऐसा तरीका चाहिए था जिससे वे किसी विशिष्ट भाषा में अटके बिना, एक शब्द की "ध्वनि" को मुंह की "आकृति" में अनुवाद कर सकें। इसे इस तरह सोचें: प्रत्येक भाषा में ध्वनियों की एक अनूठी वर्णमाला (जिसे फोनीम/phonemes कहा जाता है) होती है, और प्रत्येक ध्वनि के लिए एक विशिष्ट मुख आकृति (जिसे विजीम/viseme कहा जाता है) की आवश्यकता होती है। जिस तरह एक यूनिवर्सल ट्रांसलेटर लोगों को विभिन्न भाषाएं बोलने में मदद करता है, शोधकर्ताओं एक मुखों के लिए "यूनिवर्सल ट्रांसलेटर" बनाना चाहते थे जो किसी भी भाषा के ध्वनि और आकृति के बीच के संबंध को समझ सके, चाहे वह कोई भी भाषा हो। यही वह बड़ा सवाल है जिसे यह शोध पत्र संबोधित करता है: हम एक डिजिटल चेहरा कैसे बना सकते हैं जो हर नई भाषा के लिए शून्य से पुन: प्रशिक्षित हुए बिना, स्वाभाविक रूप से किसी भी भाषा को बोल सके?
यहाँ MuEx (मल्टीलिंगुअल एक्सपर्ट्स) आता है, जो शियान यूनिवर्सिटी (Xidian University) के शोधकर्ताओं द्वारा प्रस्तावित एक नया फ्रेमवर्क है, जो ऑडियो और वीडियो के बीच एक सेतु के रूप में कार्य करता है। कंप्यूटर को हजारों अलग-अलग भाषाएं याद करने के लिए मजबूर करने के बजाय, MuEx सिस्टम को स्वयं "मुंह की भाषा" बोलना सिखाता है। शोधकर्ताओं ने पाया कि हालांकि अंग्रेजी, चीनी और स्पेनिश अलग-अलग सुनाई देती हैं, लेकिन हमारे होंठों, दांतों और जबड़ों के हिलने के बुनियादी घटक सभी में आश्चर्यजनक रूप से समान हैं।
MuEx का असली मंत्र एक चतुर दो-भाग वाली प्रणाली है। पहला, यह एक "फोनीम-विजीम अलाइनमेंट" तंत्र का उपयोग करता है। एक विशाल पुस्तकालय की कल्पना करें जहाँ प्रत्येक ध्वनि को उसकी सटीक मुख आकृति के साथ जोड़ा गया है। MuEx सभी भाषाओं की ध्वनियों को कुछ सार्वभौमिक "साउंड बकेट" (ध्वनि टोकरियों) में और सभी मुख गतिविधियों को "शेप बकेट" (आकृति टोकरियों) में समूहित करता है। फिर यह इन बकेटों को एक साथ जोड़ने के नियम सीखता है। इसका मतलब है कि सिस्टम को यह जानने की आवश्यकता नहीं है कि एक फ्रांसीसी "R" और एक जर्मन "R" में क्या अंतर है; इसे बस इतना पता है कि दोनों एक विशिष्ट साउंड बकेट से संबंधित हैं जिसके लिए एक विशिष्ट शेप बकेट की आवश्यकता होती है। यह उस समस्या को हल करता है जहाँ रोबोट नई भाषा सुनते ही भ्रमित हो जाता है।
दूसो, MuEx एक "मिक्सचर ऑफ एक्सपर्ट्स" (MoE) रणनीति का उपयोग करता है, जो रसोई में विशेषज्ञ शेफ की एक टीम की तरह है। जब एक नया वाक्य आता है, तो एक स्मार्ट राउटर (हेड शेफ) ध्वनि को देखता है और तय करता है कि उस व्यंजन को पकाने के लिए कौन सा विशिष्ट शेफ (या "एक्सपर्ट") सबसे उपयुक्त है। यदि ध्वनि चीनी जैसी टोनल भाषा से एक कठिन स्वर है, तो राउटर उसे उस विशेषज्ञ के पास भेजता है जो उन गतिविधियों में माहिर है। यदि यह एक तेज़ गति वाली अंग्रेजी वाक्य है, तो यह दूसरे विशेषज्ञ के पास जाता है। महत्वपूर्ण बात यह है कि इस राउटर को भाषा का नाम जानने की आवश्यकता नहीं है; यह केवल ध्वनि पैटर्न को देखता है और स्वचालित रूप से सही विशेषज्ञ को चुन लेता है। यह इसे उन भाषाओं को संभालने की अनुमति देता है जिन्हें इसने पहले कभी नहीं देखा है, जिसे "ज़ीरो-शॉट जनरलाइजेशन" (zero-shot generalization) कहा जाता है।
यह साबित करने के लिए कि यह काम करता है, टीम ने केवल पुराने डेटा पर भरोसा नहीं किया। उन्होंने एक विशाल नया डेटासेट बनाया जिसे मल्टीलिंगुअल टॉकिंग फेस डेटासेट (MTFD) कहा जाता है, जिसमें 95.04 घंटे से अधिक का उच्च गुणवत्ता वाला वीडियो शामिल है, जिसमें अंग्रेजी और स्पेनिश से लेकर थाई और वियतनामी जैसी टोनल भाषाओं तक, 12 विभिन्न भाषाएं शामिल हैं। जब उन्होंने अन्य शीर्ष विधियों के मुकाबले MuEx का परीक्षण किया, तो परिणाम स्पष्ट थे। MuEx ने लिप-सिंक सटीकता और स्वाभाविकता के लिए उच्चतम स्कोर प्राप्त किया, और उन मॉडलों को भी पीछे छोड़ दिया जो उसी डेटा पर विशेष रूप से प्रशिक्षित किए गए थे। इससे भी अधिक प्रभावशाली बात यह है कि जब उन्होंने उन भाषाओं पर इसका परीक्षण किया जो प्रशिक्षण के दौरान कभी नहीं देखी गई थीं (जैसे कोरियाई, बर्मी और हिंदी), तब भी MuEx ने प्रतिस्पर्धा से बेहतर प्रदर्शन किया, जिससे पता चलता है कि इसका "यूनिवर्सल माउथ लैंग्वेज" दृष्टिकोण वास्तव में काम करता है।
यह शोध पत्र सुझाव देता है कि विशिष्ट भाषाओं को याद करने के बजाय ध्वनियों और आकृतियों के बीच के मौलिक संबंध पर ध्यान केंद्रित करके, हम वास्तव में बहुभाषी डिजिटल चेहरे बना सकते हैं। हालाँकि यह प्रणाली पूर्ण नहीं है (इसमें दृश्य यथार्थवाद के लिए अभी भी सुधार की गुंजाइश है), अध्ययन यह दर्शाता है कि यह नया दृष्टिकोण एक महत्वपूर्ण कदम है। यह सुझाव देता है कि बात करने वाले चेहरों का भविष्य हर भाषा के लिए एक नया रोबोट बनाने के बारे में नहीं है, बल्कि एक ही रोबोट को हम सभी के बोलने के सार्वभौमिक नियमों को सिखाने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।