Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
Talker-T2AV एक ऑटोरेग्रेसिव डिफ्यूजन फ्रेमवर्क है जो ऑडियो-वीडियो के संयुक्त निर्माण के लिए उच्च-स्तरीय सिमेंटिक रीजनिंग हेतु एक साझा बैकबोन और निम्न-स्तरीय रिफाइनमेंट हेतु मोडैलिटी-विशिष्ट डिकोडर्स का उपयोग करके बेहतर क्रॉस-मोडल सुसंगतता और दक्षता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म के दृश्य को निर्देशित करने की कोशिश कर रहे हैं जहाँ एक अभिनेता को भाषण देना है। इसे वास्तविक दिखाने के लिए, आपको दो चीजों को बिल्कुल सही समय पर करना होगा: अभिनेता को सही शब्दों को सही भावना के साथ कहना होगा (ऑडियो), और उनके होंठ और चेहरे के हाव-भाव उन शब्दों के साथ पूरी तरह से तालमेल में होने चाहिए (वीडियो)।
AI की दुनिया में, अधिकांश मॉडल इसे दो में से एक तरीके से करने की कोशिश करते हैं, और दोनों में कमियां हैं। एक तरीका "रिले रेस" (कैस्केडेड पाइपलाइन) जैसा है: पहले एक AI ऑडियो बनाता है, फिर दूसरा AI उस ऑडियो को देखता है और चेहरे को एनिमेट करने की कोशिश करता है। समस्या क्या है? यदि पहला धावक (ऑडियो) लड़खड़ा जाता है या बहुत तेज़ हो जाता है, तो दूसरा धावक (वीडियो) तालमेल नहीं बना पाता, और लिप-सिंक एक खराब डब की गई कुंग-फू फिल्म जैसा दिखने लगता है। दूसरा तरीका "उलझी हुई गांठ" (डुअल-ब्रांच डिफ्यूजन) जैसा है: ऑडियो और वीडियो दोनों एक ही समय में एक बड़े, अव्यवस्थित मिश्रण के रूप में बनाए जा रहे हैं। हालांकि वे तालमेल में रहते हैं, लेकिन AI भ्रमित हो जाता है क्योंकि "आवाज की बनावट" को समझना और "त्वचा और प्रकाश की बनावट" को समझना पूरी तरह से अलग काम है।
Talker-T2AV एक तीसरा, अधिक स्मार्ट तरीका पेश करता है: द मास्टर आर्किटेक्ट एंड द टू स्पेशलिस्ट्स (मुख्य वास्तुकार और दो विशेषज्ञ)।
1. द मास्टर आर्किटेक्ट (द ऑटोरेग्रेसिव बैकबोन)
सीधे विवरणों में कूदने के बजाय, मॉडल एक "मास्टर आर्किटेक्ट" के साथ शुरुआत करता है। इस AI हिस्से को आवाज के सूक्ष्म कंपन या गाल पर पड़ने वाले प्रकाश की परवाह नहीं है। इसे केवल योजना की परवाह है।
इसे एक ऑर्केस्ट्रा के कंडक्टर की तरह समझें। कंडक्टर वायलिन या ड्रम नहीं बजाता; वह केवल अपनी छड़ी हिलाकर यह बताने के लिए होता है कि, "इस सटीक सेकंड पर, हमें एक तेज़, खुशहाल नोट चाहिए, और ड्रमर को झांझ (cymbal) बजानी चाहिए।" यह "आर्किटेक्ट" आपके द्वारा दिए गए टेक्स्ट को देखता है और एक उच्च-स्तरीय टाइमलाइन बनाता है कि क्या होना चाहिए और कब होना चाहिए।
2. द टू स्पेशलिस्ट्स (द डिफ्यूजन हेड्स)
एक बार जब आर्किटेक्ट ने ब्लूप्रिंट तैयार कर लिया, तो वह निर्देश दो अलग-अलग विशेषज्ञों को सौंप देता है:
- द साउंड इंजीनियर (ऑडियो हेड): यह विशेषज्ञ ब्लूप्रिंट लेता है और पूरी तरह से मानवीय आवाज के संगीत—पिच, टोन और लय—पर ध्यान केंद्रित करता है।
- द सिनेमैटोग्राफर (वीडियो हेड): यह विशेषज्ञ वही सटीक ब्लूप्रिंट लेता है और पूरी तरह से दृश्य नृत्य (visual dance) पर ध्यान केंद्रित करता है—जैसे कि "P" ध्वनि के दौरान होंठ कैसे आकार लेते हैं या हंसते समय आंखें कैसे सिकुड़ती हैं।
चूंकि वे एक ही ब्लूप्रिंट देख रहे हैं, इसलिए वे पूरी तरह से तालमेल में रहते हैं। लेकिन चूंकि वे अलग-अलग विशेषज्ञ हैं, इसलिए साउंड इंजीनियर "विजुअल टेक्सचर" से विचलित नहीं होता, और सिनेमैटोग्राफर "ऑडियो फ्रीक्वेंसी" से विचलित नहीं होता। यह उन्हें उनके विशिष्ट कार्यों में बहुत बेहतर बनाता है।
यह एक बड़ी बात क्यों है? ("स्विस आर्मी नाइफ" प्रभाव)
क्योंकि यह मॉडल एक साझा "ब्लूप्रिंट" प्रणाली का उपयोग करता है, यह अविश्वसनीय रूप से लचीला है। यह टॉकिंग हेड्स के लिए एक स्विस आर्मी नाइफ की तरह है:
- टेक्स्ट-टू-वीडियो: आप इसे टेक्स्ट देते हैं, और यह शुरू से पूरा "ऑर्केस्ट्रा" (ऑडियो + वीडियो) बनाता है।
- ऑडियो-टू-वीडियो: आप इसे एक रिकॉर्डिंग देते हैं, और यह केवल चेहरे को एनिमेट करने के लिए "सिनेमैटोग्राफर" को सक्रिय करता है।
- वीडियो-टू-ऑडियो (डबिंग): आप इसे एक मूक वीडियो देते हैं, और यह केवल एक आदर्श वॉयसओवर बनाने के लिए "साउंड इंजीनियर" को सक्रिय करता है।
परिणाम
संक्षेप में, Talker-T2AV एक अव्यवस्थित धुंधलेपन में एक साथ सब कुछ करने की कोशिश करना बंद कर देता है। "प्लानिंग" को "रेंडरिंग" से अलग करके, यह डिजिटल मानव बनाता है जो अधिक स्पष्ट रूप से बोलते हैं, अधिक वास्तविक दिखते हैं, और सबसे महत्वपूर्ण बात यह है कि—कभी भी ताल नहीं चूकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।