Native Audio-Visual Alignment for Generation
NAVA एक नवीन फ्रेमवर्क है जो संयुक्त ऑडियो-वीडियो जनरेशन के लिए एक 'Align-then-Fuse MMDiT' आर्किटेक्चर के भीतर एक नेटिव ऑडियो-विजुअल अलाइनमेंट रणनीति का उपयोग करता है ताकि केवल 6.3B पैरामीटर्स का उपयोग करते हुए बेहतर सिंक्रोनाइज़ेशन, वीडियो गुणवत्ता और नियंत्रणीय स्पीच टिम्बर प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म का दृश्य बनाना चाहते हैं जहाँ एक पात्र साइकिल चलाते हुए बात कर रहा है। आपको दो चीजों को पूरी तरह से एक साथ करने की आवश्यकता है: साइकिल के चलने का वीडियो और हवा तथा व्यक्ति की आवाज़ की ध्वनि।
लंबे समय तक, कंप्यूटरों ने इन दोनों चीजों को अलग-अलग बनाने और फिर अंत में उन्हें आपस में जोड़ने की कोशिश की। यह एक अलग कलाकार द्वारा साइकिल बनाने और दूसरे कलाकार द्वारा आवाज़ रिकॉर्ड करने जैसा है, और फिर बाद में उन्हें मिलाने की कोशिश करना। अक्सर, आवाज़ होंठों की हलचल के साथ थोड़ा बेमेल हो जाती थी, या आवाज़ ऐसा महसूस नहीं होती थी कि वह उस विशिष्ट दृश्य का हिस्सा है।
अन्य नए तरीकों ने कलाकार, वॉयस एक्टर और निर्देशक को एक ही छोटे कमरे में एक साथ काम करने की कोशिश की। हालाँकि इससे उन्हें एक-दूसरे से बात करने में मदद मिलती है, लेकिन यह अव्यवस्थपूर्ण हो जाता है। "निर्देशक" (टेक्स्ट निर्देश) "साउंड इंजीनियर" (शोर की टाइमिंग) के साथ भ्रमित हो जाता है, जिससे यह नियंत्रित करना कठिन हो जाता है कि कौन बोल रहा है या उनकी आवाज़ कैसी सुनाई देगी।
प्रवेश NAVA: "रिहर्सल रूम" दृष्टिकोण
पेपर NAVA (नेटिव ऑडियो-विजुअल अलाइनमेंट) को पेश करता है, जो वर्कफ़्लो को बदल देता है। अलग-अलग काम करने या सब कुछ एक बड़े बर्तन में मिला देने के बजाय, NAVA एक चतुर दो-चरणीय प्रक्रिया का उपयोग करता है जिसे "अलाइन-देन-फ्यूज" (Align-then-Fuse) कहा जाता है।
इसे एक थिएटर रिहर्सल की तरह समझें:
- रिहर्सल (अलाइनमेंट): सबसे पहले, अभिनेता (ऑडियो) और स्टेज क्रू (वीडियो) एक समर्पित "रिहर्सल रूम" में मिलते हैं। यहाँ, वे बिना निर्देशक द्वारा नई लाइनें दिए दिए, एक साथ अभ्यास करते हैं। वे यह समझते हैं कि पैर के जमीन पर पड़ने की आवाज, पैर के जमीन से टकराने के दृश्य से कैसे मेल खाती है, या गिटार की एक स्ट्रम (strum) हाथ की हरकत से कैसे मेल खाती है। वे ध्वनि और दृष्टि के बीच एक स्वाभाविक, नेटिव संबंध बनाते हैं।
- परफॉर्मेंस (फ्यूजन): एक बार जब वे एक साथ हिलना-डुलना और बोलना सीख जाते हैं, तो निर्देशक (टेक्स्ट प्रॉम्प्ट) प्रवेश करता है। निर्देशक को अब उन्हें तालमेल बिठाना सिखाने की आवश्यकता नहीं है; वे बस उन्हें बताते हैं कि क्या करना है। "अब, पात्र को इस लाइन को गुस्से वाली आवाज़ के साथ बोलना चाहिए।" क्योंकि अभिनेता और क्रू पहले से ही जानते हैं कि एक साथ कैसे तालमेल बिठाना है, वे निर्देशों के प्रति तुरंत अनुकूलित हो सकते हैं बिना अपनी टाइमिंग खोए।
गुप्त मंत्र: "टिम्बर-इन-कॉन्टेक्स्ट" (Timbre-in-Context)
NAVA के पास कई वक्ताओं को संभालने के लिए एक विशेष ट्रिक भी है। कल्पना कीजिए कि एक स्क्रिप्ट है जहाँ एक माँ और उसका बच्चा बात कर रहे हैं। आप नहीं चाहेंगे कि माँ की आवाज़ बच्चे जैसी लगे।
पुराने तरीके शायद एक अलग "वॉइस स्विच" बटन का उपयोग करते थे जो पूरे दृश्य की आवाज़ को बदल देता था। NAVA अधिक स्मार्ट है। यह आवाज़ की शैली (टिंबर) को स्वयं स्क्रिप्ट के हिस्से के रूप में मानता है। यह माँ की लाइनों के साथ एक विशिष्ट "वॉइस टैग" और बच्चे की लाइनों के साथ एक अलग "वॉइस टैग" जोड़ता है। जब कंप्यूटर दृश्य उत्पन्न करता है, तो उसे पता होता है कि कौन सी आवाज़ किस वाक्य की है, ठीक वैसे ही जैसे एक निर्देशक स्क्रिप्ट को पढ़ रहा हो जिसमें लिखा हो कि कौन बोल रहा है।
पेपर ने क्या पाया
शोधकर्ताओं ने NAVA का परीक्षण Verse-Bench (यह परीक्षण कि ऑडियो और वीडियो कितनी अच्छी तरह मेल खाते हैं) और Seed-TTS (आवाज़ नियंत्रण का परीक्षण) नामक बेंचमार्क का उपयोग करके अन्य शीर्ष मॉडलों के विरुद्ध किया।
- बेहतर तालमेल (Sync): NAVA यह सुनिश्चित करने में सर्वश्रेष्ठ था कि ध्वनि बिल्कुल उसी क्षण हो जब दृश्य घटना घटी (जैसे दरवाजा बंद होना या होंठों का हिलना)।
- उच्च गुणवत्ता: वीडियो शानदार दिखता था, और ऑडियो स्पष्ट और यथार्थवादी था।
- दक्षता: कई प्रतिस्पर्धियों से छोटा होने के बावजूद (केवल 6.3 बिलियन "मस्तिष्क कोशिकाओं" या पैरामीटर्स का उपयोग करते हुए), इसने बहुत बड़े मॉडलों को भी पीछे छोड़ दिया।
- नियंत्रण: यह एक ही दृश्य में विभिन्न वक्ताओं के बीच सहजता से स्विच कर सकता था, जिससे आवाज़ें अलग और सटीक बनी रहीं।
सारांश में
NAVA ध्वनि और वीडियो बनाने की समस्या को हल करता है, क्योंकि यह उन्हें जटिल निर्देशों का पालन करने से पहले एक साथ तालमेल बिठाना सीखने के लिए एक समर्पित स्थान देता है। यह एक डांस जोड़ी को सिखाने जैसा है कि वे किस गाने पर नाचेंगे, यह बताने से पहले उन्हें अपने स्टेप्स में महारत हासिल करने के लिए कहना। परिणाम एक ऐसा फिल्म दृश्य है जहाँ ध्वनि और चित्र ऐसा महसूस होते हैं जैसे वे एक साथ पैदा हुए हों, न कि केवल बाद में जोड़े गए हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।