UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos

कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, लेकिन स्क्रीन पर मौजूद अभिनेता अचानक एक अलग आवाज में बोलने लगता है और पूरी तरह से एक अलग व्यक्ति जैसा दिखने लगता है, फिर भी वह बिल्कुल वही शब्द बोल रहा है और उसके होंठ शब्दों के साथ एकदम सही तालमेल में हिल रहे हैं। यह "आइडेंटिटी स्वैपिंग" (पहचान बदलने) वाले वीडियो का सपना है। लंबे समय से, कंप्यूटर इस जादू के केवल एक हिस्से को करने में माहिर रहे हैं: या तो किसी व्यक्ति की मूल आवाज को रखते हुए उसका चेहरा बदलना, या मूल चेहरे को रखते हुए उसकी आवाज बदलना। लेकिन एक साथ ये दोनों काम करना एक यूनिसाइकिल (एक पहिये वाली साइकिल) पर सवारी करते हुए दो अलग-अलग गेंदों को उछालने (जगलिंग करने) जैसा था; परिणाम अक्सर तालमेल से बाहर होते थे, जैसे होंठ गलत शब्दों पर हिल रहे हों या आवाज रोबोटिक लग रही हो। यह शोध पत्र जनरेटिव एआई (Generative AI) की दुनिया में उतरता है, विशेष रूप से इस बात पर ध्यान केंद्रित करता है कि हम कंप्यूटर को कैसे सिखा सकते हैं कि बिना वीडियो के अटकने या ऑडियो के पीछे छूटने के, वास्तविक समय (real-time) में किसी व्यक्ति के रूप और आवाज दोनों को एक साथ कैसे बदला जाए।

इस प्रोजेक्ट के पीछे के शोधकर्ताओं ने, UniSwap, एक नया सिस्टम बनाया है जो एक कुशल कठपुतली नचाने वाले (मास्टर पपेटियर) की तरह काम करता है, जो वीडियो के दृश्य और श्रव्य दोनों पक्षों की डोर को एक ही समय में खींचता है। चेहरे और आवाज के लिए दो अलग-अलग उपकरणों का उपयोग करने के बजाय, उन्होंने एक एकल "मस्तिष्क" बनाया है जो यह समझता है कि किसी व्यक्ति का चेहरा कैसे हिलता है और उसकी आवाज कैसी सुनाई देती है, इसे एक जुड़े हुए अनुभव के रूप में। इसे एक ऐसे द्विभाषी अनुवादक की तरह समझें जो न केवल शब्दों का अनुवाद करता है बल्कि वक्ता के लहजे और चेहरे के भावों को भी तुरंत पकड़ लेता है।

यह शोध पत्र इस प्रणाली को सिखाने का एक चतुर तरीका पेश करता है। चूंकि वास्तविक जीवन के ऐसे वीडियो मिलना लगभग असंभव है जहाँ एक ही व्यक्ति एक ही लाइन बोल रहा हो लेकिन दिखने और सुनने में दो अलग-अलग लोग हो, टीम ने एक "स्वैप-एंड-रिकन्स्ट्रक्ट" (बदलें और पुनर्निर्मित करें) खेल का आविष्कार किया। वे एक वास्तविक वीडियो लेते हैं, उस व्यक्ति के चेहरे और आवाज को डिजिटल रूप से हटाकर एक "भूतिया" (घोस्ट) संस्करण बनाते हैं, और फिर एआई को एक नए चेहरे और आवाज का उपयोग करके मूल वीडियो को फिर से बनाने के लिए कहते हैं। यह एक शेफ को एक खाली कैनवास और एक रेसिपी देने जैसा है, और फिर उनसे एक विशिष्ट व्यंजन को पूरी तरह से फिर से बनाने के लिए कहना। लाखों ऐसे "पुनर्निर्माणों" पर प्रशिक्षण देकर, एआई मूल गतिविधियों और पृष्ठभूमि को बरकरार रखते हुए पहचान बदलने में महारत हासिल कर लेता है।

जो चीज़ इसे वास्तव में विशेष बनाती है वह यह है कि यह एक धीमी, पहले से रिकॉर्ड की गई फिल्म के बजाय एक लाइव स्ट्रीम की तरह काम करता है। अधिकांश वीडियो जनरेटर को पहला फ्रेम बनाने से पहले पूरा क्लिप देखना पड़ता है, जो बहुत धीमा है। हालाँकि, UniSwap वीडियो को छोटे ब्लॉक्स में उत्पन्न करता है, एक कन्वेयर बेल्ट की तरह, जिससे यह एक शक्तिशाली कंप्यूटर चिप (NVIDIA H100) पर लगभग 13.6 फ्रेम प्रति सेकंड उत्पन्न कर सकता है। हालांकि यह अभी भी तत्काल वास्तविक-समय बातचीत के लिए पर्याप्त तेज़ नहीं है, लेकिन यह एक बड़ी छलांग है, जो सिस्टम को एक घंटे तक लंबे वीडियो बनाने की अनुमति देता है—बिना इसके कि चरित्र का चेहरा या आवाज अलग हो जाए या समय के साथ विकृत हो जाए। लेखकों ने पाया कि "फीचर-RoPE डिकंपोजिशन" नामक एक विशेष "मेमोरी ट्रिक" का उपयोग करके, एआई हजारों फ्रेम उत्पन्न करने के बाद भी मूल पहचान को याद रख सकता है, जिससे यह सुनिश्चित होता है कि चरित्र पहले सेकंड से लेकर अंतिम सेकंड तक स्थिर रहे।

संक्षेप में, UniSwap सुझाव देता है कि हम अंततः एक एकीकृत प्रणाली प्राप्त कर सकते हैं जो बात करने वाले वीडियो में उच्च सिंक्रनाइज़ेशन और स्थिरता के साथ रूप और आवाज दोनों को बदल सकती है। जबकि वर्तमान संस्करण अभी वास्तविक-समय की बातचीत के लिए पूरी तरह से तेज़ नहीं है (यह एक मानक वीडियो प्लेबैक की गति से थोड़ा धीमा है), यह साबित करता है कि एक एकल मॉडल दो अलग-अलग प्रणालियों को जोड़ने के बजाय दोनों कार्यों को एक साथ बेहतर ढंग से संभाल सकता है। परिणाम दिखाते हैं कि होंठों की हरकतें नई आवाज के साथ पूरी तरह से तालमेल में रहती हैं, और लंबे क्लिप में भी चरित्र की पहचान स्थिर रहती है, जो अधिक स्वाभाविक और संवादात्मक डिजिटल अवतारों की ओर एक आशाजनक कदम है।