Live Avatar: Streaming Real-time Audio-Driven Avatar Generation with Infinite Length
यह शोध पत्र Live Avatar को प्रस्तुत करता है, जो एक सह-डिज़ाइन किया गया एल्गोरिदम-सिस्टम फ्रेमवर्क है जो एक डिस्टिल्ड कॉज़ल डिफ्यूजन पाइपलाइन को Timestep-forcing Pipeline Parallelism के साथ जोड़कर 45 FPS की गति प्राप्त करने और लॉन्ग-होरिज़न आइडेंटिटी ड्रिफ्ट को समाप्त करने के माध्यम से 14-बिलियन-पैरामीटर ऑडियो-ड्रिवन अवतारों के पहले व्यावहारिक, वास्तविक समय, अनंत-लंबाई वाले स्ट्रीमिंग जनरेशन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी सुनाना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह आपकी आवाज़ के साथ पूरी तरह तालमेल बिठाते हुए बोले, अपने होंठ हिलाए और अपने चेहरे के भाव बदले, और यह सब करते हुए वह बिल्कुल एक असली इंसान जैसा दिखे। यह ऑडियो-ड्रिवन अवतार जनरेशन (audio-driven avatar generation) की दुनिया है। लंबे समय से, वैज्ञानिक एक प्रकार के AI, जिसे डिफ्यूजन मॉडल (diffusion model) कहा जाता है, का उपयोग करके "डिजिटल अभिनेताओं" का निर्माण कर रहे हैं। एक डिफ्यूजन मॉडल को एक ऐसे मूर्तिकार की तरह समझें जो शोर वाले स्टैटिक (static) के एक ब्लॉक से शुरुआत करता है और धीरे-धीरे शोर को तराश कर एक आदर्श मूर्ति को प्रकट करता है। आमतौर पर, यह मूर्तिकार बहुत सख्त क्रम में काम करता है: उन्हें शरीर शुरू करने से पहले सिर को पूरा करना होता है, और उन्हें यह काम चरण-दर-चरण करना होता है, जिसमें बहुत समय लगता है।
बड़ी समस्या यह है कि यदि आप इस रोबोट को एक घंटे तक कहानी सुनाने के लिए कहते हैं, तो यह भ्रमित होने लगता है। हो सकता है कि यह भूल जाए कि पाँच मिनट पहले पात्र का चेहरा कैसा दिखता था, या इसकी आवाज़ पूरी तरह से किसी दूसरे व्यक्ति जैसी लगने लगे। इसे "ड्रिफ्ट" (drift) कहा जाता है। इसके अलावा, क्योंकि मूर्तिकार बहुत धीरे काम करता है, इसलिए आप इसके साथ वास्तविक समय (real-time) में बातचीत नहीं कर सकते; जब तक यह एक वाक्य पूरा करता है, तब तक आप शायद ही वह बात याद रख पाते हैं जो आपने कही थी। शोधकर्ताओं का लक्ष्य एक ऐसा डिजिटल अभिनेता बनाना रहा है जो आपके साथ लाइव बात करने के लिए पर्याप्त तेज़ हो, घंटों तक अपनी पहचान बनाए रखने के लिए पर्याप्त स्मार्ट हो, और दिखने में फोटो-रियलिस्टिक (photorealistic) हो।
यहाँ लाइव अवतार (Live Avatar) आता है, जो एक विशाल कंप्यूटर चिप्स के ऑर्केस्ट्रा के लिए एक मास्टर कंडक्टर की तरह काम करने वाला एक नया प्रोजेक्ट है। इस कार्य के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व चीन के यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और अलीबाबा की टीमों द्वारा किया गया है, एक विशाल 14-बिलियन-पैरामीटर वाला AI मॉडल (AI की दुनिया में "14B" मॉडल बहुत बड़ा माना जाता है) बनाने का तरीका खोज निकाला है जो बिना अपना मानसिक संतुलन खोए वास्तविक समय में बात कर सकता है, हिल-डुल सकता है और वीडियो स्ट्रीम कर सकता है।
आमतौर पर, इतना लंबा और तेज़ वीडियो बनाना एक विरोधाभास है। आपके पास या तो गति हो सकती है, या गुणवत्ता, लेकिन दोनों एक साथ नहीं। लाइव अवतार इसे AI के "समय और स्मृति" के बारे में सोचने के तरीके को बदलकर हल करता है। अतीत के हर एक सटीक विवरण को याद रखने की कोशिश करने के बजाय (जिससे AI भ्रमित हो जाता है और ड्रिफ्ट होने लगता है), सिस्टम एक "शोर वाली" (noisy) स्मृति संग्रहीत करता है। कल्पना कीजिए कि आप एक गाने को पूरी तरह से हर एक नोट को याद करने के बजाय उसकी धुन को मोटे तौर पर गुनगुनाकर याद करने की कोशिश कर रहे हैं। यह "मोटा" (rough) स्मृति एक फिल्टर के रूप में कार्य करती है, जो चरित्र के चेहरे को स्थिर रखती है जबकि उसके मुंह को स्वाभाविक रूप से हिलने देती है।
टीम ने टाइमस्टेप-फोर्सिंग पाइपलाइन पैरेललिज्म (Timestep-forcing Pipeline Parallelism) नामक एक चतुर तरीका भी ईजाद किया है जो चीज़ों को तेज़ करता है। कल्पना कीजिए कि एक कार बनाने के चरणों में एक सामान्य कार्यकर्ता के बजाय, एक फैक्ट्री असेंबली लाइन है जहाँ आपके पास श्रमिकों की एक टीम है। एक सामान्य वीडियो AI में, हर कार्यकर्ता दूसरे के काम पूरा करने का इंतज़ार करता है। लाइव अवतार नियमों को बदल देता है: लाइन के हर कार्यकर्ता (या हर कंप्यूटर चिप, जिसे GPU कहा जाता है) को एक विशिष्ट कार्य सौंपा जाता है। जबकि कार्यकर्ता A पहियों को पॉलिश कर रहा है, कार्यकर्ता B दरवाजे को पेंट कर रहा है, और कार्यकर्ता C इंजन स्थापित कर रहा है, वे सभी एक ही समय में काम कर रहे हैं। यह एक धीमी, क्रमिक प्रक्रिया को एक तेज़, समानांतर प्रक्रिया में बदल देता है।
परिणाम प्रभावशाली हैं। 5 शक्तिशाली H100 ग्राफिक्स कार्ड वाले सेटअप पर, लाइव अवतार 45 फ्रेम प्रति सेकंड (FPS) की दर से वीडियो बना सकता है, जो मानव दृष्टि की गति से भी तेज़ है। आपके बोलने के बाद पहला फ्रेम जेनरेट करने में इसे केवल 1.21 सेकंड लगते हैं। सबसे महत्वपूर्ण बात यह है कि यह अनंत काल तक चल सकता है। शोधकर्ताओं ने इसे एक अवतार को 10,000 सेकंड (लगभग तीन घंटे लगातार) तक बात करने के लिए परीक्षण किया, और पात्र न तो भटका, न ही उसमें कोई गड़बड़ी आई, और न ही इसने अपनी पहचान खोई।
यह केवल एक सैद्धांतिक जीत नहीं है; टीम ने जेनबेंच (GenBench) नामक एक नया परीक्षण मैदान बनाया है ताकि यह साबित किया जा सके कि अन्य विधियाँ लंबी अवधि में विफल हो जाती हैं जबकि उनकी विधि सफल होती है। उन्होंने पाया कि जबकि अन्य सिस्टम कुछ सेकंड के लिए अच्छे दिख सकते हैं, वे कुछ ही मिनटों के बाद खराब होने लगते हैं, रंग बदलने लगते हैं या व्यक्ति का चेहरा खो देते हैं। हालाँकि, लाइव अवतार निरंतर बना रहता है। यह सुझाव देता है कि "शोर वाली स्मृति" रणनीति और एक स्मार्ट असेंबली-लाइन सिस्टम को जोड़कर, हम अंततः ऐसे डिजिटल मानव बना सकते हैं जो वास्तविक समय में, अनंत बातचीत के लिए तैयार हैं।
पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि इसे काम करने के लिए आपको AI को घंटों के वीडियो पर प्रशिक्षित करने की आवश्यकता है। इसके बजाय, उन्होंने दिखाया कि उनके विशेष "शोर वाली हिस्ट्री" (noisy history) वाले तरीके के साथ, छोटे क्लिप्स (लगभग 3 सेकंड) पर प्रशिक्षण देना पर्याप्त है। वे इस पुराने विश्वास के भी खिलाफ तर्क देते हैं कि आपको एक तेज़, कम-गुणवत्ता वाले मॉडल और एक धीमे, उच्च-गुणवत्ता वाले मॉडल के बीच चुनाव करना पड़ता है। उनके तरीके के साथ, आप एक विशाल, उच्च-गुणवत्ता वाला मॉडल रख सकते हैं जो वास्तविक समय में चलता है।
हालाँकि यह प्रणाली अविश्वसनीय रूप से तेज़ है, लेखक नोट करते हैं कि अभी भी एक छोटा सा विलंब (delay) है। जब आप नेटवर्क यात्रा समय को शामिल करते हैं, तो आपके बोलने और वीडियो के स्क्रीन पर दिखने के बीच का समय लगभग 3 सेकंड होता है। यह कई इंटरैक्शन के लिए पर्याप्त तेज़ है, लेकिन शायद यह आमने-सामने की बातचीत के लिए पूरी तरह सहज नहीं है जहाँ हर मिलीसेकंड मायने रखता है। हालाँकि, स्ट्रीमिंग, वर्चुअल असिस्टेंट और डिजिटल स्टोरीटेलिंग के लिए, यह एक बड़ी छलांग है, जो यह संकेत देती है कि अनंत, वास्तविक समय के डिजिटल अवतारों का युग अब केवल एक सपना नहीं रह गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।