LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time

कल्पना कीजिए कि आप एक रोबोट को डांस करना सिखाने की कोशिश कर रहे हैं। आप उसे एक व्यक्ति की फोटो और डांस मूव्स की एक स्ट्रीम देते हैं, और आप चाहते हैं कि रोबोट तुरंत उस व्यक्ति का डांस करता हुआ वीडियो बना दे। यह "पोज़-ड्रिवन ह्यूमन एनिमेशन" (pose-driven human animation) की दुनिया है। लंबे समय तक, बेहतरीन रोबोट केवल "ऑफलाइन मोड" में ही ऐसा कर सकते थे। इसे एक जटिल केक बनाने जैसा समझें: आप सामग्री मिलाते हैं, उसे फूलने के लिए घंटों प्रतीक्षा करते हैं, उसे बेक करते हैं, और फिर अंत में परोसते हैं। यदि आप डांस मूव बदलना चाहते हैं, तो आपको पूरी बेकिंग प्रक्रिया फिर से शुरू करनी होगी। यह फिल्में बनाने के लिए तो बहुत अच्छा है, लेकिन लाइव स्ट्रीमिंग या वीडियो गेम्स के लिए बहुत बुरा है जहाँ आपको ज़रूरत है कि रोबोट अभी इसी वक्त प्रतिक्रिया दे। बड़ी चुनौती एक ऐसा रोबोट बनाने की थी जो अविश्वसनीय रूप से स्मार्ट भी हो (ताकि वह वास्तविक दिखे और सुसंगत रहे) और अविश्वसनीय रूप से तेज़ भी (ताकि वह लाइव स्ट्रीम के साथ तालमेल बिठा सके) बिना वीडियो के कुछ मिनटों के बाद बिखर जाए।

यहाँ आता है LiveAnimate, एक नया सिस्टम जो अंततः इस अंतर को पाट देता है। शोधकर्ताओं ने एक "डिजिटल डांसर" बनाया है जो वास्तविक समय में, ब्लॉक-दर-ब्लrok, एक व्यक्ति के नाचने का वीडियो बना सकता है, जबकि यह सुनिश्चित करता है कि पूरे स्ट्रीम के दौरान व्यक्ति का चेहरा और कपड़े बिल्कुल एक जैसे दिखें। यह एक ऐसे लाइव कठपुतली कलाकार (puppeteer) की तरह है जो कभी थकता नहीं है, कभी नहीं भूलता कि कठपुतली कैसी दिखती है, और शो को घंटों तक जारी रख सकता है बिना कठपुतली के चेहरे के पिघलने या उसके कपड़ों के रंग बदलने के। शोध पत्र दिखाता है कि यह सिस्टम शक्तिशाली कंप्यूटरों पर लगभग 20 फ्रेम प्रति सेकंड (जो वास्तविक गति जैसा महसूस होता है) की दर से चल सकता है, और कम से कम तीन मिनट तक उच्च गुणवत्ता बनाए रखता है—एक ऐसा कारनामा जिसे पिछले तरीके या तो वास्तविक समय में नहीं कर सके या जिन्हें कंप्यूट करने में घंटों लग जाते।

जादू का तरीका: यह कैसे काम करता है

यह समझने के लिए कि LiveAnimate इस जादू को कैसे अंजाम देता है, हमें उन तीन मुख्य सामग्रियों को देखना होगा जिन्हें यह मिलाता है: एक सुपर-स्मार्ट दिमाग, एक विशेष प्रशिक्षण दिनचर्या, और एक चतुर मेमोरी ट्रिक।

1. दिमाग: एक विशाल वीडियो ट्रांसफार्मर
सिस्टम के केंद्र में एक विशाल AI मॉडल है जिसे "डिफ्यूजन ट्रांसफार्मर" (या DiT) कहा जाता है जिसके 14 बिलियन पैरामीटर्स हैं। कल्पना कीजिए कि यह हर संभव तरीके का एक विशाल पुस्तकालय है जिससे मानव शरीर हिल सकता है और दिख सकता है। आमतौर पर, ये पुस्तकालय "द्विदिश" (bidirectional) होते हैं, जिसका अर्थ है कि वे दृश्य को समझने के लिए भविष्य और अतीत दोनों को देख सकते हैं। लेकिन एक लाइव स्ट्रीम के लिए, आप भविष्य को नहीं देख सकते; आप केवल उसी पर प्रतिक्रिया दे सकते हैं जो अभी हो रहा है। शोधकर्ताओं को इस विशाल दिमाग को "कॉज़ल" (causal) बनाने के लिए इसे फिर से प्रशिक्षित करना पड़ा, जिसका अर्थ है कि यह केवल अतीत और वर्तमान को देखता है, ठीक वैसे ही जैसे एक इंसान वास्तविक समय में डांस देखते हुए करता है।

2. प्रशिक्षण: सीखने के दो चरण
आप सिर्फ एक 14-बिलियन-पैरामीटर वाले दिमाग को "लाइव जाने" के लिए नहीं कह सकते और उम्मीद नहीं कर सकते कि वह काम करेगा। पेपर इस तैयारी के लिए दो चरणों वाली प्रशिक्षण प्रक्रिया का वर्णन करता है:

• चरण 1 (शिक्षक): पहले, वे मॉडल को "रेफरेंस-एंकर्ड टीचर-फोर्सिंग" (Reference-Anchored Teacher-Forcing) का उपयोग करके सिखाते हैं। कल्पना कीजिए कि एक शिक्षक एक आदर्श स्क्रिप्ट (ग्राउंड ट्रुथ) पकड़े हुए है और छात्र (AI) को ब्लॉक-दर-ब्लॉक डांस के माध्यम से मार्गदर्शन दे रहा है। छात्र मूव्स की सटीक नकल करना सीखता है और साथ ही हमेशा संदर्भ फोटो को ध्यान में रखता है ताकि डांसर सही व्यक्ति जैसा दिखे।
• चरण 2 (स्पीड रन): पहला चरण अभी भी वास्तविक समय के लिए बहुत धीमा है। इसलिए, दूसरे चरण में, वे "ब्लॉक-वाइज़ सेल्फ-फोर्सिंग डिस्टिलेशन" (Block-wise Self-Forcing Distillation) नामक तकनीक का उपयोग करते हैं। यह उस छात्र की तरह है जिसे आप बिना शिक्षक के अपने दम पर अभ्यास करने देते हैं, और फिर केवल वर्तमान मूव को ठीक करते हैं जो वह अभी कर रहा है। यह मॉडल को अपनी गलतियों से सीखने की अनुमति देता है बिना अपनी मेमोरी में एक साथ पूरे डांस के इतिहास को याद रखने की आवश्यकता के। परिणाम? मॉडल सामान्य 50 स्टेप्स के बजाय केवल 3 स्टेप्स में उच्च गुणवत्ता वाला वीडियो बनाना सीख जाता है, जिससे यह वास्तविक समय में चलने के लिए पर्याप्त तेज़ हो जाता है।

3. मेमोरी ट्रिक: पोज़-रिट्रीवल सिंक
यही सबसे रचनात्मक हिस्सा है। यदि आप किसी कंप्यूटर से 3 मिनट का वीडियो याद रखने के लिए कहते हैं, तो वह आमतौर पर मेमोरी खत्म कर देता है या भ्रमित होने लगता है। यदि डांसर कोई ऐसा पोज़ देता है जो उसने 2 मिनट पहले किया था, तो एक सामान्य सिस्टम शायद भूल गया होगा कि वह उस सटीक पज़ में कैसा दिखता था, जिससे अजीब ग्लिच या चेहरा थोड़ा अलग दिखने जैसी समस्याएँ आ सकती हैं।

LiveAnimate इसे पोज़-रिट्रीवल सिंक अटेंशन (PR-Sink) नामक एक चतुर मेमोरी सिस्टम के साथ हल करता है। कल्पना कीजिए कि AI के पास एक छोटा "स्टिक नोट" पैड (एक रोलिंग विंडो) है जो केवल डांस के पिछले कुछ सेकंड को ही रखता है। लेकिन इसके पास एक विशेष "पोज़ लाइब्रेरी" (मेमोरी बैंक) भी है जहाँ यह देखे गए विशिष्ट पोज़ के स्नैपशॉट स्टोर करता है।

• स्टैटिक सिंक (Static Sink): यह एक स्थायी लंगर (anchor) है। यह वीडियो के बिल्कुल पहले फ्रेम को हमेशा के लिए मेमोरी में लॉक रखता है, जिससे यह सुनिश्चित होता है कि डांसर की पहचान कभी न बदले।
• डायनेमिक सिंक (Dynamic Sink): यही जादू है। जब डांसर एक ऐसा पोज़ देता है जो "पोज़ लाइब्रेरी" में मौजूद किसी पोज़ से मेल खाता है, तो सिस्टम तुरंत उस बीते क्षण का "स्टिक नोट" उठाता है और उसे वर्तमान दृश्य में चिपका देता है। यह ऐसा है जैसे डांसर अचानक याद करता है, "ओह, मैंने यह मूव 2 मिनट पहले किया था, और मैं तब बहुत अच्छा दिख रहा था!" और तुरंत उस सटीक लुक को कॉपी कर लेता है। यह बिना इस बात के कि सिस्टम को पूरे 3 मिनट के वीडियो को याद रखने की आवश्यकता है, होता है, जिससे वीडियो चाहे कितना भी लंबा हो, मेमोरी का उपयोग स्थिर रहता है।

परिणाम: तेज़, स्थिर और वास्तविक

शोधकर्ताओं ने LiveAnimate का परीक्षण तीन मिनट के डांस सीक्वेंस पर किया। परिणाम चौंकाने वाले थे। जबकि अन्य सिस्टम या तो उसी क्लिप को जेनरेट करने में 2 से 5 घंटे लेते थे या एक मिनट के बाद खराब होने लगते थे (चेहरा धुंधला हो जाता, कपड़े रंग बदलने लगते, या पहचान बदल जाती), LiveAnimate ने पूरे तीन मिनट तक गुणवत्ता को स्थिर रखा।

• गति: यह दो उच्च-स्तरीय NVIDIA H100 GPUs पर लगभग 19.63 फ्रेम प्रति सेकंड की दर से चलता है। यह इतना तेज़ है कि वास्तविक समय की बातचीत जैसा महसूस होता है।
• निरंतरता: सिस्टम ने पूरे तीन मिनट के दौरान विजुअल क्वालिटी और पहचान की निरंतरता के लिए लगभग पूर्ण स्कोर बनाए रखा। इसके विपरीत, अन्य तरीकों में वीडियो लंबा होने के साथ गुणवत्ता में काफी गिरावट देखी गई।
• दक्षता: "पोज़ लाइब्रेरी" ट्रिक के कारण मेमोरी का उपयोग समान रहता है, चाहे वीडियो 10 सेकंड का हो या 10 मिनट का।

यह क्या नहीं है (अभी)

पेपर सावधानी से यह नोट करता है कि यह सिस्टम क्या नहीं करता है। यह वर्तमान में 480×480 पिक्सल के रिज़ॉल्यूशन पर वीडियो जेनरेट करता है, जो एक स्क्रीन के लिए तो अच्छा है लेकिन हॉलीवुड सिनेमा की गुणवत्ता के लिए नहीं। यह एकल-व्यक्ति दृश्यों पर केंद्रित है और अभी तक एक साथ कई लोगों के नाचने या जटिल कैमरा मूवमेंट को नहीं संभालता है। लेखक सुझाव देते हैं कि इन सीमाओं को उच्च रिज़ॉल्यूशन और अधिक जटिल दृश्यों तक ले जाना भविष्य के कार्य का अगला कदम है।

यह क्यों महत्वपूर्ण है

Live-Animate AI के लिए एक नए ऑपरेटिंग पॉइंट का प्रतिनिधित्व करता है। यह साबित करता है कि हमें "उच्च गुणवत्ता" और "वास्तविक समय की गति" के बीच चुनाव करने की आवश्यकता नहीं है। एक विशाल AI दिमाग के साथ एक स्मार्ट, बाउंडेड मेमोरी सिस्टम को जोड़कर, शोधकर्ताओं ने एक ऐसा टूल बनाया है जो अगली पीढ़ी के इंटरैक्टिव अवतारों, लाइव वर्चुअल कॉन्सर्ट और टेलीप्रेजेंस सिस्टम को शक्ति दे सकता है जहाँ एक डिजिटल मानव तुरंत नाच सकता है, बात कर सकता है और आपसे संवाद कर सकता है, बिना कभी यह भूले कि वह कौन है।