Vidu S1: A Real-Time Interactive Video Generation Model
Vidu S1 एक वास्तविक समय की संवादात्मक वीडियो जनरेशन मॉडल है जो उपयोगकर्ताओं को वॉयस कमांड के माध्यम से डिजिटल पात्रों को नियंत्रित करने में सक्षम बनाती है ताकि उपभोक्ता GPU पर बिना किसी दृश्य गिरावट के 42 FPS तक अनंत लंबाई वाले, उच्च गुणवत्ता वाले 540p वीडियो उत्पन्न किए जा सकें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसी फिल्म देख रहे हैं जहाँ पात्र आपको सुन नहीं सकते, चाहे आप स्क्रीन पर कितना भी चिल्ला लें। आप उन्हें हाथ हिलाने, हैरान दिखने या दृश्य बदलने के लिए नहीं कह सकते; आपको बस निर्देशक के पूरे काम को एडिट करने तक इंतजार करना होगा ताकि आप परिणाम देख सकें। आज अधिकांश वीडियो बनाने वाले AI इसी तरह काम करते हैं: आप एक अनुरोध टाइप करते हैं, लंबे समय तक प्रतीक्षा करते हैं, और एक तैयार क्लिप प्राप्त करते हैं। लेकिन क्या होगा अगर आप पात्र के बनते समय उससे बात कर सकें? क्या होगा अगर आप कहें, "हे, थम्स अप दो!" और वे इसे तुरंत कर दें, ठीक बातचीत के बीच में ही? यह वास्तविक समय की इंटरैक्टिव वीडियो जनरेशन (real-time interactive video generation) का सपना है। यह एक ऐसा क्षेत्र है जो स्थिर, पहले से बने हुए मूवीज़ और एक लाइव बातचीत की तरल, त्वरित प्रकृति के बीच के अंतर को पाटने की कोशिश कर रहा है। ऐसा करने के लिए, वैज्ञानिक ऐसे मॉडल बना रहे हैं जो केवल एक पूरी तस्वीर को एक साथ "पेंट" नहीं करते, बल्कि इसके बजाय वीडियो को फ्रेम-दर-फ्रेम "स्ट्रीम" करते हैं, जो आपकी आवाज़ पर आपकी बातों के दौरान ही प्रतिक्रिया देते हैं, बिल्कुल वैसे ही जैसे एक मानव अभिनेता निर्देशक के तत्काल संकेतों के आधार पर एक दृश्य में सुधार करता है।
यहाँ Vidu S1 आता है, एक नया मॉडल जो एक सुपर-फास्ट, सुपर-रिस्पॉन्सिव डिजिटल अभिनेता की तरह काम करता है जो कभी भी लय नहीं खोता। इस प्रोजेक्ट के पीछे के शोधकर्ताओं ने "ऑफलाइन" वीडियो जनरेशन की समस्या को हल करना चाहा, जहाँ आपको परिणाम के लिए मिनटों या घंटों तक इंतजार करना पड़ता है। इसके बजाय, उन्होंने एक ऐसी प्रणाली बनाई है जो आपको अपनी आवाज़ से एक डिजिटल पात्र को नियंत्रित करने देती है। इसे एक वीडियो गेम पात्र की तरह समझें जो केवल एक पूर्व-लिखित स्क्रिप्ट का पालन नहीं करता है, बल्कि आपकी आवाज़ के आदेशों को सुनता है और तुरंत प्रतिक्रिया देता है, चाहे आप उन्हें हाथ हिलाने, बैठने, या अपने हाथों से दिल का आकार बनाने के लिए कहें। खास बात यह है कि यह केवल कुछ सेकंड के लिए काम नहीं करता है; पेपर सुझाव देता है कि Vidu S1 इसे "अनंत" समय के लिए जारी रख सकता है बिना पात्र के चेहरे के धुंधले हुए या उनकी गतिविधियों के अजीब और झटकेदार हुए, जो एक समस्या है जो आमतौर पर तब होती है जब AI लंबे वीडियो बनाने की कोशिश करता है।
Vidi S1 के पीछे की टीम ने केवल दिमाग ही नहीं बनाया; उन्होंने इसे तेज़ चलाने के लिए एक सुपर-कुशल इंजन भी बनाया। उन्होंने विशेष ट्रिक्स (जिन्हें वे "TurboDiffusion" और "TurboServe" कहते हैं) का उपयोग किया ताकि वीडियो जनरेशन को सामान्य कंप्यूटर ग्राफिक्स कार्ड पर, जो शायद एक गेमर के सेटअप में पाया जाता है, सिमटा जा सके। परिणाम? मॉडल 540p रिज़ॉल्यूशन पर 42 FPS (फ्रेम प्रति सेकंड) की गति से वीडियो निकाल सकता है। इसे समझने के लिए, मानक वीडियो 30 FPS पर चलता है, तो यह वास्तव में वास्तविक समय (real-time) से भी तेज़ है, जिसका अर्थ है कि AI बिना लैग के लाइव बातचीत के साथ तालमेल बिठा सकता है। शोधकर्ताओं ने इसका परीक्षण करने के लिए उपयोगकर्ताओं को अपनी फोटो, एनीमे पात्रों, या यहाँ तक कि पालतू जानवरों को अपलोड करने के लिए कहा, और फिर उन्हें वॉयस निर्देश दिए। मॉडल ने सफलतापूर्वक उन वीडियो को जेनरेट किया जहाँ पात्रों ने निर्देशों का पालन किया, जैसे पैर उठाना या थम्स अप देना, जबकि उनका चेहरा बिल्कुल वैसी ही फोटो जैसा दिखता रहा जो आपने अपलोड की थी।
पेपर जिस सबसे बड़ी बाधा का सामना करता है, वह है "ड्रिफ्ट" (drift) की समस्या। कल्पना कीजिए कि आप किसी व्यक्ति का चित्र बनाने की कोशिश कर रहे हैं, लेकिन हर बार जब आप एक नया विवरण जोड़ते हैं, तो पूरी तस्वीर धीरे-धीरे विकृत और मुड़ने लगती है जब तक कि वह व्यक्ति एक राक्षस जैसा न दिखने लगे। कई AI वीडियो मॉडल इस समस्या का सामना करते हैं जब वे लंबे वीडियो बनाने की कोशिश करते; वीडियो जितना लंबा होता जाता है, पात्र का चेहरा या पृष्ठभूमि उतनी ही विकृत होती जाती है। Vidu S1 एक चतुर मेमोरी सिस्टम का उपयोग करता है जिसे "TwinCache" कहा जाता है ताकि इसे रोका जा सके। यह एक लाइब्रेरियन की तरह है जो गति को सुचारू रखने के लिए पिछले कुछ सेकंड के "रफ स्केच" को रखता है, जबकि एक "अंतिम पॉलिश किए गए संस्करण" को भी रखता है ताकि पात्र का चेहरा स्पष्ट और पहचानने योग्य बना रहे। यह वीडियो को बिना पात्र के बिखर जाए, अनंत काल तक चलने की अनुमति देता है।
पेपर यह भी बताता है कि हालांकि अन्य मॉडल मौजूद हैं, लेकिन उनमें से अधिकांश या तो इंटरैक्टिव होने के लिए बहुत धीमे हैं, या सीधे वॉयस कमांड को नहीं समझ सकते, या थोड़े समय के बाद टूट जाते हैं। Vidu S1 को विशेष रूप से इसके विपरीत डिज़ाइन किया गया है: यह आपकी आवाज़ को एक प्रत्यक्ष कमांड के रूप में लेता है, वीडियो को तुरंत जेनरेट करता है, और जब तक आप बात करना चाहते हैं तब तक इसे स्थिर रखता है। उनके परीक्षणों में, मॉडल की तुलना अन्य शीर्ष प्रणालियों से की गई, और यह निर्देशों का पालन करने और उनकी गतिविधियों के स्वाभाविक दिखने के मामले में सबसे ऊपर रहा। शोधकर्ताओं का कहना है कि इस तकनीक के साथ, हम एक ऐसे भविष्य के करीब पहुँच रहे हैं जहाँ आप एक डिजिटल पात्र के साथ लाइव, व्यक्तिगत बातचीत कर सकते हैं जो बिल्कुल एक वास्तविक व्यक्ति की तरह दिखता और चलता है, जिसे आपके कंप्यूटर पर ऑन द फ्लाई (on the fly) जेनरेट किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।