Visko Orbis 1.0: A Live Model for Real-Time Interactive Long Video Generation
विस्को ऑर्बिस 1.0 एक लाइव, इंटरैक्टिव मॉडल है जो वास्तविक समय में, एक घंटे के 4K वीडियो जनरेट करने में सक्षम है जो 24 FPS पर चलते हैं और डायनेमिक प्रॉम्प्ट स्विचिंग की अनुमति देते हैं तथा एक बाउंडेड मल्टी-स्केल मेमोरी सिस्टम के माध्यम से निरंतर गुणवत्ता और शैली बनाए रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, लेकिन आराम से बैठकर कहानी को चलने देने के बजाय, आप निर्देशक, पटकथा लेखक और मुख्य अभिनेता तीनों एक साथ हैं। आप "कट!" चिल्ला सकते हैं और दृश्य के बीच में ही कथानक बदल सकते हैं, और फिल्म आपके नए विचार के आधार पर तुरंत अगले दृश्य को अपडेट कर देती है। यह रियल-टाइम इंटरैक्टिव वीडियो जनरेशन का सपना है। लंबे समय तक, कंप्यूटरों के साथ वीडियो बनाना केक बनाने जैसा था: आपने सामग्री (प्रॉम्ट) मिलाई, उसके पकने (जेनरेशन) का इंतज़ार किया, और एक बार जब वह ओवन से बाहर आ गया, तो वह बन चुका था। यदि आप उसमें और चॉकलेट चिप्स डालना चाहते थे, तो आपको फिर से शुरुआत करनी पड़ती थी। लेकिन क्या होगा अगर आप ओवन के अंदर हाथ डालकर, पकते समय ही रेसिपी बदल सकें, और केक तुरंत खुद को ढाल ले? यह "लाइव मॉडल्स" की दुनिया है। ये ऐसे कंप्यूटर प्रोग्राम हैं जो केवल एक सवाल का जवाब देकर रुक नहीं जाते; वे चलते रहते हैं, जैसे किसी वीडियो गेम में एक स्थायी पात्र, जो आपके कमांड देते ही तुरंत प्रतिक्रिया देने के लिए तैयार रहता है। सबसे बड़ी चुनौती कहानी को सुसंगत बनाए रखना रही है। यदि आप कहानी को बीच में बदलते हैं, तो क्या पात्र भूल जाता है कि वह कौन है? क्या बैकग्राउंड एक धुंधले मलबे में बदल जाता है? क्या वीडियो एक लूप में फंस जाता है? वैज्ञानिक एक ऐसा सिस्टम बनाने की कोशिश कर रहे थे जो अपनी सुध-बुध खोए बिना या अपनी शैली बदले बिना इन लंबी, बदलती कहानियों को संभाल सके।
यहाँ विस्को ऑर्बिस 1.0 (Visko Orbis 1.0) आता है, एक नया सिस्टम जो एक सुपर-स्मार्ट, अथक वीडियो निर्देशक की तरह काम करता है जो कभी सोता नहीं है। इसे एक जादुई कहानीकार के रूप में सोचें जो एक घंटे तक लगातार वीडियो की कहानी बुन सकता है, और यदि आप अचानक निर्णय लेते हैं, "वास्तव में, आकाश को बैंगनी बना दो और कुत्ते को उड़ा दो," तो वीडियो क्रैश नहीं होता या फिर से शुरू नहीं होता। इसके बजाय, यह आपके नए विचार को चल रही कहानी में सहजता से पिरो देता है, और एक सेकंड से भी कम समय में बदलाव दिखाता है। इस टीम ने एक ऐसा सिस्टम बनाया है जो केवल 5 सेकंड के छोटे क्लिप नहीं बनाता; यह वीडियो का एक "लाइव स्ट्रीम" बनाता है जो घंटों तक चल सकता है। वे इसे "लाइव मॉडल" कहते हैं क्योंकि यह जीवित और सक्रिय रहता है, जिसमें पिछले एक मिनट और पिछले एक घंटे में जो हुआ उसकी याददाश्त होती है, ताकि पात्र और दृश्य सुसंगत बने रहें, भले ही कथानक में उतार-चढ़ाव आए।
तो, यह जादुई ट्रिक कैसे काम करती है? कल्पना कीजिए कि वीडियो एक साथ नहीं बनता, बल्कि "चंक्स" (chunks) नामक छोटे, अदृश्य लेगो ब्लॉक्स से बना है। सिस्टम एक चंक बनाता है, फिर अगला, और फिर अगला। इसका असली राज एक विशेष "मेमोरी बैंक" है जो महत्वपूर्ण विवरणों को थामे रखता है—जैसे मुख्य पात्र की शर्ट का रंग या जंगल की शैली—बिना भरे या जाम हुए। जैसे-जैसे वीडियो लंबा होता जाता है, सिस्टम पुरानी, दूर की यादों को (जैसे "30 मिनट पहले क्या हुआ था") एक सारांश में संकुचित (compress) कर देता है, जबकि हालिया अतीत (पिछले कुछ सेकंड) को हाई डेफिनिशन में रखता है। यह कंप्यूटर को भ्रमित हुए या रंगों के अजीब हरे रंगों में बदलने दिए बिना वीडियो को घंटों तक चलाने में मदद करता है।
पेपर दिखाता है कि यह सिस्टम रियल-टाइम में 4K वीडियो (जो बहुत स्पष्ट और साफ है) को 24 फ्रेम्स प्रति सेकंड (चिकनी फिल्मों की मानक गति) पर जेनरेट कर सकता है। इसका मतलब है कि आप वीडियो को स्क्रीन पर बनते हुए देख सकते हैं, और आप किसी भी क्षण एक नया प्रॉम्ट टाइप कर सकते हैं—चाहे आप एक कार्टून, एक लाइव स्ट्रीम, या एक वर्चुअल साथी बना रहे हों—और वीडियो तुरंत अपडेट हो जाएगा। शोधकर्ताओं ने अन्य शीर्ष सिस्टमों के मुकाबले इसका परीक्षण किया और पाया कि विस्को ऑर्बिस 1.0 लंबे समय तक वीडियो को अच्छा दिखने, निर्देशों का पालन करने और स्थिर रहने में सबसे बेहतर था। वास्तव में, जब मनुष्यों ने कई विकल्पों में से सबसे अच्छे लंबे वीडियो को चुनने का खेल खेला, तो उन्होंने अन्य किसी भी सिस्टम की तुलना में विस्को ऑर्बिस 1.0 को अधिक बार चुना, विशेष रूप से इसकी स्थिरता और विश्वसनीयता की प्रशंसा की।
टीम ने केवल इंजन ही नहीं बनाया; उन्होंने इसे वीडियो के एक विशाल पुस्तकालय से सीखने के लिए भी प्रशिक्षित किया, जिसमें खराब वीडियो को फ़िल्टर किया गया और अच्छे वीडियो को व्यवस्थित किया गया ताकि AI समझदारी भरी कहानियाँ सुनाना सीख सके। उन्होंने इसमें एक विशेष "फिजिक्स चेक" भी जोड़ा ताकि यह सुनिश्चित हो सके कि जब एक गेंद फेंकी जाती है, तो वह एक असली गेंद की तरह नीचे गिरती है, न कि एक तैरते हुए गुब्बारे की तरह। परिणाम स्वरूप, यह एक ऐसा टूल है जो वीडियो जनरेशन को एक स्थिर, एक-बार के कार्य से बदलकर मानव और मशीन के बीच एक जीवंत, सांस लेती बातचीत में बदल देता है। यह केवल एक वीडियो बनाने के बारे में नहीं है; यह एक कहानी को जीवित रखने के बारे में है, जो आपकी इच्छा के अनुसार दिशा बदलने के लिए तैयार है, बिना कभी भी सूत्र खोए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।