MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation
MilliVid एक पदानुक्रमित ऑटोएनकोडर (hierarchical autoencoder) का उपयोग करके फ्रेमों को मल्टी-स्केल टोकन में संकुचित करता है और एक वीडियो डिफ्यूजन मॉडल के भीतर एक मोटे-से-सूक्ष्म (coarse-to-fine) रोलआउट रणनीति का उपयोग करता है, जिससे वैश्विक ज्यामिति और वस्तु स्थायित्व (object permanence) को संरक्षित करते हुए कम्प्यूटेशनल लागत को कम किया जाता है, और इस प्रकार वीडियो जनरेशन में लंबी दूरी की निरंतरता (long-range consistency) की चुनौती का समाधान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक दोस्त को एक बहुत लंबी कहानी सुनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक छोटा सा नोटपैड है। यदि आप हर एक दृश्य के हर एक विवरण को लिखने की कोशिश करते हैं—पेड़ का हर पत्ता, फुटपाथ की हर दरार, दीवार की हर बनावट—तो आप कुछ ही वाक्यों के बाद जगह खत्म कर देंगे। जब तक आप कहानी के अंत तक पहुँचेंगे, आप शुरुआत के बारे में पूरी तरह भूल चुके होंगे।
यही वह समस्या है जिसका सामना आज वीडियो AI मॉडल कर रहे हैं। वे लंबे, सुसंगत वीडियो बनाना चाहते हैं, लेकिन उनके "नोटपैड" (कंप्यूटर मेमोरी) एक लंबे अनुक्रम के सभी विवरणों को रखने के लिए बहुत छोटे हैं। इसके परिणामस्वरूप, वे भ्रमित होने लगते हैं (hallucinate), यह भूल जाते हैं कि वस्तुएं कहाँ गईं या वीडियो आगे बढ़ने के साथ कमरे का लेआउट बदल जाता है।
पेपर MILLIVID एक चतुर समाधान प्रस्तावित करता है: एक साथ सब कुछ याद रखने की कोशिश करना बंद करें। इसके बजाय, पहले बड़ी तस्वीर (big picture) को याद रखें, और सूक्ष्म विवरण बाद में भरें।
उन्होंने इसे कैसे किया, यहाँ कुछ रोजमर्रा के उदाहरण दिए गए हैं:
1. "रशियन नेस्टिंग डॉल" मेमोरी सिस्टम
अधिकांश वीडियो AI मॉडल हर फ्रेम को फुल रेजोल्यूशन में स्टोर करने की कोशिश करते हैं। MILLIVID एक hierarchical tokenizer का उपयोग करके खेल बदल देता है। इसे रशियन नेस्टिंग डॉल्स (एक के अंदर एक खिलौना) के सेट या अलग-अलग ज़ूम स्तरों वाले मानचित्र की तरह समझें:
- कोर्स लेवल (बड़ी तस्वीर - The Coarse Level): यह सबसे छोटी डॉल या सबसे कम ज़ूम वाला मैप है। यह घास की बनावट या ईंटों का रंग नहीं दिखाता। यह केवल कमरे के आकार, दीवारों की स्थिति और मुख्य वस्तुओं की स्थिति को याद रखता है। क्योंकि यह बहुत सरल है, AI एक बार में सैकड़ों ऐसे "बड़ी तस्वीर" वाले फ्रेम याद रख सकता है।
- फाइन लेवल (विवरण - The Fine Level): यह सबसे बड़ी डॉल या अधिकतम ज़ूम वाला मैप है। यह घास की बनावट, ईंटों के पैटर्न और लाइटिंग जोड़ता है। लेकिन क्योंकि यह बहुत विस्तृत है, AI इससे पहले कि इसकी मेमोरी खत्म हो जाए, केवल कुछ ही फ्रेम याद रख पाता है।
उदाहरण: कल्पना कीजिए कि आप अपने दोस्त को एक शहर का वर्णन कर रहे हैं।
- पुराना तरीका: आप पूरी यात्रा के दौरान हर इमारत की हर एक खिड़की का वर्णन करने की कोशिश करते हैं। आप थक जाते हैं और 10 मिनट के बाद शहर का लेआउट भूल जाते हैं।
- MILLIVID का तरीका: पहले, आप पूरे एक घंटे के लिए शहर का लेआउट (कहाँ पार्क है, नदी कहाँ बहती है) बताते हैं। फिर, जैसे ही आप किसी विशिष्ट इमारत के करीब पहुँचते हैं, आप विवरण (दरवाजे का रंग, खिड़की में फूल) जोड़ते हैं। आप पूरी अवधि के दौरान "बड़ी तस्वीर" को अपने दिमाग में रखते हैं ताकि आप कभी रास्ता न भटकें।
2. "कोर्स-टू-फाइन रोलआउट" (Coarse-to-Fine Rollout)
पेपर वीडियो जेनरेट करने का एक नया तरीका पेश करता है जिसे coarse-to-fine rollout कहा जाता है।
वीडियो को फुल डिटेल के साथ फ्रेम-दर-फ्रेम जेनरेट करने के बजाय (जिससे AI अतीत को भूल जाता है), मॉडल चरणों में काम करता है:
- चरण 1: यह "धुंधले" या लो-डिटेल वाले फ्रेमों का एक लंबा अनुक्रम जेनरेट करता है। क्योंकि ये सरल हैं, AI एक साथ 100+ फ्रेमों को ट्रैक रख सकता है। यह सुनिश्चित करता है कि कहानी सुसंगत रहे (कार सड़क पर बनी रहती है, इमारत गायब नहीं होती)।
- चरण 2: यह वापस जाता है और हाल के फ्रेमों को "शार्प" करता है, यानी उनमें हाई-डेफिनिशन विवरण जोड़ता है।
- जादुई ट्रिक: महत्वपूर्ण रूप से, जब यह हाल के फ्रेमों में विवरण जोड़ता है, तो यह दूर के फ्रेमों के लो-डिटेल संस्करणों को देखता है ताकि यह सुनिश्चित हो सके कि कहानी अभी भी तर्कसंगत है।
उदाहरण: इसे एक पेंटिंग स्केच करने की तरह समझें।
- पहले, आप पूरे दृश्य का एक रफ स्टिक-फिगर आउटलाइन बनाते हैं ताकि पोज और पोजीशन सही रहें। आप बिना गड़बड़ी किए इस तरह पूरा दृश्य बना सकते हैं।
- फिर, आप फोरग्राउंड (सामने) के लोगों में मांसपेशियां, कपड़े और चेहरे के भाव जोड़ते हैं।
- आप बैकग्राउंड (पीछे) के व्यक्ति की मांसपेशियों को पेंट करने की कोशिश नहीं करते जब तक कि आपको यह पता न हो कि वे कहाँ खड़े हैं, अन्यथा आप उन्हें गलत जगह पर पेंट कर सकते हैं।
3. "माइनक्राफ्ट" टेस्ट
यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने केवल सुंदर फिल्में ही नहीं दिखाईं। उन्होंने Minecraft का उपयोग किया।
- क्यों? माइनक्राफ्ट एक 3D दुनिया है जहाँ आप घूमते हैं। यदि AI लेआउट भूल जाता है, तो आप दीवार के आर-पार जा सकते हैं या एक पेड़ गायब होकर दूसरी जगह दिखाई दे सकता है।
- परिणाम: उन्होंने अपने तरीके का परीक्षण वर्तमान के बेहतरीन मॉडलों (जैसे FramePack) के खिलाफ किया। पुराने मॉडल एक ऐसा वीडियो जेनरेट करते थे जहाँ खिलाड़ी कुछ देर चलता था, और फिर दुनिया में "ग्लिच" आ जाता था—इमारतें खिसक जाती थीं, या रास्ता गलत तरीके से खुद पर ही लूप हो जाता था।
- MILLIVID का प्रदर्शन: क्योंकि इसने अपनी मेमोरी में दुनिया के "कोर्स" मैप को पूरे समय बनाए रखा, यह ऐसे लंबे वीडियो जेनरेट कर सका जहाँ खिलाड़ी सैकड़ों कदम चलता है, घूमता है, और उन्हीं इमारतों को बिल्कुल सटीक रूप से देखता है जिनसे वह पहले गुजर चुका था।
निष्कर्ष (The Bottom Line)
पेपर का दावा है कि यह स्वीकार करके कि हम दूर के अतीत के हर छोटे विवरण को याद नहीं रख सकते, हम अतीत की संरचना (structure) को बहुत बेहतर तरीके से याद रख सकते हैं।
- पुराना दृष्टिकोण: "मैं पिछले 5 सेकंड के हर विवरण को पूरी तरह से याद रखूँगा, लेकिन मैं 10 सेकंड पहले जो हुआ था उसे भूल जाऊँगा।"
- MILLIVID दृष्टिकोण: "मैं 10 सेकंड पहले जो कुछ भी हुआ था उसकी सामान्य आकृति और स्थान को याद रखूँगा, और मैं केवल पिछले 5 सेकंड के सूक्ष्म विवरणों को ही याद रखूँगा।"
यह ट्रेड-ऑफ AI को बहुत लंबे समय तक सुसंगत वीडियो जेनरेट करने की अनुमति देता है, जिससे बिना लाखों डॉलर के सुपरकंप्यूटर की आवश्यकता के वीडियो की "कहानी" को सुसंगत बनाए रखा जा सकता है। लेखकों ने विशेष रूप से माइनक्राफ्ट गेमप्ले पर इसका परीक्षण किया और पाया कि इसने मौजूदा तरीकों की तुलना में काफी अधिक सुसंगत परिणाम दिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।