SkyReels-V4: Multi-modal Video-Audio Generation, Inpainting and Editing model
SkyReels V4 एक एकीकृत मल्टी-मोडल फाउंडेशन मॉडल है जो विविध इनपुट से सिंक्रोनाइज्ड ऑडियो के साथ हाई-फिडेलिटी, 1080p, 15-सेकंड का वीडियो एक साथ जेनरेट करने, इनपेंट करने और एडिट करने के लिए ड्यूल-स्ट्रीम MMDiT आर्किटेक्चर और MLLM-आधारित इंस्ट्रक्शन फॉलोइंग का लाभ उठाता है, जो लंबी अवधि के, सिनेमैटिक-क्वालिटी आउटपुट के लिए एक कुशल दो-चरणीय रणनीति का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म निर्देशक हैं। पुराने दिनों में, आपको एक दृश्य शूट करने के लिए कैमरामैन, संवाद रिकॉर्ड करने के लिए साउंड इंजीनियर, संगीत लिखने के लिए संगीतकार और गलतियों को सुधारने या बाद में नए पात्र जोड़ने के लिए स्पेशल इफेक्ट्स टीम को काम पर रखना पड़ता था। यह एक विशाल, महंगी और बिखरी हुई प्रक्रिया थी।
SkyReels-V4 एक सुपर-पावर्ड "वन-पर्सन मूवी स्टूडियो" की तरह है जो आपके कंप्यूटर में समा जाता है। यह केवल एक वीडियो नहीं बनाता; यह वीडियो और ध्वनि दोनों को एक साथ बनाता है, आपके विशिष्ट निर्देशों को समझता है, और वीडियो बनते समय इसे एडिट भी कर सकता है।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. "ट्विन ब्रेन" आर्किटेक्चर (Dual-Stream MMDiT)
इसे एक ऐसे मॉडल के रूप में सोचें जिसमें दो मस्तिष्क एक साझा "अनुवादक" (translator) द्वारा जुड़े हुए, पूर्ण तालमेल में काम कर रहे हैं।
- मस्तिष्क A (दृश्य/Visuals): यह मस्तिष्क फिल्म के फ्रेम पेंट करता है।
- मस्तिष्क B (ध्वनि/Sound): यह संगीत, संवाद और साउंड इफेक्ट्स की रचना करता है।
- अनुवादक (MLLM): दोनों मस्तिष्क एक विशाल, स्मार्ट भाषा केंद्र (एक Large Language Model पर आधारित) साझा करते हैं। जब आप कहते हैं, "एक साइबरपंक शहर में जैज़ संगीत के साथ एक बिल्ली और कुत्ते की लड़ाई," तो यह अनुवादक "जैज़" और "साइबरपंक" के अर्थ को समझता है और दोनों मस्तिष्कों को ठीक वही निर्देश देता है जिससे ध्वनि दृश्यों के साथ पूरी तरह मेल खा सके।
जादू: पहले, यदि आप एक वीडियो मांगते थे, तो ध्वनि बाद में जोड़ी जाती थी और वह तालमेल से बाहर महसूस होती थी (जैसे एक खराब डबिंग)। SkyReels-V4 उन्हें एक साथ उत्पन्न करता है, इसलिए "जैज़" का उभार ठीक उसी समय आता है जब कैमरा घूमता है, और "लड़ाई" की आवाजें मुक्कों के साथ सटीक रूप से मेल खाती हैं।
2. "मैजिक पेंटब्रश" (Unified Inpainting & Editing)
कल्पना कीजिए कि आपके पास एक पेंटिंग है, लेकिन आप आकाश को बदलना चाहते हैं, एक पक्षी जोड़ना चाहते हैं, या कैनवास को चौड़ा करने के लिए उसे बढ़ाना चाहते हैं। आमतौर पर, आपको प्रत्येक कार्य के लिए अलग-अलग उपकरणों की आवश्यकता होगी।
SkyReels-V4 एक एकल "मैजिक पेंटब्रश" का उपयोग करता है जो हर कार्य को "खाली जगहों को भरने" के रूप में मानकर सब कुछ संभालता है।
- Text-to-Video: आप एक खाली कैनवास देते हैं और एक विवरण देते हैं। यह पूरी फिल्म पेंट करता है।
- Image-to-Video: आप पहला फ्रेम देते हैं (आधा भरा हुआ खाली कैनवास)। यह बाकी की फिल्म पेंट करता है।
- वीडियो एडिटिंग: आप एक मूवी देते हैं और उस हिस्से पर एक "मास्क" (एक स्टेंसिल) लगाते हैं जिसे आप बदलना चाहते हैं (उदाहरण के लिए, बैकग्राउंड को कवर करना)। यह मास्क के नीचे की चीज़ को मिटा देता है और एक नया हिस्सा पेंट करता है, जबकि बाकी फिल्म को बरकरार रखता है।
- रेफरेंस (Reference): आप इसे किसी विशिष्ट शर्ट की फोटो दिखा सकते हैं और कह सकते हैं, "इस शर्ट को पात्र को पहना दो।" मॉडल आपकी फोटो को देखता है और उस सटीक शर्ट को वीडियो में पात्र पर "इनपेंट" (inpaint) कर देता है।
3. "स्मार्ट स्केच" रणनीति (Efficiency)
1080p, 32-फ्रेम-प्रति-सेकंड की फिल्म को 15 सेकंड के लिए बनाना ऐसा ही है जैसे वास्तविक समय में एक विशाल भित्ति चित्र (mural) बनाने की कोशिश करना। इसके लिए आमतौर पर एक सुपरकंप्यूटर की आवश्यकता होती है और इसमें बहुत समय लगता है।
SkyReels-V4 "स्केच फिर रिफाइन" (Sketch then Refine) नामक एक चतुर तकनीक का उपयोग करता है:
- स्केच (The Sketch): पहले, यह गति और टाइमिंग को सही करने के लिए कम रिज़ॉल्यूशन पर पूरी फिल्म को जल्दी से उत्पन्न करता है (जैसे एक रफ पेंसिल स्केच)।
- कीफ्रेम्स (The Keyframes): साथ ही, यह कुछ "कीफ्रेम्स" (महत्वपूर्ण क्षण) को हाई डेफिनेशन में पेंट करता है।
- रिफाइनर (The Refiner): अंत में, एक विशेष "रिफाइनर" मॉड्यूल उस रफ स्केच और उच्च-गुणवत्ता वाले कीफ्रेम्स को लेता है और उनके बीच के अंतराल को भर देता है, जिससे वह एक स्पष्ट, सिनेमा-गुणवत्ता वाली उत्कृष्ट कृति बन जाती है।
यह एक कलाकार की तरह है जो एनाटॉमी को सही करने के लिए जल्दी से एक पोज़ का स्केच बनाता है, और फिर विवरणों पर समय बिताता है, बजाय इसके कि वह पहले सेकंड से ही हर एक बाल को पूरी तरह से पेंट करने की कोशिश करे।
4. यह वास्तव में क्या कर सकता है?
- शून्य से फिल्में बनाना: "ज्वालामुखी के ऊपर उड़ते हुए एक ड्रैगन" टाइप करें, और यह दहाड़ती आग और हवा की आवाजों के साथ एक 15 सेकंड का क्लिप देता है।
- गलतियों को सुधारना: यदि किसी वीडियो में कोई अजीब गड़बड़ी है या आप बैकग्राउंड से किसी व्यक्ति को हटाना चाहते हैं, तो यह वीडियो के उस हिस्से को "हील" (ठीक) कर सकता है।
- कहानी बदलना: आप चलते हुए व्यक्ति का वीडियो ले सकते हैं और बैकग्राउंड को समुद्र तट में बदल सकते हैं, या उनके कपड़े बदल सकते हैं, और यह सब करते हुए उनकी गति को सुचारू बनाए रख सकते हैं।
- ध्वनि सिंक करना: यह एक पात्र को एक विशिष्ट संवाद बोलने के लिए बना सकता है, और उनके होंठ शब्दों के साथ पूरी तरह से मेल खाएंगे।
यह एक बड़ी बात क्यों है?
इससे पहले, आपको वीडियो बनाने, ध्वनि जोड़ने और संपादन करने के लिए अलग-अलग AI टूल्स की आवश्यकता होती थी। वे अक्सर एक-दूसरे के साथ अच्छी तरह से तालमेल नहीं बिठा पाते थे। SkyReels-V4 पहला "ऑल-इन-वन" स्टूडियो है जो एक ही बार में पेशेवर, सिनेमा-स्तर की गुणवत्ता (1080p रिज़ॉल्यूशन) के साथ ये तीनों काम कर सकता है। यह एक कार को हथौड़े और आरी से बनाने के बजाय, एक पूरी तरह से स्वचालित कारखाने का उपयोग करने जैसा है जो कार बनाता है, उसे पेंट करता है और इंजन भी एक साथ स्थापित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।