ViMax: Agentic Video Generation
विमैक्स (ViMax) एक एजेंटिक वीडियो जनरेशन फ्रेमवर्क है जो लंबी अवधि के, कथा-संरचित वीडियो बनाने में वर्तमान विधियों की सीमाओं को दूर करने के लिए समन्वित बहु-एजेंट सहयोग, एक पदानुक्रमित नैरेटिव इंजन और निर्भरता-जागरूक दृश्य निरंतरता तंत्र का उपयोग करता है ताकि पात्र और पर्यावरणीय सुसंगतता को बनाए रखा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप वीडियो का उपयोग करके एक लंबी, जटिल कहानी कहना चाहते हैं, जैसे कि एक लघु फिल्म। वर्तमान में, अधिकांश AI वीडियो उपकरण प्रतिभाशाली लेकिन कम ध्यान केंद्रित करने वाले अभिनेताओं की तरह हैं। वे किसी व्यक्ति के चलने का एक सुंदर 5-सेकंड का क्लिप बना सकते हैं, लेकिन यदि आप उनसे एक ही व्यक्ति के विभिन्न कमरों में चलने, दोस्तों से बात करने और कभी भी अपना चेहरा या कपड़े न बदलने वाली 10 मिनट की फिल्म बनाने के लिए कहते हैं, तो AI भ्रमित हो जाता है। चरित्र अचानक भूरी आँखों के बजाय नीली आँखों वाला हो सकता है, या दृश्यों के बीच रसोई जंगल में बदल सकती है।
ViMax एक नया सिस्टम है जिसे इसे हल करने के लिए डिज़ाइन किया गया है। इसे केवल एक एकल अभिनेता के रूप में नहीं, बल्कि विशेषज्ञ AI एजेंटों की एक टीम द्वारा संचालित एक अत्यधिक संगठित फिल्म उत्पादन कंपनी के रूप में सोचें।
यहाँ बताया गया है कि ViMax कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "निर्देशक का कमरा" (पदानुक्रमित कथा योजना - Hierarchical Narrative Planning)
यदि आप एक एकल AI को एक साथ पूरी फिल्म की पटकथा लिखने के लिए कहते, तो वह बहुत अधिक बोझ महसूस करता और अंत तक पहुँचते-पहुँचते शुरुआत को भूल जाता।
- ViMax का समाधान: ViMax कहानी को एक रशियन नेस्टिंग डॉल (रूसी गुड़िया) की तरह तोड़ देता है।
- पहले, यह बड़े "घटनाक्रमों" (जैसे फिल्म की शुरुआत, मध्य और अंत) की रूपरेखा तैयार करता है।
- फिर, यह उन घटनाओं को "दृश्यों" (Scenes) में तोड़ता है।
- अंत में, यह दृश्यों को व्यक्तिगत "शॉट्स" (कैमरा एंगल) में विभाजित करता है।
- गुप्त नुस्खा (The Secret Sauce): यह सुनिश्चित करने के लिए कि AI छोटे विवरणों पर ध्यान केंद्रित करते समय बड़ी तस्वीर को न भूले, यह एक डिजिटल लाइब्रेरी (रिट्रीवल-ऑगमेंटेड जनरेशन) का उपयोग करता है। हर बार जब AI एक नया दृश्य नियोजित करता है, तो वह अपने पात्रों और कथानक के बारे में खुद को याद दिलाने के लिए अपनी लाइब्रेरी में मूल कहानी को "खोजता" है। यह कहानी को शुरू से अंत तक सुसंगत बनाए रखता है।
2. "निरंतरता विभाग" (दृश्य सुसंगतता - Visual Consistency)
वास्तविक फिल्म निर्माण में, यदि कोई पात्र दृश्य 1 में लाल टोपी पहनता है, तो उसे दृश्य 10 में भी लाल टोपी पहननी चाहिए। यदि वह नीले सोफे पर बैठा है, तो सोफा नीला ही रहेगा। वर्तमान AI उपकरण अक्सर इन विवरणों को भूल जाते हैं।
- ViMax का समाधान: ViMax एक डिपेंडेंसी मैप (ग्राफ-आधारित दृश्य निर्भरता) का उपयोग करता है।
- एक फ्लोचार्ट की कल्पना करें जो सभी शॉट्स को जोड़ता है। यदि शॉट 5 को शॉट 2 जैसा दिखना है, तो सिस्टम उन्हें आपस में जोड़ देता है।
- शॉट 5 उत्पन्न करते समय, AI केवल अनुमान नहीं लगाता; यह संदर्भ के रूप में शॉट 2 की वास्तविक छवि का उपयोग करता है। यह एक कलाकार की तरह है जो पिछले स्केच के ऊपर ट्रेस करता है ताकि यह सुनिश्चित हो सके कि पात्र का चेहरा बिल्कुल वैसा ही दिखे।
- "कैमरा मूव" ट्रिक: यह सुनिश्चित करने के लिए कि एक कमरा अलग-अलग कोणों से एक जैसा दिखे (जैसे एक पात्र को बाईं ओर से देखना, फिर दाईं ओर से), ViMax पहले एक ट्रांजिशन वीडियो बनाता है। यह एक सहज वीडियो बनाता है जिसमें कैमरा एक कोण से दूसरे कोण तक घूमता है, और फिर उस सुचारू गति से आवश्यक विशिष्ट शॉट्स को काट लेता है। यह गारंटी देता है कि 3D स्थान (फर्नीचर, दीवारें) सुसंगत रहे।
3. "गुणवत्ता नियंत्रण टीम" (VLM-आधारित चयन)
कभी-कभी, एक AI ऐसा वीडियो बना सकता है जो ठीक-ठाक दिखता है लेकिन उसमें कोई अजीब गड़बड़ी होती है, जैसे कि छह उंगलियों वाला हाथ।
- ViMax का समाधान: प्रत्येक शॉट के लिए, ViMax केवल एक वीडियो नहीं बनाता है। यह कई उम्मीदवार (जैसे एक ही पोज़ की 5 अलग-अलग तस्वीरें लेना) बनाता है।
- इसके बाद, एक "जज" AI (एक विजन-लैंग्वेज मॉडल) उन सभी को देखता है और उनमें से सबसे अच्छा चुनता है जो पटकथा से मेल खाता है और सबसे अधिक वास्तविक दिखता है। यह सुनिश्चित करता है कि केवल उच्चतम गुणवत्ता वाले क्लिप ही अंतिम फिल्म में शामिल हों।
उन्होंने क्या सिद्ध किया?
शोधकर्ताओं ने ViMax का परीक्षण एक नए बेंचमार्क पर किया जिसे ViMax-Bench कहा जाता है, जो AI को पात्रों और सेटिंग्स को सुसंगत रखते हुए कई शॉट्स (लगातार 13 शॉट्स तक) के साथ वीडियो बनाने की चुनौती देता है।
- परिणाम: ViMax पात्रों को एक जैसा दिखने और कहानी को सुसंगत बनाए रखने में मौजूदा तरीकों (जैसे Sora, Veo और अन्य) से बेहतर प्रदर्शन करता है।
- समझौता (Trade-off): क्योंकि यह इतनी सारी योजना और जाँच कर रहा है, इसलिए इसमें थोड़ा अधिक कंप्यूटिंग पावर और समय लगता है, लेकिन परिणाम कहीं अधिक सुसंगत और लंबा वीडियो होता है।
सारांश में
ViMax को एक सोलो इम्प्रोवाइजेशन एक्ट (जहाँ AI चलते-चलते चीजें बनाता है और अक्सर प्लॉट भूल जाता है) से अपग्रेड करके एक पेशेवर फिल्म क्रू (जहाँ एक निर्देशक, पटकथा लेखक और निरंतरता प्रबंधक यह सुनिश्चित करने के लिए मिलकर काम करते हैं कि कहानी तार्किक रूप से चले और अभिनेता हर दृश्य में एक जैसे दिखें) में बदलने जैसा है।
पेपर में उल्लेखित सीमाएँ:
- यह वास्तविक ड्राइंग और वीडियो बनाने के लिए अन्य शक्तिशाली AI मॉडलों पर निर्भर करता है।
- यह अभी भी बहुत भीड़भाड़ वाले दृश्यों या जटिल इंटरैक्शन (जैसे दो लोगों का हाई-फाइव करना) के साथ संघर्ष कर सकता है।
- यह अभी तक ऑडियो या संवाद सिंक्रोनाइज़ेशन को हैंडल नहीं करता है।
- ऐसे सुसंगत वीडियो जनरेशन का उपयोग करके नकली घटनाओं को बनाने या लोगों का रूप धारण करने के नैतिक संबंध हैं, इसलिए लेखक सुझाव देते हैं कि इसमें सुरक्षा जाँच की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।