ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation
शॉटवर्स (ShotVerse) एक "प्लान-देन-कंट्रोल" (Plan-then-Control) फ्रेमवर्क पेश करता है जो टेक्स्ट प्रॉम्प्ट से सटीक, सुसंगत और स्वचालित सिनेमाई मल्टी-शॉट वीडियो जनरेशन को सक्षम करने के लिए एक वीएलएम-आधारित (VLM-based) प्लानर और एक विशेष कंट्रोलर का उपयोग करता है, जिसे एक नए क्यूरेटेड हाई-फिडेलिटी डेटासेट द्वारा समर्थित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कोई भी केवल शब्दों में एक दृश्य का वर्णन करके फिल्म निर्देशक बन सकता है। वर्षों से, आर्टिफिशियल इंटेलिजेंस ने इन वर्णनों को चलते-फिरते चित्रों में बदलना सीख लिया है, जिससे बिल्ली के चलने या कार के चलने जैसे छोटे क्लिप्स बनाए जा रहे हैं। इस तकनीक ने वीडियो बनाने की प्रक्रिया को सभी के लिए सुलभ बना दिया है। हालाँकि, एक एकल, निरंतर क्लिप बनाने और एक पूरी फिल्म बनाने के बीच एक बड़ा अंतर है। एक वास्तविक फिल्म केवल एक लंबा शॉट नहीं होती; यह कई अलग-अलग शॉट्स का संग्रह होती है, जिनमें से प्रत्येक का अपना कैमरा एंगल, मूवमेंट और टाइमिंग होती है। फिल्म उद्योग में, जो व्यक्ति यह तय करता है कि कैमरा कैसे हिलेगा—यानी सिनेमैटोग्राफर—वह लेखक जितना ही महत्वपूर्ण होता है। वे चुनते हैं कि कब ज़ूम इन करना है, कब किसी परिदृश्य (लैंडस्केप) के आर-पार पैन करना है, या कहानी को प्रभावी ढंग से बताने के लिए वाइड व्यू से क्लोज-अप पर कब कट करना है। जबकि वर्तमान एआई "कैमरा बाईं ओर घुमाएं" जैसे सरल निर्देशों का पालन कर सकता है, यह एक मल्टी-शॉट दृश्य के जटिल, समन्वित नृत्य को समझने में संघर्ष करता है। यह अक्सर विभिन्न कट्स के बीच कैमरा मूवमेंट को सुसंगत रखने में विफल रहता है, या यह एक निर्देशक के अस्पष्ट विचार को एक सटीक, पेशेवर कैमरा पथ में अनुवादित करने में असमर्थ होता है।
द हांग कॉन्ग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और टेनसेंट वीडियो के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के लिए 'शॉटवर्स' (ShotVerse) नामक एक नया सिस्टम विकसित किया है। उनका कार्य एआई को एक पेशेवर सिनेमैटोग्राफर की तरह कार्य करने के लिए प्रशिक्षित करने पर केंद्रित है, जो लिखित कहानी के आधार पर विभिन्न कैमरा शॉट्स के एक अनुक्रम की योजना बनाने और उसे निष्पादित करने में सक्षम हो। एआई को केवल टेक्स्ट से कैमरा मूवमेंट का अनुमान लगाने के लिए मजबूर करने या किसी इंसान से हर एक कैमरा पथ को मैन्युअल रूप से ड्रा करवाने के बजाय, शोधकर्ताओं ने एक दो-चरणीय प्रक्रिया बनाई। पहले, एक "प्लानर" (planner) कहानी को पढ़ता है और यह पता लगाता है कि प्रत्येक शॉट के लिए कैमरा वास्तव में कैसे हिलना चाहिए। फिर, एक "कंट्रोलर" (controller) उन विशिष्ट योजनाओं का उपयोग करके वास्तविक वीडियो तैयार करता है। उनकी सफलता की कुंजी केवल सॉफ्टवेयर नहीं थी, बल्कि वह डेटा था जिसका उपयोग उन्होंने इसे सिखाने के लिए किया। उन्होंने महसूस किया कि फिल्में बनाना सीखने के लिए, एक एआई को हजारों ऐसे उदाहरण देखने की आवश्यकता है जहाँ कहानी, कैमरा पथ और अंतिम वीडियो पूरी तरह से मेल खाते हों।
इस आधार को बनाने के लिए, टीम ने उच्च गुणवत्ता वाली फिल्मों, टीवी शो और वृत्तचित्रों (डॉक्यूमेंट्री) से 20,000 से अधिक क्लिप एकत्र किए। इन क्लिप्स में कई कैमरा कट्स वाले जटिल अनुक्रम शामिल थे। शोधकर्ताओं ने इन क्लिप्स का विश्लेषण करने और प्रत्येक शॉट में कैमरा द्वारा लिए गए सटीक पथ को निकालने के लिए एक नई विधि विकसित की। उन्होंने इन पथों को एक एकल, एकीकृत समन्वय प्रणाली (unified coordinate system) में संरेखित किया, जिससे यह सुनिश्चित हुआ कि एक शॉट में मूवमेंट दूसरे के संबंध में तर्कसंगत हो। इस प्रक्रिया ने 'शॉटवर्स-बेंच' (ShotVerse-Bench) नामक एक विशाल नया डेटासेट बनाया, जो एआई के लिए एक प्रशिक्षण मैदान के रूप में कार्य करता है। इस डेटा के साथ, उन्होंने अपने दो-भागों वाले सिस्टम को प्रशिक्षित किया। प्लानर, जो एक बड़े विजन-लैंग्वेज मॉडल का उपयोग करता है, "एक शहर के क्षितिज का नाटकीय खुलासा" जैसे विवरण को पढ़ने और स्वचालित रूप से कैमरे के अनुसरण के लिए एक सटीक 3D पथ उत्पन्न करने के बारे में सीखता है। यह कहानी को व्यक्तिगत शॉट्स में तोड़ता है, और प्रत्येक के लिए कोण, दूरी और मूवमेंट का निर्णय लेता है। इसके बाद कंट्रोलर उन पथों को लेता है और वीडियो बनाता है, यह सुनिश्चित करता है कि कैमरा ठीक उसी तरह से चले जैसा योजना बनाई गई थी और साथ ही दृश्य की दृश्य गुणवत्ता और निरंतरता बनी रहे।
इस दृष्टिकोण के परिणाम महत्वपूर्ण हैं। परीक्षण के दौरान, सिस्टम मल्टी-शॉट वीडियो बनाने में सक्षम रहा जो कैमरा निर्देशों का उच्च सटीकता के साथ पालन करते थे, और इसने पिछले तरीकों को पीछे छोड़ दिया जो अनुमान या सरल टेम्पलेट्स पर निर्भर थे। वीडियो में सिनेमाई पेसिंग (pacing) की स्पष्ट समझ दिखाई दी, जिसमें शॉट्स के बीच सहज संक्रमण (transitions) और पूरे अनुक्रम में सुसंगत कैमरा व्यवहार था। शोधकर्ताओं ने पाया कि कैमरा मूवमेंट की योजना बनाने और वीडियो बनाने की प्रक्रिया को अलग करके, वे नियंत्रण का एक ऐसा स्तर प्राप्त कर सकते थे जो पहले असंभव था। सिस्टम ने जटिल परिदृश्यों को सफलतापूर्वक संभाला, जैसे कि पीछे हटते हुए किसी विषय (subject) को ट्रैक करना, या स्थान की समझ खोए बिना वाइड शॉट से क्लोज-अप पर कट करना। इसने यह भी प्रदर्शित किया कि एआई फिल्म के "व्याकरण" को सीख सकता है, यह न केवल समझ सकता है कि कैमरा कैसे हिलाना है, बल्कि यह भी कि कहानी को प्रभावी ढंग से बताने के लिए इसे कैसे चलाना है।
यह कार्य एआई और वीडियो निर्माण के बारे में हमारी सोच में एक बदलाव का प्रतिनिधित्व करता है। यह केवल यादृच्छिक या स्थिर मूवमेंट उत्पन्न करने से आगे बढ़कर एक अधिक संरचित, इरादापूर्ण दृष्टिकोण की ओर बढ़ता है जो मानव फिल्म निर्माण की नकल करता है। शोधकर्ताओं ने दिखाया कि सही प्रकार का डेटा प्रदान करके—जहाँ कहानी, कैमरा योजना और दृश्य आउटपुट सभी संरेखित हों—सिनेमैटिक कैमरा कंट्रोल को स्वचालित करना संभव है। हालांकि वर्तमान में सिस्टम कई शॉट्स वाले एकल दृश्यों पर केंद्रित है, इस पद्धति की सफलता यह सुझाव देती है कि भविष्य में एआई लंबे, अधिक जटिल कथानकों को बनाने में सहायता कर सकता है। यह अध्ययन पुष्टि करता है कि सही उपकरणों और डेटा के साथ, आर्टिफिशियल इंटेलिजेंस फिल्म निर्माण की कला में एक सच्चा सहयोगी बनने के लिए सीख सकता है, जो निर्माता को केवल कहानी पर ध्यान केंद्रित करने देने के लिए कैमरा मूवमेंट के तकनीकी विवरणों को संभाल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।