SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation
SymphoMotion एक एकीकृत ढांचा है जो मौजूदा विधियों की तुलना में वीडियो निर्माण में काफी बेहतर दृश्य निष्ठा और गति सुसंगतता प्राप्त करने के लिए एक नए वास्तविक-विश्व डेटासेट (RealCOD-25K) द्वारा समर्थित, स्पष्ट ज्यामिति-जागरूक संकेतों और 3D प्रक्षेपवक्र एम्बेडिंग का उपयोग करके कैमरा प्रक्षेपवक्र और वस्तु गतिशीलता को संयुक्त रूप से नियंत्रित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कैमरा थामे हुए एक फिल्म निर्देशक हैं। एक वास्तविक फिल्म में, आपके पास दो बड़े काम होते हैं: आपको सेट पर कैमरे को घुमाना होता है (पैनिंग, टिल्टिंग, ज़ूमिंग), और आपको अभिनेताओं को मंच पर चलने के लिए निर्देशित करना होता है। यदि आप कैमरा घुमाते हैं लेकिन अभिनेता स्थिर खड़े रहते हैं, तो यह अजीब लगता है। यदि अभिनेता दौड़ते हैं लेकिन कैमरा स्थिर रहता है, तो आप ड्रामा खो देते हैं।
वर्तमान AI वीडियो जनरेटर के साथ समस्या यह है कि वे ऐसे निर्देशकों की तरह हैं जो एक समय में केवल एक ही काम कर सकते हैं। कुछ AI उपकरण कैमरे को चलाने में बहुत अच्छे हैं, लेकिन वीडियो में अभिनेता जम जाते हैं या बिगड़ने लगते हैं। अन्य उपकरण वस्तुओं को चलाने में अच्छे हैं, लेकिन यदि आप कैमरे को हिलाने की कोशिश करते हैं, तो वस्तुएं विकृत हो जाती हैं या गायब हो जाती हैं क्योंकि AI इस बात में भ्रमित हो जाता है कि क्या हिल रहा है और क्या केवल दृष्टिकोण बदल रहा है।
SymphoMotion एक नया AI सिस्टम है जो इसे एक सिम्फनी ऑर्केस्ट्रा के कंडक्टर की तरह काम करके हल करता है। यह "कैमरा" और "अभिनेताओं" (वस्तुओं) दोनों को एक साथ प्रबंधित करने के लिए समन्वय करना सीखता है, ताकि वे एक साथ, एक यथार्थवादी और सिंक्रोनाइज़ तरीके से चल सकें।
यह कैसे काम करता है, यहाँ इसके सरल भागों में विवरण दिया गया है:
1. दो विशेष उपकरण
यह प्रणाली वीडियो को प्रबंधित करने के लिए दो विशिष्ट "कंट्रोल नॉब" का उपयोग करती है:
कैमरा कंट्रोल (द "व्यूपॉइंट" टूल):
कल्पना कीजिए कि आप एक कमरे में घूम रहे हैं। जैसे-जैसे आप चलते हैं, आपकी गति के कारण कमरे की दीवारें और फर्नीचर आपकी दृष्टि में बदलते हैं। पुराने AI उपकरण अक्सर केवल छवि को "खिसकाने" की कोशिश करते थे, जिससे कमरा सपाट और नकली दिखता था।
SymphoMotion एक 3D मैप (कमरे के आकार को दर्शाने वाले बिंदुओं का एक डिजिटल क्लाउड) का उपयोग करता है ताकि कमरे की संरचना को समझा जा सके। जब आप AI को कैमरा चलाने के लिए कहते हैं, तो यह सुनिश्चित करने के लिए इस 3D मैप का उपयोग करता है कि दीवारें और फर्नीचर यथार्थवादी तरीके से बदलें, ठीक वैसे ही जैसे वे तब बदलेंगे यदि आप वास्तव में दृश्य के माध्यम से चल रहे हों। यह ज्यामिति को स्थिर रखता है ताकि वीडियो एक पिघलते हुए पेंटिंग जैसा न दिखे।ऑब्जेक्ट कंट्रोल (द "एक्टर" टूल):
कल्पना कीजिए कि आप चाहते हैं कि एक कुत्ता खेत में दौड़े। पुराने उपकरण शायद सिर्फ AI को कहेंगे "कुत्ते को दाईं ओर ले जाओ।" लेकिन यदि कैमरा भी हिल रहा है, तो AI भ्रमित हो जाता है: क्या कुत्ता हिल रहा है, या कैमरा हिल रहा है?
SymphoMotion इस समस्या को हल करने के लिए कुत्ते के लिए दो प्रकार के निर्देश देता है:- 2D निर्देश: स्क्रीन पर एक साधारण ड्राइंग जो दिखाती है कि कुत्ता चित्र में कहाँ होना चाहिए (जैसे खिड़की पर एक स्टिकी नोट)।
- 3D निर्देश: अंतरिक्ष में एक वास्तविक पथ जो दिखाता है कि कुत्ता हवा में वास्तव में कैसे चलता है।
इन दोनों को मिलाकर, AI बिल्कुल जानता है कि कैमरे के सापेक्ष कुत्ते को कैसे हिलना चाहिए, जिससे यह सुनिश्चित होता है कि कुत्ता ठोस बना रहे और स्वाभाविक रूप से चले, भले ही कैमरा उसके चारों ओर घूम रहा हो।
2. गायब कड़ी: एक नया डेटासेट
AI को यह करने के लिए सिखाने हेतु, आपको एक शिक्षक की आवश्यकता होती है जिसके पास बहुत सारे उदाहरण हों। समस्या यह थी कि किसी के पास भी वास्तविक दुनिया के वीडियो का ऐसा पुस्तकालय नहीं था जहाँ कैमरा मूवमेंट और ऑब्जेक्ट मूवमेंट दोनों को सावधानीपूर्वक मापा और लेबल किया गया हो। मौजूदा वीडियो या तो स्थिर दृश्यों के साथ चलते हुए कैमरों के थे, या स्थिर कैमरे के साथ चलती हुई वस्तुओं के थे।
शोधकर्ताओं ने RealCOD-25K बनाया है। इसे एक विशाल, उच्च-गुणवत्ता वाले 25,000 वीडियो क्लिप के पुस्तकालय के रूप में समझें। प्रत्येक क्लिप के लिए, उन्होंने न केवल वीडियो सहेजा; उन्होंने कैमरे के लिए "स्क्रिप्ट" (वह कहाँ गया) और वस्तुओं के लिए "स्क्रिप्ट" (3D स्पेस में वे कहाँ गए) भी सहेजा। इसने AI को लेंस को हिलाने और विषय को हिलाने के बीच के जटिल संबंध को समझने के लिए प्रशिक्षित किया।
3. आप इसका उपयोग कैसे करते हैं
यह पेपर एक उपयोगकर्ता के अनुकूल इंटरफ़ेस (एक डिजिटल आर्ट स्टूडियो की तरह) का वर्णन करता है:
- आप एक फोटो अपलोड करते हैं।
- AI उस फोटो का एक 3D मॉडल बनाता है।
- आप वस्तुओं को 3D स्पेस में ड्रैग (खींच) सकते हैं (जैसे एक खिलौना कार को पथ पर खींचना) यह बताने के लिए कि आप उन्हें कैसे चलते हुए देखना चाहते हैं।
- आप कैमरे के लिए एक पथ (path) बना सकते हैं।
- AI एक ऐसा वीडियो बनाता है जहाँ कैमरा आपके द्वारा बनाए गए पथ पर चलता है, और वस्तुएं ठीक वहीं चलती हैं जहाँ आपने उन्हें खींचा था, और यह सब एक वास्तविक, सुसंगत दृश्य की तरह दिखता है।
परिणाम
परीक्षण के दौरान, SymphoMotion ने ऐसे वीडियो बनाए जो पिछले तरीकों की तुलना में बहुत अधिक यथार्थवादी दिखे।
- दृश्य गुणवत्ता: वीडियो अधिक स्पष्ट और कम विकृत थे।
- कैमरा कंट्रोल: कैमरा बिना बैकग्राउंड को बिगाड़े, ठीक वैसा ही चला जैसा अनुरोध किया गया था।
- ऑब्जेक्ट कंट्रोल: वस्तुएं सुचारू रूप से चलीं और कैमरे के सापेक्ष सही स्थान पर बनी रहीं, भले ही मूवमेंट जटिल क्यों न हो।
संक्षेप में, SymphoMotion पहला ऐसा सिस्टम है जिसने सफलतापूर्वक AI को एक पूर्ण फिल्म निर्देशक बनने के लिए सिखाया है, जो एक विश्वसनीय, चलती हुई दुनिया बनाने के लिए कैमरा और अभिनेताओं दोनों को एक साथ संभालने में सक्षम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।