VideoGen Model 1: Prompt Expansion Versus Formatting in Audiovisual Generation
VideoGen Model 1 के एक नियंत्रित पायलट में, कच्चे या केवल पुनर्गठित प्रॉम्प्ट्स की तुलना में क्रिएटिव प्रॉम्प्ट विस्तार ने समग्र दृश्य-श्रव्य गुणवत्ता और प्रॉम्प्ट-संरेखण स्कोर में महत्वपूर्ण सुधार किया, विशेष रूप से जब VA-Judger द्वारा मूल्यांकन किया गया, जबकि दृश्य गुणवत्ता काफी हद तक अपरिवर्तित रही।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक साधारण पाठ्य विवरण से वीडियो बनाना एक ऐसा कार्य है जो भाषा और दृश्य कला के मिलन बिंदु पर स्थित है। एक कंप्यूटर के लिए चलती-फिरती छवि बनाने हेतु, उसे शब्दों को फ्रेमों के एक ऐसे अनुक्रम में अनुवादित करना चाहिए जो प्रकाश, गति और ध्वनि के साथ एक कहानी सुना सके। चुनौती मानव के संक्षिप्त विचार और मशीन की विशिष्ट निर्देशों की आवश्यकता के बीच के अंतर में निहित है। "मेज पर एक मोमबत्ती" जैसा प्रॉम्प्ट एक व्यक्ति के लिए स्पष्ट है, लेकिन एक वीडियो जनरेटर के लिए, इसमें उन विवरणों की कमी है जो यह तय करने के लिए आवश्यक हैं कि प्रकाश कैसे गिरेगा, लौ कैसे हिलेगी, या कमरे की आवाज़ कैसी होगी। शोधकर्ताओं को लंबे समय से संदेह था कि अधिक विस्तृत, संरचित निर्देश बेहतर परिणाम देंगे, लेकिन प्रश्न यह बना रहा कि क्या सुधार केवल शब्दों को सही ढंग से व्यवस्थित करने से आया या उन नए, रचनात्मक विवरणों को जोड़ने से जो मूल प्रॉम्प्ट में मौजूद नहीं थे।
वीडियोजेन (VideoGen) के शोधकर्ताओं की एक टीम ने अपने स्वयं के वीडियो जेनरेशन मॉडल, जिसे मॉडल 1 (Model 1) के रूप में जाना जाता है, का परीक्षण करके इस प्रश्न का उत्तर देने का निर्णय लिया। उन्होंने फॉर्मेटिंग (प्रारूपण) के कार्य को विस्तार देने के कार्य से अलग करने के लिए एक नियंत्रित प्रयोग डिजाइन किया। अपने सेटअप में, उन्होंने वाणिज्यिक विज्ञापनों से लेकर प्रकृति और फंतासी के दृश्यों तक, विषयों की एक विस्तृत श्रृंखला को कवर करने वाले तीस अलग-अलग टेक्स्ट प्रॉम्प्ट लिए। प्रत्येक प्रॉम्प्ट के लिए, उन्होंने कंप्यूटर को फीड करने के लिए तीन संस्करण बनाए। पहला संस्करण बिल्कुल वैसा ही मूल टेक्स्ट था जैसा उपयोगकर्ता ने लिखा था। दूसरा संस्करण मूल विचारों को बरकरार रखता था लेकिन उन्हें एक विशिष्ट संरचना में पुनर्व्यवस्थित करता था जिसे कंप्यूटर समझता था, जिसमें दृश्य विवरण, ध्वनि प्रभाव और पृष्ठभूमि संगीत के लिए क्षेत्रों में निर्देशों को व्यवस्थित किया गया था, बिना किसी नए रचनात्मक विषय को जोड़े। तीसरा संस्करण एक परिष्कृत लेखन प्रणाली का उपयोग करता था जो दोनों कार्य करता था: इसने प्रॉम्प्ट को आवश्यक संरचना में व्यवस्थित किया और फिर इसमें प्रचुर मात्रा में रचनात्मक विवरण जोड़े, जैसे कैमरा एंगल, सामग्रियों की बना बनावट, पात्रों की विशिष्ट गतिविधियाँ और ऑडियो वातावरण की बारीकियां।
शोधकर्ताओं ने नब्बे लघु वीडियो क्लिप उत्पन्न किए, यह सुनिश्चित करते हुए कि प्रत्येक अन्य कारक समान रहे। उन्होंने एक ही कंप्यूटर हार्डवेयर, जेनरेशन प्रक्रिया के लिए एक ही रैंडम स्टार्टिंग पॉइंट और तीनों संस्करणों के प्रत्येक प्रॉम्प्ट के लिए एक ही सेटिंग्स का उपयोग किया। इस सख्त नियंत्रण का अर्थ था कि अंतिम वीडियो में कोई भी अंतर केवल इस बात से जोड़ा जा सकता था कि पाठ्य निर्देश किस तरह से लिखे गए थे। परिणामों का मूल्यांकन करने के लिए, उन्होंने प्रत्येक क्लिप को रेट करने के लिए दो अलग-अलग स्वचालित प्रणालियों का उपयोग किया। इन प्रणालियों ने वीडियो को एक से दस के पैमाने पर पांच श्रेणियों में स्कोर दिया: वीडियो मूल विचार के साथ कितनी अच्छी तरह मेल खाता है, ऑडियो और वीडियो कितने सुसंगत थे, ध्वनि की गुणवत्ता, छवि की गुणवत्ता, और दृश्य कितना पूर्ण और सुसंगत महसूस हुआ।
परिणामों ने विस्तारित प्रॉम्प्ट्स के लिए स्पष्ट लाभ दिखाया। फॉर्मेट किए गए-लेकिन-अपरिवर्तित प्रॉम्प्ट से उत्पन्न वीडियो की तुलना में, विस्तारित, विस्तृत निर्देशों से बने वीडियो को उच्च समग्र स्कोर प्राप्त हुए। एक मूल्यांकन प्रणाली ने विस्तारित संस्करणों को औसतन आधे अंक से अधिक का स्कोर दिया, जो कि सांख्यिकीय रूप से महत्वपूर्ण था। दूसरी प्रणाली ने भी सुधार दिखाया, हालांकि सुधार का अंतर कम था और उस विशिष्ट परिणाम की निश्चितता कम थी। सबसे नाटकीय सुधार प्रॉम्प्ट के इरादे के पालन में देखा गया; विस्तारित निर्देशों ने कंप्यूटर को मूल विजन को अधिक सटीक रूप से समझने और निष्पादित करने में मदद की, जो केवल फॉर्मेटिंग मात्र से कहीं अधिक था।
दिलचस्प बात यह है कि विभिन्न विधियों के बीच वीडियो छवियों की गुणवत्ता स्वयं में बहुत अधिक नहीं बदली। दृश्य स्पष्टता और विवरण लगभग समान रहे, चाहे प्रॉम्प्ट केवल फॉर्मेट किया गया हो या पूरी तरह से विस्तारित। हालांकि, विस्तारित संस्करणों में ऑडियो गुणवत्ता में उल्लेखनीय उछाल देखा गया। ऑडियो को रेट करने वाली प्रणाली ने फॉर्मेट किए गए-केवल क्लिप की तुलना में विस्तारित क्लिप को औसतन पूरे एक अंक अधिक दिए। यह सुझाव देता है कि साउंडस्केप, बैकग्राउंड म्यूजिक और क्रिया एवं शोर के बीच के संबंध के विशिष्ट विवरण जोड़कर, कंप्यूटर अधिक विश्वसनीय और उच्च गुणवत्ता वाला ऑडियो अनुभव बनाने में सक्षम था। अध्ययन इंगित करता है कि जबकि टेक्स्ट को व्यवस्थित करने से मदद मिलती है, वास्तविक मूल्य रचनात्मक विस्तार से आता है जो रिक्त स्थानों को भरता है, जिससे एक अस्पष्ट विचार एक समृद्ध, बहु-संवेदी निर्देश में बदल जाता है जिसका मशीन अधिक सटीकता के साथ पालन कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।