VGI-Bench: Probing Visual Intelligence in Video Generation Models
यह शोध पत्र VGI-Bench प्रस्तुत करता है, जो 27 कार्यों और 810 इंस्टेंसों से बना एक व्यापक बेंचमार्क है जिसे वीडियो जनरेशन मॉडल्स की विजुअल रीजनिंग क्षमताओं का कड़ाई से मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि Seedance 2.0 जैसे अत्याधुनिक सिस्टम भी केवल 51.0% सटीकता प्राप्त करते हैं और जनरेशन प्रक्रिया के दौरान विश्वसनीय आत्म-सुधार (self-correction) के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे कंप्यूटर की कल्पना करें जो न केवल दुनिया को देखता है, बल्कि यह भी कल्पना कर सकता है कि वह कैसे बदलती है। वर्षों से, आर्टिफिशियल इंटेलिजेंस को स्थिर छवियों को पहचानने के लिए प्रशिक्षित किया गया है: जैसे चटाई पर बैठी एक बिल्ली, या सड़क पर खड़ी एक कार। हाल ही में, इन प्रणालियों ने वीडियो बनाना सीखा है, जिससे ऐसे चलते-फिरते चित्र बनते हैं जो आश्चर्यजनक रूप से वास्तविक लगते हैं। वैज्ञानिक अब यह जानने के लिए उत्सुक हैं कि क्या ये वीडियो जनरेटर केवल गति की नकल करने से कहीं अधिक गहरा कुछ कर रहे हैं। वे यह पूछ रहे हैं कि क्या मशीनें भौतिक दुनिया के नियमों—गुरुत्वाकर्षण, कारण और प्रभाव, और वस्तुओं के बीच होने वाली अंतःक्रिया—को समझने लगी हैं, ताकि वे परिणाम दिखाने से पहले घटनाओं के एक क्रम के माध्यम से "सोच" सकें। यह प्रश्न इस बात को मापने के नए प्रयास के केंद्र में है कि क्या वीडियो बनाने वाला एआई वास्तव में तर्क कर सकता है, या वह केवल यह अनुमान लगा रहा है कि एक संभावित अंत कैसा दिखता है।
शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए 'VGI-Bench' नामक एक नया परीक्षण स्थल बनाया है। एआई से सरल रेखाओं से बने अमूर्त पहेलियों को हल करने के लिए कहने के बजाय, उन्होंने इसे रोजमर्रा के दृश्यों की वास्तविक तस्वीरें दीं और इसे विशिष्ट, तार्किक नियमों का पालन करने वाले वीडियो बनाने के लिए कहा। ये कार्य चुनौतीपूर्ण लेकिन संभव बनाए गए थे, जिनमें मशीन को चरण-दर-चरण एक प्रक्रिया का अनुकरण करने की आवश्यकता थी। उदाहरण के लिए, एआई को एक भूलभुलैया (मेज़) के शुरुआत में एक खिलौना कार की फोटो दिखाई जा सकती है और उससे दीवारों से टकराए बिना बाहर तक जाने वाली कार का वीडियो बनाने के लिए कहा जा सकता है। एक अन्य कार्य में एक सपाट, खुले हुए कार्डबोर्ड बॉक्स को दिखाया जा सकता है और एआई से उसे 3D आकार में खुद को फोल्ड करते हुए एनिमेट करने के लिए कहा जा सकता है। शोधकर्ताओं ने केवल अंतिम छवि को नहीं देखा; उन्होंने पूरे वीडियो की बारीकी से जांच की ताकि यह देख सकें कि क्या मशीन ने हर क्षण नियमों का पालन किया, जिसमें वस्तुओं का दीवारों के आर-पार जाना, कारों का टेलीपोर्ट होना, या वस्तुओं का गायब होकर फिर से प्रकट होना जैसी चीजों की जांच शामिल थी।
जब उन्होंने आज उपलब्ध सबसे उन्नत वीडियो जेनरेशन मॉडल्स का परीक्षण किया, तो परिणाम आशा और सीमा का मिश्रण रहे। सबसे अच्छा प्रदर्शन करने वाली प्रणाली, 'Seedance 2.0' नामक एक मॉडल, इन सख्त शर्तों के तहत केवल लगभग आधे कार्यों को सही ढंग से हल कर पाई। हालांकि एआई अक्सर सामान्य विचार को सही पकड़ लेता था, लेकिन वह अक्सर एक सुसंगत कहानी बनाए रखने में विफल रहता था। कई वीडियो में, भौतिकी टूट जाती थी: एक झुकी हुई लैपटॉप पर रखी प्याली लुढ़क कर नीचे नहीं गिरती थी, या एक कार ठोस दीवार के सीधे आर-पार चली जाती थी। मशीनें नियमों के साथ भी संघर्ष करती थीं, कभी-कभी आवश्यक चरणों को छोड़ देती थीं या वीडियो के बीच में ही किसी वस्तु की पहचान बदल देती थीं। भले ही अंतिम परिणाम सही दिखता था, लेकिन वहां तक पहुँचने का रास्ता अक्सर असंभव गतिविधियों से भरा होता था, जो यह सुझाव देता है कि मॉडल अंतिम अवस्था की भविष्यवाणी करने में तो अच्छे हैं लेकिन वहां तक पहुँचने की यात्रा का अनुकरण करने में कमजोर हैं।
शोधकर्ताओं ने गहराई से अध्ययन किया कि ये विफलताएं क्यों हुईं। उन्होंने पाया कि इनपुट इमेज की शैली बहुत मायने रखती थी; जब एआई को एक वास्तविक फोटो दी गई, तो इसने एक साधारण रेखा चित्र की तुलना में बेहतर प्रदर्शन किया, जो यह दर्शाता है कि मॉडल वास्तविक दुनिया की छवियों पर प्रशिक्षित हैं और दृश्य शैली बदलने पर संघर्ष करते हैं। उन्होंने यह भी देखा कि वीडियो बनाते समय एआई कैसे "सोचता" है, चरण-दर-चरण। उन्होंने पाया कि मॉडल वीडियो बनाने के दौरान अपनी गलतियों को वास्तव में सुधारते नहीं हैं। यदि एआई वीडियो उत्पन्न करने के शुरुआती चरणों में कोई त्रुटि करता है, तो वह उस त्रुटि के साथ ही बना रहता है, गलत विचार को सुधारने के बजाय उसे ही परिष्कृत करता है। मशीन जल्दी ही एक परिकल्पना (हाइपोथीसिस) पर टिक जाती है और फिर उसे पॉलिश करती है, भले ही वह परिकल्पना भौतिकी के नियमों या कार्य के नियमों का उल्लंघन करती हो।
यह अध्ययन सुझाव देता है कि हालांकि वीडियो जेनरेशन मॉडल दृश्य सामग्री बनाने के लिए शक्तिशाली उपकरण बन रहे हैं, लेकिन उनमें अभी तक उस प्रकार की विश्वसनीय, चरण-दर-चरण तर्क क्षमता विकसित नहीं हुई है जिसका उपयोग मनुष्य दुनिया में नेविगेट करने के लिए करते हैं। वे दिखावट और सरल गतियों का अनुकरण कर सकते हैं, लेकिन उनमें इस बात की गहरी, सुसंगत समझ की कमी है कि चीजें समय के साथ वास्तव में कैसे काम करती हैं। यह नया बेंचमार्क इस अंतर को मापने का एक स्पष्ट तरीका प्रदान करता है, जो दिखाता है कि वर्तमान प्रणालियाँ वास्तविक विजुअल रीजनर (दृश्य तर्ककर्ता) बनने से बहुत दूर हैं। यह उजागर करके कि ये मॉडल कहाँ विफल होते हैं—चाहे वह वस्तुओं को ट्रैक करने में हो, नियमों का पालन करने में हो, या त्रुटियों को सुधारने में—यह शोध अगली पीढ़ी के आर्टिफिशियल इंटेलिजेंस के निर्माण के लिए एक रोडमैप प्रदान करता है जो वास्तव में भविष्य की कल्पना कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।