WorldJen: An End-to-End Multi-Dimensional Benchmark for Generative Video Models
WorldJen जनरेटिव वीडियो मॉडल्स के लिए एक एंड-टू-एंड मल्टी-डायमेंशनल बेंचमार्क पेश करता है जो दोषपूर्ण बाइनरी VQA को हाई-रेज़ोल्यूशन लिकर्ट-स्केल VLM मूल्यांकनों से बदल देता है, जो प्रतिकूल रूप से क्यूरेट किए गए प्रॉम्प्ट्स और एक मजबूत तीन-स्तरीय रेटिंग सिस्टम के माध्यम से मानव प्राथमिकता रैंकिंग के साथ पूर्ण संरेखण प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, उच्च-दांव वाली कुकिंग प्रतियोगिता के मुख्य जज हैं। लेकिन भोजन का स्वाद लेने के बजाय, आप आर्टिफिशियल इंटेलिजेंस द्वारा जेनरेट किए गए वीडियो देख रहे हैं। आपका काम यह तय करना है कि कौन सा AI शेफ सबसे अच्छा है।
लंबे समय तक, जज गलत उपकरणों का उपयोग कर रहे थे। वे यह मापने के लिए एक रूलर (पैमाने) का उपयोग करते थे कि इमेज कितनी "पिक्सेल-परफेक्ट" थी (जैसे यह देखना कि नमक के दाने सही आकार के हैं या नहीं) या रंगों के मिलान को देखने के लिए एक फ्रीक्वेंसी एनालाइजर का उपयोग करते थे। लेकिन ये उपकरण बड़ी तस्वीर को देखने में चूक जाते थे: क्या शेफ ने वास्तव में खाना बनाया? क्या सामग्री का तर्क सही था? क्या सूप उबलकर बाहर गिरा? या शेफ ने बस एक धुंधला, गणितीय रूप से सटीक कचरा बना दिया जो खाने जैसा बिल्कुल नहीं दिखता था?
अन्य हालिया प्रयासों ने जजों से सरल "हाँ या ना" वाले प्रश्न पूछने की कोशिश की जैसे, "क्या भौतिकी (physics) सही है?" लेकिन इंसान (और AI जज) "हाँ" कहते रहते हैं जब तक कि वीडियो पूरी तरह से टूटा हुआ न हो। इससे एक "अच्छे" वीडियो और एक "शानदार" वीडियो के बीच अंतर करना असंभव हो गया।
यहाँ WORLDJEN आता है। इसे एक नए, अत्यंत उन्नत जजिंग सिस्टम के रूप में सोचें जिसे इन समस्याओं को ठीक करने के लिए डिज़ाइन किया गया है। यह इस प्रकार काम करता है, जिसे सरल चरणों में विभाजित किया गया है:
1. मेनू: क्यूरेटेड प्रॉम्प्ट्स (Curated Prompts)
AI को "बिल्ली का वीडियो बनाओ" कहने के बजाय, शोधकर्ताओं ने एक विशिष्ट मेनू के 3,754 जटिल "रेसिपी" (प्रॉम्प्ट्स) तैयार किए। ये साधारण अनुरोध नहीं हैं; इन्हें AI का एक साथ 16 अलग-अलग कौशलों पर परीक्षण करने के लिए डिज़ाइन किया गया है, जैसे:
- मोशन (गति): क्या पात्र सुचारू रूप से चलता है, या वह झटके लेता है?
- फिजिक्स (भौतिकी): यदि एक गेंद फेंकी जाती है, तो क्या वह गुरुत्वाकर्षण के अनुसार गिरती है?
- लॉजिक (तर्क): यदि कोई व्यक्ति पेड़ के पीछे जाता है, तो क्या वह सही ढंग से गायब होता है और फिर से प्रकट होता है?
- एस्थेटिक्स (सौंदर्यशास्त्र): क्या लाइटिंग और रंग सुंदर हैं?
2. ह्यूमन टेस्ट ऑफ (द ग्राउंड ट्रुथ)
किसी भी कंप्यूटर पर भरोसा करने से पहले, शोधकर्ताओं को एक "गोल्ड स्टैंडर्ड" की आवश्यकता थी। उन्होंने 7 मानव विशेषज्ञों को 300 वीडियो (6 अलग-अलग टॉप-टियर AI मॉडल द्वारा बनाए गए) देखने और यह वोट देने के लिए काम पर रखा कि कौन सा बेहतर था।
- परिणाम: इंसानों ने एक स्पष्ट "थ्री-टियर" (तीन-स्तरीय) रैंकिंग पर सहमति व्यक्त की।
- टॉप टियर: दो मॉडल (Veo 3.1 और Kling) स्पष्ट रूप से सबसे अच्छे थे।
- मिड टियर: तीन मॉडल अच्छे थे, लेकिन सांख्यिकीय रूप से एक दूसरे से अविभेद्य थे।
- बॉटम टियर: एक मॉडल बाकी समूह से स्पष्ट रूप से पीछे था।
यह मानव रैंकिंग वह "सत्य" है जिसके विरुद्ध अन्य सब कुछ मापा जाता है।
3. AI जज (द VLM)
अब, शोधकर्ताओं ने पूछा: "क्या एक AI जज (एक विजन-लैंग्वेज मॉडल) इस काम को इंसान की तरह अच्छी तरह से कर सकता है?"
उन्होंने AI से केवल यह नहीं पूछा कि "क्या यह अच्छा है?" इसके बजाय, उन्होंने AI को एक लिकर्ट-स्केल प्रश्नावली (1 से 5 की रेटिंग प्रणाली, जैसे कि Yelp रिव्यू) दी।
- ट्रिक: AI जज वीडियो को उसके पूर्ण, नेटिव रेजोल्यूशन (छोटे थंबनेल में छोटा करने के बजाय) पर देखता है। वह हर वीडियो के बारे में विशिष्ट विवरणों पर 10 विशेष प्रश्न पूछता है (जैसे, "क्या पात्र का हाथ झपका/फ्लिकर हुआ?" या "क्या छाया सही ढंग से चली?")।
- स्कोर: यह प्रत्येक प्रश्न के लिए एक स्कोर देता है, और इन्हें एक अंतिम रैंकिंग में जोड़ा जाता है।
4. बड़ा खुलासा
जब AI जज की रैंकिंग की तुलना "ह्यूमन टेस्ट ऑफ" से की गई, तो परिणाम चौंकाने वाले थे: वे पूरी तरह से मेल खाते थे।
- AI ने सही ढंग से टॉप टियर, मिड टियर और बॉटम टियर की पहचान की।
- इसने मॉडल्स के क्रम पर 100% बार इंसानों के साथ सहमति जताई।
- यह साबित करता है कि एक AI जज, महंगे मानव जजों का एक विश्वसनीय, सस्ता और तेज़ विकल्प हो सकता है।
5. यह पुराने तरीके (VBench) से बेहतर क्यों है?
पेपर मौजूदा सिस्टम जिसे VBench कहा जाता है, के साथ तुलना करता है।
- VBench एक ऐसे जज की तरह है जो एक चाबी के छेद (लो रेजोल्यूशन) के माध्यम से वीडियो को देखते हुए आँखें सिकोड़ता है और केवल यह देखता है कि रंग मोटे तौर पर सही हैं या नहीं। यह अक्सर सबको "परफेक्ट" स्कोर दे देता है क्योंकि अंतर बहुत सूक्ष्म होते हैं।
- WORLDJEN एक आवर्धक लेंस (मैग्निफाइंग ग्लास) के साथ पूरे वीडियो को देखने वाले जज की तरह है। यह भौतिकी की छोटी दरारों और उन सूक्ष्म ग्लिच को ढूंढ निकालता है जिन्हें VBench मिस कर देता है।
- परिणाम: VBench मॉडल्स को सही ढंग से रैंक करने में विफल रहा, जबकि WORLDJEN ने इसे सही ढंग से किया।
6. "फिजिक्स गैप" की खोज
इस नए सिस्टम की एक सबसे दिलचस्प खोज "फिजिक्स गैप" है।
दुनिया के बेहतरीन AI मॉडल भी अभी भी बुनियादी भौतिकी को समझने में खराब हैं।
- रूपक: कल्पना कीजिए कि AI शेफ खाना सजाने (इसे सुंदर दिखाने) और मेज सजाने (कंपोजिशन) में अद्भुत हैं। लेकिन यदि आप उन्हें वास्तव में खाना पकाने (एक गेंद को उछालने या पानी के बहने) के लिए कहते हैं, तो वे अक्सर विफल हो जाते हैं।
- पेपर ने पाया कि शीर्ष मॉडल्स भी "फिजिकल मैकेनिक्स" और "इनर्शियल कंसिस्टेंसी" (जड़त्व निरंतरता) पर खराब स्कोर करते हैं। वे अच्छे दिखते हैं, लेकिन वे अभी तक ब्रह्मांड के नियमों का पालन नहीं करते हैं।
सारांश
WORLDJEN AI वीडियो जनरेटर को टेस्ट करने का एक नया, स्मार्ट तरीका है। यह AI को चुनौती देने के लिए जटिल "रेसिपी" का उपयोग करता है, इंसानों को मानक निर्धारित करने के लिए रखता है, और फिर यह साबित करता है कि एक स्मार्ट AI जज इंसान की तरह ही ग्रेडिंग कर सकता है। यह हमें दिखाता है कि हालांकि AI वीडियो अद्भुत दिखते हैं, फिर भी वे वास्तविक दुनिया के भौतिक नियमों को समझने में संघर्ष करते हैं।
पेपर क्या दावा नहीं करता है:
- यह दावा नहीं करता कि यह सिस्टम मेडिकल डायग्नोसिस या क्लिनिकल उपयोग के लिए तैयार है।
- यह दावा नहीं करता कि यह कल ही हॉलीवुड में फिल्में बनाने के तरीके को तुरंत बदल देगा।
- यह दावा नहीं करता कि AI जज हर एक परिदृश्य में परफेक्ट हैं, केवल यह कि वे इस विशिष्ट सेट के परीक्षणों पर मानव रैंकिंग से मेल खाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।