WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation
यह शोध पत्र WBench प्रस्तुत करता है, जो एक व्यापक मल्टी-टर्न बेंचमार्क है जिसे वीडियो गुणवत्ता, सेटिंग अनुपालन, इंटरेक्शन अनुपालन, निरंतरता और भौतिकी अनुपालन जैसे पांच प्रमुख आयामों में इंटरैक्टिव वीडियो वर्ल्ड मॉडल्स का व्यवस्थित रूप से मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो 289 परीक्षण मामलों और मान्य स्वचालित मेट्रिक्स का उपयोग करके यह प्रकट करता है कि वर्तमान में कोई भी अत्याधुनिक मॉडल सभी क्षेत्रों में उत्कृष्ट नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वीडियो गेम इंजन बना रहे हैं, लेकिन नियमों को कोड करने के बजाय, आप एक AI को दुनिया को "सपनों में" रचने के लिए सिखा रहे हैं। आप उसे एक शुरुआती तस्वीर देते हैं और कहते हैं, "अब, आगे बढ़ो, उस चट्टान के ऊपर से कूदो, और अचानक एक हेलीकॉप्टर दिखाई दे।" AI आपके आदेश के आधार पर वीडियो के अगले कुछ सेकंड तैयार करता है।
समस्या यह है: हमें कैसे पता चलेगा कि यह AI वास्तव में इस काम में अच्छा है या नहीं?
वर्तमान में, इन AI "वर्ल्ड मॉडल्स" (विश्व मॉडलों) को परखने के कई अलग-अलग तरीके हैं, लेकिन वे कार के केवल ब्रेक, या केवल उसकी गति, या केवल उसके पेंट की जांच करने जैसा है। कोई एक एकल, एकीकृत परीक्षण नहीं है जो एक साथ सब कुछ जांच सके।
यहाँ आता है WBENCH। WBENCH को आप इन इंटरैक्टिव वीडियो AI के लिए एक अंतिम "ड्राइवर लाइसेंस परीक्षा" के रूप में समझ सकते हैं।
मुख्य विचार: "वर्ल्ड सिम्युलेटर" टेस्ट
लेखकों ने एक व्यापक परीक्षण सूट बनाया है जिसे WBENCH कहा जाता है। केवल AI से एक सुंदर वीडियो बनाने के लिए कहने के बजाय, वे इसे एक वर्चुअल ड्राइविंग स्कूल में डालते हैं जहाँ इसे उपयोगकर्ता के साथ एक मल्टी-टर्न बातचीत (बहु-चरणीय संवाद) को संभालना होता है।
यह परीक्षण कैसे काम करता है, इसे पाँच सरल श्रेणियों में विभाजित किया गया है:
- द लुक (वीडियो गुणवत्ता): क्या वीडियो स्मूथ और सुंदर दिखता है, या यह झिलमिलाता और धुंधला है? यह कार के पेंट के चमकदार होने या टायरों के गोल होने की जांच करने जैसा है।
- द मेमोरी (सेटिंग का पालन): यदि आपने AI को बताया, "यह एक बर्फीला पहाड़ है जिसमें एक लाल रोबोट है," तो क्या वह पूरे वीडियो के दौरान बर्फ और लाल रोबोट को बनाए रखता है? या क्या रोबोट अचानक नीला हो जाता है और बर्फ पिघल जाती है? यह परीक्षण करता है कि क्या AI ने उन नियमों को याद रखा है जो उसने अपनी बनाई हुई दुनिया के लिए तय किए थे।
- द ओबेडिएंस (बात मानने की क्षमता/इंटरैक्शन का पालन): यदि आप कहते हैं "बाएँ मुड़ें," तो क्या कैमरा वास्तव में बाएँ मुड़ता है? यदि आप कहते हैं "रोबोट कूदता है," तो क्या वह कूदता है? यह "स्टीयरिंग व्हील" वाला परीक्षण है। पेपर में पाया गया कि कुछ AI सुंदर चित्र बनाने में तो माहिर हैं लेकिन आपके आदेशों को सुनने में बहुत खराब हैं।
- द स्टेबिलिटी (स्थिरता/कंसिस्टेंसी): यदि कैमरा एक घेरे में घूमकर वापस शुरुआती बिंदु पर आता है, तो क्या दुनिया बिल्कुल वैसी ही दिखती है जैसी पहले थी? या क्या इमारतें खिसक गईं, या रोबोट गायब हो गया? यह परीक्षण करता है कि क्या AI के पास दुनिया के लेआउट की एक स्थिर "याददाश्त" है।
- द फिजिक्स (भौतिकी का पालन): यदि एक गेंद गिरती है, तो क्या वह नीचे गिरती है? यदि एक कार टकराती है, तो क्या वह पिचकती है? या क्या गेंद आसमान में तैरने लगती है और कार दीवार के आर-पार निकल जाती है जैसे कि वह कोई भूत हो? यह परीक्षण करता है कि क्या AI वास्तविक दुनिया (या काल्पनिक दुनिया) के नियमों को समझता है।
टेस्ट ड्राइव: उन्होंने क्या किया
शोधकर्ताओं ने 289 अलग-अलग "परिदृश्य" (जैसे बर्फीला पहाड़, व्यस्त शहर, या काल्पनिक महल) का एक डेटासेट बनाया। प्रत्येक परिदृश्य के लिए, उन्होंने 1,058 निर्देशों (टर्न) का एक क्रम बनाया।
उन्होंने 20 अलग-अलग AI मॉडल्स का परीक्षण किया (जिसमें Kling, Wan, Genie 3 और अन्य बड़े नाम शामिल हैं)। उन्होंने इन मॉडल्स को निर्देश दिए जैसे:
- "आगे बढ़ें।"
- "कूदें।"
- "कैमरा व्यू को चरित्र के पीछे से बदलकर चरित्र की अपनी आँखों (फर्स्ट पर्सन व्यू) में बदलें।"
- "बारिश कराएं।"
परिणाम: कोई परफेक्ट ड्राइवर नहीं
परीक्षण चलाने के बाद, पेपर में कुछ आश्चर्यजनक बातें सामने आईं:
- अभी तक कोई "सुपर AI" मौजूद नहीं है: ठीक वैसे ही जैसे कोई एक कार एक साथ सबसे तेज़, सबसे सुरक्षित और सबसे अधिक ईंधन-कुशल नहीं होती, कोई भी एकल AI मॉडल हर हिस्से में टेस्ट पास नहीं कर सका। कुछ मॉडल सुंदर वीडियो बनाने में बेहतरीन थे लेकिन निर्देश मानने में बहुत खराब थे। अन्य ने नेविगेशन में महारत हासिल की लेकिन कुछ सेकंड के बाद वे दुनिया के स्वरूप को भूल गए।
- नेविगेशन कठिन है: कैमरा घुमाना (चलना या मुड़ना) वास्तव में वीडियो को सुंदर दिखने से अलग एक कौशल है। एक AI एक शानदार फिल्म बना सकता है लेकिन कहे जाने पर कैमरा घुमाने में विफल हो सकता है।
- "लॉन्ग गेम" कठिन है: जैसे-जैसे बातचीत लंबी होती जाती है (आप जितने अधिक टर्न लेते हैं), AI गलतियाँ करना शुरू कर देता है। यह एक इंसान द्वारा एक जटिल कहानी को याद रखने की कोशिश करने जैसा है; कुछ समय बाद, वे विवरणों को मिलाना शुरू कर देते हैं।
- ओपन सोर्स मुकाबला कर रहा है: कुछ मॉडल्स, जो किसी के भी उपयोग के लिए मुफ्त हैं, विशिष्ट कार्यों पर महंगे, क्लोज्ड-सोर्स मॉडल्स के समान या उनसे बेहतर प्रदर्शन करते हैं।
निष्कर्ष
WBENCH इंटरैक्टिव वीडियो AI को मापने के लिए एक नया, मानकीकृत पैमाना है। यह साबित करता है कि हालांकि ये मॉडल्स फिल्में बनाने में बेहतर हो रहे हैं, फिर भी उन्हें निर्देशों का लगातार पालन करने, अतीत को याद रखने और लंबे समय तक भौतिकी के नियमों का पालन करने के लिए एक विश्वसनीय "वर्ल्ड सिम्युलेटर" बनने में संघर्ष करना पड़ता है।
पेपर यह नहीं कहता कि ये मॉडल्स अभी मानव गेम डिजाइनरों को बदलने या सेल्फ-ड्राइविंग कारों को चलाने के लिए तैयार हैं। इसके बजाय, यह कहता है: "यहाँ ठीक वही जगह है जहाँ वे विफल हो रहे हैं, ताकि डेवलपर्स को पता चल सके कि आगे क्या सुधार करना है।" यह एक डायग्नोस्टिक टूल है जो अगली पीढ़ी के AI को वास्तव में इंटरैक्टिव बनने में मदद करने के लिए बनाया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।