WorldMark: A Unified Benchmark Suite for Interactive Video World Models
यह शोध पत्र WorldMark को प्रस्तुत करता है, जो कि पहला एकीकृत बेंचमार्क सुइट और ऑनलाइन एरिना है जो विविध प्रणालियों में दृश्यों, क्रिया अनुक्रमों और मूल्यांकन मेट्रिक्स का एक सामान्य सेट प्रदान करके इंटरैक्टिव वीडियो वर्ल्ड मॉडल्स की निष्पक्ष, मानकीकृत तुलना को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया के सर्वश्रेष्ठ शेफ का निर्णय लेने की कोशिश कर रहे हैं एक फूड क्रिटिक (खाद्य समीक्षक) के रूप में। लेकिन यहाँ एक पेंच है: शेफ A आपको केवल अपनी निजी रसोई में और अपनी सामग्री के साथ अपना खाना चखने देता है। शेफ B केवल आपको एक अलग रसोई में और अलग मसालों के साथ अपना खाना चखने देता है। शेफ C तब तक कुछ भी चखने से मना कर देता है जब तक कि आप ऐसी भाषा न बोलें जो केवल उन्हें समझ आती हो।
चूंकि हर कोई अपनी अलग, अलग दुनिया में खाना बना रहा है, आप वास्तव में कभी नहीं कह सकते कि, "शेफ A, शेफ B से बेहतर है।" आप केवल यह कह सकते हैं, "शेफ A का खाना शेफ A की रसोई में अच्छा है।"
यह बिल्कुल वही समस्या है जो इंटरएक्टिव वीडियो वर्ल्ड मॉडल्स (AI जो वीडियो गेम या आभासी दुनिया बनाता है जिसे आप घूमकर देख सकते हैं) के साथ है। अभी, हर AI मॉडल के अपने नियम, अपनी "रसोई" और आदेश लेने का अपना तरीका है। उनकी निष्पक्ष तुलना करना असंभव है।
मिलिए WorldMark से। इसे दुनिया के इन AI विश्व रचनाकारों के लिए पहला मानकीकृत "टेस्ट-टेस्ट" अरीना (मैदान) समझें।
तीन बड़ी समस्याएँ जिन्हें WorldMark हल करता है
1. "भाषा की बाधा" (एकीकृत एक्शन मैपिंग)
समस्या: एक AI "WASD" (आगे/पीछे/बाएं/दाएं जाने के लिए कीबोर्ड कुंजियाँ) समझता है। दूसरा केवल यह समझता है कि "अपना हाथ इस तरह से रखें।" तीसरा केवल यह समझता है कि "एक वाक्य में 'आगे बढ़ो' कहें।"
WorldMark का समाधान: WorldMark एक यूनिवर्सल ट्रांसलेटर (सार्वभौमिक अनुवादक) की तरह काम करता है।
- कल्पना कीजिए कि आपके पास एक सिंगल रिमोट कंट्रोल है जिसमें मानक बटन हैं: आगे बढ़ें, पीछे हटें, बाएं मुड़ें, दाएं मुड़ें।
- WorldMark आपके "आगे बढ़ें" के एक साधारण प्रेस को तुरंत उस विशिष्ट भाषा में बदल देता है जिसे वह विशेष AI समझता है।
- परिणाम: अब, हर AI एक ही कार्य को ठीक उसी समय करने की कोशिश कर रहा है, और एक ही प्रकार के निर्देशों का उपयोग कर रहा है। यह सेब-से-सेब की तुलना (समान तुलना) है।
2. "गायब प्लेबुक" (द टेस्ट सुइट)
समस्या: पहले, हर AI को उसके अपने पसंदीदा दृश्यों (जैसे कि एक विशिष्ट माइनक्राफ्ट किला या एक विशिष्ट शहर) पर परखा जाता था। यदि कोई AI जंगलों में बुरा था लेकिन शहरों में अच्छा था, तो वह शहर के परीक्षणों में छिप सकता था।
WorldMark का समाधान: WorldMark एक मानकीकृत बाधा दौड़ (ऑब्स्टेकल कोर्स) प्रदान करता है जिसमें 500 अलग-अलग चुनौतियाँ हैं।
- दृश्य (Scenes): इसमें 50 अलग-अलग शुरुआती चित्र शामिल हैं, जो यथार्थवादी शहरों और प्राकृतिक स्थानों से लेकर कार्टूनिश या "शैलीबद्ध" (stylized) कला तक फैले हुए हैं।
- व्यू (Views): आप AI को "फर्स्ट-पर्सन" व्यू (जैसे कि गोप्रो पहनकर) या "थर्ड-पर्सन" व्यू (एक वीडियो गेम की तरह चरित्र के पीछे से देखते हुए) से परख सकते हैं।
- कठिनाई: परीक्षण कठिन होते जाते हैं।
- आसान: 20 सेकंड के लिए आगे चलें।
- मध्यम: आगे चलें, फिर पीछे मुड़ें।
- कठिन: एक पूरे मिनट के लिए एक जटिल पेट्रोल रूट (गश्त मार्ग) पर चलें बिना दुनिया के बिखर जाए।
3. "स्कोरकार्ड" (इवैल्यूएशन टूलकिट)
समस्या: आप वीडियो को कैसे ग्रेड देंगे? क्या यह सुंदर है? क्या यह निर्देश मिलने पर चला? क्या दुनिया समझ में आने वाली बनी रही?
WorldMark का समाधान: उन्होंने प्रत्येक उत्पन्न वीडियो के लिए एक तीन-भागों वाला रिपोर्ट कार्ड बनाया है:
- विजुअल क्वालिटी (सुंदरता का स्कोर): क्या वीडियो धुंधला है? क्या लाइटिंग अजीब है? क्या यह एक अच्छी फोटो जैसा दिखता है या एक कचरा?
- कंट्रोल एलाइनमेंट (आज्ञाकारिता का स्कोर): यदि आपने AI को दाएं मुड़ने के लिए कहा, तो क्या वह वास्तव में दाएं मुड़ा? या वह बस तिरछा फिसल गया?
- वर्ल्ड कंसिस्टेंसी (तर्क का स्कोर): यह सबसे महत्वपूर्ण है। यदि आप एक कोने के चारों ओर घूमकर वापस आते हैं, तो क्या कुर्सी अभी भी वहीं है? क्या चरित्र का चेहरा पिघल गया? क्या आसमान पानी में बदल गया? यह जाँचता है कि क्या AI उस दुनिया को याद रखता है जिसे उसने बनाया है।
उन्होंने क्या पाया? (प्लॉट ट्विस्ट)
जब उन्होंने सभी मॉडल्स को इस मानकीकृत परीक्षण से गुजारा, तो उन्होंने कुछ आश्चर्यजनक चीजें खोजीं जो पिछले निजी परीक्षणों में छूट गई थीं:
- सुंदर होने का मतलब स्मार्ट होना नहीं है: एक मॉडल (YUME) ने सबसे सुंदर, कलात्मक दिखने वाले फ्रेम बनाए। लेकिन यदि आप उसकी दुनिया में घूमते हैं, तो तर्क बिखर जाता है। यह एक सुंदर पेंटिंग की तरह है जो हर बार पलक झपकने पर बदल जाती है।
- स्मार्ट होने का मतलब सुंदर होना नहीं है: दूसरे मॉडल (Genie 3) ने दुनिया को पूरी तरह से सुसंगत रखा (कुर्सी कुर्सी ही रही), लेकिन चित्र अन्य मॉडल्स की तुलना में थोड़े कम "कलात्मक" थे।
- "थर्ड-पर्सन" का दुःस्वप्न: जब AI को पीछे से एक चरित्र दिखाना था (जैसे कि एक वीडियो गेम में), तो कई मॉडल्स पूरी तरह से नियंत्रण खो बैठे। वे कैमरा स्थिर नहीं रख सके या चरित्र को फ्रेम में नहीं रख सके। यह एक ऐसे कैमरा ऑपरेटर की तरह है जो अचानक भूल जाता है कि कैमरा कैसे पकड़ना है।
- विशेषज्ञ, सामान्यज्ञ नहीं हैं: एक AI जिसे विशेष रूप से माइनक्राफ्ट पर प्रशिक्षित किया गया था, वह एक यथार्थवादी शहर के दृश्य को बिल्कुल भी नहीं संभाल सका। यह एक ऐसे शेफ की तरह है जो केक बनाने में तो माहिर है लेकिन टोस्ट जला देता है।
यह क्यों मायने रखता है
World-Mark से पहले, यह एक बॉक्सिंग मैच देखने जैसा था जहाँ फाइटर्स की आँखों पर पट्टी बंधी थी और वे अलग-अलग कमरों में लड़ रहे थे। हमें नहीं पता था कि वास्तव में कौन अधिक शक्तिशाली है।
WorldMark उन पट्टियों को हटा देता है, सभी को एक ही रिंग में लाता है, और उन्हें एक ही प्रतिद्वंद्वी देता है। अब, शोधकर्ता अंततः देख सकते हैं कि कौन सा AI वास्तव में एक स्थिर, इंटरैक्टिव दुनिया बना रहा है और कौन सा केवल सुंदर तस्वीरें दिखा रहा है।
उन्होंने एक वेबसाइट (World Model Arena) भी बनाई है जहाँ कोई भी इन AI मॉडल्स को वास्तविक समय में एक-दूसरे के खिलाफ लड़ते हुए देख सकता है, जैसे कि सर्वश्रेष्ठ आभासी दुनिया रचनाकारों के लिए एक लाइव लीडरबोर्ड।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।