VideoGameBench: Can Vision-Language Models complete popular video games?
यह शोधपत्र VideoGameBench को प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जहाँ विजन-लैंग्वेज मॉडल्स को केवल कच्चे विजुअल इनपुट्स और उच्च-स्तरीय निर्देशों का उपयोग करके 1990 के दशक के वीडियो गेम खेलने होते हैं, जो यह प्रकट करता है कि धारणा (perception), स्थानिक नेविगेशन और इन्फरेंस लेटेंसी की सीमाओं के कारण अत्याधुनिक मॉडल्स भी वास्तविक समय के गेमप्ले में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जिसने लाइब्रेरी की हर किताब पढ़ ली है और वह जटिल गणित की समस्याओं को हल कर सकता है। आप सोच सकते हैं, "शानदार! देखते हैं कि क्या यह वीडियो गेम खेल सकता है।"
यही ठीक वही काम किया जो प्रिंसटन यूनिवर्सिटी के शोधकर्ताओं ने किया। उन्होंने एक नया परीक्षण बनाया जिसे VideoGameBench कहा गया, ताकि यह देख सकें कि क्या ये उन्नत एआई मॉडल (जिन्हें विजन-लैंग्वेज मॉडल कहा जाता है) वास्तव में 1990 के दशक के लोकप्रिय वीडियो गेम खेल सकते हैं, बिल्कुल वैसे ही जैसे एक इंसान खेलता है।
यहाँ उनके प्रयोग का विवरण, परिणाम और इसका अर्थ दिया गया है, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है।
सेटअप: द "ब्लाइंडफोल्डेड गेमर" टेस्ट (आंखों पर पट्टी बांधकर खेलने वाला टेस्ट)
आमतौर पर, जब वैज्ञानिक एआई को खेलों पर टेस्ट करते हैं, तो वे एआई को एक 'चीट शीट' देते हैं। वे एआई को बता सकते हैं, "दुश्मन X, Y निर्देशांक (coordinates) पर है," या उन्हें लेवल का नक्शा दे सकते हैं। यह वैसा ही है जैसे आप अपनी गोद में गाइडबुक खुली रखकर वीडियो गेम खेल रहे हों।
VideoGameBench ने नियम बदल दिए।
- नियम: एआई को केवल स्क्रीन की कच्ची तस्वीरें (जैसे आप टीवी देखते समय देखते हैं) और बटनों के कार्यों का एक सरल टेक्स्ट विवरण दिया जाता है (जैसे, "कूदने के लिए 'A' दबाएं")।
- चुनौती: एआई को गेम को समझना होगा, यह याद रखना होगा कि वह कहाँ गया था, और वास्तविक समय (real-time) में दुश्मनों पर प्रतिक्रिया देनी होगी, ठीक वैसे ही जैसे एक मानव खिलाड़ी करता है।
- गेम्स: उन्होंने 1990 के दशक के 10 क्लासिक गेम्स चुने, जिनमें Doom II (एक तेज़ शूटर गेम) से लेकर Civilization (एक धीमा स्ट्रैटेजी गेम) और Pokémon (एक रोल-प्लेइंग एडवेंचर) तक शामिल हैं।
उन्होंने एआई से तीन गुप्त गेम भी छिपा दिए। यह सुनिश्चित करने के लिए था कि एआई केवल अपने ट्रेनिंग डेटा से उत्तर याद नहीं कर रहा है, बल्कि वास्तव में नई चीजों को चलते-फिरते सीख रहा है।
परिणाम: "न्यूबॉर्न" (नवजात) की समस्या
परिणाम आश्चर्यजनक थे। आज के सबसे स्मार्ट और शक्तिशाली एआई मॉडल (जैसे Gemini 2.5 Pro और Claude 3.7) भी बहुत संघर्ष कर रहे थे।
- स्कोर: सर्वश्रेष्ठ मॉडल केवल लगभग 0.48% गेम पूरे कर सके।
- वास्तविकता: सरल शब्दों में कहें तो, इसका मतलब है कि एआई गेम की शुरुआत में ही फंस गया। वह पहला लेवल भी पूरा नहीं कर सका।
इसे ऐसे समझें: आप एक जीनियस गणितज्ञ को एक बिल्कुल नया वीडियो गेम कंसोल सौंपते हैं। वह रॉकेट के प्रक्षेपवक्र (trajectory) की गणना कर सकता है, लेकिन जब वह Super Mario खेलने की कोशिश करता है, तो वह किसी खाई में गिर जाता है क्योंकि उसे समझ नहीं आता कि स्क्रीन पर "नीचे" का मतलब "गिरना" है, या वह तीन मिनट पहले ली गई चाबी को भूल जाता है।
वे क्यों विफल हुए?
पेपर तीन मुख्य कारणों की पहचान करता है जिनकी वजह से एआई फंस गया:
- "जानने-करने" के बीच का अंतर (The "Knowing-Doing" Gap): एआई अक्सर "जानता" था कि उसे क्या करना चाहिए (जैसे, "मुझे दरवाजे तक जाना है"), लेकिन वह गलत बटन दबाता रहता था। यह एक ऐसे व्यक्ति की तरह था जो जानता है कि उसे दुकान तक जाने के लिए बाएं मुड़ना है, लेकिन उसका पैर बार-बार दाएं कदम रख देता है।
- दृश्य भ्रम (Visual Confusion): एआई कभी-कभी यह नहीं पहचान पाता था कि वह क्या देख रहा है। Doom II में, एक एआई पत्थर के ढेर जैसा दिखने वाले मृत दुश्मन पर गोली चला सकता था, जिससे उसकी सारी गोलियां बर्बाद हो जाती थीं। Zelda में, वह किसी पात्र के पास खड़ा होने मात्र से ही यह सोच सकता था कि उसने उससे बात कर ली है, भले ही कोई बातचीत न हुई हो।
- छोटी याददाश्त (Short Memory): वीडियो गेम के लिए लंबे समय तक चीजों को याद रखने की आवश्यकता होती है (जैसे, "मुझे लाल दरवाजा खोलने के लिए नीली चाबी ढूंढनी है")। एआई कुछ ही कदमों के बाद अपने मुख्य लक्ष्य को भूल जाता था, और नई, कम महत्वपूर्ण सूचनाओं के साथ अपनी मेमोरी को ओवरराइट कर देता था।
द "पॉज बटन" एक्सपेरिमेंट
शोधकर्ताओं ने महसूस किया कि कुछ गेम बहुत तेज़ (रियल-टाइम) होते हैं, और एआई सोचने में धीमा होता है। इससे पहले कि एआई बटन दबाने का निर्णय लेता, गेम बदल चुका होता था, जिससे क्रिया बेकार हो जाती थी।
इसे ठीक करने के लिए, उन्होंने VideoGameBench Lite बनाया।
- बदलाव: उन्होंने एआई के सोचने के दौरान गेम पर "पॉज" बटन दबा दिया। गेम तभी आगे बढ़ता था जब एआई कोई आदेश देता था।
- परिणाम: स्कोर थोड़ा बढ़ गया (लग लगभग 1.6% तक), लेकिन एआई फिर भी गेम खत्म करने में विफल रहा। इससे यह साबित हुआ कि समस्या केवल यह नहीं थी कि एआई धीमा था; बल्कि समस्या यह थी कि एआई गेम के लॉजिक को प्रभावी ढंग से समझने में असमर्थ था।
"प्रैक्टिस टेस्ट"
यह देखने के लिए कि क्या एआई बुनियादी कार्यों को संभाल सकता है, उन्होंने तीन छोटे, सरल अभ्यास गेम बनाए:
- क्लिकिंग: एक घूमते हुए बिंदु पर क्लिक करना।
- ड्रैगिंग: एक बिंदु को रेखा के साथ खींचना।
- मेज़ (भूलभुलैया): एक वर्ग को सरल भूलभुलैया के माध्यम से ले जाना।
यहाँ भी एआई संघर्ष करता रहा। जबकि कुछ मॉडल बिंदु पर क्लिक कर सके, लगभग सभी ड्रैगिंग करने या भूलभुलैया में नेविगेट करने में विफल रहे। यह सुझाव देता है कि एआई को बुनियादी भौतिक इंटरैक्शन और स्थानिक तर्क (spatial reasoning) में कठिनाई होती है, न कि केवल जटिल गेम लॉजिक में।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि एआई गणित और कोडिंग में अद्भुत है, लेकिन वर्तमान में यह वीडियो गेम खेलने में बहुत खराब है जब उसे केवल अपनी दृष्टि और अपनी याददाश्त पर निर्भर रहना पड़ता है।
शोधकर्ता उम्मीद करते हैं कि इस कठिन परीक्षण को बनाकर, वे एआई डेवलपर्स को ऐसे सिस्टम बनाने के लिए प्रेरित करेंगे जो बेहतर हों:
- जो वे देखते हैं उसे समझने में (परसेप्शन)।
- जो पहले हुआ उसे याद रखने में (मेमोरी)।
- भविष्य के कदमों की योजना बनाने में (स्ट्रैटेजी)।
जब तक एआई बिना किसी चीट शीट के Doom या Pokémon को नहीं हरा देता, तब तक उसने नए, जटिल वातावरण में सीखने और अनुकूल होने की मानवीय क्षमता में महारत हासिल नहीं की है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।