GameCraft-Bench: Can Agents Build Playable Games End-to-End in a Real Game Engine?
यह शोध पत्र GameCraft-Bench प्रस्तुत करता है, जो 140 Godot-आधारित कार्यों का एक बेंचमार्क है जिसे कोडिंग एजेंटों की पूर्ण, खेलने योग्य गेम एंड-टू-एंड जेनरेट करने की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान फ्रंटियर मॉडल पहचानने योग्य मैकेनिक्स लागू करने के बावजूद आर्टिफैक्ट पूर्णता और इंटरैक्टिव सुसंगतता प्राप्त करने में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक रोबोट शेफ को काम पर रखा है और उसे एक जटिल, कई कोर्स वाले डिनर की रेसिपी दी है। आप सिर्फ यह नहीं चाहते कि रोबोट कागज के एक टुकड़े पर रेसिपी लिख दे; आप चाहते हैं कि वह वास्तव में भोजन पकाए, उसे प्लेट में सजाए और परोसे ताकि आप उसका एक निवाला ले सकें और स्वाद ले सकें।
यह मूल रूप से इस पेपर, GameCraft-Bench, के बारे में है। यह एक परीक्षण है कि क्या AI कोडिंग एजेंट वास्तव में एक खेलने योग्य वीडियो गेम को शून्य से "पका" सकते हैं, बजाय इसके कि वे केवल उसके लिए कोड लिखें।
यहाँ सरल उपमाओं का उपयोग करके इस पेपर के मुख्य विचारों का विवरण दिया गया है:
1. समस्या: "रेसिपी बनाम भोजन"
अतीत में, जब हमने कोडिंग पर AI का परीक्षण किया, तो हमने मुख्य रूप से यह जांचा कि क्या कोड कागज पर सही दिख रहा था (जैसे यह जांचना कि रेसिपी की सामग्री सही ढंग से सूचीबद्ध है या नहीं)। लेकिन वीडियो गेम के लिए, केवल कोड देखना पर्याप्त नहीं है। एक गेम को चलना चाहिए, ग्राफिक्स दिखाई देने चाहिए, और खिलाड़ी को एक पात्र को हिलाने और यह देखने में सक्षम होना चाहिए कि क्या होता है।
लेखकों का तर्क है कि AI की गेम बनाने की क्षमता को वास्तव में परखने के लिए, हमें तीन चीजों की आवश्यकता है:
- असली रसोई (इंजन ग्राउंडिंग): AI को एक वास्तविक गेम इंजन (उन्होंने Godot का उपयोग किया, जो एक लोकप्रिय मुफ्त टूल है) में काम करना चाहिए, न कि किसी नकली या सरलीकृत संस्करण में। यह एक शेफ को खिलौने वाले चूल्हे के बजाय असली चूल्हा उपयोग करने के लिए कहने जैसा है।
- पूरा भोजन (आर्टिफैक्ट पूर्णता): AI आपको केवल एक सामग्री (जैसे कूदने वाले पात्र का एक स्क्रिप्ट) नहीं दे सकता। इसे पूरा, पैकेज किया गया गेम देना होगा जो लॉन्च के लिए तैयार हो। कोई भी हिस्सा छूटना नहीं चाहिए।
- स्वाद परीक्षण (इंटरैक्टिव सत्यापन): आप केवल तैयार व्यंजन को देख नहीं सकते; आपको उसे खाना होगा। गेम को खेला जाना चाहिए। AI की सफलता वास्तव में गेम को चलाने, बटन दबाने और यह देखने से तय होती है कि दुनिया सही ढंग से प्रतिक्रिया दे रही है या नहीं।
2. परीक्षण: GameCraft-Bench
शोधकर्ताओं ने एक विशाल टेस्ट किचन बनाया जिसे GameCraft-Bench कहा गया।
- मेन्यू: उन्होंने 15 प्रकार के खेलों (जैसे प्लेटफॉर्मर, रेसिंग गेम्स, स्ट्रैटेजी गेम्स और हॉरर गेम्स) में 140 अलग-अलग चुनौतियां बनाईं।
- प्रक्रिया:
- वे AI को एक प्राकृतिक भाषा का विवरण देते हैं (जैसे, "एक 2D प्लेटफॉर्मर बनाएं जहाँ आप सिक्के एकत्र कर सकें और दुश्मनों से बच सकें")।
- AI Godot इंजन में गेम बनाता है।
- AI को एक "डेमो ट्रेस" भी रिकॉर्ड करना होता है—एक वीडियो स्क्रिप्ट जो ठीक से दिखाती है कि गेम कैसे खेलना है ताकि यह साबित हो सके कि यह काम करता है।
- एक कंप्यूटर सिस्टम उस स्क्रिप्ट का उपयोग करके गेम को "खेलता" है, वीडियो रिकॉर्ड करता है, और फिर एक स्मार्ट AI जज उस वीडियो को देखकर स्कोर देता है।
3. परिणाम: "लिखने में अच्छा, पकाने में बुरा"
परिणाम आश्चर्यजनक और AI समुदाय के लिए थोड़े विनम्र करने वाले थे। यहाँ तक कि सबसे स्मार्ट, सबसे उन्नत AI मॉडल (जैसे Opus-4.7 और GPT-5.5) भी संघर्ष कर रहे थे।
- स्कोर: सबसे अच्छे AI ने टेस्ट में केवल लगभग 41% अंक प्राप्त किए। अधिकांश का स्कोर 40% से नीचे था।
- वे क्या अच्छा कर पाए: AI "कोर लूप" बनाने में सक्षम थे। यदि आपने एक ऐसा गेम मांगा जिसमें एक पात्र कूदता है, तो पात्र आमतौर पर कूद सकता था। वे इंजन के हिस्सों को बना सकते थे।
- वे कहाँ विफल हुए: उन्हें इसे एक पूर्ण अनुभव में जोड़ने में संघर्ष करना पड़ा।
- लापता सामग्री: उन्होंने अक्सर ऐसा गेम बनाया जो बहुत छोटा था या जिसमें आगे बढ़ने के लिए कोई लेवल नहीं था।
- टूटे हुए विजुअल्स: ग्राफिक्स वहां हो सकते हैं, लेकिन वे समझ में नहीं आते (जैसे, खिलाड़ी दुश्मन को नहीं देख पाता, या UI टूटा हुआ है)।
- "डेमो" का अंतर: कई AI ने गेम बनाया लेकिन यह साबित करने के लिए आवश्यक "डेमो ट्रेस" रिकॉर्ड करना भूल गए कि यह काम करता है। यह एक शेफ द्वारा भोजन पकाने लेकिन जज के लिए उसे प्लेट में सजाना भूल जाने जैसा है।
4. मुख्य खोजें (क्यों?)
पेपर ने इस बात की गहराई से जांच की कि AI क्यों विफल हुए:
- देखना ही विश्वास करना है: जो AI सबसे अच्छा प्रदर्शन कर रहे थे, वे वे थे जो गेम बनाते समय उसकी स्क्रीन को देख रहे थे। उन्होंने विजुअल आउटपुट को एक डिबगिंग टूल की तरह इस्तेमाल किया। यदि पात्र अजीब लग रहा था, तो उन्होंने कोड को ठीक किया। वे AI जिन्होंने बिना स्क्रीन देखे केवल कोड लिखा, उन्होंने अधिक गलतियाँ कीं।
- व्यस्त होना बेहतर नहीं है: एक AI मॉडल (MiMo) ने बहुत सारा कोड लिखा और कई कमांड चलाए, लेकिन उसे उच्च स्कोर नहीं मिला। यह एक शेफ द्वारा सब्जियां तेजी से काटने जैसा था लेकिन वास्तव में व्यंजन नहीं बनाया। अगर आप अंतिम चरण को मिस कर देते हैं, तो अधिक काम करने से बेहतर परिणाम की गारंटी नहीं मिलती है।
- अलग-अलग कौशल: कूदने के मैकेनिक (Mechanics) को काम करने के लिए बनाना, गेम को सुंदर दिखाने (Art) या पर्याप्त लेवल रखने (Content) से अलग है। एक AI एक में अच्छा हो सकता है लेकिन दूसरे में बुरा। वे सभी आपस में जुड़े हुए नहीं हैं।
5. निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हालांकि AI कोडिंग लिखने में बहुत अच्छा हो रहा है, लेकिन एंड-टू-एंड गेम क्रिएशन अभी भी एक बड़ी चुनौती है।
वर्तमान AI गेम के "टुकड़े" या सरल प्रोटोटाइप बना सकते हैं, लेकिन वे अभी भी भरोसेमंद तरीके से एक रचनात्मक विचार को लेकर उसे एक पॉलिश किए हुए, खेलने योग्य, पूर्ण गेम पैकेज में नहीं बदल सकते। "सही दिखने वाला कोड लिखने" और "एक ऐसी प्रणाली देने जो काम करती हो" के बीच का अंतर अभी भी बहुत बड़ा है।
संक्षेप में: AI रेसिपी लिख सकता है, लेकिन वह अभी भी पूरा भोजन पकाना और ग्राहक को परोसना सीख रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।