GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
यह शोध पत्र GameEngineBench को प्रस्तुत करता है, जो नौ गेम रिपॉजिटरी से प्राप्त अनरियल इंजन 5 (Unreal Engine 5) प्रोजेक्ट्स के भीतर 110 वास्तविक-विश्व C++ कार्यों वाला एक बेंचमार्क है, जो जटिल, स्टेटफुल रियल-टाइम सिस्टम में कार्यात्मक परिवर्तनों को लागू करने और संकलित (compile) करने की कोडिंग एजेंटों की क्षमता का मूल्यांकन करता है और यह प्रकट करता है कि सबसे शक्तिशाली मॉडल भी गहराई से एकीकृत गेम इंजन विकास के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को घर बनाना सिखा रहे हैं। आप उसे एक सरल निर्देश दे सकते हैं जैसे "इस कील को हथौड़े से ठोक दो," और वह शायद बहुत अच्छा काम कर सकता है। लेकिन क्या होगा अगर आप उससे एक ऐसे घर में जाने के लिए कहें जो पहले से ही आधा बना हुआ है, यह पता लगाने के लिए कि प्लंबिंग बिजली के तारों से कैसे जुड़ी है, और फिर एक नया स्मार्ट-लाइटिंग सिस्टम स्थापित करने के लिए कहें बिना मौजूदा लाइटों को तोड़े या शॉर्ट सर्किट किए? यह एक बहुत कठिन परीक्षण है। यही कोडिंग एजेंट्स (coding agents) की दुनिया है—ऐसे आर्टिफिशियल इंटेलिजेंस जिन्हें कंप्यूटर कोड लिखने और ठीक करने के लिए डिज़ाइन किया गया है। लंबे समय से, वैज्ञानिक इन रोबकों का परीक्षण सरल, अलग-थलग कार्यों पर करते आए हैं, जैसे कि गणित की कोई पहेली हल करना या एक एकल फंक्शन लिखना। लेकिन वास्तविक दुनिया कोई पहेली नहीं है; यह एक जटिल, जीवित प्रणाली है जहाँ हर चीज़ दूसरी चीज़ से जुड़ी होती है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या ये AI एजेंट एक चलते हुए सॉफ्टवेयर सिस्टम की अराजकता को संभाल सकते हैं, या वे केवल एक शून्य (vacuum) में काम करते हैं?
GameEngineBench नामक यह शोध पत्र इसी प्रश्न की गहराई में जाता है और इसके लिए वीडियो गेम इंजन को अंतिम परीक्षण प्रयोगशाला के रूप में उपयोग करता है। एक गेम इंजन को केवल गेम बनाने के उपकरण के रूप में नहीं, बल्कि एक जटिल, जीवित शहर के रूप में सोचें जहाँ पात्र (जिन्हें "एक्टर्स" कहा जाता है) इधर-उधर घूमते हैं, एक-दूसरे से बात करते हैं, चीजें याद रखते हैं, और दुनिया के प्रति प्रतिक्रिया देते हैं। शोधकर्ता देखना चाहते थे कि क्या AI इस शहर में कदम रख सकता है, एक विशिष्ट सड़क ढूंढ सकता है, और एक टूटी हुई ट्रैफिक लाइट को ठीक कर सकता है बिना पूरे शहर में ब्लैकआउट किए। उन्होंने Unreal Engine 5, जो एक लोकप्रिय और शक्तिशाली गेम इंजन है, का उपयोग करके एक बेंचमार्क बनाया जिसे GameEngineBench कहा गया। उन्होंने नौ अलग-अलग ओपन-सोर्स गेम प्रोजेक्ट्स से 110 वास्तविक दुनिया के कार्य लिए। ये कार्य केवल "एक लूप लिखें" जैसे नहीं थे; ये कुछ ऐसे थे जैसे "सुनिश्चित करें कि खिलाड़ी का इन्वेंट्री सही ढंग से सेव हो रहा है," "AI को ठीक करें ताकि वह फंस न जाए," या "मल्टीप्लेयर गेम को सिंक करें ताकि सभी को एक ही चीज़ दिखाई दे।" AI को C++ (एक कठिन, सटीक प्रोग्रामिंग भाषा) में कोड लिखना था, उसे कंपाइल करना था, और फिर यह साबित करने के लिए वास्तव में गेम के भीतर चलाना था कि वह काम करता है।
परिणाम AI की दुनिया के लिए एक वास्तविकता की जाँच (reality check) की तरह थे। शोधकर्ताओं ने शीर्ष स्तर के AI मॉडल्स के 12 अलग-अलग "कॉन्फ़िगरेशन" का परीक्षण किया। सबसे अच्छा प्रदर्शन करने वाला मॉडल, claude-fable-5, अपने पहले प्रयास में लगभग 55.5% कार्यों को हल करने में सफल रहा। यह प्रभावशाली लगता है, लेकिन इसका मतलब यह भी है कि वह लगभग आधे समय विफल रहा। इससे भी अधिक बताने वाला तथ्य यह है कि 31 कार्य ऐसे थे जिन्हें कोई भी AI मॉडल हल नहीं कर सका, चाहे उन्होंने कितनी भी कोशिश क्यों न की हो। शोध पत्र सुझाव देता है कि ये विफलताएं केवल इसलिए नहीं थीं क्योंकि AI ने कोई टाइपो किया या सेमीकोलन भूल गया। इसके बजाय, AI गेम इंजन के गहरे, अदृश्य नियमों के साथ संघर्ष कर रहा था। वह अक्सर यह भूल जाता था कि कुछ चीजों को "सर्वर" (मुख्य मस्तिष्क) पर होना चाहिए न कि "क्लाइंट" (खिलाड़ी की स्क्रीन) पर, या उसने किसी वस्तु के जन्म लेने या नष्ट होने के समय के साथ गड़बड़ी की। यह ऐसा ही था जैसे AI को वाक्य लिखना तो आता है, लेकिन उसे पूरी बातचीत का व्याकरण समझ नहीं आता।
अध्ययन यह निष्कर्ष निकालता है कि हालांकि ये AI एजेंट बेहतर हो रहे हैं, लेकिन वे पेशेवर सॉफ्टवेयर विकास की जटिल, एकीकृत वास्तविकता के साथ संघर्ष करते हैं। वे ऐसा कोड लिख सकते हैं जो कागज़ पर अच्छा दिखता है और बिना किसी त्रुटि के कंपाइल भी हो जाता है, लेकिन जब आप वास्तव में इसे एक लाइव, इंटरैक्टिव सिस्टम में चलाते हैं, तो यह सिस्टम के काम करने के नाजुक संतुलन को बिगाड़ देता है। शोधकर्ताओं का तर्क है कि हमें इस तरह के अधिक परीक्षणों की आवश्यकता है, जहाँ AI को यह साबित करना होगा कि उसका कोड एक वास्तविक, चलते हुए वातावरण में काम करता है, न कि केवल एक पाठ्यपुस्तक के उदाहरण में। जब तक AI एक गेम इंजन के जटिल, परस्पर जुड़े शहर में विश्वसनीय रूप से नेविगेट नहीं कर पाता, तब तक हम पूरी तरह से हमारे भविष्य के जटिल सॉफ्टवेयर सिस्टम बनाने के लिए उस पर भरोसा नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।