3D GameDev Arena: Benchmarking Coding Agents That Plan, Build, and Playtest extreme Long-Horizon Browser Games
تقدم هذه الورقة البحثية 3D GameDev Arena، وهو معيار شامل يضم 108 مهام ذات أفق زمني طويل للغاية لتقييم قدرة وكلاء البرمجة الآلية على التخطيط والبناء واختبار ألعاب المتصفح ثلاثية الأبعاد المعقدة من الصفر، مما يكشف أن الوكلاء الحاليين يعانون في مثل هذه المهام وأن صحة الكود على مستوى البرمجة لا تضمن تفضيل اللاعب.
تخيل عالماً يمكنك فيه وصف لعبة فيديو لـكمبيوتر، فلا يكتفي بكتابة الكود البرمجي فحسب، بل يصمم الشخصيات، ويبني العالم ثلاثي الأبعاد، ويختبر عامل المتعة، كل ذلك بمفرده. هذا هو أفق الذكاء الاصطناعي، حيث يعلم الباحثون الآلات كيف تعمل كمهندسي برمجيات. ومنذ فترة، أثبتت أنظمة الذكاء الاصطنا هذه قدرتها على إصلاح أخطاء صغيرة في كود موجود بالفعل أو بناء برامج بسيطة ثنائية الأبعاد. لكن الاختبار الحقيقي لقدرتها يكمن في ابتكار شيء معقد من العدم: لعبة ضخمة ثلاثية الأبعاد تبدو واقعية، وتتمتع بمظهر جيد، وهي ممتعة للعب حقاً. هذا تحدٍ هائل لأن لعبة الفيديو ليست مجرد قائمة من التعليمات؛ بل هي نظام حي حيث يجب أن تعمل الفيزياء والمرئيات وخيارات اللاعب معاً بسلاسة. فإذا كان الكود يعمل ولكن اللعبة بدت جامدة أو مملة، فقد فشلت في تحقيق أهم أهدافها.
لقد تولى فريق من الباحثين من عدة جامعات في الصين هذا التحدي عبر إنشاء ميدان اختبار جديد يسمى "3D GameDev Arena". لقد سعوا لمعرفة ما إذا كان بإمكان وكلاء الذكاء الاصطناعي الحاليين بناء لعبة ثلاثية الأبعاد كاملة من الصفر، بدءاً من مجلد فارغ ووصف نصي بسيط. لم يعطِ الباحثون الذكاء الاصطناعي أي قوالب جاهزة، أو أكواد بدائية، أو نماذج ثلاثية الأبعاد جاهزة للاستخدام. بدلاً من ذلك، كان على الذكاء الاصطناعي تخطيط المشروع بأكله، وإيجاد أو إنشاء أصوله الرقمية الخاصة مثل الشخصيات والبيئات، وكتابة الكود لجعلها تتحرك، ثم لعب اللعبة ليرى ما إذا كانت تعمل. كانت المهام متطلبة، حيث غطت أربعة عشر نوعاً مختلفاً من الألعاب، من السباقات والقتال إلى مغامرات تقمص الأدوار. تطلبت بعض هذه المهام من الذكاء الاصطناعي العمل لمدة تقارب ثماني ساعات، مع إجراء أكثر من ألف نداء منفصل لعقله للتخطيط والبناء والإصلاح.
تكشف نتائج هذه التجربة عن فجوة مذهلة بين ما يمكن للآلة القيام به بشكل صحيح وما يجده البشر ممتعاً. قام الباحثون بتقييم الألعاب بثلاث طرق متميزة. أولاً، فحصوا الكود ليروا ما إذا كانت اللعبة تتبع القواعد، مثل ما إذا كانت صحة الشخصية تنقص بشكل صحيح عند تعرضها للضرب. ثانياً، استخدموا وكلاءً آليين للعب الألعاب والحكم على كيفية ظهور العالم ثلاثي الأبعاد ومدى سلاسة عناصر التحكم. وأخيراً، وضعوا الألعاب في ساحة عامة حيث لعب لاعبون بشريون نسختين مختلفتين من نفس اللعبة وصوتوا للنسخة التي فضلوها. أظهرت النت Findings أنه بينما استطاع الذكاء الاصطناعي غالباً بناء ألعاب اجتازت القواعد التقنية، فإن اجتياز تلك القواعد لم يضمن أن تكون اللعبة ممتعة. في الواقع، كان هناك نظامان للذكاء الاصطناعي أديا أداءً متساوياً في الاختبارات التقنية، ومع ذلك تم تقييمهما بشكل مختلف تماماً من قبل اللاعبين البشر، حيث تم تفضيل أحدهما أكثر من ضعف الآخر.
كشفت الدراسة أن مفتاح النجاح في اللعبة لم يكن في كمية الكود الذي كتبه الذكاء الاصطناعي أو عدد الأجسام ثلاثية الأبعاد التي أضافها إلى المشهد. أحد أنظمة الذكاء الاصطناعي التي أنتجت الألعاب الأكثر شعبية حافظ على قاعدة كود صغيرة ومنظمة، بينما كتب نظام آخر عانى من ضعف تفضيل اللاعبين كميات هائلة من الكود وملأ الشاشة بعشرات النماذج ثلاثية الأبعاد الإضافية، مما جعل التنقل في اللعبة أصعب في كثير من الأحيان. كان الفرق الجوهري يكمن في كيفية فحص الذكاء الاصطناعي لعمله. فالأنظمة التي أحبها البشر أكثر قضت وقتها في لعب اللعبة في متصفح حقيقي، تراقب حركة الشخصيات وتختبر عناصر التحكم كما يفعل اللاعب. أما الأنظمة التي لم يحبها البشر، فقد اعتمدت في الغالب على الفحوصات الثابتة، حيث تتحقق من أن الكود يبدو صحيحاً على الورق دون رؤية اللعبة وهي تعمل فعلياً. يشير هذا إلى أنه لكي يتقن الذكاء الاصطناعي المهام الإبداعية مثل تطوير الألعاب، يجب أن يتعلم تجربة ابتكاراته، وليس فقط التحقق من منطقها.
رغم هذه الرؤى، يخلص الباحثون إلى أن بناء ألعاب ثلاثية الأبعاد كبيرة من الصفر لا يزال بعيداً عن الحل. فقد تمكن أفضل نظام ذكاء اصطناعي من إنجاز حوالي ثلثي المتطلبات التقنية فقط، ولم يصل أي من الأنظمة إلى درجات عالية في قابلية اللعب أو التفضيل البشري. لا يزال الذكاء الاصطناعي يعاني في دمج النماذج ثلاثية الأبعاد المولدة بواسطة الذكاء الاصطناعي في لعبة عاملة، حيث يفشل غالباً في جعل الشخصيات تتناسب مع العالم أو تتحرك بشكل صحيح. علاوة على ذلك، وبينما لم يفقد الذكاء الاصطناعي مسار هدفه حتى بعد ساعات من العمل، إلا أنه فشل مراراً في تكييف خطته لجعل اللعبة تبدو طبيعية. ويؤكد الباحثون أن القدرة على كتابة كود صحيح ليست هي نفسها القدرة على خلق تجربة جذابة. ومع تطور الذكاء الاصطناستمر، فإن الخطوة التالية ليست فقط جعل الآلات قادرة على اتباع التعليمات، بل بناء أنظمة يمكنها فهم الشعور الإنساني الدقيق باللعب.
ملخص تقني: ساحة تطوير الألعاب ثلاثية الأبعاد (3D GameDev Arena)
بيان المشكلة
بينما أظهرت وكلاء البرمجة (coding agents) كفاءة في حل مشكلات المستودعات البرمجية، وتنفيذ سير عمل الطرفية (terminal workflows)، وإنشاء ألعاب ثنائية الأبعاد مدمجة، إلا أن قدرتها على بناء ألعاب ثلاثية الأبعاد ضخمة من الصفر لا تزال غير مثبتة. تفتقر الاختبارات المرجعية الحالية إلى ثلاثة مجالات حاسمة:
البناء من الصفر: غالبًا ما تزود الاختبارات المرجعية السابقة الوكلاء بقوالب جاهزة، أو حزم أصول ثنائية الأبعاد، أو أدوات اختبار مدمجة، مما يفشل في محاكاة تعقيد بناء عالم ثلاثي الأبعاد من مجلد فارغ.
التنفيذ طويل الأمد (Long-Horizon Execution): يتطلب التطوير الحقيقي للألعاب ثلاثية الأبعاد ساعات من العمل وآلاف الاستدعاءات للأدوات. عادة ما تضع الاختبارات المرجعية الحالية سقفًا للتشغيل عند ساعة إلى ساعتين أو بضع مئات من الخطوات، مما يترك نطاق تطوير الألعاب ثلاثية الأبعاد الكامل دون اختبار.
التقييم المتمحور حول اللاعب: يمكن للعبة أن تجتاز جميع اختبارات الوحدة (unit tests) ومع ذلك تفشل في أن تكون "ممتعة". تعتمد الاختبارات المرجعية الحالية بشكل كبير على فحوصات الكود ونماذج التقييم، ونادرًا ما تدمج تفضيلات البشر أو مقاييس القابلية للعب الذاتية.
السؤال المركزي الذي يتم معالجته هو: هل تستطيع وكلاء البرمجة بناء لعبة ثلاثية الأبعاد ضخمة من الصفر، وهل ستكون اللعبة الناتجة ممتعة حقًا للعب؟
المنهجية: ساحة تطوير الألعاب ثلاثية الأبعاد (3D GameDev Arena)
يقدم المؤلفون 3D GameDev Arena، وهو اختبار مرجعي يتكون من 108 مهمة لتطوير الألعاب من الصفر عبر 14 نوعًا (مثل الأكشن، RPG، السباقات) ومستويين من الصعوبة (متوسط وصعب).
بناء المهام
المواد المصدرية: تُشتق المهام من "الشرائح الرأسية" (vertical slices) لألعاب تجارية تتصدر القوائم (مثل Monster Hunter، League of Legends، Crazyracing KartRider).
المواصفات: تُعرف كل مهمة بمواصفات نصية تتراوح بين 2,500 إلى 5,100 كلمة بناءً على نموذج حلقة اللعب لـ "غوارديولا" (Guardiola's Gameplay Loop model)، بما في ذلك الدور، الأهداف، تصميم اللعبة، ومعايير القبول.
القيود: يتلقى الوكلاء لا كود برمجي ابتدائي، ولا أصول مجمعة، ولا أدوات اختبار مدمجة. يجب عليهم البدء من مساحة عمل فارغة، واختيار حزمة التكنولوجيا الخاصة بهم (مع اشتراط وجود ملف index.html كمدخل)، واستقاء أو توليد الأصول ثلاثية الأبعاد ذاتيًا (باستخدام البحث عبر الويب أو أدوات مثل Meshy).
بروتوكول التوليد
خط الإنتاج مؤتمت بالكامل، حيث ينتقل من التخطيط إلى التنفيذ، ثم البناء، ثم اختبار اللعب الذاتي:
التخطيط: يقوم وكيل قائد بفحص مساحة العمل ووضع مخطط يغطي الميكانيكا، تنظيم الحالة (state organization)، واستقاء الأصول.
التنفيذ: يقوم وكيل تنفيذ بتطبيق المخطط باستخدام التطوير المدفوع بالوكلاء الفرعيين والتحقق عبر المتصفح التفاعلي.
النطاق: يبلغ متوسط عدد استدعاءات LLM حوالي 1,000 استدعاء؛ وتستخدم أطول عمليات التشغيل 14,407 استدعاءً، و2.13 مليار توكن، و608 أصلًا، وتستغرق من 2.6 إلى 7.9 ساعة.
إطار تقييم ثلاثي المستويات
يقترح البحث مجموعة تقييم مبتكرة تمتد من صحة الكود إلى متعة اللاعب:
التقييم الوظيفي غير المرئي:
يتم إنشاء الاختبارات بعد عملية البناء من خلال التكيف مع الكود البرمجي المحدد (لا توجد خطافات/hooks محددة مسبقًا).
يعمل في متصفح بدون واجهة رسومية (headless browser)، للتحقق من منطق الحالة، القواعد الرقمية، وانتقالات الحالة دون رندرة بصرية أو لقطات شاشة.
تعتمد الدرجات على نسبة العناصر الفرعية التي تم اجتيازها مقابل معيار ثابت.
اختبار اللعب القائم على الوكيل:
العرض ثلاثي الأبعاد: يقارن نموذج حكم العرض المرئي المسجل في المتصفح مقابل ألعاب مرجعية ثابتة باستخدام مقياس برادلي-تيري (Bradley-Terry scale) لتقييم الجودة البصرية وتكوين المشهد.
القابلية للعب: يقوم الوكلاء بتقييم "لحظات" محددة (مثل دخول مشهد، الفشل في مستوى) على مقياس من 1 إلى 5 لـ التحكم (الاستجابة) والتدفق (وضوح الحالة/الخطوات التالية).
التفضيل البشري (الساحة العمياء):
يلعب المشاركون البشريون لعبتين تم بناؤهما لنفس المهمة بواسطة إعدادات مختلفة في مقارنة زوجية عمياء.
تُجمع النتائج في درجة برادلي-تيري (BT Score)، والتي تمثل معدل الفوز المتوقع ضد خصم متوسط.
النتائج الرئيسية
قيمت الدراسة أربعة تكوينات (تجمع بين أدوات مثل Codex CLI ونماذج مثل GPT-6.1 Sol، GPT-6 Astra، Kimi K3، وGLM-5.3).
فجوة الأداء: حقق أفضل تكوين درجة وظيفية بلغت 64.7/100، مما يشير إلى أن تطوير الألعاب ثلاثية الأبعاد من الصفر لا يزال بعيدًا عن الحل. لم يصل أي تكوين إلى درجة 70 في اختبار اللعب القائم على الوكيل.
الكود مقابل المتعة: الكود الصحيح لا يضمن التفضيل البشري. فقد تعادل كل من kimi-k3 وgpt-6-astra في الدرجات الوظيفية، ومع ذلك كانت درجة BT الخاصة بـ gpt-6-astra أكثر من ضعف درجة kimi-k3.
تباين التقييم: تتسع الفجوة بين التكوينات كلما انتقل التقييم ليقترب من اللاعب:
فجوة الدرجة الوظيفية: أقل من 15 نقطة. يد. فجوة القابلية للعب: أقل من 15 نقطة.
فجوة العرض ثلاثي الأبعاد: ~35 نقطة.
فجوة التفضيل البشري (درجة BT): >40 نقطة.
استراتيجيات تصحيح الأخطاء (Debugging):
الوكلاء الذين اعتمدوا على الفحوصات الثابتة (فحص الأنواع، اختبارات الوحدة المعزولة) حققوا درجات وظيفية عالية ولكن تفضيلًا بشريًا منخفضًا.
الوكلاء المفضلون (مثل gpt-6.1-sol، gpt-6-astra) قضوا معظم وقت تصحيح الأخطاء في اختبارات الدخان الحية في المتصفح (live browser smoke tests) وعمليات البناء الكاملة، مما سمح باكتشاف المشكلات البصرية والتحكم التي فاتتها الاختبارات الثابتة.
التعامل مع الأصول: لم يرتبط إضافة المزيد من الكائنات ثلاثية الأبعاد بتحسين الألعاب. استخدم kimi-k3 أكبر عدد من الأصول (13 نموذجًا محملًا، 60 نموذجًا بدائيًا) ولكنه سجل أدنى مرتبة في التفضيل. ظل دمج النماذج ثلاثية الأبعاد المولدة بالذكال الاصطناعي في المنطق القابل للعب عقبة، حيث نجح gpt-6-astra فقط في دمج الشبكات (meshes) المولدة في جزء ضئيل من عمليات البناء.
الاحتفاظ بالأهداف: لم "ينسَ" الوكلاء أهدافهم خلال الدورات الطويلة (الاحتفاظ بالهدف >96% حتى في الربع الأخير). لم يكن الفرق بين عمليات البناء الناجحة والفاشلة هو تدهور الذاكرة، بل كان طريقة التحقق (الاختبار الحي مقابل التحليل الثابت).
الأهمية والادعاءات
يزعم البحث أن 3D GameDev Arena هو أول اختبار مرجعي لتقييم وكلاء البرمجة في تطوير الألعاب ثلاثية الأبعاد من الصفر عبر مدى زمني طويل جدًا باستخدام استراتيجية تقييم متعددة الوسائط.
قصور الاختبارات المرجعية المتمحورة حول الكود: تظهر النتائج أن صحة الكود هي شرط ضروري ولكنه غير كافٍ لنجاح اللعبة. يمكن أن تكون اللعبة صحيحة وظيفيًا ولكنها غير قابلة للعب أو غير متسقة بصريًا.
مقياس "المتعة": تؤكد الدراسة أن التفضيل البشري هو الحكم النهائي على جودة اللعبة، وأن الوكلاء الحاليين يعانون في التحسين لهذا المقياس دون حلقات تغذية راجعة صريحة من اللعب الحي.
نموذج تصحيح الأخطاء: تشير النتائج إلى أنه بالنسبة للمهام الإبداعية طويلة الأمد، يجب على الوكلاء إعطاء الأولوية للتحقق أثناء التشغيل (البناء واللعب) على التحقق الثابت (فحص الأنواع) لإنتاج نتائج ترضي المستخدمين البشريين.
الاتجاه المستقبلي: يشير المؤلفون إلى أن الطبيعة المستهلكة للوقت في التقييم (التي تتطلب توليد اختبارات مخصصة، تسجيل، وتصويت بشري) هي قيد حالي، مما يحدد الحاجة إلى خطوط إنتاج تقييم أسرر كخطوة تالية طبيعية.
يخلص البحث إلى أنه بينما يمكن للوكلاء الحفاظ على الأهداف طويلة المدى، فإن القدرة على بناء لعبة ثلاثية الأبعاد "ممتعة" من الصفر تظل تحديًا مفتوحًا، وتعتمد بشكل كبير على قدرة الوكيل على التصحيح الذاتي من خلال التفاعل الحي بدلاً من التحليل الثابت.