ملخص تقني: VideoGameBench

بيان المشكلة

بينما أظهرت نماذج الرؤية واللغة (VLMs) كفاءة في المهام المعقدة التي تتحدى القدرات البشرية مثل الرياضيات المتقدمة والبرمجة، إلا أن قدرتها على أداء المهام التي تعتمد على التحيزات الاستقرائية الفطرية لدى البشر — وتحديداً الإدراك، والملاحة المكانية، وإدارة الذاكرة — لا تزال غير مدروسة بشكل كافٍ. تعتمد الاختبارات المرجعية الحالية غالباً على عوالم شبكية مبسطة، أو بيئات نصية فقط، أو دعامات خاصة بالألعاب (مثل الوصول إلى الحالة الداخلية، أو التراكبات البصرية، أو الأدوات المصممة خصيصاً) والتي لا تعكس قيود التفاعل في العالم الحقيقي. تفترض الورقة أن ألعاب الفيديو الحقيقية، وخاصة تلك التي تعود إلى حقبة التسعينيات (عصر الـ 32 بت)، تعد بيئات اختبار مثالية لأنها صُممت لتكون بديهية للبشر، مستفيدة من نفس هذه التحيزات الاستقرائية. تكمن المشكلة الجوهرية التي تعالجها الورقة في تقييم ما إذا كانت نماذج الرؤية واللغة المتطورة يمكنها إكمال ألعاب فيديو كاملة باستخدام المدخلات البصرية الخام فقط، مع وصف رفيع المستوى للأهداف، دون الوصول إلى تلميحات خاصة باللعبة، أو بيانات الحالة الداخلية، أو التدخل البشري.

المنهجية

قدم المؤلفون VideoGameBench، وهو اختبار مرجعي يتكون من 10 ألعاب فيديو شهيرة من حقبة التسعينيات (منصات Game Boy و Game Boy Color و MS-DOS) ومجموعة تطوير تضم 13 لعبة. تم تصميم هذا الاختبار المرجعي بثلاث ميزات مبتكرة:

1. الواقعية والتعقيد: يستخدم بيئات ثنائية وثلاثية الأبعاد تتطلب التخطيط، وحل الألغاز، والتفكير الاستراتيجي، متجاوزاً البيئات المبسطة في الأعمال السابقة.
2. اختبار التعميم: يتم إبقاء ثلاث من ألعاب الاختبار سرية لمنع الإفراط في التخصيص (overfitting) واختبار قدرة الوكيل على التكيف مع بيئات غير مرئية.
3. الحد الأدنى من الدعامات: يتلقى الوكلاء إطارات اللعبة الخام فقط ووصفاً رفيع المستوى لعناصر التحكم والأهداف. لا يُسمح بأي تراكبات بصرية، أو الوصول إلى ذاكرة الوصول العشوائي (RAM) الخاصة باللعبة، أو أدوات خاصة باللعبة.

إطار عمل الوكيل (VG-Agent)

يستخدم التقييم VG-Agent القائم على إطار عمل ReAct (الاستنتاج، الفعل، الملاحظة). يقوم الوكيل بما يلي:

• يتلقى إطارات اللعبة الخام كمدخلات.
• يخرج أفعالاً بلغة طبيعية (مثل press_key "A"، أو click [x,y]).
• يحافظ على مسودة نصية للذاكرة والتخطيط.
• يعمل تحت قيود صارمة: لا تدخل بشري، لا وصول إلى حالة اللعبة خارج نطاق الشاشة، وحد زمني للتشغيل لمنع الحلقات اللانهائية.

VideoGameBench Lite

لفصل قدرات الاستنتاج عن زمن الاستجابة (الذي يعد عائقاً رئيسياً في البيئات التي تعمل بالزمن الحقيقي)، قدم المؤلفون VideoGameBench Lite. في هذا المتغير، يتوقف محاكي اللعبة مؤقتاً بينما يعالج الوكيل المعلومات ويتخذ قراراً بشأن الفعل، مما يحول ألعاب الزمن الحقيقي فعلياً إلى تفاعلات قائمة على الأدوار.

مقاييس التقييم

يتم تتبع التقدم تلقائياً باستخدام التجزئة التصويرية الإدراكية (perceptive image hashing). يقوم النظام بسحب صور نقاط التفتيش (checkpoints) من المسارات المتاحة عبر الإنترنت (مثل YouTube) ويقارنها بإطار اللعبة الحالي للوكيل باستخدام مسافة هامينج (Hamming distance). يتم حساب درجة بناءً على النسبة المئوية للعبة المكتملة بالنسبة لأبعد نقطة تفتيش تم الوصول إليها.

المساهمات الرئيسية

1. اختبار VideoGameBench المرجعي: اختبار معياري وتحدي لتقييم نماذج الرؤية واللغة في بيئات ألعاب متنوعة ومعقدة وفي الوقت الحقيقي دون معلومات إضافية.
2. VideoGameBench Lite: متغير متحكم في زمن الاستجابة لعزل أداء الاستنتاج عن قيود وقت التفاعل.
3. تتبع التقدم الآلي: طريقة مبتكرة للتقييم الدقيق باستخدام التجزئة الإدراكية مقابل مسارات اللعب (walkthroughs)، لتجنب مقاييس النجاح أو الفشل الثنائية.
4. التحليل التجريبي: تقييم شامل للنماذج الرائدة (مثل GPT-4o، وClaude 3.7 Sonnet، وGemini 2.5 Pro، وLlama 4، إلخ) يكشف عن قيود كبيرة في قدرات نماذج الرؤية واللغة الحالية.

النتائج

تكشف التجارب أن نماذج الرؤية واللغة الرائدة تواجه صعوبة كبيرة في التقدم لما بعد المراحل الأولية في أي لعبة:

• أداء VideoGameBench: حققت أفضل النماذد أداءً، وهي Gemini 2.5 Pro و Claude 3.7 Sonnet، درجة إجمالية قدرها 0.48% فقط. سجلت معظم النماذج 0% في غالبية الألعاب، وفشلت حتى في الوصول إلى أول نقطة تفتيش رئيسية.
• أداء VideoGameBench Lite: حتى عند إزالة عامل زمن الاستجيب، يظل الأداء منخفضاً. حققت أفضل النماذج 1.6% فقط في مجموعة Lite. وبينما تحسن الأداء كمياً مقارنة بإعدادات الوقت الحقيقي، إلا أن الوكلاء فشلوا في إكمال الألعاب أو الوصول إلى معالم هامة.
• ألعاب التدريب: في مهام التدريب الأبسط (النقر على المواقع، سحب الماوس، الملاحة ثنائية الأبعاد)، أظهرت النماذج نتائج مختلطة. بينما استطاعت بعض النماذج إكمال مهام النقر الأساسية، إلا أنها واجهت صعوبة في السحب والملاحة، مما يشير إلى نقاط ضعف جوهرية في التحكم المكاني والتنفيذ.

أنماط الفشل

تحدد الورقة ثلاثة أنماط رئيسية للفشل:

1. فجوة "المعرفة-والفعل": غالباً ما تحدد النماذج الهدف بشكل صحيح (مثلاً: "تحرك للأسفل باتجاه الباب") ولكنها تنفذ أفعالاً خاطئة (مثلاً: الضغط على "الأسفل" بشكل متكرر دون محاذاة الشخصية مع الباب)، مما يؤدي إلى الركود.
2. أخطاء المعالجة البصرية: تخطئ النماذ كثيراً في تفسير المدخلات البصرية، مثل الاعتقاد بأن العدو لا يزال حياً بينما هو ميت، أو تخيل تفاعلات مع شخصيات غير لاعبة (NPCs) لم تحدث بالفعل.
3. عجز الذاكرة والتخطيط: يفشل الوكلاء في تتبع الأهداف طويلة المدى أو حالات اللعبة. غالباً ما يقومون باستبدال ذاكرتهم، أو ينسون الأهداف الأساسية (مثل توصيل طرد في لعبة Pokémon Crystal)، أو يعلقون في حلقات تكرارية (مثل المشي ذهاباً وإياباً بين المناطق في Doom II).

الأهمية والادعاءات

تدعي الورقة أن VideoGameBench يضع إطاراً رسمياً لتقييم التحيزات الاستقرائية البشرية (الإدراك، الاستدلال المكاني، الذاكرة) في الوكلاء الذكيين. تشير النتائج إلى أنه رغم الأداء القوي في البرمجة والرياضيات، تفتقر نماذج الرؤية واللغة الحالية إلى المتانة المطلوبة للتفاعل متعدد الوسائط في الوقت الحقيقي في البيئات الديناميكية.

يؤكد المؤلفون أن هذا الاختبار المرجعي يعمل كاختبار صارم لـ التعميم و الاستقلالية. ومن خلال إزالة الدعامات الخاصة بالألعاب، يسلط الاختبار الضوء على أن الوكلاء الحاليين يعتمدون بشكل كبير على المساعدات الخارجية بدلاً من قدرات الاستدلال الجوهرية. ويأمل المؤلفون أن يساهم هذا الصياغة الرسمية في دفع التقدم نحو تطوير وكلاء يمكنهم العمل في بيئات جديدة وغير مرئية، مع ما يترتب على ذلك من آثار محتملة على تطبيقات الذكاء الاصطناዊ المادي (Embodied AI) في العالم الحقيقي مثل الروبوتات والتحكم في الطائرات بدون طيار. وتحافظ الورقة على نبرة متواضعة، مشيرة إلى أنه رغم محدودية هذا الاختبار في ألعاب التسعينيات، إلا أنه يوفر أساساً ضرورياً لفهم الفجوات بين قدرات الذكاء الاصطناعي الحالية والوصول إلى مستوى الأداء البشري.