Resumen Técnico: VideoGameBench

Enunciado del Problema

Aunque los Modelos Visuales-Lingüísticos (VLM) han demostrado competencia en tareas complejas que desafían a los humanos, como matemáticas avanzadas y programación, su capacidad para realizar tareas que dependen de sesgos inductivos innatos humanos —específicamente percepción, navegación espacial y gestión de memoria— permanece poco estudiada. Las evaluaciones existentes suelen basarse en mundos de cuadrícula simplificados, entornos de solo texto o estructuras específicas del juego (por ejemplo, acceso al estado interno, superposiciones visuales o herramientas personalizadas) que no reflejan las limitaciones de la interacción en el mundo real. El artículo postula que los videojuegos reales, particularmente los de la década de 1990 (la era de 32 bits), son campos de prueba ideales porque están diseñados para ser intuitivos para los humanos, aprovechando esos mismos sesgos inductivos. El problema central abordado es evaluar si los VLM de vanguardia pueden completar videojuegos enteros utilizando únicamente entradas visuales crudas y descripciones de objetivos de alto nivel, sin acceso a pistas específicas del juego, datos de estado interno o intervención humana.

Metodología

Los autores introducen VideoGameBench, una evaluación compuesta por 10 videojuegos populares de la década de 1990 (plataformas Game Boy, Game Boy Color y MS-DOS) y un conjunto de desarrollo de 13 juegos. La evaluación está diseñada con tres características novedosas:

1. Realismo y Complejidad: Utiliza entornos 2D y 3D que requieren planificación, resolución de acertijos y pensamiento estratégico, superando los entornos simplificados de trabajos anteriores.
2. Prueba de Generalización: Tres de los juegos de prueba se mantienen en secreto para evitar el sobreajuste y probar la capacidad de un agente para adaptarse a entornos no vistos.
3. Estructura Mínima: Los agentes reciben únicamente fotogramas de juego crudos y una descripción de alto nivel de los controles y objetivos. No se permiten superposiciones visuales, acceso a la RAM interna ni herramientas específicas del juego.

Marco del Agente (VG-Agent)

La evaluación emplea un VG-Agent basado en el marco ReAct (Razonamiento, Actuación, Observación). El agente:

• Recibe fotogramas de juego crudos como entrada.
• Genera acciones en lenguaje natural (por ejemplo, press_key "A", click [x,y]).
• Mantiene una pizarra textual para la memoria y la planificación.
• Opera bajo restricciones estrictas: sin intervención humana, sin acceso al estado del juego más allá de la pantalla y con un límite de tiempo de ejecución para evitar bucles infinitos.

VideoGameBench Lite

Para desvincular las capacidades de razonamiento de la latencia de inferencia (un cuello de botella importante en entornos en tiempo real), los autores introducen VideoGameBench Lite. En esta variante, el emulador del juego se pausa mientras el agente procesa la información y decide una acción, convirtiendo efectivamente los juegos en tiempo real en interacciones por turnos.

Métricas de Evaluación

El progreso se rastrea automáticamente utilizando hashing perceptual de imágenes. El sistema extrae imágenes de puntos de control de guías en línea (por ejemplo, YouTube) y las compara con el fotograma actual del juego del agente utilizando la distancia de Hamming. Se calcula una puntuación basada en el porcentaje del juego completado en relación con el punto de control más lejano alcanzado.

Contribuciones Clave

1. Evaluación VideoGameBench: Una evaluación estandarizada y desafiante para evaluar VLM en entornos de juego en tiempo real, complejos y diversos sin información auxiliar.
2. VideoGameBench Lite: Una variante controlada por latencia para aislar el rendimiento de razonamiento de las limitaciones de tiempo de reacción.
3. Seguimiento Automatizado del Progreso: Un método novedoso para la puntuación granular utilizando hashing perceptual contra guías extraídas, evitando métricas binarias de aprobado/reprobado.
4. Análisis Empírico: Una evaluación exhaustiva de modelos de vanguardia (GPT-4o, Claude 3.7 Sonnet, Gemini 2.5 Pro, Llama 4, etc.) que revela limitaciones significativas en las capacidades actuales de los VLM.

Resultados

Los experimentos revelan que los VLM de vanguardia luchan significativamente para progresar más allá de las etapas iniciales de cualquier juego:

• Rendimiento en VideoGameBench: Los modelos con mejor rendimiento, Gemini 2.5 Pro y Claude 3.7 Sonnet, alcanzaron una puntuación general de solo 0.48%. La mayoría de los modelos obtuvieron 0% en la mayoría de los juegos, fallando incluso en alcanzar el primer punto de control importante.
• Rendimiento en VideoGameBench Lite: Incluso cuando se elimina la latencia, el rendimiento sigue siendo bajo. Los mejores modelos alcanzaron solo 1.6% en el subconjunto Lite. Aunque el rendimiento mejoró cuantitativamente en comparación con el entorno en tiempo real, los agentes aún no lograron completar juegos ni alcanzar hitos significativos.
• Juegos de Práctica: En tareas de práctica más simples (clic en ubicaciones, arrastre del mouse, navegación 2D), los modelos mostraron resultados mixtos. Aunque algunos modelos pudieron completar tareas básicas de clic, tuvieron dificultades con el arrastre y la navegación, lo que sugiere debilidades fundamentales en el control espacial y la ejecución.

Modos de Fallo

El artículo identifica tres modos de fallo principales:

1. Brecha entre Saber y Hacer: Los modelos a menudo identifican correctamente el objetivo (por ejemplo, "moverse hacia abajo hasta la puerta") pero ejecutan acciones incorrectas (por ejemplo, presionar "abajo" repetidamente sin alinear al personaje con la puerta), lo que lleva al estancamiento.
2. Errores de Procesamiento Visual: Los modelos interpretan incorrectamente con frecuencia las entradas visuales, como creer que un enemigo está vivo cuando está muerto, o alucinar interacciones con NPCs que no ocurrieron.
3. Déficits de Memoria y Planificación: Los agentes fallan en rastrear objetivos de largo alcance o estados del juego. A menudo sobrescriben su memoria, olvidan objetivos principales (por ejemplo, entregar un paquete en Pokémon Crystal) o se quedan atrapados en bucles repetitivos (por ejemplo, caminar de ida y vuelta entre zonas en Doom II).

Significado y Afirmaciones

El artículo afirma que VideoGameBench formaliza la evaluación de sesgos inductivos similares a los humanos (percepción, razonamiento espacial, memoria) en agentes de IA. Los resultados sugieren que, a pesar de un fuerte rendimiento en programación y matemáticas, los VLM de vanguardia actuales carecen de la robustez necesaria para la interacción multimodal en tiempo real en entornos dinámicos.

Los autores enfatizan que la evaluación sirve como una prueba rigurosa para la generalización y la autonomía. Al eliminar la estructura específica del juego, la evaluación destaca que los agentes actuales dependen en gran medida de ayudas externas en lugar de capacidades de razonamiento intrínsecas. Los autores esperan que esta formalización motive el progreso en el desarrollo de agentes que puedan operar en entornos nuevos y no vistos, con implicaciones potenciales para aplicaciones de IA encarnada en el mundo real, como la robótica y el control de drones. El artículo mantiene un tono modesto, señalando que, aunque la evaluación se limita a juegos de la década de 1990, proporciona una base necesaria para comprender las brechas entre las capacidades actuales de la IA y la finalización de tareas a nivel humano.