🤖 AI

AGI Maze as a Benchmark Framework for World-Modeling Agents

El artículo presenta AGI Maze, un marco de referencia ligero basado en cuadrículas diseñado para exponer la incapacidad de los modelos de lenguaje de gran tamaño actuales para construir representaciones de estados del mundo persistentes y manipulables que son necesarias para resolver tareas de estado y observación parcial, incluso cuando se proporcionan mecanismos de memoria de trabajo.

Autores originales: Alexey Potapov

Publicado 2026-07-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexey Potapov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Por qué los Chatbots "Inteligentes" se pierden en un laberinto

Imagina que tienes un amigo muy inteligente que puede escribir poesía, resolver problemas matemáticos y contar chistes. Este amigo es como un Modelo de Lenguaje Extenso (LLM). Son increíbles prediciendo qué palabra viene después en una oración.

Sin embargo, el artículo sostiene que si pones a este amigo en un laberinto oscuro y sinuoso donde solo puede ver la pared que tiene justo enfrente, se perderá. Puede que adivine el siguiente paso, pero no puede construir un mapa mental de todo el laberinto en su cabeza. Son excelentes terminando una historia, pero malos simulando un mundo.

Para demostrar esto, los autores crearon una nueva prueba llamada AGI Maze.

¿Qué es AGI Maze? (El "Videojuego basado en texto")

Piensa en AGI Maze como un videojuego que juegas enteramente a través de mensajes de texto.

La Configuración: Estás en una cuadrícula (como un tablero de ajedrez). Tienes un punto de partida, un cofre del tesoro, una llave y una salida.
El Engaño: No puedes ver el mapa. No sabes dónde están las paredes. Solo sabes dónde empezaste.
La Jugabilidad: Escribes "Ir a la derecha". El juego responde: "Chocaste con una pared". Luego escribes "Ir hacia abajo". El juego dice: "¡Encontraste una llave!".
El Objetivo: Tienes que descifrar el diseño del laberinto, encontrar la llave, abrir el cofre y escapar, todo esto mientras recuerdas por dónde has pasado y dónde están las paredes, sin haber visto nunca una imagen.

¿Por qué es difícil?
El laberinto tiene "trucos" para hacerlo aún más difícil:

Ríos: Si pisas un río, te lleva corriente abajo automáticamente, pero el juego no te dice hacia qué dirección fluye el agua. Tienes que adivinarlo.
Pozos: Si caes en un agujero, podrías aparecer en una parte del laberinto totalmente distinta.
Límite de Tiempo: Solo tienes un cierto número de pasos para terminar. Si deambulas sin rumbo, se te acaba el tiempo.

El Experimento: ¿Puede la IA resolverlo?

Los autores probaron varios modelos de IA populares (como GPT-4o y Gemini) en estos laberintos. Trataron a la IA como a un jugador humano que solo cuenta con las descripciones de texto para guiarse.

Los resultados fueron sorprendentes:

La IA "Vanilla" (Estándar): Cuando la IA simplemente intentaba adivinar el siguiente movimiento basándose en el historial del chat, fallaba estrepitosamente. En laberintos pequeños, a menudo lo hacía peor que un programa de computadora que simplemente elige una dirección al azar (un "camino aleatorio" o random-walk).
El Problema: La IA no estaba construyendo un mapa en su "mente". Solo estaba adivinando la siguiente palabra basándose en las últimas frases. No podía mantener una imagen estable de "dónde estoy" y "dónde están las paredes".

El Truco del "Cuaderno"

Los autores se dieron cuenta de que los humanos no podemos resolver un laberinto complejo sin lápiz y papel. Dibujamos el mapa a medida que avanzamos. Así que le dieron a la IA un "cuaderno" (permitiéndole escribir notas en su propio historial de chat antes de realizar un movimiento).

La Configuración: Antes de que la IA diga "Ir a la derecha", primero escribe una nota: "Estoy en la parte inferior izquierda. Fui hacia arriba y choqué con una pared. Creo que la llave está a la derecha".
El Resultado: Esto ayudó significamente a los modelos de IA más fuertes. Pasaron de fallar a resolver aproximadamente el 60-70% de los laberintos.
El Engaño: Incluso con el cuaderno, la IA seguía teniendo dificultades. No construía naturalmente un mapa perfecto y estructurado. Solo escribía notas desordenadas. Y para los modelos de IA más pequeños y menos potentes, el truco del cuaderno no ayudó en nada; seguían perdiéndose.

¿Qué nos dice esto?

El artículo concluye con algunas ideas clave:

Predicción vs. Comprensión: La IA actual es excelente prediciendo la siguiente palabra en una oración (como terminar una historia), pero es mala simulando un mundo cambiante (como navegar por un laberinto). No construye naturalmente un "modelo mental" de la realidad.
La Memoria es Difícil: El simple hecho de darle a la IA una lista larga de mensajes pasados (su "memoria") no es suficiente. Necesita organizar activamente esa información en un mapa o un plan, algo que actualmente le cuesta hacer por sí sola.
La Prueba es una Herramienta, no una Puntuación Final: Los autores no están diciendo que "la IA sea inútil". Dicen: "Aquí hay una herramienta específica (AGI Maze) para mostrarnos exactamente dónde está fallando la IA". Resalta que para construir agentes verdaderamente inteligentes, necesitamos enseñarles cómo construir y usar mapas internos del mundo, no solo cómo chatear.

Resumen de la Analogía

Los LLM actuales son como un guía turístico que se ha memorizado un guion. Si le pides que describa una ciudad que nunca ha visitado, puede adivinar las palabras, pero si le pides que navegue por un laberinto con los ojos vendados, tropezará porque no tiene un mapa.
AGI Maze es la prueba del laberinto con los ojos vendados.
El "Cuaderno" es darle al guía turístico un lápiz y un papel. Les ayuda un poco, pero siguen sin ser cartógrafos naturales.

El artículo argumenta que para que la IA sea verdaderamente inteligente (AGI), debe aprender a dibujar sus propios mapas y actualizarlos a medida que explora, en lugar de simplemente adivinar la siguiente frase.

Resumen Técnico: AGI Maze como Marco de Referencia para Agentes de Modelado de Mundo

1. Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) actuales funcionan principalmente como predictores estáticos de siguiente token en lugar de simuladores de mundo persistentes. Aunque son efectivos en tareas lingüísticas donde el "mundo" está descrito implícitamente por el texto, los LLMs tienen dificultades en entornos interactivos que requieren:

Representación de Estado Persistente: Mantener una representación manipulable y estructurada de un mundo externo que evoluciona con el tiempo.
Observabilidad Parcial: Razonar sobre estados ocultos (variables latentes) cuando solo una parte del entorno es observable.
Eficiencia de Memoria: Rastrear el estado a través de horizontes largos sin depender de un historial de texto no estructurado y frágil.
Actualización de Creencias: Mantener y actualizar creencias bajo incertidumbre, en lugar de simplemente inferir reglas locales a partir de observaciones inmediatas.

Los benchmarks existentes como AGI-ARC-3 a menudo fallan al probar estas capacidades específicas porque son efectivamente de observabilidad completa o no requieren que los agentes construyan un estado de mundo consultable y persistente. Además, las extensiones de los LLMs a agentes encarnados (por ejemplo, modelos de Visión-Lenguaje-Acción) a menudo fallan al resolver problemas de Localización y Mapeo Simultáneos (SLAM), dependiendo más de la recuperación de características visuales que de la construcción de un modelo de mundo coherente.

2. Metodología: El Marco AGI Maze

Los autores introducen AGI Maze, un marco ligero basado en cuadrículas diseñado para evaluar las capacidades de modelado de mundo en el dominio del lenguaje sin la complejidad de las entradas sensoriales de alta dimensión (píxeles).

2.1 Diseño del Entorno

Mecánicas Centrales: Los agentes navegan por una cuadrícula (de 3x3 a 8x8) con paredes, un borde de "monolito" con una única salida, un cofre del tesoro y una llave.
Observaciones: El mapa está oculto. Los agentes reciben retroalimentación textual (por ejemplo, "Intentaste ir a la derecha, pero un monolito bloquea el camino") y deben inferir el diseño, su ubicación y las posiciones de los objetos.
Incertidumbre Dinámica: Para forzar una verdadera inferencia de estado, el marco incluye mecánicas que rompen la exploración ingenua:
- Ríos: Activan un movimiento forzado río abajo sin revelar la dirección del flujo.
- Ciclos de Pozos: Teletransportan a los agentes a otros pozos en un ciclo, creando ambigüedad donde la misma observación puede corresponder a múltiples ubicaciones.
Restricciones: Los agentes operan bajo un presupuesto estricto de pasos. Crucialmente, algunos laberintos requieren secuencias de acciones específicas (por ejemplo, saltar a un río para alcanzar una llave) que no pueden resolverse mediante la exploración aleatoria.

2.2 Estructura del Marco y Grupos de Tareas

El marco se organiza en cinco grupos de tareas para evitar el sobreajuste y probar la generalización:

TUTORIAL: Modo de mapa abierto para aprender las mecánicas (no puntuado).
ENTRENAMIENTO (TRAINING): Laberintos pequeños con presupuestos de pasos generosos para calibración y pruebas de línea base.
CLÁSICO (CLASSIC): Laberintos más grandes bajo las reglas centrales, calibrados frente al rendimiento humano.
EXTENDIDO (EXTENDED): Introduce nuevas mecánicas (por ejemplo, botes, granadas, linternas) para probar la capacidad de inferir nuevas reglas y estrategias.
OCULTO (HIDDEN): Un conjunto de control privado con extensiones desconocidas para validar que el rendimiento no se debe al ajuste de datos.

2.3 API e Interacción del Agente

El marco proporciona una API HTTP estable que permite a los agentes:

Recuperar descripciones de juego y parámetros.
Enviar acciones (Arriba, Abajo, Izquierda, Derecha, etc.).
Recibir observaciones textuales y actualizaciones de estado estructuradas.
Los agentes son evaluados según su capacidad para resolver los laberintos dentro del presupuesto de pasos.

3. Configuración Experimental y Resultados de la Línea Base

El artículo evalúa agentes de LLM "vanilla" que dependen únicamente del historial del prompt (reglas del juego + pares acción-observación) sin herramientas externas o construcción de estado explícita.

3.1 Rendimiento de los LLM Vanilla

Configuración: Se probaron varios modelos (GPT-4o Mini, GPT-5 Mini, Gemini 3.1 Flash Light, MiniMax M2.7) en laberintos de ENTRENAMIENTO.
Hallazgos:
- Ninguno de los modelos probados resolvió de manera fiable ni siquiera los laberintos simples.
- GPT-4o Mini funcionó sistemáticamente peor que una línea base de caminata aleatoria.
- Aunque algunos modelos (por ejemplo, Gemini 3.1 Flash) superaron al azar en laberintos pequeños, todos fallaron en cuadrículas más grandes (5x4 y superiores) y laberintos con incertidumbre dinámica (ríos/pozos).
- Incluso los modelos más fuertes (GPT-5.5, Gemini 3.5 Flash) lograron solo un ~30-40% de éxito en laberintos difíciles con presupuestos de pasos duplicados, muy por debajo del rendimiento humano.

3.2 Prompt-como-Memoria de Trabajo (Agente de Planificación)

Para probar si el seguimiento de estado explícito ayuda, se introdujo un "agente de planificación". Este agente utiliza un proceso de dos etapas:

Toma de notas: Genera notas en el prompt para rastrear coordenadas, estado de exploración y planes (actuando como memoria de trabajo).
Acción: Selecciona una acción basada en estas notas.

Resultados:
- Modelos más fuertes: El rendimiento mejoró significativamente (por ejemplo, GPT-5.5: 30% $\to$ 60%; Gemini 3.5 Flash: 40% $\to$ 70%).
- Modelos más ligeros: Mostraron una mejora de cero en tareas difíciles.
- Limitación: La mejora sugiere que los LLM vanilla no construyen internamente representaciones de estado de mundo explícitas y latentes durante la inferencia; requieren externalizar este estado en el prompt de texto para utilizarlo eficazmente. Sin embargo, incluso con notas, el enfoque de "memoria-como-texto" sigue siendo frágil e insuficiente para una resolución fiable.

4. Contribuciones Clave

Marco AGI Maze: Un nuevo benchmark de bajo ancho de banda diseñado específicamente para aislar y probar capacidades de modelado de mundo (representación de estado, seguimiento de creencias, planificación de largo horizonte) sin el factor de confusión de la percepción visual.
Evidencia Empírica de las Limitaciones de los LLM: Demuestra que los LLM vanilla fallan al construir representaciones de mundo persistentes y manipulables, a menudo funcionando peor que las líneas base aleatorias en entornos parcialmente observables y con estado.
Diferenciación de Tipos de Memoria: Destaca la distinción entre el estado latente interno (que los LLM no logran mantener) y la memoria de texto externalizada (que ayuda pero es ineficiente y frágil).
Extensibilidad: Un marco que soporta extensiones dinámicas (nuevos objetos, mecánicas) para probar la generalización y la capacidad de inferir nuevas reglas a partir de la interacción en lugar de la codificación rígida.

5. Significado y Reivindicaciones

El artículo postula que AGI Maze no es un benchmark definitivo de AGI, sino una herramienta de diagnóstico para identificar brechas específicas en las arquitecturas de agentes actuales.

Reivindicación Central: El fallo de los LLM en AGI Maze respalda la hipótesis de que la predicción del siguiente token no conduce inherentemente a la construcción de modelos de estado de mundo explícitos y coherentes.
Implicación: El modelado de mundo robusto requiere mecanismos más allá de la inferencia estándar, tales como modelos de mundo externos explícitos (mapas, grafos, simuladores) y mejores estrategias de gestión de memoria.
Dirección Futura: El marco está destinado a guiar la investigación hacia agentes que puedan construir y consultar artefactos externos (por ejemplo, simuladores programáticos) y manejar la incertidumbre y la memoria de manera más efectiva que los enfoques actuales de "texto-como-memoria".

Los autores conclizan que, si bien AGI Maze aísla la representación y el razonamiento como el cuello de botella principal, resolver estas tareas probablemente requerirá cambios arquitectónicos más allá del tooling ad-hoc y la ingeniería de prompts.