From Pixels to BFS: High Maze Accuracy Does Not Imply Visual Planning

1. El Problema

El artículo aborda una cuestión fundamental en los Modelos de Lenguaje Multimodales (MLLM): ¿Resuelven las tareas espaciales visuales mediante una comprensión genuina y planificación espacial, o simplemente ejecutan una búsqueda exhaustiva (brute-force) en el espacio de tokens?

Aunque los modelos actuales alcanzan altas puntuaciones en benchmarks visuales, existe la sospecha de que su éxito se debe a mecanismos ineficientes y fundamentalmente diferentes a la cognición humana. Los humanos resuelven laberintos complejos mediante percepción espacial holística y trazado visual rápido, mientras que los modelos podrían estar traduciendo la imagen a texto y enumerando caminos paso a paso, consumiendo recursos computacionales masivos para tareas que no requieren deliberación humana.

2. Metodología: MAZEBENCH

Para investigar esto, los autores introducen MAZEBENCH, un benchmark diseñado específicamente para aislar la capacidad de planificación espacial de la comprensión visual.

• Generación Procedural: Se crearon 110 imágenes de laberintos generados proceduralmente con 9 grupos experimentales controlados (desde 5x5 hasta 20x20, variando densidad de paredes, trampas, bordes y paletas de colores).
• Tarea: Dada una imagen de un laberinto, el modelo debe generar un objeto JSON con: tamaño de la cuadrícula, alcanzabilidad, longitud del camino más corto y la secuencia exacta de movimientos (U/D/L/R).
• Variables Controladas:
  • Presupuesto de Razonamiento: Se varió sistemáticamente el esfuerzo de razonamiento (ej. reasoning_effort en OpenAI, configuraciones "no-thinking" vs. "low-effort" en Anthropic) para observar cómo escala el rendimiento.
  • Eficiencia de Tokens: Se midió el consumo total de tokens (pensamiento + salida) por solución para inferir la estrategia utilizada.
• Evaluación: Se probaron 16 configuraciones de modelos de OpenAI, Anthropic, Google y Alibaba, evaluando no solo la precisión, sino la latencia y el costo computacional.

3. Contribuciones Clave

1. Diseño de MAZEBENCH: Un benchmark que permite estudios de ablación limpios, separando la extracción visual de la planificación de caminos.
2. Evidencia de Estrategia de "BFS en Prosa": Demostración cualitativa y cuantitativa de que los modelos, incluso los más avanzados, convierten la imagen en una cuadrícula de texto y luego realizan una búsqueda de camino paso a paso (BFS/DFS) en el espacio de tokens, en lugar de planificar espacialmente.
3. Ablación de Cuadrícula de Texto: Un experimento crucial donde se proporcionó a un modelo (Claude Sonnet) la cuadrícula de texto correcta directamente (saltándose la visión), lo que reveló que su fallo no era de razonamiento, sino de extracción visual.
4. Análisis de Eficiencia: Revelación de que la "solución de un laberinto" tiene costos computacionales radicalmente diferentes entre proveedores, variando hasta 9 veces en tokens por solución.

4. Resultados Principales

A. Rendimiento y Escalado

• Precisión Engañosa: Modelos como GPT-5.4 alcanzaron un 91% de éxito y Gemini 3.1 Pro un 79% en el conjunto central. Sin embargo, estos resultados son engañosos.
• Dependencia del Presupuesto: Sin un presupuesto de razonamiento añadido, todos los modelos obtienen entre 2% y 12%. El rendimiento mejora drásticamente al aumentar los tokens de pensamiento (ej. GPT-5.4 pasa de 12% a 85% al activar "low effort"), lo que sugiere que el éxito depende de la capacidad de enumeración exhaustiva, no de la intuición espacial.
• Fallo en Escala: En laberintos "Ultra-Hard" (20x20), GPT-5.4 cayó al 30% de precisión. Los modelos fallaron no porque no "vieran" el laberinto, sino porque se agotó su presupuesto de tokens antes de poder enumerar el camino completo.

B. Eficiencia y Estrategia

• Costo Exorbitante: Resolver un laberinto requiere miles de tokens.
  • GPT-5.4 (bajo esfuerzo): ~1,710 tokens por solución.
  • Gemini 3 Flash: ~15,171 tokens por solución.
  • Claude (Opus/Sonnet): ~22,000-30,000 tokens (y a menudo incorrecto).
• La Estrategia Universal: Todos los modelos siguen un proceso de dos etapas:
  1. Traducción Imagen-Grid: Convertir la imagen visual a una matriz de texto.
  2. Enumeración Serial: Buscar el camino paso a paso en el texto.
• El Cuello de Botella de Visión: Los modelos de Claude fallaron principalmente en la etapa 1 (extracción visual). Al proporcionarles la cuadrícula de texto correcta, su rendimiento saltó del 6% al 80%, demostrando que su motor de razonamiento es competente, pero su visión es defectuosa.
• Tamaño del Modelo: El tamaño no garantiza razonamiento espacial. Claude Opus 4.6 (el modelo más grande) resolvió el mismo porcentaje (4%) que Haiku 4.5 (el más pequeño).

C. Comportamiento ante Instrucciones

Incluso cuando se instruyó explícitamente a los modelos NO a crear una cuadrícula de texto ni a usar algoritmos de búsqueda, estos ignoraron la restricción y volvieron a la estrategia de enumeración en texto. Esto indica una falta de capacidad real para razonar visualmente de forma holística.

5. Significado e Implicaciones

El artículo concluye que una alta precisión en tareas de planificación visual no implica una comprensión espacial humana.

• Advertencia para los Benchmarks: Las puntuaciones altas pueden ocultar estrategias ineficientes y costosas. Un modelo puede obtener un 90% de acierto utilizando una búsqueda exhaustiva en lugar de una comprensión genuina.
• Fragilidad a Escala: La estrategia de enumeración token a token es frágil; falla cuando la complejidad del problema excede el presupuesto de tokens, algo que no ocurre en la percepción humana.
• Necesidad de Nuevas Métricas: Para evaluar el progreso real en multimodalidad, no basta con medir la precisión (correctitud). Es necesario medir la estrategia, la eficiencia (tokens por tarea) y los modos de fallo.

En resumen, los modelos actuales "resuelven" laberintos traduciendo píxeles a palabras y contando pasos, en lugar de "ver" y planificar el camino visualmente. Esto plantea dudas sobre si la inteligencia espacial emergente es real o simplemente una simulación costosa basada en la fuerza bruta textual.