Resumen Técnico: Perdidos en la Agregación: Un Benchmark Diagnóstico Multiescala para la Navegación Espacial de LLM

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se están desplegando cada vez más como planificadores en tareas espaciales como la navegación y la planificación de rutas. Sin embargo, exhiben fragilidad en el razonamiento espacial secuencial, fallando a menudo en mantener un estado espacial coherente durante horizontes largos. Si bien está establecido que los LLMs fallan en la navegación, el locus específico de falla dentro del pipeline de cognición espacial sigue sin estar claro. Se desconoce si los déficits derivan de una incapacidad para percibir la geometría local, leer estructuras topológicas en puntos de ramificación, mantener un rumbo global o integrar estas competencias a través de escalas durante planes secuenciales largos. Las tasas de éxito agregadas son insuficientes para distinguir entre estas hipótesis, ya que implican estrategias de remediación fundamentalmente diferentes (por ejemplo, mejor percepción frente a mejor razonamiento topológico o delegación arquitectónica).

Metodología

Los autores introducen un benchmark diagnóstico multiescala diseñado para descomponer la navegación por laberintos en tres niveles cognitivos derivados de la cognición espacial humana:

1. Fino (Fine): Pasabilidad local (qué celdas adyacentes están abiertas).
2. Meso: Mapeo topológico (elegir la rama correcta en una unión y reconocer callejones sin salida).
3. Macro: Orientación global hacia el objetivo (mantener el rumbo correcto hacia el destino).

El benchmark consiste en 1,050 laberintos anotados topológicamente generados mediante algoritmos de búsqueda en profundidad (depth-first-search) y Prim aleatorizado. Estos laberintos son árboles (acíclicos), lo que garantiza un camino único entre cualquier par de puntos, eliminando la optimización de la ruta más corta como una variable de confusión. Los laberintos abarcan siete tamaños efectivos (3×3 a 30×30) y tres niveles de dificultad.

La evaluación se organiza en tres módulos que abordan tres preguntas de investigación (RQs):

• Módulo 1 (Adquisición de Entrada): Compara cuatro formatos de entrada (Palabras en Lenguaje Natural, Coordenadas Estructuradas, Mapa ASCII, Imagen Renderizada) para determinar cuál soporta mejor la navegación de los LLM.
• Módulo 2 (Representación Multiescala): Sondea cada nivel cognitivo de forma aislada mediante tareas de opción múltiple de una sola pregunta y compara estos resultados contra el rendimiento de navegación de extremo a extremo en un solo paso (one-shot). También emplea un análisis de "primer error multi-hot" para localizar el paso específico donde falla una trayectoria. Se incluyen controles no espaciales (por ejemplo, contar celdas abiertas) para descartar una degradación genérica del contexto largo.
• Módulo 3 (Planificación de Ruta Jerárquica): Prueba regímenes de delegación donde un caminante determinista gestiona la ejecución de bajo nivel (travesía de pasillos, retirada de callejones sin salida) y el LLM es consultado solo en las uniones. Esto compara un régimen "Ciego a la Topología" (prompts genéricos) contra un régimen "Asistido por la Topología" (prompts explícitos de tipo de celda y retirada algorítmica).

Se evaluaron tres modelos de chat con ajuste de instrucción (GPT-4o, DeepSeek-V3, Llama-3.3-70B) utilizando prompting de cadena de pensamiento (chain-of-thought) con una temperatura fija de 0.

Resultados Clave

1. Formato de Entrada (RQ1)

El texto de coordenadas estructuradas es el formato de entrada más navegable, superando significativamente a las imágenes renderizadas y a los mapas ASCII. Para el modelo más fuerte (DeepSeek-V3), la entrada de coordenadas alcanzó una tasa de éxito del 70% en laberintos pequeños, comparado con el 5% para las imágenes renderizadas. Crucialmente, incluso cuando las tasas de éxito de extremo a extremo colapsaron casi a cero, la Relación de Movimiento Válido (VMR) se mantuvo alta (>0.62), indicando que los modelos pueden generar movimientos localmente legales pero fallan en el ensamblaje de la ruta global.

2. El Déficit de Agregación (RQ2)

El hallazgo principal es que la falla de escala es una falla de agregación trans-escala, no un déficit en las competencias perceptivas o direccionales individuales.

• Competencia Aislada: Al ser sondeados de forma aislada, los modelos mantuvieron una alta precisión en las tareas Fina (32–56%), Meso (50–64%) y Macro (42–67%) incluso en tamaños grandes (30×30), superando con creces los niveles de azar.
• Colapso de Extremo a Extremo: El éxito de la navegación de un solo paso colapsó casi a cero para 10×10 en todos los modelos.
• La Brecha: La sonda combinada Meso×Macro (que requiere tanto razonamiento topológico como direccional) decayó más rápido que los componentes aislados, pero aun así superó la navegación de extremo a extremo.
• Análisis de Primer Error: Las fallas se localizaron en las elecciones de unión Meso (59%) y la percepción Fina (39%), mientras que la dirección global (Macro) rara vez fue el primer punto de falla (1%).
• Costo de Agregación: La brecha entre la precisión de la unión aislada y la precisión de la unión en la trayectoria se amplió con el tamaño del laberinto (por ejemplo, una caída de 28 puntos en 30×30), demostrando que el costo no es simplemente una composición multiplicativa de errores, sino una degradación en la capacidad del modelo para vincular decisiones a lo largo de una secuencia larga.

3. Delegación y Agentes Híbridos (RQ3)

Delegar el control de bajo nivel a un algoritmo determinista mejora significamente el rendimiento, pero no elimina la pared de escalabilidad.

• Delegación Asistida por la Topología: Cuando el algoritmo gestionó la retirada de callejones sin salida y el LLM fue instado con información explícita del tipo de celda en las uniones, la tasa de éxito de GPT-4o aumentó hasta 92 puntos en tamaños medios (por ejemplo, del 2% al 94% en 7×7).
• Limitaciones: Esta mejora dependió de un encuadre topológico explícito; un régimen "Ciego a la Topología" produjo ganancias insignificantes. Además, incluso con la delegación, el rendimiento colapsó nuevamente hacia 30×30, indicando que, si bien la delegación extiende el horizonte navegable, no elimina la barrera fundamental de escalabilidad para planes secuenciales largos.

Significancia y Reivindicaciones

El artículo afirma proporcionar un instrumento de diagnóstico granular que cambia la comprensión de la falla espacial de los LLM de una incapacidad general para "razonar" a una incapacidad específica para integrar competencias individualmente disponibles a lo largo de un plan secuencial largo.

• Reencuadre de la Falla: Los autores argumentan que los LLM no necesariamente carecen de percepción local o dirección global; más bien, fallan en mantener el vínculo de estas señales paso a paso. El nivel "Macro" (rumbo global) es sorprendentemente duradero en aislamiento, pero es deshecho repetidamente por errores Meso y Finos en la ejecución secuencial.
• Implicaciones Arquitectónicas: Para los agentes híbridos de SIG (GIS) y orientación, el artículo sugiere una división específica del trabajo: los algoritmos deben poseer la ejecución Fina y la retirada de callejones sin salida, mientras que los LLM deben servir como tomadores de decisiones a nivel de unión. Sin embargo, este rol requiere un encuadre topológico explícito en el prompt para ser efectivo.
• Modalidad de Entrada: Los resultados sugieren que, para los LLM actuales, la estructura espacial se procesa mejor como datos relacionales simbólicos (coordenadas) en lugar de representaciones pictóricas.

Los autores señalan explícitamente las limitaciones, incluyendo el uso de topologías de árbol (sin ciclos), el enfoque en modelos de chat exclusivamente en inglés y la naturaleza heurística del etiquetado de primer error. Posicionan el benchmark como una herramienta reutilizable para futuros trabajos destinados a localizar los cuellos de botella de vinculación de manera más fina, particularmente en entornos cíclicos o con pesos métricos.