Resumen Técnico: Descomposición 2.5-D para la Construcción Espacial Basada en LLM

Declaración del Problema

Los sistemas autónomos encargados de construir estructuras físicas a partir de instrucciones en lenguaje natural enfrentan una brecha crítica de fiabilidad: mientras que los Modelos de Lenguaje Grandes (LLM) sobresalen en la comprensión de la intención de alto nivel, fallan sistemáticamente en el razonamiento espacial preciso, particularmente en lo que respecta a la generación de coordenadas tridimensionales. Las evaluaciones previas indican que los LLM producen frecuentemente errores en la colocación vertical, apilamiento con desviación de una unidad y posiciones duplicadas. Estos fallos se derivan de la falta de modelos internos del mundo para hacer cumplir las restricciones físicas, como la gravedad, que dictan que la posición vertical de un bloque está estrictamente determinada por la ocupación de la columna que hay debajo de él.

Metodología

El artículo propone una pipeline neuro-simbólica basada en la descomposición 2.5-D para abordar estos errores de coordenadas. La idea central es que, en dominios de construcción con restricciones de gravedad, el eje vertical ($y$) no es una variable libre, sino una función determinista de la posición horizontal ($x, z$) y el estado actual de la cuadrícula.

La Pipeline de Descomposición 2.5-D

El sistema separa las tareas de planificación y ejecución en módulos distintos:

1. Planificador LLM (2D): El LLM se restringe a generar un plan en el plano horizontal bidimensional. Especifica únicamente las coordenadas $(x, z)$, los colores de los bloques, los tipos de acción y las cantidades. Se le impide explícitamente la salida de coordenadas verticales ($y$).
2. Ejecutor Determinista (3D): Un motor simbólico calcula la colocación vertical para cada bloque basándose en la ocupación de la columna. La coordenada vertical $y^*$ para un nuevo bloque en $(x, z)$ se calcula como la altura mínima donde la celda está vacía, asegurando que las restricciones de gravedad se cumplan estrictamente:
   $$y^*(x, z, G) = \min\{y \in \{0, \dots, 4\} \mid (x, y, z) \notin \text{dom}(G)\}$$
   Esto elimina una clase completa de errores de coordenadas al eliminar la dimensión $y$ del espacio de salida del LLM.

Componentes de Apoyo

La pipeline incluye cuatro mecanismos adicionales para manejar la ambigüedad y los modos de fallo sistemáticos:

• Analizador de Estructuras: Detecta primitivas geométricas (por ejemplo, formas en T, formas en L) en la cuadrícula existente para informar al planificador.
• Detector de Subespecificación: Utiliza un marco de teoría de la decisión para determinar cuándo hacer preguntas de aclaración. Calcula el valor esperado de adivinar frente a preguntar, priorizando las consultas sobre colores frente a las consultas sobre cantidades cuando existe ambigüedad.
• Optimizador de Prompt de Visera (Peephole): Escanea las instrucciones en busca de frases detonantes específicas (por ejemplo, "cada extremo", "delante de") conocidas por causar errores sistemáticos en los LLM. Cuando se detectan, inyecta correcciones dirigidas y ejemplos resueltos que coinciden con el patrón en el prompt antes de la llamada al LLM.
• Verificador de Planes: Un módulo basado en reglas que valida el plan generado contra la instrucción y el estado de la cuadrícula, realizando correcciones para la consistencia direccional y la plausibilidad del apilamiento.

Contribuciones Clave

1. Descomposición 2.5-D: Un patrón arquitectónico novedoso que restringe la planificación del LLM a un plano horizontal 2D mientras delega la colocación vertical a un ejecutor determinista, eliminando efectivamente los errores de coordenadas verticales.
2. Optimización de Prompt de Visera: Una metodología para identificar modos de fallo sistemáticos de los LLM desencadenados por patrones de entrada específicos y corregirlos mediante inyección dinámica de prompts, análogo a la optimización de compiladores.
3. Validación Empírica: Demostración de que esta pipeline permite que un modelo más pequeño y rentable (GPT-4o-mini) supere a un modelo más grande y costoso (GPT-4o) en precisión estructural.
4. Marco de Teoría de la Decisión: Un enfoque formal para manejar instrucciones subespecificadas (colores o cantidades faltantes) sopesando la probabilidad de una suposición correcta frente a la penalización de hacer una pregunta de aclaración.

Resultados Experimentales

El sistema fue evaluado en la evaluación Build What I Mean (BWIM), que consta de 160 rondas de tareas de construcción de bloques.

• Precisión: La pipeline completa que utiliza GPT-4o-mini logró una precisión estructural media del 94.6% en 12 ejecuciones independientes.
• Comparación: Este resultado supera al mejor sistema competidor (que utiliza GPT-4o sin descomposición) en un 76.3% y a la línea base directa de GPT-4o en un 90.3%.
• Estudio de Ablación: Eliminar la descomposición 2.5-D causó la caída de rendimiento más significativa, reduciendo la precisión en 50.7 puntos porcentuales (hasta el 43.8%), confirmando que es el contribuyente dominante al éxito. El manejo de la subespecificación y la optimización de prompt de visera también contribuyeron significativamente (17.9 pp y 11.3 pp, respectivamente).
• Despliegue en el Borde: La pipeline se transfirió con éxito al hardware local de borde. Nemotron-3 120B, ejecutándose localmente en un NVIDIA Jetson Thor AGX, logró una precisión del 94.5% sin modificaciones de prompt, igualando los resultados de GPT-4o-mini basados en la nube.
• Generalización: Un experimento de transferencia en 500 tareas del conjunto de datos de construcción colaborativa IGLU mostró que la descomposición 2.5-D por sí sola mejoró las puntuaciones F1 a nivel de bloque de 0.723 a 0.798, confirmando la aplicabilidad del enfoque más allá de la evaluación principal.

Significado y Afirmaciones

El artículo argumenta que la limitación principal en la construcción espacial basada en LLM no es una falta de capacidad de razonamiento, sino la inclusión de dimensiones deterministas en el espacio de salida del modelo. Al identificar dimensiones que son computables a partir de restricciones físicas (como la gravedad) y eliminarlas de la responsabilidad del LLM, el sistema logra una fiabilidad comparable al techo teórico impuesto por la calidad del agente de aclaración (el "arquitecto").

Los autores afirman que esta estructura 2.5-D es un principio generalizable para cualquier sistema autónomo donde las leyes físicas restringen el ensamblaje o la colocación. Los ejemplos citados incluyen la planificación de rutas de UAV que siguen el terreno (donde la altitud es una función de la posición horizontal y los datos del terreno) y el mantenimiento automatizado de equipos (donde las trayectorias de inserción de piezas están restringidas por la geometría de la máquina). El trabajo sugiere que la operación guiada por LLM fiable en entornos con restricciones físicas es alcanzable no mediante el entrenamiento de modelos más grandes, sino mediante la arquitectura de sistemas que descargan el razonamiento determinista a código simbólico.

Los autores señalan un techo duro en la precisión alcanzable: aproximadamente 97.6%, limitado por los errores en el agente arquitecto (un LLM que responde a preguntas de aclaración). La precisión actual del sistema del 94.6% deja solo un margen de 3.0 puntos porcentuales para mejoras del lado del constructor, lo que indica que la pipeline propuesta ha maximizado casi por completo el potencial del componente constructor.