🤖 AI

LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?

El artículo presenta LEGO-Puzzles, un referente que evalúa las capacidades de razonamiento espacial de múltiples pasos de los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) a través de tareas elementales y planificación de ensamblaje, revelando que incluso los modelos más fuertes rinden significativamente por debajo de los humanos y luchan por mantener la precisión a medida que aumenta la complejidad de la planificación.

Autores originales: Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo construir un castillo complejo con bloques, pero que solo puedes hablar con él y mostrarle imágenes. Este es el mundo de los Modelos de Lenguaje de Gran Escala Multimodales (MLLM, por sus siglas en inglés). Piensa en estos modelos como cerebros digitales superinteligentes que pueden leer texto y "ver" imágenes, tratando de entender el mundo tal como lo hacen los humanos. Una de las cosas más difíciles de aprender para cualquier cerebro es el razonamiento espacial: la capacidad de comprender cómo encajan los objetos en un espacio 3D, saber qué bloque va encima, cuál necesita ser girado y cómo cambia toda la estructura a medida que se añaden piezas. Aunque estos modelos de IA están mejorando en su capacidad para charlar y describir imágenes, los científicos todavía se preguntan: ¿Pueden realmente planificar una secuencia de movimientos para construir algo? Una cosa es mirar una torre terminada y decir: "Eso es alto", pero es un desafío totalmente distinto descifrar el orden exacto de 50 pasos para construirla desde cero. Si queremos que los robots reparen nuestros coches o nos ayuden a montar muebles, deben dominar este tipo de pensamiento paso a paso.

Aquí entra LEGO-Puzzles, un nuevo "examen" diseñado por investigadores para probar exactamente esta habilidad. En lugar de usar piezas de plástico reales, los investigadores crearon un enorme patio de juegos digital utilizando instrucciones de LEGO para ver qué tan bien pueden manejar los rompecabezas espaciales los modelos de IA más inteligentes del mundo. Dividieron la prueba en dos niveles principales. El primer nivel, el Conjunto Elemental (Elementary Set), es como un calentamiento. Les pide a la IA preguntas simples sobre una sola imagen: "¿Qué bloque es más alto?", "¿Están estas dos piezas tocándose?" o "Si giro esta pieza, ¿cómo se ve de lado?". Esto pone a prueba la "comprensción espacial" básica. El segundo nivel, el Conjunto de Planificación (Planning Set), es la verdadera batalla contra el jefe. Aquí, la IA no solo responde preguntas; tiene que actuar como un maestro constructor. Se le da un montón inicial de bloques y una imagen del objetivo final, y debe generar un plan paso a paso para llegar allí. Los investigadores probaron 29 de los modelos de IA más avanzados disponibles, incluyendo los nombres más grandes como GPT-5 y Gemini, e incluso pidieron a expertos humanos que realizaran la misma prueba.

Los resultados fueron un golpe de realidad para el mundo de la IA. Incluso los modelos más fuertes tuvieron dificultades con lo básico. En las preguntas elementales, los mejores modelos de IA se quedaron al menos un 20% por detrás del rendimiento humano. Por ejemplo, cuando se les pidió juzgar la altura de los bloques en un espacio 3D, muchos se confundieron, mirando la imagen plana en 2D en la pantalla en lugar de imaginar la verdadera forma 3D. Pero los problemas empeoraron considerablemente a medida que las tareas se volvían más largas. Cuando la IA tenía que planificar una secuencia de pasos utilizando preguntas de opción múltiple, su precisión empezó a caer significativamente una vez que el plan excedía los 3 pasos, cayendo por debajo del 50%. Para cuando el plan requería 8 pasos, la precisión de los mejores modelos cayó al 0%. En contraste, los participantes humanos resolvieron cada una de las tareas de planificación perfectamente, sin importar cuán larga fuera la cadena de pasos.

Los investigadores también intentaron algo aún más difícil: pedirle a la IA que no solo describiera los pasos, sino que realmente dibujara las imágenes intermedias del proceso de construcción. Querían ver si la IA podía imaginar cómo se ve el castillo después del paso 1, luego el paso 2, y así sucesivamente. Los resultados fueron contundentes. Incluso para un plan corto de solo 3 pasos, los modelos fallaron por completo al generar la secuencia visual. A veces podían dibujar una imagen que parecía un ladrillo de LEGO, pero no podían colocarlo en el lugar correcto ni acertar con la orientación. El artículo señala que, debido a que los modelos fallaron tan estrepitosamente en la generación de imágenes con solo 3 pasos, los investigadores ni siquiera probaron horizontes más largos para esta tarea específica. Esto sugiere que, aunque estos modelos son excelentes reconociendo patrones, carecen de la capacidad de "imaginar" las consecuencias de sus acciones a lo largo del tiempo. No pueden mantener un mapa mental del proceso de construcción en sus cabezas sin perder el hilo.

En resumen, LEGO-Puzzles revela que, aunque nuestros modelos de IA actuales son impresionantes, todavía están muy lejos de poseer una verdadera inteligencia espacial. No pueden planificar de manera fiable un ensamblaje de múltiples pasos y fallan estrepitosamente cuando se les pide visualizar los estados futuros de un objeto. El artículo concluye que nos queda un largo camino por recorrer antes de que la IA pueda comprender realmente el mundo físico lo suficiente como para ayudarnos a construir cosas, reparar objetos rotos o navegar por entornos complejos por su cuenta. La brecha entre la intuición humana y el cálculo de las máquinas en el mundo físico sigue siendo amplia, y este nuevo referente nos ofrece un mapa claro de exactamente dónde están tropezando los modelos.

Resumen Técnico: LEGO-Puzzles

Planteamiento del Problema

Aunque los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han demostrado progresos en la inteligencia espacial, su capacidad para el razonamiento espacial secuencial de múltiples pasos permanece en gran medida inexplorada. Los benchmarks existentes suelen centrarse en la comprensión espacial estática (por ejemplo, identificar atributos de objetos o relaciones en una sola imagen) o en la planificación de acciones de un solo paso. Sin embargo, las aplicaciones del mundo real, como el control robótico, la conducción autónoma y el ensamblaje automatizado, requieren la capacidad de percibir una escena, imaginar las consecuencias de acciones hipotéticas y aplicar secuencialmente la comprensión espacial a través de múltiples pasos. Las evaluaciones actuales carecen de un marco sistemático para probar los MLLM desde la percepción espacial básica hasta la planificación compleja de largo alcance.

Metodología

Los autores presentan LEGO-Puzzles, un benchmark diseñado para evaluar las capacidades de razonamiento espacial de los MLLM a través de un marco progresivo inspirado en la construcción de LEGO. El benchmark consta de dos conjuntos de tareas principales derivados de proyectos LEGO de código abierto con instrucciones de ensamblaje paso a paso:

1. El Conjunto Elemental

Este conjunto contiene más de 1,100 pares de Preguntas-Respuesta Visuales (VQA) cuidadosamente seleccionados que abarcan 11 tareas distintas, organizadas en tres niveles de complejidad creciente:

Nivel 1: Comprensión Espacial: Evalúa la percepción básica de relaciones 3D, incluyendo la distinción de altura, adyacencia, ángulos de rotación y predicción multivista.
Nivel 2: Razonamiento Secuencial de un Solo Paso: Requiere razonar sobre acciones de ensamblaje inmediatas, como determinar el estado de rotación, identificar posiciones de ensamblaje correctas, predecir el siguiente estado e identificar dependencias.
Nivel 3: Razonamiento Secuencial de Múltiples Pasos: Evalúa la capacidad de razonar a través de múltiples secuencias, incluyendo el razonamiento hacia atrás (identificar pasos intermedios a partir de un objetivo), el ordenamiento de secuencias de ensamblaje y la detección de valores atípicos en una secuencia.

2. El Conjunto de Planificación

Este conjunto evalúa la capacidad del modelo para generar planes explícitos de múltiples pasos para ensamblar una estructura objetivo. Incluye dos tipos de tareas:

Plan-k-Step-VQA: Una tarea de opción múltiple donde los modelos deben seleccionar y ordenar $k$ pasos intermedios correctos de un conjunto de $2k$ opciones (incluyendo distractores) para transicionar de un estado inicial a un estado objetivo. El horizonte de planificación $k$ varía de 1 a 8.
Plan-k-Step-Generation: Una tarea generativa donde los modelos deben producir imágenes de estados de ensamblaje intermedios paso a paso en un diálogo de múltiples turnos, condicionado por las salidas previas, para simular una trayectoria completa de la etapa.

Curación de Datos

El conjunto de datos se construyó utilizando un flujo de trabajo que involucra:

Recopilación de Datos: Recopilación de diversos proyectos LEGO de código abierto (animales, vehículos, muebles) y filtrado por complejidad moderada.
Renderizado y Transformación: Uso de Studio1 para renderizar los proyectos en PDFs con puntos de vista de cámara fijos, aplicando transformaciones (por ejemplo, ajustes de iluminación, errores deliberados) para crear escenarios de tareas específicos.
Extracción y Unificación de Metadatos: Extracción de información estructurada (piezas, objetos) y organización de activos para la generación de QA.
Control de Calidad: Un proceso de múltiples etapas con intervención humana (human-in-the-loop) que incluye filtrado de duplicados, verificación de calidad de imagen y validación de anotaciones por parte de tres anotadores capacitados.

Contribuciones Clave

Marco de Evaluación Integral: Un benchmark que cubre un espectro desde la comprensión espacial básica hasta la planificación de múltiples pasos con una complejidad progresivamente creciente.
Tareas Naturales pero Desafiantes: Tareas construidas a partir de proyectos LEGO reales diseñados por humanos que plantean desafíos significativos para los MLLM de vanguardia, yendo más allá de los entornos simplificados o altamente abstractos encontrados en trabajos previos.
Evaluación de Generación de Imágenes de Múltiples Turnos: Una evaluación novedosa de la capacidad de los MLLM para generar estados intermedios planificados como imágenes, una capacidad crucial para aplicaciones del mundo real como la manipulación robótica, pero previamente no probada en benchmarks de razonamiento espacial.

Resultados Experimentales

Los autores evaluaron 29 MLLM de última generación, incluyendo modelos propietarios (ej. GPT-5, Gemini-2.5-Pro) y alternativas de código abierto (ej. Qwen, InternVL, serie LLaVA).

Rendimiento del Conjunto Elemental: Incluso los modelos más fuertes (GPT-5) se quedan atrás del rendimiento humano por al menos un 20% en tareas elementales. Muchos modelos de código abierto rinden solo marginalmente mejor que el azar. Los fallos específicos incluyen:
- Tarea de Altura: Los modelos suelen depender de proyecciones 2D en lugar de una verdadera perspectiva 3D.
- Tarea de Rotación: Los modelos tienen dificultades para percibir de manera fiable los cambios de orientación.
- Razonamiento de Múltiples Pasos: La precisión disminuye significativamente a medida que las tareas pasan de un solo paso al ordenamiento o al razonamiento hacia atrás.
Rendimiento del Conjunto de Planificación (VQA): A medida que el horizonte de planificación $k$ $k$ aumenta, la precisión se degrada rápidamente.
- Para $k > 3$ , la precisión de todos los modelos cae por debajo del 50%.
- En $k = 8$ , la precisión se acerca al 0% para la mayoría de los modelos, mientras que los participantes humanos alcanzan el 100% de precisión.
- Los modelos propietarios muestran un mejor "coincidencia de conjunto" (identificación de elementos correctos) que los modelos de código abierto, pero aun así fallan al ordenarlos correctamente.
Rendimiento del Conjunto de Planificación (Generación de Imágenes): Al cambiar de opción múltiple a generación de imágenes, el rendimiento colapsa.
- Incluso para $k=3$ , la precisión cae al 0%.
- Los modelos suelen generar imágenes con una apariencia general correcta, pero fallan al colocar las piezas de LEGO en las posiciones u orientaciones correctas.
- Los errores aparecen frecuentemente en el primer paso de la generación, lo que indica una falta de imaginación visual consistente y de razonamiento temporal.

Significado y Reivindicaciones

El artículo afirma que LEGO-Puzzles revela limitaciones críticas en las capacidades de razonamiento espacial de los MLLM actuales. Los hallazgos destacan que:

Los modelos actuales luchan con la planificación de largo alcance y el razonamiento espacial secuencial, fallando al rastrear e integrar transformaciones espaciales a través de múltiples pasos.
Existe una brecha sustancial entre la comprensión visual y la generación precisa; los modelos pueden reconocer relaciones espaciales en imágenes estáticas, pero no pueden aplicar este razonamiento de manera fiable para generar salidas visuales coherentes paso a paso.
El benchmark sirve como un sustituto (proxy) para la comprensión espacial del mundo real, validado por fuertes correlaciones positivas (Pearson $r > 0.9$ ) entre el rendimiento en LEGO-Puzzles y los benchmarks de imágenes naturales (3DSRBench).

Los autores concluyen que se necesitan avances sustanciales para cerrar la brecha entre los MLLM actuales y la inteligencia espacial de nivel humano, particularmente en los dominios del razonamiento secuencial y la planificación generativa.