PolyComp: A Polycube-based Benchmark for Compositional 3D Spatial Reasoning in Multimodal Models
El artículo presenta PolyComp, un referente generado procedimentalmente de 120 problemas diseñados para evaluar el razonamiento espacial 3D composicional en modelos multimodales, revelando que mientras modelos avanzados como GPT-5.6 Sol logran una precisión moderada (50%), otros luchan cerca de niveles de adivinación aleatoria a pesar de la variación en costos y formatos de presentación.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
La mente humana posee un talento silencioso, casi instintivo, para desarmar formas complejas e imaginar cómo se vuelven a ensamblar. Podemos mirar una pieza de un rompecabezas, un juguete roto o una pila de cajas e imaginar instantáneamente cómo las partes se relacionan con el todo, incluso cuando no podemos ver todas las superficies. Esta capacidad, conocida como razonamiento espacial, es una piedra angular de cómo navegamos por el mundo físico. Durante décadas, los científicos se han preguntado si la nueva generación de inteligencia artificial, que puede ver imágenes y leer texto, ha desarrollado este mismo sentido interno del espacio. Si bien estas máquinas sobresalen al reconocer gatos en fotos o resumir artículos, sigue sin estar claro si realmente pueden comprender la geometría tridimensional de los objetos, o si simplemente están adivinando basándose en patrones que han visto antes.
Un nuevo estudio introduce una prueba rigurosa diseñada para resolver esta cuestión, yendo más allá del simple reconocimiento de imágenes para sondear el núcleo de cómo las máquinas piensan sobre la forma y el ensamblaje. Los investigadores crearon un referente llamado PolyComp, una colección de 120 acertijos visuales construidos a partir de estructuras de bloques y cubos. En cada acertijo, se le muestra a una inteligencia artificial un objeto objetivo hecho de varios cubos conectados, visto desde dos ángulos diferentes. Luego, se le presentan cuatro posibles pares de piezas más pequeñas y se le pide que identifique qué par, al ser rotado y movido, se combinaría perfectamente para recrear el objeto original. La tarea requiere que el modelo construya mentalmente una representación 3D de las piezas, simule cómo podrían girar en el espacio y verifique si encajan sin huecos ni superposiciones. Esto no es una prueba de memoria o lenguaje, sino una prueba pura de lógica geométrica.
El estudio puso a prueba a tres de los sistemas de inteligencia artificial más avanzados: GPT-5.6 Sol, Claude Fable 5 y Gemini 3.1 Pro Preview. Cada sistema recibió la tarea de resolver los mismos 120 acertijos, pero los acertijos se presentaron de tres maneras diferentes para ver si el formato de la imagen ayudaba o dificultaba el razonamiento. A veces, el objeto objetivo y las opciones aparecían juntos en una sola imagen; otras veces, el objeto objetivo se mostraba en una imagen y las cuatro opciones se dividían en cuatro imágenes separadas, ya fuera con etiquetas genéricas o nombres descriptivos. El objetivo era ver si dividir la información visual en fragmentos más pequeños facilitaba la tarea, o si los modelos tenían dificultades independientemente de cómo se mostrara la información.
Los resultados revelaron una brecha significativa entre la intuición humana y las capacidades actuales de las máquinas. El modelo con mejor desempeño, GPT-5.6 Sol, logró resolver correctamente solo la mitad de los acertijos, alcanzando una precisión del 50 por ciento. El segundo modelo, Claude Fable 5, resolvió aproximadamente el 39 por ciento, mientras que el tercer modelo, Gemini 3.1 Pro Preview, se desempeñó cerca del nivel de una elección al azar, obteniendo solo el 27.5 por ciento de las respuestas correctas. Dado que había cuatro opciones para cada acertijo, se esperaría que una computadora que adivina a ciegas obtuviera el 25 por ciento de aciertos; esto significa que los modelos más avanzados apenas fueron mejores que el azar, y los menos avanzados estaban esencialmente adivinando. El estudio también encontró que el tipo de forma importaba más que la forma en que se presentaban las imágenes. Los modelos tuvieron mayores dificultades con los acertijos que involucraban bucles rectangulares, donde las piezas formaban una estructura similar a un anillo, pero se desempeñaron ligeramente mejor en acertijos que parecían bloques simples siendo divididos o unidos.
Curiosamente, la forma en que se mostraron los acertijos no marcó una diferencia dramática en el resultado. Dividir las imágenes en archivos separados o añadir etiquetas descriptivas no aumentó significativamente las puntuaciones de ninguno de los modelos. Esto sugiere que la dificultad no radica en la capacidad de los modelos para ver las imágenes con claridad, sino en su incapacidad para construir un modelo 3D estable de los objetos y simular cómo se mueven. Los investigadores señalaron que, cuando los modelos tenían éxito, a menudo era porque las piezas tenían una forma general muy obvia o una superficie plana y grande que las hacía fáciles de emparejar. Cuando los acertijos requerían rastrear esquinas pequeñas ocultas o descifrar cómo las piezas encajaban dentro de un espacio hueco, los modelos fallaban consistentemente.
El estudio también destacó el costo de este tipo de razonamiento profundo. Para resolver las 360 preguntas totales (120 acertijos presentados de tres maneras cada uno), el modelo más capaz consumió una vasta cantidad de recursos informáticos, costando casi un dólar por pregunta utilizando los precios estándar. Los modelos menos capaces eran más económicos de ejecutar, pero también menos precisos. Este compromiso sugiere que, incluso cuando pagamos por los sistemas más potentes disponibles, todavía carecen de la inteligencia espacial fundamental que los humanos desarrollan naturalmente. Los investigadores publicaron los 120 acertijos y el código utilizado para generarlos, invitando a otros a probar futuros modelos contra este mismo estándar.
En última instancia, este trabajo sirve como una herramienta de diagnóstico clara, mostrando que, si bien la inteligencia artificial ha logrado avances tremendos en la comprensión del lenguaje y el reconocimiento de objetos, aún no ha dominado la capacidad de manipular mentalmente el espacio tridimensional. Los modelos pueden describir un cubo o identificar una forma, pero aún no pueden imaginar de manera confiable cómo dos piezas separadas de una forma encajarían si se giraran y rotaran en el aire. Hasta que las máquinas puedan construir estos mapas 3D internos y simular transformaciones dentro de ellos, su razonamiento espacial seguirá siendo frágil, propenso a errores que un niño humano resolvería con facilidad. El estudio no afirma que esta capacidad sea imposible de aprender para las máquinas, pero establece firmemente que los sistemas actuales aún no la han alcanzado, dejando un camino claro para que la investigación futura cierre esta brecha.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.