3DCodeVerse: Exploring 3D Worlds as Code

Imagina un mundo donde la creación de un objeto tridimensional no es una cuestión de esculpir con arcilla o arrastrar formas con un ratón, sino de escribir instrucciones, de forma muy similar a como un compositor escribe una sinfonía o un arquitecto redacta un plano. Este es el reino del código 3D, un campo donde los programas informáticos actúan como las herramientas para construir geometría digital, definir cómo se mueven las partes y componer escenas enteras. Durante años, los investigadores han buscado enseñar a la inteligencia artificial a escribir estas instrucciones, con la esperanza de automatizar la creación de todo, desde juguetes sencillos hasta maquinaria compleja. El desafío siempre ha sido que, si bien las computadoras son excelentes siguiendo reglas, tienen dificultades para comprender la realidad física que esas reglas describen. Un programa podría generar una silla que se vea perfecta en una pantalla, pero que tenga patas que flotan en el aire o articulaciones que no pueden doblarse físicamente. Hasta ahora, no había una forma fiable de enseñar a las máquinas a revisar su propio trabajo, detectar estos errores físicos y corregirlos sin que un humano intervenga para decir: "Esa pata es demasiado larga".

Un equipo de investigadores ha presentado un nuevo sistema llamado 3DCodeVerse, que cambia las reglas del juego al tratar la creación 3D como un proceso de escribir, probar y refinar código. En lugar de depender de un humano para inspeccionar cada objeto digital, este sistema utiliza un equipo de agentes de inteligencia artificial que trabajan juntos para escribir el código, ejecutarlo y luego verificar rigurosamente los resultados. Si el código produce una silla con una pata flotante, el sistema detecta el error, calcula exactamente qué tan lejos está la pata del suelo e instruye al agente de codificación para que reescriba la línea de código específica para solucionarlo. Este ciclo se repite automáticamente, permitiendo al sistema generar contenido 3D de alta calidad y físicamente válido a una escala que antes era imposible. Los investigadores construyeron una biblioteca masiva de más de dos millones de ejemplos de código 3D funcional para enseñar a sus modelos, y crearon un marco que puede verificar si un objeto generado realmente existe de la manera en que fue descrito.

El núcleo de este logro es un conjunto de datos llamado 3DCodeVerse-2M, que sirve como un vasto campo de entrenamiento para estos modelos de inteligencia artificial. Los investigadores recopilaron código existente de diversas fuentes, como bibliotecas de código abierto para diseño 3D y generación procedimental, y lo convirtieron en un formato unificado que pueda ejecutarse y verificarse. También utilizaron su propio sistema automatizado para generar nuevos programas, asegurando que cada pieza de código pudiera realmente ejecutarse y producir un resultado. Esta colección incluye instrucciones para crear objetos estáticos como mesas, activos articulados como robots con articulaciones móviles, escenas virtuales completas e incluso efectos visuales complejos. Al entrenar sus modelos con esta biblioteca diversa y verificada, los investigadores descubrieron que la inteligencia artificial se volvió significativamente mejor escribiendo código que funciona. Al ser probada en un conjunto estándar de tareas, un modelo que había sido ajustado con estos datos pudo ejecutar con éxito su código generado casi el 93 por ciento de las veces, una mejora dramática respecto a los modelos que no habían visto este entrenamiento.

Para asegurar que el código produzca no solo resultados ejecutables sino también contenido 3D de alta calidad, el equipo desarrolló un sofisticado marco llamado 3DCodeVerse Harness. Este sistema actúa como un taller de múltiples etapas donde diferentes agentes de IA desempeñan roles específicos. Un agente planifica la estructura del objeto, desglosando una solicitud compleja como "construir un taburete de tres patas" en tareas más pequeñas. Otros agentes escriben el código para cada parte, mientras que un agente separado actúa como juez, inspeccionando el resultado renderizado frente a la solicitud original. Crucialmente, el sistema no depende de ojos humanos para encontrar errores. Utiliza herramientas automatizadas para medir el objeto digital, comprobando problemas como partes que no se tocan, articulaciones que colisionan o dimensiones que son incorrectas. Si se encuentra un problema, el sistema genera una instrucción de reparación específica y la envía de vuelta al agente de codificación. Este bucle de escribir, verificar y corregir continúa hasta que el objeto cumple con todos los criterios. En las pruebas, este proceso de refinamiento automatizado permitió al sistema producir resultados que fueron preferidos por evaluadores humanos más del 90 por ciento de las veces en comparación con una herramienta de diseño comercial líder.

Los investigadores también demostraron que este enfoque funciona en diferentes tipos de creación 3D, desde piezas mecánicas hasta escenas animadas. Mostraron que el sistema puede tomar una descripción de texto y producir un programa funcional para un brazo robótico que se mueve correctamente, o una habitación virtual donde los muebles están debidamente apoyados y la iluminación es adecuada. En una aplicación específica, utilizaron el código 3D generado para guiar la creación de videos, asegurando que el movimiento de los objetos en el video coincidiera con las restricciones físicas definidas en el código. Esta conexión entre el código rígido y lógico y los medios visuales fluidos sugiere una nueva forma de controlar cómo se construyen y animan los mundos digitales. La capacidad del sistema para manejar proyectos complejos de múltiples partes sin intervención humana marca un paso significativo hacia hacer que la creación 3D sea accesible y escalable.

Los hallazgos sugieren que el futuro del diseño 3D puede residir en una asociación entre la creatividad humana y la verificación automatizada. Al proporcionar una forma de que las máquinas revisen su propio trabajo frente a las leyes de la física y los requisitos del usuario, los investigadores han eliminado un importante cuello de botella en el proceso creativo. El sistema no solo adivina cómo debería verse un objeto; lo construye, lo mide y lo corrige hasta que es correcto. Esta capacidad abre la puerta a la generación de vastas cantidades de contenido 3D personalizado para aplicaciones en robótica, entretenimiento e ingeniería, todo impulsado por simples instrucciones de texto. El trabajo establece un nuevo fundamento para el campo, demostrando que, con las herramientas y los datos de entrenamiento adecuados, la inteligencia artificial no solo puede escribir el código para los mundos 3D, sino también asegurar que esos mundos tengan sentido.