🤖 AI

WorldCoder-Bench: Benchmarking Physically Grounded 3D World Synthesis

Este artículo presenta WorldCoder-Bench, un benchmark exhaustivo que cuenta con 2.026 tareas curadas por expertos y el protocolo basado en ejecución StateProbe para evaluar y verificar la capacidad de los modelos de lenguaje de gran tamaño para sintetizar mundos 3D interactivos y físicamente fundamentados en entornos nativos del navegador, revelando que los modelos de frontera actuales tienen dificultades significativas para mantener la consistencia de estado y las cadenas de interacción.

Autores originales: Shuo Lu, Yinuo Xu, Kecheng Yu, Siru Jiang, Yongcan Yu, Yubin Wang, Haitao Yang, Yuxiang Zhang, Bin Wang, Ran He, Jian Liang

Publicado 2026-06-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shuo Lu, Yinuo Xu, Kecheng Yu, Siru Jiang, Yongcan Yu, Yubin Wang, Haitao Yang, Yuxiang Zhang, Bin Wang, Ran He, Jian Liang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando a un arquitecto robot para construir un parque de juegos virtual basado en una descripción simple que tú le das, como "Haz un juego de baloncesto donde el balón rebote de forma realista".

En el pasado, si le pedías a una IA que construyera un sitio web, podías simplemente mirar la pantalla. Si los botones se veían bien y los colores eran agradables, asumías que funcionaba. Pero construir un mundo 3D (como un videojuego o un simulador de física) dentro de un navegador web es diferente. Es como construir una casa donde las paredes están hechas de cristal invisible. Puedes ver el exterior, pero no puedes saber si los cimientos son sólidos, si las puertas realmente se abren o si la gravedad está funcionando correctamente solo con mirar una foto.

Este artículo presenta WorldCoder-Bench, una nueva forma de probar si una IA puede realmente construir estos mundos 3D funcionales, no solo imágenes bonitas de ellos.

Aquí está el desglose de su enfoque utilizando analogías sencillas:

1. El Problema: El Lienzo de la "Caja Negra"

Cuando una IA construye un mundo 3D, escribe código que se ejecuta dentro de un área oculta del navegador llamada <canvas>.

La forma antigua: Las pruebas anteriores eran como contratar a un crítico que solo mira una fotografía del parque de juegos. Podrían decir: "¡El tobogán es azul, así que está bien!". Pero no pueden ver si el tobogán está realmente sujeto al suelo o si la pelota rueda fuera del borde.
La realidad: La IA puede dibujar un aro de baloncesto con un aspecto perfecto, pero si el código es erróneo, la pelota podría atravesar el aro sin anotar, o el aro podría desaparecer cuando lo tocas. Las pruebas antiguas pasaban por alto estos fallos "invisibles".

2. La Solución: El "State Probe" (El Inspector Invisible)

Los autores crearon una nueva herramienta llamada StateProbe. En lugar de solo tomar una foto, esta herramienta es como un inspector invisible que camina dent dentro del mundo virtual.

Cómo funciona: El inspector tiene una lista de verificación secreta (un "contrato") escrita por expertos humanos. No solo mira la escena; llega al interior del código para revisar los "signos vitales" del mundo.
Qué revisa:
- Física: ¿Está la pelota cayendo realmente a la velocidad correcta?
- Interacción: Cuando hago clic en el botón, ¿el juego realmente registra el clic, o es el botón solo un dibujo?
- Estado: Si anoto un punto, ¿el contador de puntos realmente sube, o se queda estancado en cero?

Para asegurar que el inspector sea estricto, utilizaron un truque llamado Pruebas de Mutación (Mutation Testing). Rompieron deliberadamente el código de la IA de formas pequeñas (como cambiar la gravedad para que sea súper débil o esconder el botón de puntuación) para ver si el inspector detectaba el error. Si el inspector no detectaba la falla, arreglaban al inspector. Esto asegura que la prueba sea estricta y justa.

3. La Prueba: WorldCoder-Bench

Construyeron un enorme conjunto de pruebas con 2,026 desafíos diferentes.

Las Tareas: Estas van desde cosas simples (hacer que una pelota rebote) hasta cosas complejas (simular reacciones químicas o construir un juego donde tienes que apuntar a un baloncesto).
Las Reglas: La IA recibe una instrucción en lenguaje natural (por ejemplo, "Construye un juego...") y debe producir una única página web. No tiene acceso a la lista de verificación secreta ni a las reglas del inspector.

la 4. Los Resultados: La IA aún está aprendiendo

Probaron los 9 modelos de IA más avanzados del mundo. Los resultados fueron sorprendentes:

La puntuación: Incluso la mejor IA solo pasó aproximadamente el 28% de las pruebas.
La ilusión: Muchas IA produjeron mundos que parecían perfectos en una captura de pantalla, pero fallaron la prueba del "inspector invisible". Construyeron el escenario pero olvidaron las reglas de la física o cómo conectar los botones con la lógica del juego.
Los principales errores: La IA generalmente acertaba con el "aspecto", pero fallaba en:
- Deriva de Esquema (Schema Drift): La IA cambió las reglas del juego sin avisar al inspector (por ejemplo, se supone que la pelota es roja, pero la IA la hizo azul y no actualizó la puntuación).
- Cadenas Rotas: La IA construyó una puerta, pero no conectó el pomo a la puerta, por lo que no se abre.

5. La Verificación de "Valor": ¿Vale la pena el dinero?

Los autores también calcularon si usar estas IA ahorra dinero en comparación con contratar a un desarrollador humano.

El giro: Aunque las IA fallan a menudo, son tan baratas y rápidas que, para tareas sencillas, siguen ahorrando mucho dinero. Es como tener un aprendiz muy barato y rápido que hace los trabajos fáciles rápidamente, pero necesita a un humano para arreglar los complejos.
La métrica: Crearon una puntuación de "Retorno de la Automatización". Para tareas fáciles (como crear un efecto visual genial), la IA es un gran trato. Para tareas difíciles (como una física compleja), la IA sigue siendo demasiado poco fiable para reemplazar a un humano.

Resumen

WorldCoder-Bench es un baño de realidad para la IA. Nos impide ser engañados por imágenes bonitas y obliga a la IA a demostrar que sus mundos 3D realmente funcionan bajo el capó. En este momento, los mejores modelos de IA son como artistas talentosos que pueden pintar la imagen perfecta de un coche, pero aún no han aprendido a construir un motor que realmente funcione. Nos estamos acercando, pero todavía queda un largo camino por recorrer antes de que puedan construir mundos interactivos y plenamente funcionales por sí solos.

Resumen Técnico: WorldCoder-Bench

Planteamiento del Problema

Los modelos de lenguaje extensos (LLM) actuales tienen la tarea cada vez más frecuente de generar aplicaciones web ejecutables a partir de lenguaje natural. Sin embargo, los benchmarks existentes para la generación web evalúan principalmente interfaces estáticas o salidas visuales en 2D (píxeles, nodos del DOM). Este enfoque es insuficiente para los mundos 3D nativos del navegador (por ejemplo, construidos con Three.js), donde la lógica central —simulaciones físicas, detección de colisiones y sincronización de estados— ocurre dentro de un <canvas> opaco y un entorno de ejecución de JavaScript.

El artículo identifica un "punto ciego" crítico: un mundo 3D generado puede parecer visualmente plausible (superando las comprobaciones basadas en capturas de pantalla o en el DOM) mientras falla en requisitos de comportamiento fundamentales, como que los objetos colisionen correctamente, que la energía se disipe a las tasas esperadas o que los widgets de la interfaz permanezcan sincronizados con el estado del motor. Los paradigmas de evaluación existentes (capturas de pantalla, recorridos del DOM o exploración de agentes externos) no pueden acceder al estado interno del tiempo de ejecución necesario para verificar estas mecánicas, lo que genera altas tasas de falsos positivos al evaluar la corrección del código.

Metodología

1. WORLDCODER-BENCH: El Benchmark

Los autores presentan WORLDCODER-BENCH, un benchmark compuesto por 2,026 tareas curadas por expertos diseñadas para evaluar la síntesis de mundos 3D autónomos y físicamente fundamentados.

Estructura de la Tarea: Cada tarea requiere que el modelo genere un único archivo HTML autónomo utilizando Three.js basado en un prompt de lenguaje natural. Las tareas pueden incluir activos .glb opcionales.
Taxonomía: Las tareas se categorizan en tres macro-intenciones:
- Simulación: Sistemas que evolucionan físicamente (ej. cuerpos blandos, química, física).
- Renderizado: Efectos visuales controlables (ej. shaders, materiales, post-procesamiento).
- Aplicación: Uso interactivo orientado a objetivos (ej. juegos, arquitectura, animación).
Divisiones:
- WORLDCODER-CORE: 205 tareas de alta dificultad para el leaderboard principal.
- WORLDCODER-EXTENDED: 1,621 tareas para comparaciones a gran escala.
- WORLDCODER-ROBUST: 615 variantes de las tareas de CORE con constantes físicas (gravedad, elasticidad), recuento de objetos y nombres de archivos de activos aleatorizados para probar la generalización sobre la memorización de plantillas.
- WORLDCODER-DEV: 200 tareas públicas con contratos liberados para depuración.

2. STATEPROBE: Verificación Basada en la Ejecución

Para evaluar el comportamiento "oculto" de los mundos 3D, los autores proponen STATEPROBE, un protocolo de verificación basado en la ejecución que va más allá de la observación visual.

Interfaz de Tiempo de Ejecución: Los programas generados deben exponer una interfaz de estado estandarizada (ej. window.__3D_STATE__) que reporte variables como coordenadas, velocidades y banderas de interacción.
Contratos Ocultos: Cada tarea se empareja con un contrato de comportamiento ejecutable y oculto, redactado por expertos en el dominio. Estos contratos definen las prestaciones esperadas, las transiciones de estado y los invariantes numéricos (ej. leyes de conservación).
Endurecimiento por Mutación: Los contratos se calibran rigurosamente mediante pruebas de mutación. Se inyectan defectos comunes (actualizaciones de estado obsoletas, errores de carga de activos, objetivos de eventos intercambiados) en las implementaciones de referencia. Un contrato solo se admite si rechaza con éxito estas variantes mutadas, asegurando que un "aprobado" refleje una corrección genuina en lugar de umbrales laxos.
Flujo de Ejecución: Los programas se ejecutan en un navegador Chromium sin interfaz gráfica (headless). Una secuencia de acciones programada impulsa el mundo, y STATEPROBE captura instantáneas del estado antes y después de cada paso para verificar los deltas contra el contrato oculto.

3. Métricas

Más allá del paso/fallo binario, el artículo introduce:

Métricas de Cobertura:
- Cobertura de Prestaciones (A-Cov): Presencia de objetos/controles requeridos.
- Cobertura de Estado (S-Cov): Alcanzabilidad de estados intermedios.
- Cobertura de Transición (T-Cov): Corrección de los cambios de estado activados por acciones.
- Cobertura de Verificación (V-Cov): La métrica principal; la proporción de aserciones ocultas superadas.
Métricas de Utilidad:
- Retorno sobre la Automatización (RoA): Valor del trabajo humano ajustado por calidad ahorrado por cada dólar del costo del modelo.
- Multiplicador de Eficiencia Temporal (TEM): Horas-hombre ahorradas por hora de tiempo de generación del modelo.

Contribuciones Clave

WORLDCODER-BENCH: El primer benchmark que califica a los modelos sobre la corrección del comportamiento de los mundos Three.js generados en lugar de la plausibilidad visual, cubriendo 2,026 tareas a través de 15 dominios finos.
STATEPROBE: Un novedoso protocolo de evaluación que utiliza contratos endurecidos por mutación y sondeo del estado en tiempo de ejecución para verificar la física, la integración de activos y la sincronización de estados.
Métricas de Utilidad: La introducción de RoA y TEM, que combinan corrección, costo de inferencia y latencia para medir el valor económico práctico, penalizando las salidas baratas pero incorrectas.
Análisis Empírico: Un benchmark exhaustivo de nueve modelos de frontera (incluyendo GPT-5.4, Claude Opus 4.6 y Qwen3.6-Plus) que revela brechas significativas entre la apariencia visual y la corrección funcional.

Resultados Experimentales

Los autores evaluaron nueve modelos de frontera en WORLDCODER-CORE y WORLDCODER-ROBUST:

Baja Cobertura de Verificación: El modelo con mejor desempeño (GPT-5.4) logró solo un 27.8% de V-Cov en CORE y un 19.9% en ROBUST. Ningún sistema superó el 30% en los contratos ocultos.
Modos de Fallo: Los fallos estuvieron dominados por la Deriva del Esquema de Estado (42.8%) y las Cadenas de Interacción Rotas (40.8%), más que por la falta de elementos de la escena o errores en el cálculo físico. Los modelos a menudo generaban escenas visualmente plausibles pero fallaban al sincronizar el estado de ejecución con las acciones del usuario.
Fallo del Paradigma de Evaluación: Los métodos de evaluación externos (solo DOM, Screenshot+VLM, exploración de agentes) mostraron una correlación cercana a cero o negativa con la V-Cov real. Por ejemplo, la puntuación basada en el DOM tuvo un $\tau_b$ de Kendall de -0.021, y la exploración basada en agentes aprobó incorrectamente el 45.6% de las salidas severamente defectuosas.
Robustez: La brecha entre los modelos propietarios y los de pesos abiertos se amplió en la división ROBUST (6 puntos frente a 2.5 puntos en CORE), lo que sugiere que los modelos abiertos dependen más de la recuperación de plantillas que de la comprensión de mecanismos.
Valor Económico: A pesar de la baja V-Cov, los modelos "baratos" (ej. DeepSeek-V4-Flash) mostraron un alto RoA ($19,150 por dólar) debido a sus bajos costos de inferencia, mientras que los modelos más rápidos (GPT-5.4) lideraron en TEM (68.9x). Las tareas de renderizado fueron significativamente más fáciles que las tareas de simulación o aplicación.

Significado y Reivindicaciones

El artículo afirma que WORLDCODER-BENCH y STATEPROBE son necesarios para diagnosticar los modos de fallo específicos de los LLM en la codificación 3D, que actualmente están enmascarados por evaluadores puramente visuales.

Valor Diagnóstico: El benchmark revela que la barrera principal para la síntesis fiable de mundos 3D no es la generación de geometría estática, sino el mantenimiento de contratos de estado de ejecución sincrónicos con la acción e invariantes físicos.
Limitaciones de los Modelos Actuales: Incluso los modelos más fuertes fallan consistentemente en producir mundos ejecutables que obedezcan los contratos de comportamiento ocultos, indicando que "parecer correcto" ya no es un proxy suficiente para "funcionar correctamente".
Dirección Futura: Los autores posicionan el benchmark como una plataforma de diagnóstico para guiar el desarrollo de agentes capaces de construir mundos ejecutables, no solo escenas plausibles. Enfatizan que el progreso debe medirse contra la fiabilidad del comportamiento, particularmente en la "larga cola" de sistemas complejos y tareas pesadas en física donde los modelos actuales tienen dificultades.