Resumen Técnico: WBENCH - Una Evaluación Integral de Múltiples Vueltas para la Evaluación de Modelos de Mundo de Video Interactivo

1. Declaración del Problema

Los modelos de mundo de video interactivo están avanzando rápidamente, capaces de generar secuencias de video controlables en respuesta a las acciones del usuario en dominios como los videojuegos, la conducción autónoma y la interacción encarnada. Sin embargo, el campo carece de un estándar unificado para una evaluación sistemática. Las evaluaciones existentes están fragmentadas: algunas se centran únicamente en la calidad perceptual del video (por ejemplo, VBench) sin probar el control interactivo, mientras que otras evalúan aspectos específicos del modelado del mundo (por ejemplo, navegación o memoria) pero no cubren todo el espectro de escenas de dominio abierto, perspectivas y tipos de interacción. En consecuencia, es difícil comparar modelos con diferentes interfaces nativas (texto, pose de cámara, acciones discretas) de manera justa o diagnosticar modos de fallo específicos en la generación de largo alcance, la consistencia y el cumplimiento físico.

2. Metodología

2.1 Construcción del Conjunto de Datos (WBENCH)

Los autores presentan WBENCH, una evaluación integral de múltiples vueltas que comprende 289 casos de prueba y 1.058 vueltas de interacción. El conjunto de datos se construye basándose en un principio de "configuración primero":

• Configuraciones del Mundo: Cada caso define un estado inicial del mundo $W$ que comprende cuatro atributos: Escena (6 categorías: naturaleza, urbana, interior, espacio de trabajo, fantasía, deportes), Estilo (fotorrealista a estilizado), Perspectiva (Primera Persona o Tercera Persona) y Sujeto (humano, animal, vehículo, robot u otro).
• Secuencias de Interacción: Cada caso incluye una secuencia de múltiples vueltas de controles del usuario extraídos de cuatro tipos de interacción:
  1. Navegación: Movimiento de la cámara o del agente ego utilizando WASD (traslación) y las teclas de flecha (rotación).
  2. Acción del Sujeto: Acciones realizadas por el sujeto principal (manipulación, locomoción, uso de herramientas, combate, gestos).
  3. Edición de Eventos: Cambios ambientales impuestos externamente (clima, hora del día, aparición de objetos).
  4. Cambio de Perspectiva: Transiciones entre vistas en primera persona y tercera persona.
• Control Unificado: Para permitir una comparación justa entre paradigmas, las interacciones de navegación se representan en tres formas alineadas: indicaciones de texto, poses de cámara de 6 grados de libertad (6-DoF) y acciones de teclado discretas.

2.2 Suite de Evaluación

WBENCH evalúa los modelos en cinco dimensiones complementarias utilizando 22 submétricas automáticas finas, todas validadas frente a juicios humanos:

1. Calidad del Video: Mide la calidad perceptual (estética, imagen, parpadeo, grado dinámico, suavidad, HPSv3-Norm) independiente de la condición.
2. Adherencia a la Configuración: Evalúa la fidelidad a la configuración inicial del mundo, incluyendo Adherencia a la Escena (mantener elementos visibles y revelar elementos fuera de pantalla) y Adherencia al Sujeto (apariencia y estilo de movimiento).
3. Adherencia a la Interacción: Evalúa la ejecución correcta de las solicitudes del usuario.
   • Navegación: Utiliza MegaSaM para la estimación de poses para calcular el Error de Trayectoria Absoluto normalizado (nATE) frente a la verdad fundamental sintética.
   • Interacciones Semánticas (Edición de Eventos, Acción del Sujeto, Cambio de Perspectiva): Utiliza Modelos de Visión-Lenguaje (VLM) con verificaciones binarias estructuradas (por ejemplo, ocurrencia del evento, finalización, ausencia de anomalías).
4. Consistencia: Mide la estabilidad de la geometría, la apariencia y la perspectiva a lo largo del tiempo. Incluye métricas para la consistencia espacial (trayectorias de ida y vuelta), continuidad de segmentos (detección de cortes), consistencia de perspectiva (seguimiento del sujeto) y consistencia de reconstrucción (reproyección geométrica y fotométrica).
5. Cumplimiento Físico: Evalúa la adherencia a las reglas físicas mediante Fidelidad Causal (evaluación basada en VLM de la física de renderizado y la lógica causal) y Plausibilidad Visual (puntuación de artefactos de bajo nivel por Qwen3-VL ajustado finamente).

2.3 Protocolo Experimental

La evaluación se aplicó a 20 modelos de última generación que abarcan tres paradigmas:

• Impulsados por texto (9 modelos): por ejemplo, Kling 3.0, Wan 2.7, Seedance 1.5. Evaluados en los 289 casos completos mediante reenvío iterativo del último cuadro.
• Controlados por cámara (5 modelos): por ejemplo, HY-World 1.5, LingBot-World. Evaluados en un subconjunto compartido de navegación (158 casos) utilizando entradas de pose nativas.
• Condicionados por acción (6 modelos): por ejemplo, Genie 3, Matrix-Game 3.0. Evaluados en el subconjunto de navegación utilizando entradas de acción discretas.
• Alineación Humana: Un estudio con 400 anotadores que realizaron comparaciones pareadas ciegas confirmó que las métricas automáticas alcanzan una correlación de Spearman ($\rho \ge 0.94$) con las preferencias humanas.

3. Resultados Clave

• Sin Modelo Dominante: Ningún modelo único se desempeña fuertemente en las cinco dimensiones. El rendimiento está altamente especializado según el paradigma del modelo y los datos de entrenamiento.
• Independencia de la Navegación: La capacidad de navegación está en gran medida desacoplada de otras dimensiones. Un buen rendimiento en renderizado o física no garantiza un movimiento controlable. Por el contrario, la corrección física se correlaciona más fuertemente con la calidad del video y la consistencia que con las capacidades de control.
• Control vs. Consistencia: El control de la cámara no garantiza la consistencia de la perspectiva. Los modelos con control de cámara nativo (por ejemplo, HY-World 1.5) sobresalen en navegación, pero a menudo luchan por mantener un movimiento coherente del sujeto en vistas en tercera persona en comparación con los modelos impulsados por texto.
• Degradación a lo Largo de las Vueltas: El rendimiento de navegación se degrada significativamente a lo largo de secuencias de múltiples vueltas (caída de ~33 puntos desde la Vuelta 1 hasta la Vuelta 4+), ya que los errores de pose se acumulan. Las interacciones semánticas (edición de eventos, acción del sujeto) se degradan de manera más moderada. El cambio de perspectiva sigue siendo la tarea más difícil en general (puntuación promedio ~30.7).
• Competitividad de Código Abierto: Los modelos de código abierto (por ejemplo, HY-World 1.5, LingBot-World, Matrix-Game 3.0) alcanzan puntuaciones líderes en dimensiones específicas (navegación, consistencia, control condicionado por acción), igualando o superando a las alternativas de código cerrado.
• Dificultad Estructurada: La dificultad de la evaluación varía según la configuración. La navegación en primera persona es más fácil que en tercera persona. Las escenas deportivas/de juegos y los sujetos animales presentan la mayor dificultad debido a dinámicas complejas, mientras que las escenas de espacio de trabajo y los robots son más fáciles debido a la geometría estática.

4. Contribuciones Clave

1. Evaluación Unificada: Un marco integral que abarca cinco dimensiones de evaluación con 22 submétricas finas, abordando la brecha en las evaluaciones existentes que cubren solo competencias parciales.
2. Conjunto de Datos de Múltiples Vueltas: Un conjunto de datos que cubre ambas perspectivas, cuatro tipos de interacción y una interfaz de navegación unificada, permitiendo una comparación justa entre paradigmas.
3. Pipeline de Diagnóstico: Un pipeline de evaluación completamente automático aplicado a 20 modelos, que establece líneas base de diagnóstico y pone de manifiesto conocimientos accionables (por ejemplo, la independencia de la navegación de otras capacidades) para el desarrollo futuro de modelos.

5. Significado y Afirmaciones

El artículo afirma que WBENCH proporciona el primer protocolo unificado para evaluar modelos de mundo interactivo en escenas de dominio abierto, ambas perspectivas y todos los tipos de interacción principales. Al revelar que los modelos actuales aún no han unificado el renderizado de alta fidelidad con un control fiable, consistencia y física, la evaluación destaca las brechas específicas en el campo. Los autores afirman que sus hallazgos, particularmente la desacoplamiento de la navegación de otras capacidades y la dificultad estructurada basada en los tipos de escena/sujeto, ofrecen una hoja de ruta para desarrollar modelos de mundo más robustos. El trabajo se posiciona como una herramienta de diagnóstico para guiar la investigación futura en lugar de una solución a los desafíos subyacentes de generación.

Limitaciones Reconocidas: El conjunto de pruebas actual se centra en secuencias de acciones discretas en lugar de control continuo, y la dimensión física depende parcialmente de una evaluación basada en LLM, que puede tener límites de fiabilidad para efectos sutiles.