Resumen Técnico: WorldRoamBench

Planteamiento del Problema

A pesar de los rápidos avances en los Modelos de Mundo Interactivos (IWM, por sus siglas en inglés) capaces de generar entornos fotorrealistas en respuesta a las entradas del usuario (por ejemplo, teclas WASD), los benchmarks existentes no logran evaluar adecuadamente la estabilidad de largo horizonte. Los métodos de evaluación actuales sufren cuatro limitaciones críticas:

1. Evaluación de la Acción: La mayoría de los benchmarks dependen de métricas a nivel de trayectoria (por ejemplo, Error de Pose Relativa, Error de Trayectoria Absoluta) derivadas de trayectorias de cámara 3D recuperadas. Estas métricas sufren de disparidades de escala semántica entre modelos (donde diferentes modelos interpretan la misma acción con magnitudes muy distintas) y pueden ocultar fallos por fotograma (por ejemplo, un modelo que ignora una pulsación de tecla y luego sobrecompensa).
2. Estabilidad Visual: Las métricas existentes suelen medir la calidad visual promedio, ignorando la degradación temporal. Los modelos autorregresivos frecuentemente exhiben un colapso de calidad no monotónico (deriva, desenfoque, ruptura estructural) a mitad de la secuencia que las comparaciones entre el inicio y el final no logran detectar.
3. Física de la Interacción: Los benchmarks actuales carecen de una evaluación sistemática de la plausibilidad física bajo control activo, como la respuesta a colisiones, el clipping (atraviesas de objetos), la gravedad y la consistencia óptica (reflejos/sombras).
4. Consistencia de la Memoria: La memoria se evalúa a menudo mediante comparaciones simétricas de pares de fotogramas asumiendo una ejecución de acción perfecta. En la realidad, la deriva acumulada causa que el fotograma de "revisita" se desplace espacialmente respecto al ground truth, confundiendo los errores de seguimiento de acción con la degradación de la memoria.

Metodología

Los autores presentan WorldRoamBench, un benchmark de mundo abierto diseñado para evaluar IWMs a través de 10–60 segundos de interacción continua en diversos escenarios (Naturaleza, Urbano, Interior) y perspectivas (Vista en Primera Persona - FPV, Vista en Tercera Persona - TPV). El benchmark consta de más de 600 casos de prueba y evalúa más de 10 modelos de vanguardia (tanto de código abierto como cerrados).

El marco de evaluación se construye sobre cuatro dimensiones complementarias:

1. Seguimiento de la Acción (Action Following)

• Precisión de Acción Discreta por Fotograma: En lugar de recuperar trayectorias, el benchmark discretiza la pose de la cámara estimada (usando ViPE) en acciones atómicas (W, A, S, D, I, J, K, L) utilizando un mecanismo de salto latente (agrupando fotogramas en ventanas de $K=4$ para coincidir con la cadencia de generación del modelo). Reporta tanto la Precisión Estricta (coincidencia exacta de todas las sub-acciones) como la Precisión Parcial (coincidencia de al menos una sub-acción).
• Puntuación de Trayectoria (TrajScore): Una métrica geométrica que compara la ruta generada contra un ground truth adaptativo. El GT adaptativo preserva la magnitud de desplazamiento propia del modelo pero impone la dirección e forma ideal (por ejemplo, una línea recta para "adelante"). Esto desacopla "qué tan lejos" se movió el modelo de "si se movió correctamente". Los errores se normalizan por longitud de ruta y rotación para asegurar la comparabilidad entre modelos.

2. Calidad Visual

• Calidad Absoluta: Medida a través de la Calidad de Imagen (MUSIQ) y la Calidad Estética (predictor basado en CLIP).
• Deriva Temporal: Una métrica basada en segmentos que divide el despliegue en $N=10$ ventanas para identificar la mayor caída de calidad ($D = \frac{\bar{s}_{best} - \bar{s}_{worst}}{|\bar{s}_{best}|}$). Esto captura colapsos de calidad a mitad de la secuencia que las puntuaciones promedio pasan por alto.

3. Física de la Interacción

Una evaluación controlada por puerta de controlabilidad asegura que el modelo responda a las acciones antes de evaluar la física. Cubre tres dominios usando juicio basado en VLM (Qwen3-VL-PLUS):

• Mecánica: Colisión, clipping (atravesar sólidos), deformación (huellas/ondas), seguimiento de terreno y gravedad.
• Óptica: Plausibilidad de reflejos y consistencia de sombras.
• Consistencia 3D: Preservación de la estructura espacial rígida y el orden de profundidad durante el movimiento de la cámara.

4. Memoria

La memoria se evalúa bajo un control imperfecto mediante dos vías:

• Memoria de la Escena: En lugar de la comparación de pares de fotogramas, el benchmark localiza la transición de observación-revisita, reconstruye nubes de puntos para ambos segmentos y las alinea. Calcula una puntuación F1 basada en la Retención (geometría observada recuperada) y la Alucinación (geometría de la revisita no sustentada por la observación).
• Memoria del Sujeto (solo TPV): Utiliza seguimiento (SAM2) y razonamiento VLM para evaluar la preservación de la identidad, estructura y apariencia del protagonista a lo largo del tiempo.

Resultados Clave

El benchmark evaluó más de 10 modelos, incluyendo líderes de código cerrado (Genie 3, Happy Oyster) y modelos de código abierto (Matrix-Game 2.0/3.0, HY-World 1.5, Lyra 2.0, SANA-WM, etc.).

• Sin Modelo Dominante: Ningún modelo único satisface todas las dimensiones. Los modelos de código cerrado generalmente sobresalen en física y memoria, mientras que los modelos abiertos suelen liderar en seguimiento de acción y calidad visual.
• Trayectoria $\neq$ Corrección por Fotograma: Los modelos con altas puntuaciones de trayectoria (>85) pueden presentar una baja precisión de acción estricta (<65%), revelando fallos ocultos donde los modelos derivan por el camino correcto pero pierden pulsaciones de teclas individuales.
• Calidad Visual $\neq$ Controlabilidad: Las altas puntuaciones estéticas no garantizan un seguimiento de acción preciso; la fidelidad visual y la controlabilidad parecen ser capacidades mayoritariamente independientes.
• Compromiso entre Física y Acción: Los modelos que se adhieren estrictamente a la física (por ejemplo, detenerse ante paredes) suelen desviarse de las trayectorias predefinidas, resultando en puntuaciones de seguimiento de acción más bajas a pesar de tener un comportamiento físicamente plausible.
• Controlabilidad en Tercera Persona: Existe una brecha significativa en las tasas de control de TPV. Happy Oyster logró una tasa de control del 84.43%, mientras que HY-World 1.5 tuvo dificultades con un 21.23%, indicando que la estabilidad en tercera persona aún no es un problema resuelto para muchos modelos abiertos.

Significancia y Reivindicaciones

El artículo afirma que WorldRoamBench proporciona una base diagnóstica para medir el progreso hacia simulaciones de mundo genuinamente interactivas y estables. Al exponer modos de fallo ocultos por clips cortos y métricas de solo trayectoria, el benchmark resalta que los IWMs actuales aún no son fiables para el despliegue en el mundo real.

Los autores enfatizan que los futuros modelos de mundo deben integrar simultáneamente la capacidad de respuesta a la acción, el fundamento físico y la memoria persistente de escena/sujeto. El benchmark sirve como una herramienta estandarizada para impulsar la investigación en estas áreas específicas y a menudo desacopladas, moviendo el campo más allá de la "generación de video fotorrealista" hacia "entornos interactivos estables y físicamente fundamentados".