minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

Resumen Técnico: minWM

Enunciado del Problema
Recientes modelos fundacionales basados en difusión han logrado un éxito significativo en la generación de video de alta calidad a partir de texto (T2V) y a partir de texto e imagen (TI2V). Sin embargo, transformar estos generadores bidireccionales offline en modelos de mundo de video interactivos en tiempo real sigue siendo un desafío sustancial. Un modelo de mundo interactivo efectivo debe soportar la proyección causal, responder a las acciones del usuario (como las trayectorias de la cámara) y generar cuadros futuros con una latencia suficientemente baja. Aunque trabajos recientes han explorado la destilación de difusión autoregresiva (AR) para cerrar esta brecha, estas técnicas se encuentran actualmente dispersas en pipelines separados. Construir un sistema interactivo completo aún requiere un esfuerzo sustancial y fragmentado en la construcción de datos, el ajuste fino controlable, el entrenamiento AR, la destilación en pocos pasos y la alineación de la inferencia. Existe una falta de un marco unificado, reproducible y extensible para gestionar este pipeline completo.

Metodología
Los autores presentan minWM, un marco de código abierto de pila completa diseñado para convertir modelos fundacionales bidireccionales T2V/TI2V existentes en modelos de mundo autoregresivos de pocos pasos controlables por cámara. El pipeline es modular y consta de dos fases principales:

1. Fase 1: Entrenamiento Controlable por Cámara para Modelos de Difusión Bidireccionales

   • Objetivo: Dotar a una columna vertebral de difusión bidireccional de múltiples pasos de la capacidad de seguir trayectorias de cámara prescritas, preservando al mismo tiempo la calidad visual original.
   • Técnica: El marco adopta PRoPE (Proyección de Rotación y Posición) como método de inyección. Dado los parámetros de la cámara (matriz intrínseca $K_i$ y transformación extrínseca $T^{cw}_i$), PRoPE construye una matriz proyectiva elevada para cada cuadro. Esta transformación se inyecta en el mecanismo de autoatención en forma de GTA (Atención Generalizada de Tokens), permitiendo que el modelo se condicione sobre las trayectorias de la cámara codificando las intrínsecas y poses relativas de la cámara sin alterar la estructura generativa original de autoatención.

2. Fase 2: Destilación de Difusión AR para Modelos Interactivos en Tiempo Real

   • Objetivo: Transformar el modelo bidireccional de múltiples pasos controlable por cámara en un generador autoregresivo de pocos pasos adecuado para inferencia de baja latencia.
   • Pipeline: El marco implementa el pipeline de Forzamiento Causal o Forzamiento Causal++, que comprende tres etapas:
     • Etapa 1 (Entrenamiento de Difusión AR): El modelo bidireccional se ajusta fino a un modelo de difusión AR mediante forzamiento del profesor. Esto implica concatenar video limpio con contrapartes ruidosas y entrenar bajo una máscara de atención causal. Esto otorga capacidad autoregresiva pero retiene problemas de latencia de múltiples pasos y sesgo de exposición.
     • Etapa 2 (Inicialización): El modelo se destila en un generador de pocos pasos. El marco ofrece dos opciones:
       • ODE Causal: Regresión desde cuadros intermedios ruidosos a cuadros limpios utilizando trayectorias PF-ODE generadas por el profesor AR.
       • CD Causal (Destilación de Consistencia): Una alternativa teóricamente equivalente que elimina la necesidad de generación de datos ODE offline, reduciendo la sobrecarga de almacenamiento y tiempo.
     • Etapa 3 (DMD Asimétrica): Para superar las limitaciones de calidad heredadas del profesor AR, se aplica una etapa de Destilación con un Modelo de Difusión (DMD) asimétrica. El modelo estudiante AR de pocos pasos realiza proyecciones automáticas para generar secuencias completas, las cuales se optimizan contra un modelo profesor bidireccional de alta calidad congelado (la "puntuación real") utilizando gradientes DMD estándar.
   • Integración de la Cámara: A lo largo de todas las etapas de destilación, las condiciones de la cámara se alimentan consistentemente al profesor AR, al modelo estudiante y a los estimadores de puntuación ($s_{real}$ y $s_{fake}$), asegurando que el modelo final de pocos pasos permanezca controlable por cámara.

Contribuciones Clave

• Marco minWM: El lanzamiento de un pipeline completo de código abierto y de extremo a extremo para construir modelos de mundo de video interactivos en tiempo real. Cubre todo el flujo de trabajo, desde la construcción de datos condicionados por cámara y el ajuste fino controlable hasta la destilación de Forzamiento Causal y la inferencia de baja latencia.
• Generalización de Arquitectura: Demostración de que el marco es agnóstico a la arquitectura. Los autores instanciaron minWM en dos columnas vertebrales de código abierto distintas:
  • Wan2.1-T2V-1.3B: Utilizando inyección de condiciones basada en atención cruzada.
  • HY1.5-TI2V-8B: Utilizando una arquitectura estilo MMDiT.
• Adaptabilidad: El marco admite la adaptación de modelos de mundo existentes (por ejemplo, HY-WorldPlay) a nuevas distribuciones de datos, recetas de entrenamiento y objetivos de latencia.
• Ablaciones Prácticas: El artículo proporciona orientación accionable sobre factores críticos de entrenamiento, incluida la necesidad de trayectorias de cámara de verdad fundamental (frente a poses estimadas por percepción), los pasos mínimos de entrenamiento requeridos para la controlabilidad y los requisitos mínimos de tamaño de lote.

Resultados

• Reducción de Latencia: Los modelos AR de pocos pasos lograron reducciones dramáticas en la latencia del primer cuadro en comparación con las líneas base bidireccionales de múltiples pasos.
  • HY1.5: Reducción de latencia de 771.04s a 3.446s (una aceleración de 223.75×).
  • Wan2.1: Reducción de latencia de 269.055s a 1.137s (una aceleración de 236.64×).
  • Esta baja latencia permite la interacción en tiempo real donde los usuarios pueden ver cuadros mientras la generación está en curso.
• Preservación de la Controlabilidad: Los resultados visuales confirman que los modelos AR de pocos pasos destilados retienen la capacidad de generar videos bajo diferentes acciones de cámara, validando la efectividad del algoritmo de destilación para preservar la controlabilidad.
• Hallazgos de Ablación:
  • Calidad de Datos: El entrenamiento en conjuntos de datos con poses de cámara estimadas por percepción (SpatialVid) no logró generar una controlabilidad confiable. El entrenamiento exitoso requirió trayectorias de verdad fundamental obtenidas mediante reconstrucción 3D/volver a renderizar (DL3DV) o generación por WorldPlay.
  • Pasos de Entrenamiento: La controlabilidad de la cámara surgió progresivamente; los modelos eran en gran medida incontrolables en 1–2k pasos, comenzaron a responder a ~5k pasos y lograron una fuerte controlabilidad en 8k pasos.
  • Tamaño de Lote: Un tamaño de lote menor a 4 a menudo resultó en un fracaso para aprender la controlabilidad. Se encontró que un tamaño de lote de 16 era necesario para un entrenamiento estable y de alta controlabilidad.

Significado
El artículo posiciona a minWM no como un único punto de control entrenado, sino como una receta reproducible y extensible para la comunidad. Aborda la fragmentación en la investigación actual al proporcionar un pipeline unificado que convierte modelos fundacionales offline potentes en agentes interactivos en tiempo real. Al liberar scripts ejecutables, puntos de control y documentación, minWM tiene como objetivo reducir la barrera para que los investigadores construyan, adapten y extiendan modelos de mundo de video interactivos en tiempo real, particularmente para aplicaciones que requieren generación controlable por cámara de baja latencia. Los autores notan explícitamente que, aunque actualmente se centran en el control de la cámara, el marco está diseñado para extenderse a otras condiciones de control (por ejemplo, pose) y modelos adicionales en el futuro.