Resumen Técnico: Vorch-Director

Planteamiento del Problema

La continuación autorregresiva ofrece una vía para generar contenido audiovisual de escala de minutos y de múltiples tomas mediante la extensión repetida de un generador de ventana corta. Sin embargo, un desajuste entre entrenamiento y prueba (sesgo de exposición) crítico obstaculiza este enfoque. Durante el entrenamiento, los modelos se condicionan con historias de verdad de campo limpias (forzamiento del profesor o teacher forcing), mientras que en la inferencia, dependen de sus propios resultados generados previamente. Este uso recursivo de predicciones imperfectas conduce a la acumulación de errores, manifestándose como deriva de identidad, sobre-suavizado, inconsistencia de movimiento y desincronización audiovisual a lo largo de horizontes temporales largos.

Las soluciones existentes intentan mitigar esto mediante la recuperación de memoria (que asume un contexto limpio) o el entrenamiento de despliegue propio (self-rollout training, que es computacionalmente costoso). Enfoques recientes ligeros, como Matrix-Game, inyectan residuos de predicción en el historial de condicionamiento para simular errores de tiempo de inferencia durante el entrenamiento. Sin embargo, estos métodos pasan por alto una propiedad fundamental de los modelos de difusión: los residuos de predicción son inherentemente dependientes del nivel de ruido de flujo de coincidencia ($\sigma$) en el que se producen. Los residuos de alto $\sigma$ representan desviaciones estructurales gruesas, mientras que los de bajo $\sigma$ capturan errores de detalle fino. El uso indiscriminado de residuos a través de diferentes regímenes de ruido resulta en una corrupción insuficiente o excesiva del historial, fallando al replicar fielmente la distribución de la inferencia.

Además, la generación de largo horizonte introduce problemas de extrapolación posicional. Los modelos de continuación estándar dependen de índices posicionales continuos que crecen con la longitud de la generación, forzando al modelo a extrapolar más allá de los rangos de entrenamiento. Esto crea una segunda fuente de sesgo de exposición.

Metodología: Vorch-Director

Vorch-Director aborda estos desafíos mediante una estrategia de rectificación de error consciente del ruido construida sobre el Transformer de Difusión (DiT) de audio-visual LTX-2.

1. Inyección de Residuos Consciente de $\sigma$

La innovación central es una estrategia que alinea los errores inyectados con el proceso de eliminación de ruido:

• Recolección de Residuos: Durante el entrenamiento, los residuos de reconstrucción ($\delta = \hat{x}_0 - x_0$) se recolectan de los tokens objetivo y se almacenan en un búfer circular. Crucialmente, cada residuo se etiqueta con el nivel de ruido $\sigma$ en el que fue generado.
• Muestreo Emparejado por Ruido: Al perturbar el historial de condicionamiento para un paso de eliminación de ruido específico con un nivel de ruido $\sigma$, el sistema muestrea residuos del búfer donde el nivel de ruido almacenado $\sigma'$ satisface $|\sigma' - \sigma| \leq \tau_\sigma$.
• Inyección: Estos residuos emparejados se inyectan en los tokens del historial con una fuerza $\gamma$ (muestreada de $U(0.9, 1.2)$). Esto asegura que el historial "corrupto" presentado al modelo durante el entrenamiento imite el régimen de error específico que el modelo está aprendiendo a eliminar, en lugar de aplicar ruido arbitrario.

2. Estabilización de Condicionamiento y Embeddings de Tarea

Para evitar el colapso total por la inyección de errores y manejar la complejidad de múltiples tomas:

• Sumidero de Condicionamiento Limpio: Se añade una ventana corta y no corrompida (1 segundo) del historial como un "sumidero" ($\tau_{sink}$). Esto proporciona un ancla estable y limpia para que el modelo la tome como referencia, evitando la deriva de identidad mientras el resto del historial ($\tau_{hist}$) está corrupto.
• Embeddings de Tarea: Para resolver la extrapolación posicional, el modelo utiliza embeddings de tarea ligeros ($e_\tau$) para distinguir los roles de los tokens (Objetivo, Historial, Sumidero, Imágenes de Referencia, Audio de Referencia) en lugar de depender únicamente de índices posicionales crecientes. Esto permite reiniciar los índices posicionales para nuevos segmentos preservando la consistencia temporal, desacoplando los roles semánticos de la posición absoluta.
• Plantilla de Prompt Unificada: Una plantilla de prompt estructurada vincula las referencias de sujetos (imágenes y audio) y las descripciones de tomas, permitiendo que un solo modelo maneje tareas de texto-a-video, imagen-a-video y continuación audiovisual.

3. Objetivo de Entrenamiento

El modelo se entrena en un corpus de tareas mixtas de cuatro vías (25% cada una):

1. Continuación de video (solo historial).
2. Continuación + Imagen (historial + referencias de sujeto).
3. Sujeto-IP (generación impulsada por imagen de referencia).
4. Continuación audiovisual (video/audio de historial + referencias).

La función de pérdida es una pérdida de flujo de coincida enmascarada aplicada solo a los tokens objetivo, asegurando que la señal de supervisión permanezca limpia mientras la distribución del contexto coincide con las condiciones de inferencia.

Contribuciones Clave

1. Inyección de Residuos Consciente de $\sigma$: Una estrategia que empareja los residuos de predicción con el nivel de ruido correspondiente del flujo de coincidencia, mitigando sustancialmente el sesgo de exposición en la generación autorregresiva de difusión.
2. Interfaz de Condicionamiento Unificada: Un sistema de embedding de tarea ligero que distingue el video histórico, las imágenes de referencia y el video objetivo, permitiendo la reutilización del codificación posicional a través de los pasos de continuación y eliminando el sesgo de extrapolación posicional.
3. Marco Integrado: Un marco basado en LTX-2 que combina la estrategia de entrenamiento propuesta con el entrenamiento de tareas mixtas, soportando la generación de audio-visual de múltiples tomas, múltiples sujetos y guiada por referencias dentro de un solo modelo.
4. Nuevo Benchmarking: Evaluación en ST-Bench y la introducción de un nuevo benchmark audiovisual de largo horizonte que presenta métricas de Consistencia Relativa al Ancla (ARC) y Reaparición (Reappear), que caracterizan mejor la degradación progresiva que las evaluaciones de toma adyacente estándar.

Resultados

Experimentos extensos demuestran que Vorch-Director mejora la estabilidad y la fidelidad audiovisual sobre bases sólidas:

• ST-Bench (Historia de Múltiples Tomas): Vorch-Director lidera las cuatro métricas de consistencia entre tomas por un amplio margen. Notablemente, logra un puntaje ViCLIP de 0.7887 comparado con el mejor baseline (JoyAI-Echo) de 0.5900. También supera significativamente a los baselines en medidas de identidad de largo alcance (ARC: 0.6570 vs. 0.3961; Reappear: 0.6648 vs. 0.4114).
• UnityShots (T2V & R2V): En configuraciones de Texto-a-Video (T2V), Vorch-Director lidera en ViCLIP, ARC y Reappear. En configuraciones de Referencia-a-Video (R2V), lidera el baseline más fuerte en las cuatro métricas de consistencia.
• Benchmark Audiovisual de Largo Alcance: En una tarea de generación de escala de minutos y 22 tomas con audio sincronizado:
  • Vorch-Director mejora cada métrica de consistencia entre tomas contra el baseline audiovisual JoyAI-Echo (ej. ViCLIP 0.6269 vs. 0.4922).
  • Mientras que los baselines puramente visuales (StoryMem, Memento) muestran puntajes más altos en algunas métricas de similitud, el artículo señala que estos sistemas no generan audio (resolviendo un problema estrictamente más fácil) y exhiben menos movimiento entre fotogramas, lo que infla los puntajes de similitud.
  • Cualitativamente, Vorch-Director mantiene la reconocibilidad del protagonista y la fidelidad de la escena a través de 22 tomas sin la corrupción cromática o el colapso de identidad vistos en baselines como Memento y StoryMem.

Significado y Reivindicaciones

El artículo afirma que el obstáculo principal para la generación audiovisual de escala de minutos no es la longitud del contexto en sí, sino el desajuste del historial causado por el sesgo de exposición. Al alinear los errores inyectados con el proceso de eliminación de ruido mediante la conciencia del nivel de ruido, Vorch-Director produce historiales autorregresivos más realistas manteniendo la eficiencia del entrenamiento de forzamiento del profesor.

Los autores posicionan a Vorch-Director como una mejora ortogonal a los mecanismos de memoria y compuerta existentes; en lugar de decidir qué historial recuperar, hace que el modelo de continuación base sea robusto ante un historial recuperado o generado imperfecto. El trabajo demuestra que un solo modelo puede soportar la generación audiovisual compleja, de múltiples tomas, múltiples sujetos y sincronizada, abordando los problemas de deriva y desincronización que actualmente limitan la generación de video autorregresiva. El documento nota modestamente que cerrar la brecha con los sistemas puramente visuales manteniendo el audio sincronizado sigue siendo un desafío abierto, pero Vorch-Director representa un paso significativo hacia la generación estable de largo horizonte.