Corruption-Aware Training of Latent Video Diffusion Models for Robust Text-to-Video Generation

1. El Problema: Fragilidad de los Modelos de Difusión de Video

Los Modelos de Difusión de Video Latente (LVDMs) han logrado un estado del arte en la generación de video, pero presentan una fragilidad crítica ante condiciones de entrada corruptas o ruidosas.

• Acumulación de Errores: A diferencia de los modelos de clasificación o recuperación, donde el ruido en la etiqueta causa una degradación acotada, los modelos de difusión sufren una amplificación recursiva de errores. Pequeñas perturbaciones en los condicionamientos (prompts de texto o embeddings multimodales) en los pasos iniciales se propagan y amplifican a lo largo de la cadena de denoising iterativa.
• Deriva Semántica y Coherencia Temporal: En la generación de video, esto resulta en una "deriva semántica" (el video deja de coincidir con el prompt) y una pérdida de coherencia temporal (parpadeo, movimientos inestables).
• Fallo de Estrategias Existentes: Las estrategias de corrupción utilizadas en difusión de imágenes (ruido Gaussiano o Uniforme isotrópico) fallan en video porque el ruido estático interrumpe la fidelidad temporal. Estas técnicas no tienen en cuenta la entrelazamiento temporal ni la estructura dinámica inherente a los datos de video.

2. Metodología: CAT-LVDM

Los autores proponen CAT-LVDM, un marco de entrenamiento consciente de la corrupción que introduce perturbaciones estructuradas y alineadas con los datos durante el preentrenamiento. En lugar de tratar el ruido como un enemigo aleatorio, lo utilizan como un regularizador inductivo para enseñar al modelo a ser robusto.

El marco se basa en dos operadores de inyección de ruido de bajo rango:

A. Inyección de Ruido Centrado en el Lote (BCNI - Batch-Centered Noise Injection)

• Mecanismo: Perturba cada embedding de condicionamiento ($z$) a lo largo de su desviación respecto a la media del lote ($\bar{z}$).
• Fórmula: $C_{BCNI}(z; \rho) = \rho \|z - \bar{z}\|_2 (2U(0, 1) - 1)$.
• Objetivo: Actúa como un regularizador escalado por Mahalanobis. Aumenta la entropía condicional solo en direcciones semánticamente significativas (ejes de variación dentro del lote), reforzando la realidad del movimiento sin introducir ruido arbitrario. Es ideal para conjuntos de datos ricos en descripciones (captions).

B. Ruido Contextual Consciente del Espectro (SACN - Spectrum-Aware Contextual Noise)

• Mecanismo: Inyecta ruido selectivamente a lo largo de los modos espectrales dominantes (componentes de baja frecuencia) del embedding.
• Fórmula: Utiliza la Descomposición en Valores Singulares (SVD) de $z = USV^T$ y muestrea ruido $\xi$ con varianzas que decaen exponencialmente ($e^{-j/D}$), aplicando $C_{SACN}(z; \rho) = \rho U(\xi \odot \sqrt{s})V^T$.
• Objetivo: Preserva los detalles de alta frecuencia (texturas finas) mientras perturba las direcciones que codifican la coherencia global y el movimiento temporal. Es particularmente efectivo en datos basados en etiquetas de clase y movimientos específicos.

Ventaja Teórica: Ambas técnicas confinan el ruido a un subespacio semántico de dimensión $d \ll D$ (donde $D$ es la dimensión total del embedding). Esto reduce la complejidad de $O(D)$ a $O(d)$ en términos de deriva de puntuación (score drift) y distancia de Wasserstein, garantizando una propagación de error más estable a través de los pasos temporales.

3. Contribuciones Clave

1. Marco CAT-LVDM: El primer marco sistemático de entrenamiento consciente de la corrupción diseñado específicamente para LVDMs, superando las limitaciones de las técnicas de imagen estática.
2. Nuevos Operadores (BCNI y SACN): Diseño de dos técnicas de perturbación de bajo rango que alinean el ruido con la semántica del lote o la dinámica espectral, preservando la fidelidad temporal.
3. Eficiencia de Muestra: Demostración de que estas estrategias ligeras permiten entrenar modelos robustos con 5 veces menos datos que los modelos baselines masivos, logrando un rendimiento superior.
4. Generalización: Validación de que los operadores de CAT no solo funcionan en difusión, sino que también mejoran la generación autoregresiva (NOVA) y la comprensión de video multimodal (PAVE).
5. Análisis Teórico Riguroso: Pruebas formales que demuestran cómo estas perturbaciones reducen la distancia de Wasserstein, acotan la deriva de puntuación y mejoran el margen de generalización, estableciendo límites teóricos de robustez inasequibles para el ruido isotrópico.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro conjuntos de datos de referencia: WebVid-2M, MSR-VTT, MSVD y UCF-101, evaluando con métricas como FVD (Fréchet Video Distance), FVMD, CMMD y VBench.

• Rendimiento Superior con Menos Datos:

  • BCNI redujo el FVD en un 31.9% en WebVid-2M, MSR-VTT y MSVD en comparación con baselines sin corrupción.
  • SACN mejoró el rendimiento en UCF-101 en un 12.3%.
  • CAT-LVDM superó a modelos masivos como LaVie (3B parámetros) y DEMO (2.3B parámetros), a pesar de entrenarse con solo ~2M videos frente a los ~10M-35M de los competidores.
  • Ejemplo: En MSR-VTT, CAT-LVDM (BCNI) logró un FVD de 396.3, superando a DEMO (422) y a LaVie (526.3).

• Robustez ante Ruido:

  • Bajo niveles de corrupción (2.5% - 20%), BCNI y SACN mantuvieron un rendimiento estable, mientras que las técnicas de ruido Gaussiano y Uniforme mostraron degradaciones severas y no monótonas.
  • El análisis de sensibilidad mostró que SACN tiene la degradación más suave en benchmarks de acción (UCF-101), mientras que BCNI domina en datasets ricos en texto.

• Escalabilidad:

  • La aplicación de CAT a modelos autoregresivos y LLMs de video multimodal confirmó que la mejora en robustez es agnóstica a la arquitectura del modelo.

5. Significado e Impacto

Este trabajo establece un nuevo paradigma para el entrenamiento de modelos generativos de video:

1. Cambio de Paradigma: Pasa de ver el ruido como un obstáculo a tratarlo como una herramienta de regularización estructurada.
2. Eficiencia: Demuestra que la calidad y robustez no dependen exclusivamente del aumento de la escala de datos o parámetros, sino de la alineación correcta de la inyección de ruido con la geometría de los datos.
3. Aplicabilidad Práctica: Ofrece una solución viable para la generación de video en condiciones del mundo real, donde los prompts de texto y los embeddings de visión a menudo son imperfectos, ambiguos o ruidosos.
4. Fundamento Teórico: Proporciona una justificación matemática sólida (límites de Lipschitz, entropía, transporte óptimo) para por qué el ruido de bajo rango es superior al ruido isotrópico en secuencias temporales.

En resumen, CAT-LVDM resuelve la fragilidad inherente de los LVDMs mediante una estrategia de entrenamiento inteligente que alinea la perturbación con la estructura semántica y espectral de los datos, logrando videos más coherentes, estables y fieles al prompt, incluso con recursos de entrenamiento limitados.