Resumen Técnico: Destilación de Decodificación Paralela para la Generación Rápida de Imágenes y Vídeos

1. Planteamiento del Problema

Los modelos de difusión y de flujo (flow matching) a gran escala han logrado resultados de vanguardia (SOTA) en la generación de texto a imagen, texto a vídeo y multimodal. Sin embargo, sus procesos intrínsecos de muestreo iterativo requieren cientos de evaluaciones de red (NFEs), lo que crea costes computacionales y latencia significativos. Este cuello de botella obstaculiza aplicaciones como la generación de vídeo en tiempo real, la edición de contenido y el modelado de mundos interactivos.

Los métodos de aceleración existentes generalmente se dividen en dos categorías:

• Métodos basados en trayectorias: Estos destilan el proceso de muestreo secuencial del profesor en menos pasos. Aunque son efectivos para imágenes, a menudo degradan la calidad del vídeo o requieren algoritmos de entrenamiento costosos (por ejemplo, productos de Jacobiano-vector o diferencias finitas) cuando se aplican a modelos de vídeo.
• Métodos basados en distribuciones: Estos alinean las distribuciones marginales del estudiante y del profesor en lugar de seguir trayectorias específicas. Aunque son dominantes en la destilación de vídeo (por ejemplo, usando Destilación de Puntuación Variacional o pérdidas adversarias), sufren de colapso de modo, lo que conduce a una pérdida de diversidad en el vídeo y de movimiento estático. También suelen requerir objetivos de entrenamiento alternos y son sensibles a los hiperparámetros.

El artículo identifica la necesidad de un método de destilación basado en trayectorias que sea escalable, que evite las dificultades de optimización de los métodos basados en distribuciones (colapso de modo) y la sobrecarga computacional de los métodos basados en trayectorias existentes (JVPs, diferencias finitas), específicamente para la generación de vídeo de alta resolución.

2. Metodología: Destilación de Decodificación Paralela (PDD)

Los autores introducen la Destilación de Decodificación Paralela (PDD), un marco de destilación basado en trayectorias diseñado para acelerar la inferencia de modelos de difusión y flujo matching.

Concepto Central

A diferencia de los métodos tradicionales que fusionan múltiples pasos de eliminación de ruido en un único paso grande, PDD aprende un decodificador paralelo que predice las velocidades medias para múltiples intervalos de tiempo consecutivos en una sola evaluación de red.

• Discretización: El dominio temporal $[0, 1]$ se discretiza en $N$ intervalos. Estos se agrupan en bloques de tamaño $L$.
• Predicción Paralela: Dado un estado $X_n$ en el tiempo $t_n$, el decodificador paralelo $\bar{u}_\theta$ predice las velocidades medias para todos los $L$ intervalos dentro del bloque $\{n, \dots, n+L-1\}$ simultáneamente:
  $$\bar{u}_\theta(n|X_n) \approx u_k(X_k), \quad k = n, \dots, n+L-1$$
  donde $u_k$ es la velocidad media del $k$-ésimo intervalo.
• Muestreo: Durante la inferencia, el modelo avanza $L$ intervalos en un solo paso utilizando las velocidades predichas, reduciendo el total de NFEs a $N/L$. Al variar el tamaño del bloque $L$ durante el entrenamiento, el modelo soporta NFEs variables en el tiempo de inferencia sin necesidad de condicionamiento temporal adicional.

Objetivo de Entrenamiento

PDD emplea un objetivo de entrenamiento simplificado basado en regresión que evita el VSD, las pérdidas adversarias, los JVPs o las diferencias finitas.

• Aproximación del Profesor: Las velocidades medias objetivo se aproximan utilizando un solver de Runge-Kutta (Euler o Midpoint) aplicado al modelo profesor preentrenado.
• Entrenamiento On-Policy: La pérdida se calcula sobre las propias salidas del estudiante (on-policy). El estudiante predice las velocidades, simula la trayectoria dentro del bloque, y la pérdida se calcula comparando la velocidad predicha por el estudiante en un paso muestreado $k$ contra la velocidad media aproximada del profesor en ese estado.
• Función de Pérdida:
  $$\mathcal{L}_{PD}(\theta) = \mathbb{E} \left[ \| \bar{u}_\theta(n|X_n) - u_k(\text{sg}(\bar{X}_k)) \|^2 \right]$$
  donde $\text{sg}$ denota el operador de parada de gradiente (stop-gradient), y $\bar{X}_k$ es el estado alcanzado siguiendo las velocidades predichas por el estudiante.

Arquitectura

• Backbone: PDD utiliza exactamente la misma arquitectura de backbone que el modelo profesor preentrenado.
• Capa de Salida: La capa lineal final se expande repitiendo la dimensión de canales $N$ veces (donde $N$ es el tamaño de la rejilla). Esto permite que el modelo produzca $N$ predicciones de velocidad distintas correspondientes a cada paso de tiempo.
• Fusión de Capas: Durante la generación, en lugar de aplicar $L$ capas lineales separadas, los pesos se fusionan en una única capa lineal que produce la velocidad promedio ponderada para el bloque. Esto asegura que no haya un coste computacional adicional durante la inferencia en comparación con la evaluación de un solo paso del profesor.

Entrenamiento Libre de Datos (Data-Free)

Para modelos a gran escala donde no se dispone de datos, PDD soporta un esquema de entrenamiento libre de datos. El modelo muestrea un ruido inicial, alternando entre pasos del solver (avanzando el estado usando las propias predicciones del estudiante) y pasos de entrenamiento, aprendiendo efectivamente de sus propias trayectorias generadas.

3. Contribuciones Clave

1. Formulación de PDD: Un método de destilación basado en trayectorias escalable que predice velocidades medias para múltiples intervalos en una sola evaluación, permitiendo la inferencia rápida para modelos de flujo matching y difusión.
2. Entrenamiento Simplificado: Un objetivo de regresión único que elimina la necesidad de JVPs, diferencias finitas, entrenamiento multietapa, VSD o pérdidas GAN, produciendo al mismo tiempo muestras de alta calidad y diversas.
3. Arquitectura Flexible: Un diseño compatible con cualquier modelo preentrenado que soporta NFEs variables en el tiempo de inferencia sin requerir condicionamiento temporal adicional o una segunda coordenada temporal.
4. Validación Empírica: Demostración de rendimiento SOTA en ImageNet-256, Qwen-Image (Texto-a-Imagen), Wan2.1 (Texto-a-Vídeo 1.3B/14B) y LTX-2.3 (Texto-a-Vídeo/Audio), con mejoras significativas en la diversidad de la generación en comparación con las líneas base basadas en distribuciones.

4. Resultados Experimentales

Los autores evaluaron PDD a través de tres tareas:

• Generación de Imágenes Condicional por Clase (ImageNet-256):

  • PDD logró puntuaciones FID competitivas en el entorno de un solo paso (FID 2.69 con Midpoint), superando o igualando métodos SOTA como FreeFlow y Pi-Flow, mientras soporta NFEs variables (1, 2, 4, 8).
  • El método mostró una convergencia estable a través de diferentes hiperparámetros.

• Texto-a-Imagen (Qwen-Image 20B):

  • Evaluado en los benchmarks OneIG, DPG-Bench y GenEval con 2, 4 y 8 NFEs.
  • PDD (Midpoint) logró las mejores puntuaciones generales en OneIG y DPG-Bench con 4 y 8 NFEs, superando a las líneas base como DMD2, TwinFlow y Pi-Flow.
  • Crucialmente, PDD preservó una diversidad significativamente mayor (medida por métricas de diversidad de OneIG) en comparación con DMD2, que sufrió de colapso de modo.

• Texto-a-Vídeo (Wan2.1 1.3B y 14B):

  • Evaluado en VBench con 4 y 8 NFEs.
  • PDD alcanzó calidad de vídeo y puntuaciones generales SOTA, ocupando el primer lugar en el modelo 1.3B y el segundo en el modelo 14B (detrás de AnyFlow en métricas generales pero con mejor diversidad).
  • Diversidad: PDD demostró puntuaciones de diversidad superiores en comparación con las líneas base basadas en distribuciones (DMD2, AnyFlow).
  • Movimiento: El análisis visual indicó que los vídeos generados por PDD exhibían grados más altos de movimiento y consistencia dinámica en comparación con las líneas base, que a menudo producían vídeos estáticos o repetitivos.

• Texto-a-Vídeo/Audio (LTX-2.3):

  • PDD destiló el modelo LTX-2.3 de 22B para la generación de vídeo de 10s y 720p con audio utilizando solo 8 NFEs.
  • Tras solo 250 iteraciones de entrenamiento, PDD se desempeñó igual o mejor que el modelo destilado oficial de 8 pasos, a pesar de no tener acceso a datos de entrenamiento.
  • La evaluación de preferencia humana (vía Gemini 3.1 Pro) mostró a PDD ganando o empatando con el modelo destilado oficial en alineación de prompts, calidad visual, calidad de movimiento y calidad de audio.

5. Significado y Reivindicaciones

El artículo afirma que PDD representa el primer método de destilación puramente basado en trayectorias capaz de lograr la generación de vídeo de alta resolución y pocos pasos con una diversidad mejorada.

• Superación del Colapso de Modo: Al adherirse a un enfoque basado en trayectorias sin depender de pérdidas basadas en distribuciones (VSD/GAN), PDD evita el colapso de modo y la falta de movimiento que suelen presentar los métodos actuales de destilación de vídeo.
• Eficiencia Computacional: El método elimina la necesidad de costosos JVPs y diferencias finitas, lo que lo hace escalable a modelos grandes (hasta 22 mil millones de parámetros) y compatible con el entrenamiento libre de datos.
• Flexibilidad: La capacidad de soportar NFEs variables en el tiempo de inferencia mediante la selección del tamaño del bloque ofrece una ventaja práctica para diversos escenarios de aplicación.
• Movimiento y Diversidad: Los autores enfatizan que PDD no solo acelera la generación, sino que también preserva la "riqueza" de la salida del modelo profesor, específicamente en lo que respecta a la dinámica del movimiento y la diversidad de las muestras, que son críticas para la generación de vídeo.

Los autores concluyen que, si bien PDD está actualmente limitado a modelos de flujo y difusión, el principio de la decodificación paralela podría generalizarse potencialmente a modelos autorregresivos discretos en trabajos futuros. También señalan que investigar PDD en entornos dependientes de datos más allá de ImageNet-256 sigue siendo un área abierta para futuras investigaciones.