Resumen Técnico: Hacer el Tiempo Editable en Transformadores de Difusión de Video

Declaración del Problema

Los modernos Transformadores de Difusión (DiTs) han logrado un éxito significativo en la generación de fotogramas de video de alta fidelidad y movimiento realista. Sin embargo, sufren de una limitada controlabilidad temporal. En la generación de video basada en DiT estándar, el "tiempo de difusión" actúa como una variable sobrecargada, sirviendo como un sustituto tanto para el progreso del proceso de eliminación de ruido (denoising) como para la evolución del movimiento. En consecuencia, la dinámica temporal no se modela como variables explícitas e independientes, sino que está entrelazada con las representaciones de contenido y movimiento.

Este entrelazamiento crea ambigüedad: el modelo tiene dificultades para distinguir qué tan avanzado está el proceso de eliminación de ruido de cómo debe desarrollarse el movimiento a lo largo del tiempo. Como resultado, cuando la rejilla temporal objetivo (por ejemplo, Fotogramas por Segundo o FPS) cambia con respecto al entrenamiento, el modelo no logra mantener una dinámica temporal consistente. Puede producir fotogramas individuales plausibles, pero tiene dificultades con la calidad del movimiento intermedio, lo que genera artefactos en estructuras articuladas (por ejemplo, extremidades) o provoca que los procesos físicos graduales (por ejemplo, la disipación de la niebla) no evolucionen correctamente. Los métodos existentes controlan qué se mueve o hacia dónde se mueve, pero no hacen que la progresión temporal en sí misma sea una variable explícitamente editable.

Metodología

Los autores proponen una metodología para extender los backbones de DiT preentrenados con un módulo de control temporal explícito, denominado Adaptador de Tiempo (Time Adapter o TA). Este enfoque separa el ritmo de movimiento global del alineamiento temporal local sin rediseñar la arquitectura del backbone.

Arquitectura Central: Adaptador de Tiempo

El método introduce dos señales temporales complementarias integradas mediante adaptadores aditivos ligeros:

1. Condicionamiento de FPS Global: Un embedding $E_{fps}(fps)$ derivado del FPS de entrada (por ejemplo, 15, 24, 30, 60). Esto modula la tasa de movimiento global a través de la vía de condicionamiento de eliminación de ruido, determinando el ritmo esperado de la evolución de la escena.
2. Embeddings de Tiempo-Latente Local: Un embedding $E_{\tau}(\tau)$ que representa las posiciones temporales por fotograma ($\tau$). Esto proporciona un orden temporal y una correspondencia local a nivel de token, alineando la progresión de fotogramas específicos.

El vector de condicionamiento $e$ se formula como:
$$e = E_t(t) + E_{fps}(fps)$$
donde $E_t(t)$ es el embedding de tiempo de difusión estándar. El embedding de tiempo latente se añade a los embeddings de parches:
$$h_0 = \text{PatchEmbed}(x_t) + E_{\tau}(\tau)$$

Esta factorización permite que el modelo represente la progresión temporal de forma explícita en lugar de depender únicamente del tiempo de difusión como un sustituto implícito. Los adaptadores se inicializan para preservar el comportamiento del backbone preentrenado.

Regímenes de Entrenamiento

Los autores evalúan dos estrategias de entrenamiento:

• Adaptador de Tiempo (TA): Solo se entrenan las ramas temporales (adaptadores) mientras el backbone de DiT permanece congelado. Esto preserva el prior generativo original.
• Adaptador de Tiempo con Ajuste Fino (FTTA): Se utiliza el mismo condicionamiento temporal, pero el backbone completo de DiT es adicionalmente ajustado (fine-tuned). Esto introduce una regularización temporal global más fuerte.

Los modelos se entrenan en un conjunto de datos curado de aproximadamente 40,000 videos que cubren acciones humanas y procesos naturales a través de múltiples regímenes de FPS (24–60 FPS).

Contribuciones Clave

1. Factorización Temporal Explícita: El artículo introduce un marco que desacopla el tiempo del proceso de eliminación de ruido, separándolo en ritmo de movimiento global (FPS) y alineamiento temporal local (tiempo latente).
2. Preservación del Backbone: El enfoque TA permite la edición temporal explícita sin rediseñar el backbone, reteniendo los priors visuales y estructurales del modelo preentrenado mientras expande su rango dinámico controlable.
3. Transferibilidad entre Arquitecturas: Los autores demuestran que la factorización temporal explícita se transfiere entre diferentes backbones de DiT (Wan2.2 y Kandinsky 5.0 Lite) con diversas escalas de parámetros y resoluciones de salida.
4. Mejora de la Consistencia Temporal: El método mejora la consistencia del movimiento intermedio y reduce los artefactos perceptuales en la dinámica articulada, incluso a velocidades de reproducción estándar, al exponer al modelo a transiciones temporales más densas durante el entrenamiento.

Resultados Experimentales

La evaluación utiliza el benchmark VMBench en dos dominios: Acciones Humanas y Procesos Naturales, probados a 15, 24, 30 y 60 FPS.

Hallazgos Cuantitativos

• Acciones Humanas: Tanto TA como FTTA reducen la Aceleración de Flujo y el LPIPS-Var en comparación con el baseline, lo que indica transiciones de corto plazo más estables. TA logra la mayor Consistencia Direccional de Flujo (FDC) a 24–60 FPS, lo que sugiere que el condicionamiento explícito mejora la consistencia del movimiento intermedio cuando el FPS objetivo se alinea con el régimen de entrenamiento.
• Procesos Naturales: FTTA logra consistentemente la regularización temporal más fuerte, obteniendo los mejores Puntajes de Suavidad de Movimiento (MSS) y la menor Aceleración de Flujo. Esto se atribuye a la capacidad de FTTA para reestructurar procesos físicos distribuidos (por ejemplo, niebla, olas) para que sean más responsivos al condicionamiento temporal.
• Limitaciones de las Métricas: Los autores señalan que las métricas estándar no siempre reflejan las mejoras en la calidad temporal. Por ejemplo, los artefactos articulados pueden aumentar el Puntaje de Amplitud Perceptible (PAS) a pesar de reducir la calidad de movimiento percibida, creando una discrepancia entre los puntajes cuantitativos y la evaluación humana.

Evaluación Cualitativa y Humana

• Evaluación Lado a Lado (SBS): Los evaluadores humanos prefirieron TA para el movimiento humano articulado y la naturalidad, mientras que FTTA fue preferido para los procesos físicos distribuidos y la consistencia de velocidad.
• Evolución Física: A diferencia del remuestreo de FPS post-hoc (que simplemente interpola fotogramas), el método propuesto cambia la evolución temporal generada misma. Aumentar el FPS objetivo resulta en una progresión de la escena más rápida en lugar de solo una reproducción más suave.
• Generalización: Las tendencias cualitativas observadas en Wan2.2 se replicaron en Kandinsky 5.0 Lite, respaldando la afirmación de que la factorización temporal explícita no es específica de la arquitectura.

Significancia y Limitaciones

Significancia

El artículo argumenta que tratar el tiempo como una única variable sobrecargada es una limitación fundamental en los modelos actuales de difusión de video. Al hacer que el tiempo sea editable mediante la factorización explícita, los autores permiten una generación de video más físicamente consistente y confiable. El trabajo sugiere que la controlabilidad temporal no es meramente un efecto secundario de la eliminación de ruido, sino que puede ser una variable principal y controlable.

Limitaciones

Los autores reconocen explícitamente tres limitaciones:

1. Sensibilidad al Régimen de Entrenamiento: Aunque la factorización temporal mejora la controlabilidad dentro de la distribución de entrenamiento, el modelo sigue siendo sensible a las escalas temporales subrepresentadas (por ejemplo, FPS bajos). Los representaciones de tiempo explícitas no pueden compensar totalmente los priors temporales faltantes en los datos de entrenamiento.
2. Horizonte de Generación Fijo: El método hace que la dinámica temporal sea más controlable, pero no aumenta el número de fotogramas generados. Una aceleración temporal fuerte comprime el tiempo disponible para la realización de la acción, lo que potencialmente conduce a comportamientos truncados.
3. Métricas de Evaluación: Las métricas actuales luchan por capturar los artefactos perceptuales en el movimiento intermedio, particularmente para estructuras articuladas, lo que genera brechas entre los puntajes cuantitativos y la calidad temporal percibida.

Los autores concluyen que hacer el tiempo editable es un paso necesario hacia la generación de video confiable, pero no es suficiente para la generación de largo alcance, lo que probablemente requerirá combinar representaciones temporales explícitas con longitudes de generación adaptativas.