Accelerating Diffusion-based Video Editing via Heterogeneous Caching: Beyond Full Computing at Sampled Denoising Timestep

1. Problema Identificado

El artículo aborda el alto costo computacional de los modelos de difusión basados en Transformers de Difusión (DiT) aplicados a la edición y generación de video (específicamente en tareas de Video-a-Video enmascarado o MV2V).

• Ineficiencia Actual: Aunque los DiT ofrecen una alta calidad y capacidad de modelado, su proceso de eliminación de ruido iterativo es extremadamente costoso.
• Limitaciones de Métodos Previos: Las técnicas de aceleración existentes se centran principalmente en la redundancia a nivel de pasos de tiempo (reutilizar características entre pasos consecutivos). Sin embargo, ignoran la redundancia arquitectónica dentro del propio Transformer: muchas operaciones de atención sobre tokens espaciotemporales son redundantes y aportan poco a la salida final.
• Desafío Específico en Edición: En tareas de edición (como inpainting o reemplazo de objetos), existe una heterogeneidad inherente. Las regiones enmascaradas (generativas) requieren actualización completa, mientras que las regiones no enmascaradas (contexto) pueden ser redundantes. Aplicar una estrategia de caché uniforme a todos los tokens degrada la calidad de la reconstrucción en las áreas editadas.

2. Metodología: HetCache

Los autores proponen HetCache, un marco de aceleración sin entrenamiento (training-free) diseñado para explotar la heterogeneidad inherente en la generación de video enmascarado. La metodología se basa en dos dimensiones de redundancia:

A. Gestión de la Redundancia Temporal (Pasos de Tiempo)

En lugar de ejecutar una computación completa en cada paso de eliminación de ruido, HetCache clasifica los pasos en tres regímenes basados en la variación acumulada de la entrada modulada por el paso de tiempo:

1. Paso de Computación Completa (Full-Compute): Cuando la variación acumulada es alta, se ejecuta el modelo completo y se actualiza la caché.
2. Paso de Computación Parcial (Partial-Compute): Cuando la variación es moderada, se reutilizan ciertos tokens y se actualizan suavemente (estilo EMA).
3. Paso de Reutilización (Reuse Step): Cuando la variación es baja, se reutilizan directamente las salidas de la caché sin recálculo.

B. Gestión de la Redundancia de Tokens (Estrategia Heterogénea)

Dentro de los pasos de computación completa, los tokens espaciotemporales se dividen en tres categorías basadas en la máscara de edición:

1. Tokens Generativos: Regiones enmascaradas que deben sintetizarse (requieren actualización total).
2. Tokens de Margen: Regiones adyacentes a la máscara para garantizar suavidad en los bordes (actualización total).
3. Tokens de Contexto: Regiones no enmascaradas lejanas a la edición.

Mecanismo de Selección de Tokens:
Para reducir el costo cuadrático de la atención ($O(N^2)$), HetCache no procesa todos los tokens de contexto. En su lugar:

• Agrupa los tokens de contexto en clústeres semánticos utilizando K-Means.
• Calcula la importancia de cada token basándose en su puntuación de atención hacia los tokens generativos (interacción contexto $\to$ región de interés).
• Selecciona solo los tokens más representativos (top-$r_{ctx}$) de cada clúster para participar en el cálculo de atención en los pasos parciales.

Esto permite reducir drásticamente el número de operaciones de atención sin perder la coherencia semántica ni la fidelidad de la edición.

3. Contribuciones Clave

1. Análisis de Redundancia Token-a-Token: Identifican y demuestran la heterogeneidad inherente en las tareas de edición de video, donde los tokens de contexto tienen diferentes niveles de importancia y sensibilidad a la propagación de errores.
2. Marco de Caché Heterogénea (HetCache): Proponen una estrategia que adapta dinámicamente la reutilización tanto a nivel de pasos de tiempo como a nivel de tokens espaciotemporales, algo que los métodos anteriores no hacían simultáneamente.
3. Selección Inteligente de Tokens: Introducen un mecanismo de agrupamiento semántico y puntuación de interacción para seleccionar tokens de contexto informativos, eliminando la necesidad de computar interacciones densas e innecesarias.
4. Evaluación Exhaustiva: Validación en benchmarks estándar (VACE-Benchmark y VPBench) mostrando un equilibrio superior entre calidad y eficiencia.

4. Resultados Experimentales

Los experimentos se realizaron utilizando modelos base como Wan2.1-VACE y LTX-Video.

• Aceleración: HetCache logra una aceleración de latencia de hasta 2.67× en comparación con la ejecución completa.
• Reducción de FLOPs: Se observa una reducción significativa en las operaciones de punto flotante (FLOPs), llegando a reducir el costo computacional a aproximadamente 23.60 PFLOPs (frente a 145.21 PFLOPs del baseline en ciertos escenarios), lo que representa una reducción de más del 80%.
• Calidad Visual: La degradación en la calidad es negligible. Métricas como PSNR, SSIM, VFID y las puntuaciones de VBench (consistencia de sujeto, calidad estética, etc.) se mantienen muy cerca del modelo original, superando a otros métodos de aceleración como TeaCache en términos de equilibrio calidad-velocidad.
• Robustez: El método funciona bien en diferentes resoluciones, longitudes de video y tareas (inpainting, outpainting, edición guiada por texto).

5. Significado e Impacto

El trabajo de HetCache es significativo porque:

• Desbloquea la viabilidad en tiempo real: Reduce la barrera de latencia para la edición de video basada en difusión, acercándola a aplicaciones interactivas.
• Cambio de Paradigma: Mueve el enfoque de la aceleración de difusión desde una simple reducción de pasos de tiempo hacia una optimización granular a nivel de tokens y arquitectura.
• Eficiencia sin Entrenamiento: Al ser un método "training-free", es fácilmente aplicable a modelos de difusión existentes sin necesidad de costosos procesos de reentrenamiento o ajuste fino.
• Insights Futuros: Proporciona una nueva perspectiva sobre cómo explotar la redundancia multidimensional (temporal y espacial) en los Transformers de Difusión, sentando las bases para futuras optimizaciones en modelos generativos de video.

En resumen, HetCache demuestra que es posible acelerar drásticamente la edición de video generativa mediante una gestión inteligente de qué tokens y qué pasos de tiempo realmente necesitan computación, manteniendo una fidelidad visual casi perfecta.