🤖 machine learning

Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation

El artículo presenta "Sparse Forcing", un paradigma de entrenamiento e inferencia para modelos de difusión de video autoregresivos que utiliza un mecanismo de atención dispersa nativo entrenable y un kernel GPU eficiente para mejorar la calidad de la generación a largo plazo y reducir significativamente la latencia y el uso de memoria.

Autores originales: Boxun Xu, Yuming Du, Zichang Liu, Siyu Yang, Ziyang Jiang, Siqi Yan, Rajasi Saha, Albert Pumarola, Wenchen Wang, Peng Li

Publicado 2026-04-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Boxun Xu, Yuming Du, Zichang Liu, Siyu Yang, Ziyang Jiang, Siqi Yan, Rajasi Saha, Albert Pumarola, Wenchen Wang, Peng Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que crear un video con inteligencia artificial es como dirigir una película épica, pero con un problema enorme: la memoria.

Hasta ahora, para que una IA genere un video largo (digamos, de un minuto), tenía que recordar cada segundo, cada fotograma y cada detalle de todo lo que había generado hasta ese momento. Era como si un actor tuviera que memorizar todo el guion de la película desde el principio hasta el final, palabra por palabra, antes de poder decir una sola línea nueva. Esto hacía que el proceso fuera muy lento y consumiera una cantidad inmensa de energía (como intentar correr una maratón cargando un coche en la espalda).

Los autores de este paper, Sparse Forcing, han encontrado una solución brillante que podemos llamar "La Técnica del Álbum de Recortes Inteligente".

Aquí te explico cómo funciona, paso a paso:

1. El Problema: La "Amnesia" vs. La "Sobrecarga"

Cuando las IAs actuales intentan hacer videos largos, ocurren dos cosas malas:

Opción A (Memoria total): Intentan recordar todo. Se vuelven lentas y se quedan sin espacio (como un teléfono lleno de fotos que ya no deja guardar nada nuevo).
Opción B (Olvido rápido): Solo recuerdan lo último que pasó. El resultado es un video que empieza bien, pero a los pocos segundos los personajes cambian de cara, el fondo se deforma o la historia pierde sentido (como si el director de la película se hubiera olvidado de quién es el protagonista).

2. La Observación Genial: "No recordamos días, recordamos momentos"

Los investigadores notaron algo curioso en cómo piensan estas IAs. Descubrieron que, aunque hay miles de fotogramas, la atención de la IA no se reparte por igual.

Hay puntos clave (como la cara de un personaje o un objeto importante) que la IA necesita recordar siempre. Son como los "anclas" de la historia.
El resto de los detalles son solo "ruido" o información temporal que no necesita guardarse para siempre.

Imagina que estás contando una historia a un amigo. No necesitas repetirle exactamente cómo caminaste por la calle hace una hora, pero sí necesitas recordarle que el perro que te persiguió (el ancla) y que llevabas un sombrero rojo (el detalle local).

3. La Solución: "Sparse Forcing" (Fuerza Escasa)

En lugar de guardar todo, Sparse Forcing crea una estrategia de dos niveles:

Nivel 1: La Memoria Persistente (El Álbum de Recortes):
La IA selecciona automáticamente los momentos más importantes (los "anclas") y los guarda en una memoria especial que nunca se borra. Si el video dura un minuto, la IA solo guarda unos pocos fotogramas clave que definen la identidad de los personajes y el escenario. Es como tener un álbum de fotos con las mejores instantáneas de la película.
Nivel 2: La Ventana Local (El Contexto Inmediato):
Para lo que está pasando ahora mismo (los últimos segundos), la IA mira solo una pequeña ventana de tiempo. Pero, ¡y aquí está la magia! Dentro de esa ventana, no mira todo, sino que ignora lo que no es importante (como el fondo estático) y se enfoca solo en lo que cambia.

La analogía perfecta:
Imagina que estás conduciendo un coche de carreras.

Memoria Persistente: Sabes que estás en una pista de carreras, que el coche es rojo y que el objetivo es ganar. Eso no cambia.
Ventana Local: Solo te fijas en la curva que tienes enfrente y en el coche que te va a adelantar. No necesitas recordar la curva que pasaste hace 10 minutos para conducir bien ahora.
Sparse Forcing hace exactamente esto: mantiene la "esencia" de la película (persistente) y solo calcula los detalles urgentes (local), ignorando el resto.

4. ¿Qué ganan con esto?

Gracias a esta técnica, logran tres cosas increíbles:

Velocidad: Generan videos mucho más rápido (hasta un 27% más rápido en videos largos). Es como cambiar de un coche de tracción a las cuatro ruedas que se atasca, a un coche de Fórmula 1.
Calidad: Los videos largos no se deforman. Los personajes mantienen su cara y el estilo visual es consistente de principio a fin.
Ahorro: Necesitan mucha menos memoria de la computadora. Es como si pudieras llevar una película entera en un pendrive en lugar de en un disco duro gigante.

En resumen

Sparse Forcing es como enseñarle a la IA a ser un director de cine inteligente: en lugar de intentar recordar cada segundo de la película, aprende a guardar solo los momentos que importan y a concentrarse en lo que está pasando ahora.

El resultado son videos más largos, más bonitos y que se crean en la mitad de tiempo, permitiendo que en el futuro podamos crear películas generadas por IA en tiempo real sin que la computadora se "cuelgue".

¡Es como pasar de intentar cargar todo el océano en un cubo, a saber exactamente qué gotas de agua necesitas para llenarlo!

1. El Problema

La generación de video de alta fidelidad, especialmente en horizontes temporales largos (minutos), enfrenta dos desafíos principales en los modelos de difusión autoregresivos (AR):

Compromiso entre Calidad y Eficiencia: Los modelos de difusión bidireccionales tradicionales ofrecen alta calidad pero son incompatibles con la generación en tiempo real debido a su complejidad cuadrática en la longitud del contexto. Los enfoques autoregresivos (como Self-Forcing) permiten inferencia eficiente mediante caché de claves-valor (KV), pero sufren de sesgo de exposición y acumulación de errores. A medida que el modelo genera frames basándose en sus propias predicciones imperfectas, los errores se propagan y amplifican, degradando la coherencia visual y temporal.
Ineficiencia Computacional y de Memoria: Mantener una caché KV densa para todo el historial de frames es prohibitivo en términos de memoria y latencia. Para un modelo de 1.3B generando un video de 1 minuto, la caché KV puede alcanzar ~45 GB, lo que excede la memoria de los GPUs estándar.
Limitaciones de la Esparsidad Existente: Las técnicas actuales de atención dispersa en video suelen ser estáticas (patrones fijos) o dinámicas pero no entrenables de extremo a extremo, lo que impide que el modelo aprenda a preservar la información crítica necesaria para la estabilidad a largo plazo.

2. Metodología: Sparse Forcing

Los autores proponen Sparse Forcing, un paradigma de entrenamiento e inferencia que combina una observación empírica con un mecanismo de atención dispersa nativo y entrenable.

Observación Empírica Clave

Al analizar los rollouts (generaciones secuenciales) de modelos de difusión autoregresivos, se observaron dos patrones de atención:

Persistencia de Bloques Verticales: Una pequeña subconjunto de bloques visuales históricos actúa como "anclas" persistentes que capturan la identidad del sujeto y la disposición de la escena a lo largo del tiempo.
Esparsidad de Bloques Diagonal Local: Dentro de la ventana temporal reciente, la atención no es densa, sino que sigue un patrón estructurado y disperso (diagonal a nivel de bloques), indicando redundancia en la atención densa local.

Arquitectura Propuesta

Sparse Forcing descompone la memoria en dos componentes gestionados dinámicamente:

Memoria Persistente ( $P_t$ ): Un conjunto limitado de bloques espaciotemporales que se mantienen a lo largo de todo el proceso de generación. Estos incluyen:
- Bloques Sumidero (Sink Blocks): Anclas globales fijas.
- Bloques Dinámicos ( $D_t$ ): Bloques históricos seleccionados mediante un mecanismo de puntuación gruesa (coarse scoring) que evalúa su relevancia para el paso actual.
- Mecanismo de Actualización: Se utiliza una estrategia de retención Top-C (mantener los $C$ bloques con mayor puntuación) para actualizar $P_t$ , descartando bloques menos relevantes de la ventana local.
Ventana Local ( $L_t$ ): Una ventana deslizante que contiene los bloques más recientes. Dentro de esta ventana, se aplica Atención Dispersa de Bloques (Block-Sparse Attention) seleccionando dinámicamente solo el Top-K de bloques relevantes para cada consulta, reduciendo la complejidad computacional local.

Persistente Block-Sparse Attention (PBSA)

Para hacer esto viable a escala, los autores desarrollaron un kernel GPU personalizado llamado PBSA.

Compresión de Bloques: Los tensores latentes se dividen en bloques espaciotemporales. Se calculan representantes comprimidos (mediante pooling) para realizar un routing grueso y eficiente.
Atención Híbrida: El kernel calcula una atención densa sobre la memoria persistente (para estabilidad global) y una atención dispersa sobre la ventana local (para eficiencia).
Optimización: PBSA está diseñado para manejar patrones de esparsidad irregulares y actualizaciones selectivas de la caché, logrando aceleraciones significativas sobre FlashAttention-2.

Entrenamiento

Para cerrar la brecha entre entrenamiento e inferencia (donde la memoria es dinámica), el modelo se entrena utilizando Distillation Matching (DMD) con un mecanismo de caché actualizado dinámicamente. Esto permite que el modelo aprenda a gestionar la memoria persistente y la selección de bloques dispersos directamente, mitigando el sesgo de exposición.

3. Contribuciones Clave

Identificación de Persistencia Emergente: Demostraron que los tokens de video en modelos AR muestran una fuerte persistencia espaciotemporal en la caché KV, la cual es ignorada por métodos de condicionamiento basados solo en recencia.
Sparse Forcing: Introdujeron un paradigma de esparsidad nativa y entrenable que preserva anclas espaciotemporales persistentes y aplica esparsidad estructurada localmente, mejorando simultáneamente la calidad de generación a largo plazo y reduciendo la latencia.
Kernel PBSA: Desarrollaron un kernel de GPU eficiente que acelera la atención dispersa y las actualizaciones de memoria, permitiendo entrenamiento e inferencia a gran escala con una huella de memoria reducida.

4. Resultados Experimentales

Los experimentos se realizaron sobre el modelo base Wan2.1-T2V-1.3B comparando con Self-Forcing y otros modelos de difusión.

Videos Cortos (5 segundos): Sparse Forcing superó a Self-Forcing con una puntuación de VBench +0.26, una aceleración de inferencia de 1.11–1.17x y una reducción del 42% en la huella de memoria de la caché KV pico.
Videos Largos (20 segundos y 1 minuto): Las mejoras se volvieron más pronunciadas al escalar la duración:
- 20s: Mejora de +0.68 en VBench y aceleración de 1.22x.
- 1 minuto: Mejora de +2.74 en VBench y aceleración de 1.27x.
Calidad Visual: Los videos generados con Sparse Forcing mantienen la coherencia de color, la identidad del sujeto y la estabilidad temporal mucho mejor que los baselines, evitando el "drift" (desviación) y los artefactos acumulativos típicos de las generaciones largas.
Rendimiento del Kernel: PBSA mostró aceleraciones de 1.16x a 11.11x sobre FlashAttention-2, dependiendo del nivel de esparsidad y la longitud de la secuencia.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la inteligencia espacial y la generación de video de larga duración en tiempo real.

Viabilidad de Video Largo: Demuestra que es posible generar videos de minutos de duración con alta calidad sin incurrir en costos computacionales prohibitivos, resolviendo el problema de la escalabilidad de la memoria.
Calidad-Eficiencia Acoplada: Rompe la dicotomía tradicional donde la eficiencia implica sacrificar calidad. Al controlar la topología de propagación de errores mediante una esparsidad estructurada, se mejora tanto la eficiencia como la fidelidad visual.
Aplicabilidad General: El enfoque de "fuerza dispersa" (Sparse Forcing) y el kernel PBSA ofrecen una ruta escalable para futuros modelos de difusión autoregresivos en video y otras modalidades secuenciales largas, permitiendo aplicaciones interactivas y de tiempo real que antes eran imposibles.

En resumen, Sparse Forcing transforma la gestión de memoria en modelos de video autoregresivos de un enfoque pasivo (guardar todo o guardar solo lo reciente) a uno activo y aprendido, preservando solo lo que es semánticamente crítico para la coherencia a largo plazo.