💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad es un marco de destilación de atención subcuadrática que comprime los Video Diffusion Transformers preentrenados para lograr una complejidad de $\mathcal{O}(n\sqrt{n})$ , ofreciendo una calidad de generación de video de nivel cuadrático con costos computacionales significativamente reducidos y velocidades de inferencia más rápidas.

Autores originales: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La creación de imágenes en movimiento con inteligencia artificial se ha convertido en una de las fronteras más emocionantes de la informática moderna. Estos sistemas, conocidos como modelos de difusión de video, funcionan comenzando con una nube caótica de ruido estático y refinándola gradualmente hasta convertirla en una escena coherente, fotograma a fotograma, basándose en una descripción de texto. Para entender cómo lo hacen, imagine una vasta cuadrícula de diminutos píxeles digitales, donde cada píxel es un token que porta información sobre color, forma y tiempo. El motor que impulsa estos modelos es un mecanismo llamado autoatención. Este mecanismo permite que cada uno de los tokens del video observe a todos los demás tokens para decidir cómo deben relacionarse entre sí. Es esta conexión constante y omnisciente la que otorga al video su calidad realista y asegura que el movimiento de un personaje en el primer segundo coincida con su apariencia en el último. Sin embargo, este poder conlleva un precio elevado. A medida que el video crece en longitud o detalle, el número de conexiones que el sistema debe calcular explota, haciendo que el proceso sea increíblemente lento y costoso, lo que a menudo limita a los creadores a solo unos pocos segundos de metraje.

Investigadores de Qualcomm AI Research han desarrollado un nuevo enfoque llamado SQuad para resolver este problema sin sacrificar la calidad del video. En lugar de intentar simplificar las conexiones complejas o reemplazar el mecanismo central con una alternativa más barata y débil, encontraron una forma de reorganizar cómo el sistema observa los datos. En el método estándar, cada token debe consultar con cada otro token, un proceso que se vuelve inmanejable a medida que el tamaño del video aumenta. El equipo se dio cuenta de que, en la generación de video, la mayoría de estas conexiones son en realidad muy débiles; solo un pequeño y crítico grupo de tokens realmente necesita prestar atención a los demás en cualquier momento dado. Basándose en esta observación, diseñaron un proceso de dos pasos. Primero, el sistema agrupa los tokens cercanos en pequeñas ventanas y permite que mezclen información localmente. Luego, realiza una segunda pasada para permitir que estas ventanas se comuniquen entre sí a través de todo el video. Esta estructura permite que el modelo mantene una visión completa de la escena mientras reduce drásticamente el número de cálculos requeridos.

Los resultados de aplicar este método a un modelo de generación de video de gran escala llamado Wan 2.2 son sorprendentes. Los investigadores tomaron un modelo potente y preentrenado y le enseñaron a utilizar este nuevo método de atención optimizado mediante un proceso de destilación, donde el nuevo sistema aprende a imitar el comportamiento del original. El resultado es un modelo que produce videos de una calidad visual casi idéntica al original, obteniendo puntuaciones casi iguales en rigurosas pruebas de calidad, pero con una reducción masiva de costos. Mientras que el modelo original requería 100 pasos para generar un video, la nueva versión logra resultados similares en solo seis pasos. En términos de velocidad, el tiempo que toma procesar un solo paso de la generación de video cayó de aproximadamente 47 milisegundos a solo 4 milisegundos. La cantidad de potencia de cómputo necesaria para estos pasos disminuyó por un factor de casi 67.

Esta ganancia de eficiencia no es solo una mejora teórica; se traduce directamente en lo que experimenta un usuario. Al ser probado en una tarea estándar de generación de video de alta definición, el nuevo método generó un video en aproximadamente la mitad del tiempo total del sistema original, incluso contabilizando todo el flujo de generación. Los investigadores compararon su método contra otros intentos de acelerar la generación de video, algunos de los cuales dependen de arquitecturas híbridas complejas que añaden millones de parámetros extra al modelo. En contraste, el enfoque SQuad no requiere memoria adicional ni hardware especializado, integrándose perfectamente en los sistemas existentes. Los estudios con usuarios confirmaron que las personas no podían distinguir de manera confiable entre los videos hechos por el modelo original, pesado, y aquellos hechos por la nueva y eficiente versión. De hecho, en una comparación directa, una parte significativa de los espectadores humanos prefirió los videos generados por el nuevo método.

La importancia de este trabajo reside en su equilibrio. Los intentos previos para hacer estos modelos más rápidos a menudo implicaban reemplazar el poderoso mecanismo de atención por aproximaciones lineales más simples, lo que frecuentemente resultaba en una caída notable en la calidad del video. El método SQuad evita esta trampa manteniendo intacta la operación matemática central pero cambiando el orden en que se aplica. Demuestra que la complejidad cuadrática total de verificar cada token contra cada otro token no es estrictamente necesaria para lograr resultados de alta fidelidad. Al estructurar cuidadosamente el flujo de información, los investigadores han demostrado que es posible generar videos largos y de alta resolución con una fracción del costo computacional. Esto abre la puerta para generar escenas más largas y complejas en hardware estándar, acercando el campo al objetivo de crear contenido de video ilimitado y de alta calidad sin los actuales cuellos de botella de tiempo y energía.

Resumen Técnico: SQuad: Destilación de Atención Sub-Cuadrática para la Generación Eficiente de Vídeo

Planteamiento del Problema

La generación de vídeo utilizando Transformers de Difusión (DiTs) se ve actualmente limitada por el coste computacional del mecanismo de Auto-Atención Softmax. En los DiTs estándar, la complejidad de la atención escala cuadráticamente, $O(n^2)$ , con el número de tokens latentes $n$ . Para la generación de vídeo, donde $n$ representa un volumen espacio-temporal (que a menudo alcanza decenas de miles de tokens), este término cuadrático domina tanto el tiempo de ejecución como la memoria, limitando la resolución, la duración y el rendimiento alcanzables.

Las soluciones existentes intentan mitigar esto reemplazando la Auto-Atención Softmax por aproximaciones lineales $O(n)$ o de bajo rango $O(nk)$, o mediante el uso de máscaras dispersas y arquitecturas híbridas. Sin embargo, estos enfoques suelen sufrir de una "brecha de calidad persistente", ya que sacrifican la no linealidad y la selectividad aguda y dependiente de la entrada de la función Softmax completa. Además, los diseños híbridos que intercalan bloques cuadráticos costosos con otros eficientes introducen complejidad arquitectónica y a menudo mantienen una dependencia de las mismas operaciones cuadráticas que pretenden reducir.

Metodología: SQuad

Los autores proponen SQuad (Destilación de Atención Sub-Cuadrática), un marco que reduce la complejidad de la atención a $O(n\sqrt{n})$ manteniendo la operación Softmax genuina en todo momento. En lugar de entrenar un nuevo DiT de vídeo desde cero, SQuad destila un DiT de Softmax completo preentrenado (específicamente los modelos Wan 2.2 5B y Wan 2.1 1.3B) en una arquitectura modificada.

1. Operador de Atención SQuad

La innovación central es un mecanismo de atención de dos etapas que factoriza la atención completa $O(n^2)$ en un Paso Local y un Paso Global:

Paso Local ( $Attn_L$ ): Los tokens se mezclan dentro de ventanas fijas de tamaño $w$ .
Paso Global ( $Attn_G$ ): Los tokens en la misma posición relativa dentro de cada ventana se mezclan a través de todas las ventanas.
Composición: La salida del paso local se introduce en el flujo de valores del paso global. Esta anidación permite que el paso global opere sobre tokens que ya han sido mezclados localmente, recuperando un campo receptivo completo.
Complejidad: Al establecer el tamaño de la ventana como $w = \sqrt{n}$ , el método logra una complejidad de $O(n\sqrt{n})$ . Crucialmente, ambos pasos utilizan el Softmax estándar, preservando la expresividad perdida en las aproximaciones lineales.

2. Estrategia de Destilación

Dado que reemplazar el operador de atención cambia la función computada por la red, los pesos preentrenados ya no son óptimos. Los autores emplean un proceso de destilación de dos etapas:

Ajuste Fino Supervisado de Coincidencia de Flujo (SFT): La red se ajusta finamente con datos de vídeo (conjunto de datos VIPE 1M) para reubicar los pesos bajo la nueva arquitectura de Atención SQuad.
Destilación de Coincidencia de Distribución (DMD2): Se aplica un método de destilación de pasos mejorado para recuperar la calidad de generación perdida durante el cambio arquitectónico y para reducir el número de Evaluaciones Funcionales Neuronales (NFEs) requeridas para el muestreo.

Contribuciones Clave

Complejidad Sub-Cuadrática con Softmax Completo: SQuad logra una complejidad de $O(n\sqrt{n})$ sin abandonar la operación Softmax, abordando la brecha de calidad inherente en las aproximaciones lineales o de bajo rango.
Marco de Destilación: El artículo demuestra que un DiT cuadrático preentrenado puede adaptarse eficazmente a una arquitectura sub-cuadrática mediante un proceso de destilación de dos etapas (SFT + DMD2), evitando el coste prohibitivo de entrenar desde cero.
Eficiencia de Hardware: El método está diseñado para ser compatible con el hardware, sin requerir kernels fusionados especializados u optimizaciones en el dispositivo, basándose en su lugar en transformaciones de tensores estándar y bloques de atención estándar.

Resultados Experimentales

El método fue evaluado en los modelos de texto a vídeo Wan 2.2 5B y Wan 2.1 1.3B.

Preservación de la Calidad: En Wan 2.2 5B, SQuad logra una puntuación Total de VBench de 83.20, igualando efectivamente la línea base de Softmax completo original (83.08). En estudios de preferencia de usuario, el 35% de los usuarios prefirió las generaciones de SQuad sobre la línea base, mientras que el 31% las consideró indistinguibles.
Ganancias de Eficiencia:
- Latencia: SQuad reduce la latencia de atención por bloque aproximadamente 11 veces (de 47.10 ms a 4.27 ms) y la latencia end-to-end del DiT 2 veces (de 667 ms a 314 ms en modo compilado).
- Cómputo: Los TFLOPs de atención se reducen en ~67 veces (de 4.205 a 0.063).
- Velocidad de Muestreo: El modelo destilado genera vídeos de alta calidad en 6 NFEs, en comparación con las 100 NFEs por defecto del modelo original.
Comparación: SQuad supera a otros métodos de atención eficiente (como VSA, Jenga, Radial Attention y Attention Surgery) en términos de latencia y TFLOPs, manteniendo una calidad comparable o superior, sin requerir parámetros adicionales aprendibles (a diferencia de los métodos que añaden entre 72M y 283M de pesos).

Significado y Reivindicaciones

El artículo sostiene la hipótesis de que la complejidad completa $O(n^2)$ de la comunicación token a token puede no ser necesaria para la generación de vídeo de alta fidelidad. Al proponer un "punto medio" que conserva la expresividad de Softmax mediante una factorización sub-cuadrática estructurada, SQuad ofrece un camino práctico para generar vídeos más largos y de mayor resolución en el hardware actual.

Los autores posicionan a SQuad no solo como un objetivo de destilación para modelos existentes, sino también como un candidato para el preentrenamiento de modelos grandes desde cero. Reconocen que su estrategia actual acopla la destilación de atención con la destilación de pasos (DMD2) y sugieren que trabajos futuros podrían aislar el cambio de atención de las mejoras de velocidad de muestreo o explorar la composición de más de dos pasadas para intercambiar aún más profundidad por eficiencia.