💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad est un cadre de distillation d'attention sous-quadratique qui compresse les Video Diffusion Transformers pré-entraînés pour atteindre une complexité de $\mathcal{O}(n\sqrt{n})$ , offrant une qualité de génération vidéo de niveau quadratique avec des coûts de calcul considérablement réduits et des vitesses d'inférence plus rapides.

Auteurs originaux : Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La création d'images animées grâce à l'intelligence artificielle est devenue l'une des frontières les plus passionnantes de l'informatique moderne. Ces systèmes, connus sous le nom de modèles de diffusion vidéo, fonctionnent en partant d'un nuage chaotique de bruit statique et en le raffinant progressivement pour former une scène cohérente, image par image, à partir d'une description textuelle. Pour comprendre comment ils procèdent, imaginez une vaste grille de minuscules pixels numériques, où chaque pixel est un jeton (token) transportant des informations sur la couleur, la forme et le temps. Le moteur qui anime ces modèles est un mécanisme appelé auto-attention. Ce mécanisme permet à chaque jeton de la vidéo de regarder tous les autres jetons pour décider de la manière dont ils doivent être liés les uns aux autres. C'est cette connexion constante et omnisciente qui confère à la vidéo sa qualité réaliste et garantit que le mouvement d'un personnage dans la première seconde correspond à son apparence dans la dernière. Cependant, cette puissance a un prix élevé. À mesure que la vidéo s'allonge ou se complexifie, le nombre de connexions que le système doit calculer explose, rendant le processus incroyablement lent et coûteux, ce qui limite souvent les créateurs à seulement quelques secondes de séquence.

Des chercheurs de Qualcomm AI Research ont développé une nouvelle approche appelée SQuad pour résoudre ce problème sans sacrifier la qualité de la vidéo. Au lieu de chercher à simplifier les connexions complexes ou de remplacer le mécanisme central par une alternative moins chère et plus faible, ils ont trouvé un moyen de réorganiser la façon dont le système analyse les données. Dans la méthode standard, chaque jeton doit vérifier sa relation avec tous les autres jetons, un processus qui devient ingérable à mesure que la taille de la vidéo augmente. L'équipe a réalisé que dans la génération de vidéos, la plupart de ces connexions sont en réalité très faibles ; seul un petit groupe critique de jetons a réellement besoin de prêter attention aux autres à un instant donné. En s'appuyant sur cette observation, ils ont conçu un processus en deux étapes. D'abord, le système regroupe les jetons voisins en petites fenêtres et les laisse mélanger l'information localement. Ensuite, il effectue une seconde passe pour permettre à ces fenêtres de communiquer entre elles à travers l'ensemble de la vidéo. Cette structure permet au modèle de maintenir une vue complète de la scène tout en réduissant considérablement le nombre de calculs requis.

Les résultats de l'application de cette méthode à un modèle de génération de vidéo puissant appelé Wan 2.2 sont frappants. Les chercheurs ont pris un modèle pré-entraîné puissant et lui ont appris à utiliser cette nouvelle méthode d'attention rationalisée grâce à un processus de distillation, où le nouveau système apprend à imiter le comportement de l'original. Le résultat est un modèle qui produit des vidéos d'une qualité visuelle presque identique à l'original, obtenant des scores presque équivalents lors de tests de qualité rigoureux, mais avec une réduction massive des coûts. Alors que le modèle original nécessitait 100 étapes pour générer une vidéo, la nouvelle version obtient des résultats similaires en seulement six étapes. En termes de vitesse, le temps nécessaire pour traiter une seule étape de la génération de vidéo est passé d'environ 47 millisecondes à seulement 4 millisecondes. La quantité de puissance de calcul nécessaire pour ces étapes a chuté d'un facteur de près de 67.

Ce gain d'efficacité n'est pas seulement une amélioration théorique ; il se traduit directement dans l'expérience de l'utilisateur. Lors de tests sur une tâche standard de génération de vidéo haute définition, la nouvelle méthode a généré une vidéo en environ la moitié du temps total du système original, même en tenant compte de l'ensemble du pipeline de génération. Les chercheurs ont comparé leur méthode à d'autres tentatives d'accélération de la génération de vidéo, dont certaines reposent sur des architectures hybrides complexes qui ajoutent des millions de paramètres supplémentaires au modèle. En revanche, l'approche SQuad ne nécessite ni mémoire supplémentaire ni matériel spécialisé, s'intégrant parfaitement dans les systèmes existants. Des études utilisateurs ont confirmé que les gens ne pouvaient pas distinguer de manière fiable les vidéos produites par le modèle original, lourd, de celles produites par la nouvelle version efficace. En fait, lors d'une comparaison directe, une proportion significative de spectateurs humains a même préféré les vidéos générées par la nouvelle méthode.

La portée de ce travail réside dans son équilibre. Les tentatives précédentes pour rendre ces modèles plus rapides consistaient souvent à remplacer le puissant mécanisme d'attention par des approximations linéaires plus simples, ce qui entraînait fréquemment une baisse notable de la qualité vidéo. La méthode SQuad évite ce piège en conservant l'opération mathématique centrale intacte, mais en changeant l'ordre dans lequel elle est appliquée. Elle prouve que la complexité quadratique totale consistant à vérifier chaque jeton par rapport à tous les autres n'est pas strictement nécessaire pour obtenir des résultats de haute fidélité. En structurant soigneusement le flux d'informations, les chercheurs ont démontré qu'il est possible de générer des vidéos longues et de haute résolution avec une fraction du coût de calcul. Cela ouvre la voie à la génération de scènes plus longues et plus complexes sur du matériel standard, rapprochant le domaine de l'objectif de créer du contenu vidéo illimité et de haute qualité sans les goulots d'étranglement actuels de temps et d'énergie.

Résumé Technique : SQuad : Distillation d'Attention Sub-Quadratique pour la Génération de Vidéo Efficace

Problématique

La génération de vidéos utilisant les Transformers de Diffusion (DiTs) est actuellement limitée par le coût computationnel du mécanisme de Softmax Self-Attention. Dans les DiTs standards, la complexité de l'attention est de l'ordre de $O(n^2)$ par rapport au nombre de tokens latents $n$ . Pour la génération de vidéo, où $n$ représente un volume spatio-temporel (atteignant souvent des dizaines de milliers de tokens), ce terme quadratique domine à la fois le temps d'exécution et la mémoire, limitant la résolution, la durée et le débit réalisables.

Les solutions existantes tentent d'atténuer cela en remplaant le Softmax Self-Attention par des approximations linéaires $O(n)$ ou de bas rang $O(nk)$, ou en utilisant des masques épars et des architectures hybrides. Cependant, ces approches souffrent souvent d'un « écart de qualité persistant » car elles sacrifient la non-linéarité et la sélectivité nette et dépendante de l'entrée du Softmax complet. De plus, les conceptions hybrides qui entrelacent des blocs quadratiques coûteux avec des blocs efficaces introduisent une complexité architecturale et conservent souvent une dépendance aux opérations quadratiques mêmes qu'elles cherchent à réduire.

Méthodologie : SQuad

Les auteurs proposent SQuad (Sub-Quadratic Attention Distillation), un cadre qui réduit la complexité de l'attention à $O(n\sqrt{n})$ tout en conservant l'opération Softmax authentique tout au long du processus. Au lieu d'entraîner un nouveau DiT de vidéo à partir de zéro, SQuad distille un DiT pré-entraîné à Softmax complet (spécifiquement les modèles Wan 2.2 5B et Wan 2.1 1.3B) dans une architecture modifiée.

1. Opérateur d'Attention SQuad

L'innovation centrale est un mécanisme d'attention en deux étapes qui factorise l'attention complète $O(n^2)$ en un Pass Local et un Pass Global :

Pass Local ( $Attn_L$ ) : Les tokens se mélangent au sein de fenêtres fixes de taille $w$ .
Pass Global ( $Attn_G$ ) : Les tokens à la même position relative au sein de chaque fenêtre se mélangent à travers toutes les fenêtres.
Composition : La sortie du pass local est injectée dans le flux de valeurs (value stream) du pass global. Cet emboîtement permet au pass global d'opérer sur des tokens qui ont déjà été mélangés localement, récupérant ainsi un champ récepteur complet.
Complexité : En fixant la taille de la fenêtre à $w = \sqrt{n}$ , la méthode atteint une complexité de $O(n\sqrt{n})$ . Crucialement, les deux passes utilisent le Softmax standard, préservant l'expressivité perdue dans les approximations linéaires.

2. Stratégie de Distillation

Puisque le remplacement de l'opérateur d'attention modifie la fonction calculée par le réseau, les poids pré-entraînés ne sont plus optimaux. Les auteurs emploient un processus de distillation en deux étapes :

Fine-Tuning Supervisé par Flow-Matching (SFT) : Le réseau est affiné sur des données vidéo (jeu de données VIPE 1M) pour réinstaller les poids sous la nouvelle architecture d'attention SQuad.
Distribution Matching Distillation (DMD2) : Une méthode améliorée de distillation par étape est appliquée pour récupérer la qualité de génération perdue lors du changement architectural et pour réduire le nombre d'Évaluations Fonctionnelles Neurales (NFE) requises pour l'échantillonnage.

Principales Contributions

Complexité Sub-Quadratique avec Softmax Complet : SQuad atteint une complexité de $O(n\sqrt{n})$ sans abandonner l'opération Softmax, répondant ainsi à l'écart de qualité inhérent aux approximations linéaires ou de bas rang.
Cadre de Distillation : L'article démontre qu'un DiT quadratique pré-entraîné peut être efficacement adapté à une architecture sub-quadratique via un processus de distillation en deux étapes (SFT + DMD2), évitant le coût prohibitif d'un entraînement à partir de zéro.
Efficacité Matérielle : La méthode est conçue pour être compatible avec le matériel, ne nécessitant aucun noyau fusionné spécialisé ou optimisation sur l'appareil, s'appuyant plutôt sur des remodelages de tenseurs standards et des blocs d'attention classiques.

Résultats Expérimentaux

La méthode a été évaluée sur les modèles de texte-vers-vidéo Wan 2.2 5B et Wan 2.1 1.3B.

Préservation de la Qualité : Sur Wan 2.2 5B, SQuad atteint un score total VBench de 83,20, égalant efficacement la ligne de base originale à Softmax complet (83,08). Dans les études de préférence utilisateur, 35 % des utilisateurs préféraient les générations de SQuad par rapport à la ligne de base, tandis que 31 % les jugeaient indiscernables.
Gains d'Efficacité :
- Latence : SQuad réduit la latence d'attention par bloc d'environ 11× (de 47,10 ms à 4,27 ms) et la latence totale du DiT par 2× (de 667 ms à 314 ms en mode compilé).
- Calcul : Les TFLOPs d'attention sont réduits d'environ 67× (de 4,205 à 0,063).
- Vitesse d'Échantillonnage : Le modèle distillé génère des vidéos de haute qualité en 6 NFE, contre les 100 NFE par défaut du modèle original.
Comparaison : SQuad surpasse les autres méthodes d'attention efficace (telles que VSA, Jenga, Radial Attention et Attention Surgery) en termes de latence et de TFLOPs tout en maintenant une qualité comparable ou supérieure, sans nécessiter de paramètres apprenables supplémentaires (contrairement aux méthodes qui ajoutent 72M–283M de poids).

Signification et Revendications

L'article affirme que SQuad valide l'hypothèse selon laquelle la complexité complète $O(n^2)$ de la communication de token à token n'est peut-être pas nécessaire pour une génération vidéo de haute fidélité. En proposant un « juste milieu » qui conserve l'expressivité du Softmax via une factorisation sub-quadratique structurée, SQuad offre une voie pratique pour générer des vidéos plus longues et à plus haute résolution sur le matériel actuel.

Les auteurs positionnent SQuad non seulement comme une cible de distillation pour les modèles existants, mais aussi comme un candidat pour le mécanisme d'attention lors du pré-entraînement de grands modèles à partir de zéro. Ils reconnaissent que leur stratégie actuelle couple la distillation d'attention à la distillation d'étape (DMD2) et suggèrent que les travaux futurs pourraient isoler le changement d'attention de l'accélération de l'échantillonnage ou explorer la composition de plus de deux passes pour échanger davantage la profondeur contre l'efficacité.