💻 computer science

Veda: Scalable Video Diffusion via Distilled Sparse Attention

Veda est un cadre d'attention épars distillé qui accélère la diffusion vidéo évolutive en alignant la sélection de tuiles sur la géométrie de l'attention complète grâce à un score conscient des statistiques et un carrelage conscient des têtes, réalisant ainsi des accélérations significatives sans compromettre la qualité de génération.

Auteurs originaux : Shihao Han, Hao Yang, Xinting Hu, Xiaofeng Mei, Yi Jiang, Xiaojuan Qi

Publié 2026-05-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shihao Han, Hao Yang, Xinting Hu, Xiaofeng Mei, Yi Jiang, Xiaojuan Qi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de peindre une fresque massive, ultra haute définition, qui dure 10 secondes. Pour ce faire, vous disposez d'une équipe de 12 milliards de petits artistes (les « tokens ») qui doivent communiquer entre eux pour s'assurer que les couleurs se fondent parfaitement et que le mouvement paraît fluide.

Dans l'état actuel de l'art, chaque artiste doit s'arrêter et chuchoter un secret à chaque autre artiste pour déterminer quoi peindre ensuite. Cela s'appelle l'« Attention Complète ». Bien que cela produise des résultats magnifiques, c'est incroyablement lent et coûteux. Si vous doublez la taille de la fresque, le temps nécessaire à la coordination ne double pas simplement ; il est multiplié par quatre. C'est comme essayer d'organiser une fête où tout le monde doit se serrer la main avec tout le monde avant que la musique ne commence.

Le Problème des « Compromis »
Les chercheurs ont tenté d'accélérer ce processus en demandant aux artistes de ne parler qu'à quelques voisins (Attention Éparse). Cependant, les méthodes précédentes étaient comme un gestionnaire maladroit qui disait simplement aux artistes : « Ne parlez qu'aux personnes de votre rangée immédiate. » Cela a fait que la fresque paraissait bizarre : l'eau dans le tableau ondulait de manière étrange, les visages se déformaient et la vidéo clignotait. Les artistes manquaient les conversations importantes qu'ils devaient avoir pour maintenir la cohérence de l'image.

La Solution : Veda (Le Contremaître Intelligent)
L'article présente Veda, un nouveau système qui agit comme un contremaître brillant et hyper-observateur. Au lieu de deviner qui doit parler à qui, Veda utilise une astuce de « distillation ».

Voici comment cela fonctionne, en utilisant une analogie simple :

La Carte de l'« Oracle » : Imaginez que la méthode lente et parfaite de l'« Attention Complète » est un architecte maître qui dessine une carte complète de chaque conversation qui devrait avoir lieu. Cette carte est parfaite mais prend une éternité à dessiner.
L'Étudiant Intelligent : Veda entraîne un « étudiant » léger (une petite IA rapide) à examiner la carte de l'architecte maître et à apprendre le modèle de qui parle à qui.
L'Astuce du « Tripool » : Les étudiants précédents tentaient de résumer la carte en prenant une « moyenne » des conversations. Mais dans une vidéo, ce qui est le plus important est souvent un seul cri fort (un signal de pointe), et non le bavardage moyen. L'étudiant de Veda est plus intelligent : il examine le maximum, le minimum et la moyenne des conversations. Cela garantit qu'il ne manque pas les moments « forts » critiques qui maintiennent la vidéo stable.
Tuilage Conscient des Têtes : La vidéo possède de nombreuses « têtes » différentes (équipes spécialisées). Certaines équipes s'intéressent à la façon dont les choses bougent dans le temps (temporel), tandis que d'autres s'intéressent à la façon dont les choses apparaissent dans l'espace (spatial). Veda réalise qu'une règle « unique pour tous » ne fonctionne pas. Il donne à chaque équipe une pièce de puzzle de taille personnalisée (tuilage) qui correspond à leur tâche spécifique, garantissant qu'ils ne manquent pas de détails importants.

Le Résultat : Vitesse Sans Flou
Une fois que Veda a appris la carte, il dit aux artistes : « Vous n'avez besoin de parler qu'à ces 5 % de personnes spécifiques. Ignorez le reste. »

Parce que Veda sait exactement qui ignorer sans perdre les connexions importantes, la génération de vidéo devient incroyablement rapide :

Vitesse : Il rend la génération d'une vidéo haute définition de 10 secondes 5,1 fois plus rapide.
Qualité : Contrairement aux méthodes précédentes qui rendaient la vidéo glitchée ou déformée, les vidéos de Veda sont tout aussi belles que la version lente et parfaite.
Évolutivité : Plus la vidéo est longue et détaillée, plus Veda excelle. Il gère le travail supplémentaire presque linéairement, tandis que les anciennes méthodes se bloquaient dans les embouteillages.

En Résumé
Veda est comme l'embauche d'un contremaître surdoué qui étudie le plan parfait, apprend exactement quelles conversations sont critiques, puis dirige l'équipe pour qu'elle saute les bavardages ennuyeux. Cela leur permet de peindre une fresque massive et de haute qualité en une fraction du temps, sans que l'image ne se désagrège.

Résumé Technique : Veda - Diffusion Vidéo Évolutif via une Attention Éparse Distillée

1. Énoncé du Problème

La mise à l'échelle des Transformers de Diffusion (DiT) pour la génération vidéo haute résolution et longue durée est actuellement limitée par la complexité computationnelle et mémoire quadratique ( $O(N^2)$ ) des mécanismes d'auto-attention par rapport à la longueur de la séquence de tokens spatiotemporels. Bien que l'attention éparse offre une voie théorique pour atténuer ce problème, les méthodes existantes font face à un compromis critique :

Motifs Statiques : Les méthodes utilisant des motifs éparses prédéfinis (par exemple, des fenêtres glissantes) manquent d'adaptabilité aux structures d'attention dynamiques et spécifiques aux têtes apprises par les DiT.
Sélection Dynamique : Les méthodes qui apprennent des masques dynamiques (par exemple, VSA, VMOBA) souffrent souvent d'estimations imprécises. Elles reposent sur une supervision implicite via l'objectif de diffusion et des statistiques grossières (par exemple, le pooling moyen), ce qui entraîne un désalignement avec la géométrie réelle de l'attention complète.
Le Problème Central : Les preuves empiriques montrent qu'à des niveaux d'éparsité élevés (≥90 %), ces approches existantes dégradent la qualité de génération, produisant des artefacts structurés tels que des distorsions spatiales, des motifs de « rides d'eau » et un scintillement temporel. L'article postule que cette dégradation n'est pas causée par l'éparsité elle-même, mais par l'échec des masques éparses à s'aligner sur la géométrie par tuiles de l'attention complète.

2. Méthodologie : Cadre Veda

Veda est un cadre d'attention éparse distillée conçu pour préserver la structure et le classement par tuiles de l'attention complète, même sous une éparsité extrême. Il traite la sélection de tuiles comme un problème de reconstruction explicite plutôt que comme un sous-produit implicite de l'objectif de diffusion.

2.1. Évaluation de Tuiles Distillée

Au lieu de s'appuyer sur la perte de diffusion pour façonner l'éparsité, Veda emploie un estimateur léger pour apprendre explicitement les scores d'attention au niveau des tuiles à partir d'une colonne vertébrale à attention complète.

Construction de la Cible : Un masque de référence « Oracle » est construit en appliquant un max-pooling à la matrice d'attention complète sur les régions de tuiles requête-clé. Le max-pooling est choisi plutôt que la moyenne pour préserver les pics de signaux saillants et haute fréquence qui sont souvent dilués par le bruit de fond.
Estimateur Conscient des Statistiques : Pour reconstruire ces scores, Veda utilise un descripteur TripPool pour chaque tuile, concaténant les statistiques Moyenne, Maximum et Minimum. Cela enrichit la représentation de la tuile au-delà d'un simple pooling moyen.
Projections Spécifiques aux Têtes : L'estimateur utilise des projections MLP distinctes pour chaque tête d'attention afin de capturer des motifs de dépendance hétérogènes.
Optimisation : Le modèle est entraîné en utilisant un objectif de distillation par divergence KL ( $L_{distill}$ ) ligne par ligne pour aligner la distribution des scores de tuiles prédits avec la référence d'attention complète. Crucialement, une opération de stop-gradient est appliquée aux caractéristiques de la colonne vertébrale alimentant l'estimateur. Cela découple l'apprentissage du masque de l'apprentissage des caractéristiques, empêchant la perturbation de la variété générative pré-entraînée.

2.2. Maillage Conscient des Têtes

Reconnaissant que les têtes d'attention présentent une hétérogénéité significative dans les dépendances spatiotemporelles (certaines capturant des interactions spatiales locales, d'autres des dépendances temporelles à long terme), Veda abandonne les stratégies de maillage uniformes.

Recherche de Configuration : Pour chaque couche et chaque tête, Veda recherche une configuration de maillage optimale $\pi_{l,h} = (p_t, p_h, p_w)$ qui factorise la taille de tuile matérielle.
Sélection Hors Ligne : La configuration optimale est sélectionnée hors ligne sur un ensemble de calibration en minimisant l'erreur d'approximation entre la sortie de l'attention complète et la sortie de l'attention éparse, garantissant ainsi que la stratégie de maillage correspond aux besoins structurels spécifiques de chaque tête.

2.3. Implémentation Efficace Matériellement

Pour traduire les réductions théoriques de FLOP en accélérations réelles du temps d'exécution, Veda implémente un noyau d'attention éparse à saut de tuiles personnalisé utilisant le DSL ThunderKittens.

Exécution Asynchrone : Le noyau exploite l'accès mémoire Tensor (TMA) et la spécialisation des warps de NVIDIA Hopper. Il découple le déplacement des données du calcul en utilisant un paradigme producteur-consommateur, où les warps producteurs récupèrent des tuiles de clés/valeurs non contiguës dans la mémoire partagée tandis que les warps consommateurs exécutent des opérations sur les cœurs tensoriels.
Efficacité : Cette conception masque la latence mémoire derrière des mathématiques matricielles denses, atteignant environ 80 % de l'Utilisation des FLOP Mémoire (MFU) de FlashAttention-3.
Efficacité de l'Entraînement : Un noyau TileLang spécialisé génère des cartes thermiques de vérité terrain en deux passes, permettant une supervision éparse (sous-ensembles aléatoires de tuiles requêtes) pour réduire la surcharge d'entraînement sans compromettre les performances.

3. Contributions Clés

Insight Empirique : L'article démontre que la qualité de génération dans la diffusion vidéo éparse est déterminée par l'alignement du masque éparse avec la géométrie par tuiles de l'attention complète, plutôt que par le ratio d'éparsité lui-même.
Attention Éparse Distillée : Veda introduit un cadre qui formule la sélection de tuiles comme un problème de reconstruction explicite, utilisant un estimateur conscient des statistiques et des projections spécifiques aux têtes pour minimiser l'erreur d'estimation.
Maillage Conscient des Têtes : Une stratégie novatrice qui attribue des factorisations de tuiles spatiotemporelles distinctes à différentes têtes d'attention, répondant à l'hétérogénéité des motifs de dépendance dans les Video DiT.
Noyau Optimisé Matériellement : Un noyau à saut de tuiles personnalisé qui atteint une mise à l'échelle quasi-linéaire avec la longueur de séquence et une utilisation matérielle élevée, convertissant l'éparsité algorithmique en gains de latence tangibles.

4. Résultats Expérimentaux

Des expériences ont été menées sur des modèles de diffusion vidéo à grande échelle, notamment Waver-T2V-12B et Wan2.1-T2V-14B, sur des résolutions allant jusqu'à 720P et des longueurs de séquence allant jusqu'à 241 images.

Accélération : Sur Waver-T2V-12B (720P, 241 images), Veda réalise une accélération de bout en bout de 5,1× (réduisant le temps d'échantillonnage de 19,4 à 3,8 minutes) et une accélération de l'auto-attention de 10,5×. La surcharge d'attention est réduite de 92 % à 50 %.
Évolutivité : Les accélérations augmentent avec la longueur de séquence. À 245K tokens, Veda s'étend de manière quasi-linéaire (309,1 ms) par rapport à la croissance quadratique de l'Attention Complète (1576,5 ms), produisant une accélération de 5,1×.
Préservation de la Qualité :
- Évaluation Humaine : Sur Waver-bench 1.0, Veda à 90 % d'éparsité atteint une parité perceptuelle avec l'Attention Complète. À 95 % d'éparsité, il surpasse nettement la méthode VSA de l'état de l'art (même lorsque VSA opère à une éparsité inférieure).
- Réduction des Artefacts : Contrairement aux bases de référence qui souffrent de motifs de rides d'eau et de scintillement temporel à haute éparsité, Veda maintient une fidélité visuelle élevée et une cohérence temporelle.
- Métriques Quantitatives : Les évaluations VBench montrent que Veda maintient une cohérence du sujet et une fluidité du mouvement comparables aux bases de référence d'Attention Complète, même à 95 % d'éparsité.

5. Signification et Revendications

L'article revendique que Veda résout avec succès le goulot d'étranglement de l'évolutivité de la génération vidéo haute résolution sans compromettre l'intégrité structurelle. En redéfinissant l'attention éparse comme un problème de distillation plutôt que comme une recherche heuristique ou une tâche d'apprentissage implicite, Veda permet une éparsité agressive (jusqu'à 95 %) qui était auparavant inatteignable sans dégradation sévère de la qualité.

Les auteurs soulignent que les gains ne sont pas purement théoriques ; le noyau personnalisé garantit que l'éparsité se traduit par une accélération pratique du temps d'exécution. Le cadre est présenté comme une solution modulaire et consciente du matériel qui s'étend favorablement avec la résolution spatiotemporelle, rendant la génération vidéo longue et haute fidélité réalisable dans les contraintes matérielles actuelles. Le travail suggère que les améliorations futures pourraient se concentrer sur une fusion de noyaux plus serrée, des stratégies d'éparsité adaptatives à travers les pas de temps et la mise en cache temporelle des scores de tuiles.