Sparse VideoGen2: Accelerate Video Generation with Sparse Attention via Semantic-Aware Permutation

1. Énoncé du problème

Les Transformers de diffusion (DiT) constituent l'architecture de pointe pour la génération vidéo de haute qualité, mais souffrent de problèmes de latence sévères. Le goulot d'étranglement principal est la complexité computationnelle quadratique des mécanismes d'auto-attention spatio-temporelle 3D. Par exemple, générer une vidéo de 5 secondes avec HunyuanVideo sur un GPU A100 prend près d'une heure, l'attention représentant plus de 80 % du temps d'exécution.

Bien que l'attention parcimonieuse (calculant uniquement les tokens "critiques") offre une solution théorique, les méthodes existantes échouent à atteindre des compromis optimal qualité-efficacité en raison de deux défauts fondamentaux :

1. Identification imprécise des tokens critiques : Les méthodes actuelles regroupent les tokens selon leur position (par exemple, regrouper des tokens consécutifs en blocs) plutôt que selon leur sémantique. Cela conduit à des représentations agrégées (via un pooling moyen/max) qui ne sont pas représentatives des activations réelles des tokens, entraînant la sélection de tokens non critiques et l'omission de tokens critiques.
2. Gaspillage computationnel excessif : Même si les tokens critiques sont identifiés, ils sont souvent dispersés de manière non contiguë dans le tenseur. Le matériel moderne (par exemple, les Tensor Cores NVIDIA) est optimisé pour la multiplication matricielle dense et contiguë. Le traitement de tokens dispersés nécessite un remplissage (padding) avec des tokens non critiques pour respecter les contraintes matérielles (par exemple, des blocs 16x16), ce qui entraîne jusqu'à 80 % de calculs gaspillés.

2. Méthodologie : SVG2

Les auteurs proposent SVG2, un cadre sans entraînement qui atteint la frontière de Pareto entre la qualité de génération et l'efficacité. L'innovation centrale est la Permutation Consciente de la Sémantique, intégrée à un contrôle dynamique du budget et des noyaux personnalisés.

A. Permutation Consciente de la Sémantique (L'idée centrale)

Au lieu de regrouper les tokens par position, SVG2 les regroupe par similarité sémantique en utilisant le clustering k-means sur les vecteurs de requête ($Q$) et de clé ($K$) avant l'étape d'attention.

• Clustering : Les tokens $Q$ et $K$ sont regroupés indépendamment en $C_q$ et $C_k$ groupes. Les tokens au sein d'un même groupe partagent des activations sémantiques similaires.
• Permutation : Les tokens sont réorganisés (permutés) de sorte que les tokens sémantiquement similaires soient physiquement contigus en mémoire.
• Avantage :
  • Identification améliorée : Les représentations agrégées (centroïdes) de ces groupes cohérents sur le plan sémantique sont hautement précises, permettant une estimation précise des scores d'attention.
  • Réduction du gaspillage : Les tokens critiques se regroupent naturellement. Après permutation, les tokens critiques forment des blocs denses et contigus, éliminant le besoin de remplissage et maximisant l'utilisation du matériel.
• Équivalence mathématique : Les matrices de permutation ($\pi_q, \pi_k$) sont appliquées de telle sorte que la sortie finale $O'$ soit mathématiquement équivalente à la sortie d'attention dense originale $O$, garantissant aucune perte d'expressivité théorique.

B. Sélection Top-p basée sur les centroïdes

Pour déterminer dynamiquement le budget computationnel sans réglage manuel :

• Approximation par centroïde : Au lieu de calculer les scores d'attention complets, SVG2 calcule les scores entre les centroïdes des groupes.
• Stratégie Top-p : Les groupes sont triés par leurs scores d'attention estimés. Le système sélectionne les groupes séquentiellement jusqu'à ce que le score cumulé atteigne un seuil prédéfini $p$. Cela permet une allocation dynamique de la "densité" (pourcentage de tokens calculés) en fonction de la complexité de l'image ou de l'invite spécifique.

C. Co-conception Système-Algorithme

Pour garantir que la méthode est pratique et rapide :

1. Cache de centroïdes : Puisque les activations DiT changent lentement entre les étapes de débruitage, SVG2 met en cache les centroïdes de l'étape précédente pour initialiser le k-means à l'étape suivante. Cela réduit le temps de convergence du k-means par un facteur de 76.
2. Noyau d'attention personnalisé : Les bibliothèques existantes (par exemple, FlashAttention) prennent en charge des tailles de blocs fixes. SVG2 implémente un noyau personnalisé (compatible avec FlashInfer, FA2 et FA3) qui gère des tailles de blocs dynamiques. Il utilise un chargement parcimonieux pour les tokens Clé/Valeur dispersés et un calcul dense pour les tokens Requête contigus, atteignant plus de 85 % de la performance de pointe théorique sans gaspillage de remplissage.

3. Contributions clés

1. Permutation Consciente de la Sémantique : Une technique novatrice qui réorganise les tokens en fonction de la similarité sémantique plutôt que de la position, résolvant simultanément les problèmes de précision d'identification et de gaspillage matériel.
2. Cadre sans entraînement : Contrairement à de nombreuses méthodes d'accélération qui nécessitent un fine-tuning, SVG2 est plug-and-play et fonctionne avec des modèles DiT pré-entraînés existants.
3. Atteinte de la frontière de Pareto : SVG2 surpasse constamment les méthodes d'attention parcimonieuse existantes (statiques et dynamiques) dans l'espace de compromis qualité-efficacité.
4. Implémentation système : Le développement d'un noyau d'attention personnalisé et d'un mécanisme de cache de centroïdes qui comble le fossé entre la parcimonie algorithmique et l'efficacité matérielle.

4. Résultats expérimentaux

Le cadre a été évalué sur HunyuanVideo (13B) et Wan 2.1 (14B) pour la génération vidéo 720p sur des GPU NVIDIA H100.

• Accélération :
  • HunyuanVideo : Jusqu'à 2,30× d'accélération de bout en bout (latence réduite de 30 min à ~13 min).
  • Wan 2.1 : Jusqu'à 1,89× d'accélération (latence réduite de 30 min à ~16 min).
• Qualité :
  • Maintien d'une fidélité visuelle élevée avec un PSNR allant jusqu'à 30,45 (Hunyuan) et 25,81 (Wan).
  • Supériorité par rapport aux références (Sparse VideoGen, SpargeAttention, XAttention) en termes de métriques PSNR, SSIM et LPIPS à la même densité computationnelle.
• Efficacité :
  • Réduction de la densité computationnelle (FLOPs) jusqu'à 2,3× tout en maintenant la même qualité de génération que l'attention dense.
  • Le noyau personnalisé a réduit considérablement le gaspillage de calcul par rapport aux approches à taille de bloc fixe.

5. Importance

Ce papier aborde un goulot d'étranglement critique dans le déploiement des modèles de génération vidéo. En passant d'une parcimonie basée sur la position à une parcimonie basée sur la sémantique, SVG2 démontre qu'une conception d'algorithme consciente du matériel peut débloquer des accélérations massives sans sacrifier la haute fidélité requise pour la génération vidéo professionnelle. Le caractère "sans entraînement" de l'approche la rend immédiatement applicable au paysage en évolution rapide des modèles vidéo open source, potentiellement en démocratisant l'accès à la génération vidéo de haute qualité en réduisant les coûts et le temps d'inférence.