Résumé Technique : Attendre Localement, Se Souvenir Linéairement (ARL2)

1. Énoncé du Problème

La diffusion vidéo autoregressive (AR) est devenue un paradigme de premier plan pour la génération de vidéos en flux continu et interactive grâce à sa formulation causale, par blocs. Cependant, les modèles existants de diffusion vidéo AR reposent sur une attention auto-softmax au sein des Transformers de Diffusion (DiT). Cette dépendance introduit un goulot d'étranglement fondamental en matière d'évolutivité :

• Calcul Quadratique et Mémoire Linéaire : Le mécanisme d'attention standard engendre une complexité computationnelle de $O(N^2)$ et une utilisation mémoire de $O(N)$ par rapport à la longueur de la séquence $N$ (images vidéo).
• Croissance du Cache KV : Pour maintenir la cohérence temporelle, ces modèles accumulent un cache Clé-Valeur (KV) qui croît linéairement avec chaque bloc généré. Pour une vidéo de 5 secondes en 480p, le cache KV peut dépasser 34 Go, surpassant les paramètres du modèle eux-mêmes.
• Limites des Solutions Existantes : Les solutions actuelles, telles que l'attention clairsemée, la quantification du cache KV ou l'éviction, réduisent les coûts par étape ou bornent la mémoire, mais échouent à éliminer simultanément la croissance linéaire de la mémoire et à gérer efficacement le contexte en flux continu. L'attention clairsemée repose toujours sur un cache croissant ; l'éviction rejette irrévocablement le contexte passé.

Le défi central consiste à convertir un modèle de diffusion vidéo AR préentraîné en une architecture hybride qui atteint une mémoire constante ($O(1)$) et une mise à l'échelle en temps linéaire sans sacrifier la fidélité spatiale des interactions intra-image ni la cohérence temporelle de la génération inter-image.

2. Méthodologie : ARL2

Les auteurs proposent ARL2 (Attendre Localement, Se Souvenir Linéairement), un module d'attention hybride qui décompose l'attention auto en deux branches distinctes pour répondre à la nature hétérogène de l'attention vidéo :

2.1 Décomposition Hybride de l'Attention

Le modèle divise l'attention en :

1. Branche Intra-Image (Attendre Localement) : Préserve l'attention bidirectionnelle softmax originale au sein de chaque image. Cette branche capture les corrélations spatiales fines et les dépendances locales, essentielles pour la fidélité visuelle. Elle réutilise les projections préentraînées figées pour maintenir les détails spatiaux sans introduire de latence supplémentaire, car tous les tokens d'une image sont décodés conjointement.
2. Branche Inter-Image (Se Souvenir Linéairement) : Remplace le cache KV croissant par un état récurrent de taille fixe ($S$). Cette branche utilise des mécanismes de Réseau Delta à Portes (GDN) pour maintenir un contexte temporel à long terme.
   • Adaptation : Étant donné que les projections $Q, K, V$ préentraînées sont optimisées pour le softmax, le modèle introduit des cartes de caractéristiques groupées $1\times1$ par tête ($\phi_q, \phi_k, \phi_v$) pour adapter les représentations au domaine de la récurrence linéaire.
   • Mise à Jour de l'État : L'état $S_N$ est mis à jour selon une règle à portes : $S_N = \alpha_N S_{N-1} + \beta_N K'_N(V'_N - K'_N S_{N-1})$, où $\alpha$ (porte d'oubli) et $\beta$ (taux d'apprentissage) sont des projections apprises par token.
   • Sortie : La sortie inter-image est calculée comme $O_{inter} = Q'_N S_{N-1}$.

2.2 Gestion de l'État Mémoire

Pour empêcher l'état récurrent d'être corrompu par des étapes intermédiaires bruyantes ou d'introduire une asymétrie intra-image, ARL2 emploie deux mécanismes spécifiques :

• Accès au Niveau de l'Image : Tous les tokens au sein d'une seule image interrogent le même état pré-mise à jour ($S_{N-1}$). L'état n'est mis à jour qu'après le traitement complet de l'image. Cela garantit un contexte inter-image cohérent pour tous les tokens de l'image courante.
• Mises à Jour par Passage Propre : Pendant la boucle de débruitage multi-étapes, le modèle interroge l'état mais ne le met pas à jour. L'état n'est mis à jour qu'après la production du dernier "passage propre" de l'image. Cela empêche les intermédiaires bruyants de contaminer la mémoire à long terme et réduit les écritures d'état d'une par étape de débruitage à une par image.

2.3 Pipeline d'Entraînement : Distillation en Deux Étapes

Plutôt que d'entraîner à partir de zéro, les auteurs proposent un pipeline de distillation efficace en deux étapes pour convertir un modèle préentraîné à Forçage Causal :

• Étape 1 (Distillation par Couche et Sélection) : Chacune des 30 couches d'attention est distillée indépendamment. Les auteurs introduisent une analyse du Taux de Récupération de l'Attention (ARR) pour classer les couches en "Hybride-Récupérable" (HR) et "Hybride-Sensible" (HS).
  • Dimensions HR : Cohérence du sujet, cohérence de l'arrière-plan, fluidité du mouvement et qualité esthétique (récupération >85 %).
  • Dimensions HS : Qualité de l'image (sensible, récupération d'environ 25 %).
  • Sélection de Couche : Un mécanisme de notation ($p_\ell$) priorise le remplacement des couches moins sensibles à la dimension HS, garantissant que les couches critiques pour la qualité de l'image conservent l'attention softmax.
• Étape 2 (Distillation Conjointe) : Le modèle hybride (avec les couches sélectionnées remplacées) est affiné conjointement de bout en bout par rapport à l'enseignant figé, en faisant correspondre le champ de vitesse prédit pour assurer une opération cohérente à travers toutes les couches.

3. Contributions Clés

1. Première Diffusion Vidéo AR Hybride : Il s'agit du premier travail convertissant un modèle de diffusion vidéo AR préentraîné en une architecture d'attention linéaire hybride, permettant une génération en flux continu avec une mémoire constante sans réentraînement à partir de zéro.
2. Décomposition Consciente du Rôle : La conception respecte explicitement l'hétérogénéité de l'attention vidéo, conservant le softmax bidirectionnel pour les détails spatiaux tout en utilisant une récurrence linéaire pour la mémoire temporelle.
3. Gestion Stable de l'État : L'introduction de l'accès au niveau de l'image et des mises à jour par passage propre résout les défis spécifiques de l'application de l'attention linéaire récurrente au débruitage itératif de la diffusion, empêchant l'asymétrie de contexte et la corruption de la mémoire.
4. Stratégie de Distillation Efficace : Un pipeline de distillation en deux étapes guidé par la sensibilité, minimisant la dégradation des performances tout en maximisant les gains d'efficacité.

4. Résultats Expérimentaux

Les auteurs ont évalué ARL2 sur le benchmark VBench à travers diverses longueurs de vidéo (de 81 à 921 images) en utilisant un modèle de 1,3 milliard de paramètres.

• Efficacité :
  • Mémoire : Réduction de la mémoire jusqu'à 54 % (par exemple, 40,5 Go contre 87,9 Go pour 921 images) et maintien d'une utilisation mémoire constante quelle que soit la longueur de la vidéo, alors que les modèles de base ont échoué à 1005 images en raison d'une pénurie de mémoire (OOM).
  • Vitesse : Accélération du temps réel jusqu'à 2,26× à 921 images. L'accélération s'adapte à la longueur de la vidéo à mesure que la surcharge du cache KV devient prédominante.
• Qualité :
  • ARL2 (50 % de remplacement) : Correspond ou dépasse l'enseignant softmax en qualité globale, avec des améliorations spécifiques dans le Scintillement Temporel (+0,99) et la Fluidité du Mouvement (+1,35).
  • ARL2 (75 % de remplacement) : Maintient une qualité compétitive (à environ 1 % de la base sur la Qualité de l'Image) tout en réalisant les gains d'efficacité maximaux.
  • Comparaison : ARL2 (50 %) surpasse les autres modèles distillés et correspond au beaucoup plus grand MAGI-1 (4,5 milliards) avec 3,5 fois moins de paramètres.
• Ablations :
  • Le retrait de la branche hybride ou l'utilisation d'un accès au niveau du token a dégradé les performances, confirmant la nécessité des deux branches et du partage d'état au niveau de l'image.
  • La gestion de portes par tête a offert le meilleur compromis entre performance et efficacité des paramètres.

5. Signification et Revendications

L'article revendique que ARL2 adresse fondamentalement le goulot d'étranglement de l'évolutivité de la diffusion vidéo autoregressive. En découplant la modélisation spatiale et temporelle, il permet une synthèse vidéo longue qui était précédemment irréalisable en raison des contraintes de mémoire. Les auteurs soulignent que leur approche permet une génération vidéo en flux continu avec une mémoire constante, la rendant adaptée aux applications interactives et en temps réel.

Le travail démontre qu'il est possible de conserver la modélisation spatiale de haute qualité de l'attention softmax tout en remplaçant le mécanisme temporel gourmand en mémoire par un état récurrent linéaire. La distillation en deux étapes proposée prouve que de tels changements architecturaux peuvent être transférés efficacement vers des modèles préentraînés avec un nombre minimal de paramètres entraînables (<2 %) et un coût computationnel (~156 heures GPU H100), offrant une voie pratique vers une génération vidéo évolutive.