Résumé Technique : AdaState – Ancres Auto-Évolutives pour la Génération de Vidéos en Flux

1. Énoncé du Problème

Les modèles de diffusion vidéo autoregressifs génèrent des vidéos en flux en produisant des images séquentiellement, conditionnant chaque nouveau segment sur le contenu précédemment généré. Une limitation structurelle fondamentale de ces modèles réside dans leur dépendance à une ancre statique : la représentation clé-valeur (KV) de la première image occupe une position privilégiée (position 0) dans le cache d'attention.

En raison du phénomène de « puits d'attention » (attention-sink), où le softmax causal concentre la masse sur les positions initiales, cette ancre statique attire une attention disproportionnée tout au long du processus de génération. Bien que cela assure une cohérence statique, il supprime la dynamique vidéo. Le modèle est essentiellement verrouillé sur le point de vue initial, empêchant l'évolution naturelle de la scène, les mouvements de caméra et la progression des sujets. À mesure que la génération s'étend, le modèle peine à concilier la scène évolutive avec la référence figée, conduisant soit à :

1. Une superficialité temporelle : Le mouvement et la progression de la scène sont atténués pour maintenir la cohérence avec la première image.
2. Une dérive et des artefacts : Si l'ancre est supprimée ou mise à jour de manière heuristique, les erreurs s'accumulent, provoquant un effondrement visuel ou une perte d'identité du sujet.

Les solutions existantes échouent à traiter cette cause racine. Les méthodes conservant des ancres statiques (par exemple, LongLive, Infinity-RoPE) figent la scène. Les méthodes utilisant des mises à jour agnostiques du contenu (par exemple, les approches basées sur la moyenne mobile exponentielle comme Reward Forcing, MemRoPE) convergent vers une moyenne floue incapable de s'adapter aux changements spécifiques de la scène. Les remplacements heuristiques (par exemple, Rolling Sink) biaisent la génération vers la reproduction d'images passées plutôt que vers des continuations nouvelles.

2. Méthodologie : AdaState

Les auteurs proposent AdaState, un cadre qui remplace l'ancre statique de la première image par un état adaptatif — une variable latente cachée qui évolue parallèlement au contenu.

Mécanisme Central

• État Adaptatif comme Latent Caché : Au lieu d'une première image figée, le modèle maintient un état $s$ à la position 0 dans le cache KV. Cet état est un latent caché qui est débruité conjointement avec le contenu vidéo à chaque segment, mais qui n'est jamais rendu dans la sortie vidéo finale.
• Débruitage et Récurrence Conjoints : À chaque étape de génération $n$, le générateur $G_\theta$ débruite conjointement les images de contenu actuelles $x^{(n)}_c$ et les images d'état $s_n$ à partir d'un bruit gaussien indépendant, conditionné par le cache KV $h_n$.
  • Le KV de contenu propre entre dans la fenêtre glissante pour le contexte à court terme.
  • Le KV d'état propre écrase la position 0 dans le cache, servant de référence de scène pour le segment suivant.
• Formulation du Temps Relatif : Contrairement à la génération standard qui encode le temps absolu, AdaState traite le temps comme relatif. Chaque étape de génération voit la même structure positionnelle, quelle que soit la longueur du déploiement. La transition d'état est identique à chaque segment, transformant le processus autoregressif séquentiel en un processus récursif où :
  • Le Débruitage agit comme fonction de transition.
  • Le Cache KV agit comme support pour l'état caché.
  • Aucun module externe, mécanisme de porte ou unité de mémoire séparée n'est requis.

Apprentissage par Mise en Correspondance de Distribution Pondéré par l'Horizon

Pour garantir que le modèle apprend à utiliser efficacement l'état adaptatif, les auteurs introduisent la Distillation par Mise en Correspondance de Distribution Pondérée par l'Horizon (DMD).

• Problème : Dans les déploiements autoregressifs, les erreurs s'accumulent dans les images ultérieures. Une pondération uniforme standard de la perte permet à l'optimiseur de se concentrer sur les images propres et précoces, négligeant les images critiques ultérieures où l'état adaptatif doit compenser l'absence de contenu de scène original.
• Solution : Une pondération par rampe linéaire $w_i$ est appliquée à la perte DMD, augmentant avec l'indice d'image $i$. Cela force l'optimiseur à concentrer sa capacité sur les images ultérieures où la cohérence médiée par l'état est la plus vitale.
  $$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$$

3. Contributions Clés

1. Identification du Biais Structurel : L'article identifie que l'ancre statique dans la diffusion vidéo autoregressive crée un biais d'attention structurel qui supprime la dynamique, verrouillant la composition de la scène sur le point de vue initial.
2. Architecture d'État Adaptatif : Les auteurs proposent de remplacer l'ancre statique par un état adaptatif caché entraîné via une DMD pondérée par l'horizon. Cet état évolue avec le contenu, permettant au modèle de générer sa propre référence de scène à chaque étape.
3. Formulation Récursive sans Modules Externes : Le travail démontre que le débruitage lui-même peut fonctionner comme une récurrence. L'état adaptatif est une variable cachée mise à jour par le raffinement itératif propre du modèle et transportée via le cache KV, ne nécessitant ni mémoire externe ni mécanismes de porte.

4. Résultats Expérimentaux

La méthode a été évaluée sur un modèle distillé à partir de Wan2.1-T2V-1.3B utilisant Self-Forcing, entraîné sur des déploiements de 21 images et testé à 5 secondes (dans l'horizon) et 30 secondes (6 fois l'horizon d'entraînement).

• Performance Qualitative :
  • Ancres Statiques (par exemple, Infinity-RoPE, Rolling Forcing) : Préservent l'identité mais figent la scène, sans mouvement de caméra ni progression de la scène.
  • Sans Référence (par exemple, Self-Forcing, Causal Forcing) : Montrent une forte dynamique initiale mais souffrent de dérive chromatique et d'artefacts visuels lorsque le déploiement dépasse l'horizon d'entraînement.
  • AdaState : Atteint un équilibre unique, préservant l'identité du sujet tout en permettant une évolution naturelle de la scène, un glissement de caméra et un mouvement continu, même à 30 secondes.
• Performance Quantitative :
  • Dans l'Horizon (5s) : AdaState obtient le score total VBench et le VisionReward les plus élevés, avec un degré de dynamique significativement supérieur aux méthodes à ancre statique.
  • Au-delà de l'Horizon (30s) : AdaState est la seule méthode qui ne se dégrade pas en termes de degré de dynamique. Elle occupe la région « haut-droite » de la courbe de compromis cohérence-dynamique, maintenant une haute cohérence tout en atteignant le degré de dynamique le plus élevé parmi toutes les bases de comparaison.
  • Étude Utilisateur : Dans une étude avec 40 évaluateurs, AdaState a obtenu les scores les plus élevés pour la « progression cohérente » et l'« adhérence au prompt », surpassant les bases de comparaison sans référence, à référence statique et à référence EMA.

5. Importance et Revendications

L'article revendique qu'AdaState brise fondamentalement le compromis cohérence-dynamique qui affecte la génération actuelle de vidéos en flux. En traitant le processus de génération comme une récurrence où les propres mises à jour de débruitage du modèle actualisent une référence de scène cachée, AdaState permet :

• Un Mouvement Plus Riche : Des mouvements de caméra naturels et des actions de sujets qui évoluent dans le temps.
• Stabilité à Long Horizon : La capacité de générer des vidéos cohérentes bien au-delà de l'horizon d'entraînement sans accumulation de dérive ni figement de la scène.
• Simplicité Architecturale : La solution ne nécessite aucun changement architectural au niveau du DiT de base, aucune perte auxiliaire et aucun module de mémoire externe, reposant uniquement sur le cache KV et les mécanismes d'attention existants.

Les auteurs positionnent cela comme une étape vers un état récursif adaptatif dans la génération autoregressive, suggérant que la formulation pourrait s'appliquer à d'autres domaines où l'attention se concentre sur des positions passées fixes. Cependant, ils notent modestement des limitations, telles que le réglage heuristique de la capacité de l'état (actuellement une image) et la nécessité de travaux futurs sur une mémoire externe structurée pour des scènes hautement complexes à multiples acteurs.