Résumé Technique : DySink – Puits de Trames Dynamiques pour la Génération de Vidéos Longues Autoregressives

1. Énoncé du Problème

La génération de vidéos longues autoregressives repose sur un flux à mémoire bornée pour gérer le coût computationnel quadratique des transformateurs de diffusion bidirectionnels. Les méthodes actuelles de l'état de l'art (par exemple, LongLive, Rolling-Forcing) emploient généralement un mécanisme d'attention hybride combinant une fenêtre glissante pour la continuité à court terme et des puits de trames statiques (trames mises en cache précocement) comme ancres globales pour la cohérence à long terme.

L'article identifie deux limitations critiques de cette stratégie d'allocation statique :

1. Inadéquation Contextuelle : À mesure que la génération progresse, l'état visuel diverge souvent considérablement des trames initiales. La mise en cache persistante de ces ancres obsolètes biaise le modèle vers la reproduction des indices visuels initiaux plutôt que vers l'adaptation à la scène évolutive, entraînant une stagnation temporelle.
2. Effondrement des Puits : Dans les cas graves, la dépendance aux puits statiques déclenche un mode de défaillance connu sous le nom d'« effondrement des puits » (sink collapse). Cui et al. (2026) l'attribuent à un réalignement de phase induit par RoPE et à une homogénéisation de l'attention inter-têtes, où une grande fraction de têtes d'attention se concentrent simultanément de manière excessive sur les trames puits. Cela provoque un retour du contenu généré vers les trames puits, entraînant des réinitialisations brutales de la scène et des motifs de mouvement cycliques.

2. Méthodologie : Le Cadre DySink

DySink propose un cadre basé sur la récupération qui remplace les ancres de trames fixes précoces par des puits de trames dynamiques. Le système maintient une banque de mémoire compacte et sélectionne des trames historiques visuellement pertinentes à la volée. Le cadre se compose de trois composants principaux :

A. Construction de la Banque de Mémoire

• Structure : La banque de mémoire stocke des blocs vidéo historiques, où chaque entrée se compose d'un descripteur visuel compact ($f_i$) et des caches Key-Value (KV) par couche correspondants ($K_i, V_i$).
• Génération de Descripteurs : Les descripteurs visuels sont créés en décodant des trames latentes vers l'espace pixel, en les encodant via un encodeur visuel figé, et en agrégeant les caractéristiques par mise en moyenne et normalisation L2.
• Mise à Jour Sensible à la Nouveauté : Pour éviter la redondance, un bloc candidat n'est admis que si sa similarité avec les entrées existantes est inférieure à un seuil ($\tau_{dedup}$). En cas de quasi-doublons, les entrées antérieures sont conservées car elles sont moins corrompues par l'accumulation d'erreurs.

B. Récupération et Injection Adaptatives

• Mécanisme de Récupération : Pour le bloc de génération actuel, DySink agrège les descripteurs de la fenêtre glissante locale pour former une requête. Il calcule la similarité cosinus par rapport à la banque de mémoire pour récupérer les $k$ blocs historiques les plus pertinents.
• Injection de Contexte : Les caches KV des blocs récupérés sont concaténés avec les caches KV de la fenêtre glissante locale pour former le contexte d'attention. Cela permet au modèle d'accéder à des indices structurels à longue portée sans dépendre de manière permanente de trames fixes précoces.

C. Porte d'Anomalie des Puits

Pour atténuer l'effondrement des puits sans modifier la structure de fréquence RoPE (comme cela a été fait dans les travaux antérieurs via un bruit RoPE), DySink introduit une porte d'anomalie des puits légère par couche :

• Logique de Détection : La porte surveille le consensus inter-têtes. Elle calcule la fraction de têtes d'attention qui attribuent une affinité plus élevée au contexte récupéré qu'à la fenêtre locale.
• Suppression : Si la fraction de têtes se concentrant de manière excessive sur le contexte récupéré dépasse un seuil de consensus ($\tau_{gate}$), la porte supprime les états KV récupérés pour cette couche, forçant le modèle à revenir à la fenêtre glissante locale. Cela empêche l'« homogénéisation » de l'attention qui conduit à l'effondrement.

3. Paradigme d'Entraînement

DySink suit un paradigme de réglage en flux à deux étapes basé sur l'architecture Wan2.1 :

1. Distillation à Court Horizon : Un modèle étudiant (1,3 Mds) est distillé à partir d'un modèle enseignant (14 Mds) en utilisant la Distillation par Correspondance de Distribution (DMD) pour créer un générateur causal en quelques étapes.
2. Affinage à Long Horizon : Le modèle est affiné sur des déploiements en flux de 60 secondes en utilisant LoRA. L'ensemble du pipeline DySink (récupération + commutation) est actif pendant l'entraînement pour assurer la cohérence entre l'entraînement et l'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur la génération de vidéos d'une minute (50s, 75s et 100s) en utilisant l'architecture de base Wan2.1-T2V-1.3B.

• Degré Dynamique : DySink surpasse nettement de solides baselines autoregressives (par exemple, Self-Forcing++, LongLive). Sur des vidéos de 50s, il améliore le Degré Dynamique de 8,16 points par rapport à Self-Forcing++ et de 21,12 points par rapport à LongLive. Cette tendance se maintient pour les générations de 75s et 100s.
• Qualité Temporelle : Malgré l'évolution dynamique accrue, DySink obtient des scores de Qualité Temporelle supérieurs aux baselines, indiquant que les puits dynamiques préservent la cohérence tout en permettant l'évolution de la scène.
• Études d'Ablation :
  • Le retrait de la Porte d'Anomalie des Puits entraîne une chute drastique du Degré Dynamique (de 60,45 à 37,98) et de la Qualité Temporelle, confirmant que sans la porte, le modèle revient à des comportements d'effondrement des puits (mouvement cyclique, structures répétées).
  • La comparaison entre Puits Statiques et DySink montre que, si les puits statiques offrent une certaine stabilité, la récupération dynamique fournit une adaptabilité supérieure aux états visuels évolutifs.

5. Importance et Revendications

L'article revendique que DySink adresse la rigidité fondamentale de l'allocation de mémoire statique dans la génération de vidéos autoregressive. En passant d'ancres fixes à une récupération adaptative au contenu, la méthode réduit l'inadéquation de conditionnement et atténue le mode de défaillance spécifique de l'effondrement des puits.

Les revendications clés incluent :

• Adaptabilité : Les puits dynamiques permettent au modèle de maintenir une cohérence à longue portée sans être biaisé vers des attributs de trames précoces obsolètes.
• Prévention de l'Effondrement : La Porte d'Anomalie des Puits supprime efficacement les motifs d'attention propices à l'effondrement en détectant un consensus inter-têtes excessif, offrant une solution qui ne nécessite pas de modifier l'encodage positionnel RoPE sous-jacent.
• Évolutivité : L'approche démontre que des vidéos d'une minute peuvent être générées avec des degrés dynamiques et une qualité temporelle supérieurs aux méthodes actuelles de l'état de l'art, suggérant que la sélection dynamique de mémoire est un composant critique pour la future génération à long horizon.

Les auteurs notent des limitations, reconnaissant que l'indexation actuelle basée uniquement sur le visuel peut manquer d'indices sémantiques fins ou au niveau des objets, et que le plein potentiel de la récupération dynamique pourrait être plus prononcé dans des scénarios avec des événements complexes et denses ou des transitions multi-étapes au-delà de l'horizon d'évaluation actuel de 100 secondes.