💻 computer science

FreqForcing: Autoregressive Long Video Generation via Spectral Self-Anchoring

Cet article introduit FreqForcing, un cadre sans entraînement qui atténue l'accumulation d'erreurs dans la génération de vidéos longues autorégressives en employant l'auto-ancrage spectral pour stabiliser les composantes de basse fréquence tout en préservant le mouvement de haute fréquence, permettant ainsi la synthèse de vidéos de deux minutes de haute qualité à partir de modèles pré-entraînés sur des clips courts.

Auteurs originaux : Jiatong Li, Leo Liang, Linghe Kong, Yulun Zhang

Publié 2026-07-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiatong Li, Leo Liang, Linghe Kong, Yulun Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où vous pouvez taper une phrase et regarder instantanément un film se dérouler, image par image, juste sous vos yeux. C'est le rêve de la « génération de vidéo autorégressive », un recoin de pointe de l'intelligence artificielle où les ordinateurs ne se contentent pas de prédire le mot suivant dans une histoire, mais l'image suivante dans un film. Pour ce faire, l'IA agit comme un conteur qui regarde les dernières images qu'il a dessinées pour décider de la suite. C'est un peu comme un jeu du « téléphone arabe » joué avec des images : l'ordinateur prend l'image précédente, ajoute un petit détail nouveau, et la transmet. Le hic ? Si l'ordinateur commet une minuscule erreur dans la première image, cette erreur est transmise à la deuxième, puis à la troisième, et ainsi de suite. Sur un film long, ces petites erreurs s'accumulent comme une boule de neige dévalant une colline, transformant finalement une scène magnifique en un désordre flou et aux couleurs dérivantes. Les scientifiques essaient de corriger cette « accumulation d'erreurs » afin que nous puissions générer des vidéos longues et stables sans que l'image ne s'effondre.

Ce document, intitulé « FreqForcing », s'attaque précisément à ce problème en observant la génération de vidéo sous un angle différent : celui des ondes sonores. Les auteurs ont réalisé que lorsque ces films d'IA commencent à mal tourner, ce n'est pas seulement un bug visuel ; c'est un décalage de la « fréquence » de l'image, un peu comme une chanson qui pourrait se désaccorder. Ils ont découvert que les tentatives précédentes pour corriger cela, comme garder quelques images « ancres » en mémoire pour rappeler à l'IA le début, ont aidé un peu mais n'ont pas stoppé complètement la dérive. L'équipe a proposé un nouveau tour de passe-passe appelé « Spectral Self-Anchoring » (Auto-Ancrage Spectral). Voyez cela comme un système à deux cerveaux pour l'IA : une partie du cerveau se concentre sur les détails rapides et excitants (comme les mouvements rapides d'un personnage), tandis que l'autre partie retient une « ancre » de basse fréquence stable provenant du début de la vidéo pour empêcher les couleurs et la disposition de dériver. En mélangeant ces deux signaux, ils ont réussi à empêcher la vidéo de s'effondrer. Leur méthode, qui ne nécessite pas de réentraîner l'IA de zéro, a réussi à étendre un modèle entraîné sur des clips courts de 5 secondes pour générer des vidéos stables de deux minutes — une augmentation de longueur de 24 fois — sans que la qualité visuelle ne se dégrade.

Le Problème : Le jeu du « Téléphone » de la Vidéo

Imaginez que vous jouez à un jeu de « téléphone arabe » avec un ami, mais au lieu de chuchoter une phrase, vous dessinez un tableau. Vous dessinez un chat, vous le passez à votre ami, qui ajoute une queue, et vous le lui rendez. Si votre ami dessine accidentellement la queue un peu de travers, et que vous essayez de la corriger mais que vous la faites légèrement plus grande, et que la personne suivante la fait encore plus grande, vous vous retrouvez bientôt avec un monstre géant et déformé au lieu d'un chat mignon. C'est exactement ce qui se passe dans la génération de vidéo autorégressive. L'IA génère une vidéo par blocs successifs, utilisant le bloc précédent pour prédire le suivant. À mesure que la vidéo s'allonge, les minuscules erreurs de couleur, de forme et de mouvement s'accumulent. Le résultat ? La vidéo commence à « dériver ». Les couleurs peuvent passer du bleu au violet, le personnage peut arrêter de bouger, ou toute la scène peut se dissoudre dans le statique.

La Découverte : Écouter le « Bourdonnement » de la Vidéo

Les auteurs de ce document ont décidé d'enquêter sur cette dérive non pas en regardant les images, mais en les écoutant. Ils ont utilisé un outil mathématique appelé Transformée de Fourier, qui est comme un prisme pour le son ou les images. Tout comme un prisme divise la lumière blanche en un arc-en-ciel de couleurs, cet outil divise une image en différentes « fréquences ».

Les hautes fréquences sont comme les détails nets et précis : le scintillement d'une bougie, la texture d'une fourrure ou un mouvement de main rapide.
Les basses fréquences sont comme les notes de basse profondes : la forme générale de la pièce, la tonalité de couleur globale et la disposition générale de la scène.

Lorsqu'ils ont analysé les vidéos qui échouaient, ils ont trouvé un motif étrange. Au fur et mesure que la génération de la vidéo progressait, l'« énergie » dans la partie basse fréquence de l'image commençait à s'éloigner. C'était comme si la note de basse profonde de la chanson changeait lentement de hauteur, faisant perdre sa stabilité à l'ensemble de la vidéo. Les détails de haute fréquence (le mouvement) devenaient également saccadés, mais la cause profonde était cette dérive de basse fréquence.

L L'Ancienne Solution : L'« Ancre » qui n'était pas assez forte

Avant ce document, les chercheurs essayaient de corriger cela en utilisant ce qu'on appelle un « puits d'attention » (attention sink). Imaginez que vous essayez de vous souvenir d'une longue histoire. Si vous ne vous souvenez que des dernières phrases, vous pourriez oublier le début. Un « puits d'attention » consiste à garder les premières phrases de l'histoire de manière permanente dans votre esprit pendant que vous racontez la suite. En termes de vidéo, l'IA garde quelques des toutes premières images, parfaites, dans sa mémoire et s'oblige à y prêter attention.

Les auteurs ont testé cela et ont constaté que cela aidait effectivement. C'était comme avoir une ancre plus forte ; la vidéo dérivait moins vite. Cependant, ce n'était pas une solution parfaite. Même avec l'ancre, l'énergie de basse fréquence dérivait toujours lentement au fil du temps, et la qualité de la vidéo finissait par souffrir. L'ancre était là, mais elle ne tirait pas assez fort pour arrêter le courant.

La Nouvelle Solution : FreqForcing et l'Auto-Ancrage Spectral

L'équipe a réalisé qu'elle avait besoin d'une façon plus intelligente d'utiliser cette ancre. Ils ont proposé un nouveau cadre appelé FreqForcing, qui utilise une technique qu'ils ont nommée Spectral Self-Anchoring (SSA).

Voici comment cela fonctionne, en utilisant une analogie créative :
Imaginez que l'IA est un peintre travaillant sur une immense fresque.

Le Peintre Local (Haute Fréquence) : Un peintre se concentre sur l'action immédiate. Il peint les mouvements rapides, les lumières vacillantes et les petits détails. Il est excellent pour capturer l'« instant présent », mais il pourrait s'emballer et perdre de vue l'ensemble.
Le Peintre de l'Ancre (Basse Fréquence) : Le second peintre est un maître qui ne regarde que le tout premier croquis parfait de la fresque. Il ne peint pas les nouveaux détails ; il détient simplement l'« âme » stable et basse fréquence de l'image — les couleurs, la disposition et l'identité des personnages.
Le Mélange : Au lieu de laisser le Peintre Local faire ce qu'il veut, l'IA prend le travail du Peintre Local et y mélange doucement le signal de basse fréquence stable du Peintre de l'Ancre. C'est comme un DJ mélangeant une piste énergique et en direct avec une ligne de basse profonde et constante pour éviter que la piste de danse ne devienne chaotique.

Ce « mélange » se produit dans le domaine fréquentiel. L'IA prend les parties rapides de l'image actuelle et les parties de basse fréquence stables des images « ancres » et les fusionne. Cela empêche les couleurs de dériver et maintient la stabilité de la disposition, tout en permettant à la vidéo de bouger et de changer naturellement.

Les Résultats : De 5 Secondes à 2 Minutes

L'équipe a testé cette nouvelle méthode sur un modèle qui avait été initialement entraîné pour générer uniquement des clips vidéo de 5 secondes. Sans leur correction, le modèle s'effondrerait si vous essayiez de le faire durer plus longtemps. Avec FreqForcing, ils ont pu étendre la génération à deux minutes. C'est une augmentation de longueur de 24 fois !

Ils ont comparé leur méthode à d'autres techniques de haut niveau, y compris celles qui nécessitent un réentraînement coûteux de l'IA. Leurs résultats ont montré que FreqForcing produisait des vidéos plus cohérentes, avec un meilleur mouvement et moins de bugs visuels que la concurrence. Elle a réussi à maintenir la vidéo sous une forme de film cohérent plutôt que de rêve fondant.

Pourquoi cela importe

C'est un événement majeur car cela offre un moyen de créer des vidéos longues et de haute qualité sans avoir besoin de passer des mois à réentraîner les modèles d'IA, ce qui est incroyablement coûteux et gourmand en énergie. En changeant simplement la façon dont l'IA « pense » à son propre passé — en utilisant une ancre basée sur la fréquence — ils ont débloqué la capacité de générer des contenus beaucoup plus longs. Cela suggère que nous n'avons pas forcément besoin de modèles plus grands et plus complexes pour résoudre ces problèmes ; parfois, nous avons juste besoin d'écouter la musique des données avec un peu plus de soin.

Résumé Technique : FreqForcing

Énoncé du Problème
Les modèles de diffusion vidéo autorégressifs, tels que Self-Forcing, permettent la génération de vidéos en streaming en temps réel en générant séquentiellement des images tout en réutilisant les états clés-valeurs (KV) mis en cache. Cependant, ces modèles souffrent d'une accumulation d'erreurs sur de longs horizons. À mesure que le modèle effectue son auto-déploiement au fil du temps, les erreurs sont réinjectées de manière répétée, entraînant un effondrement visuel caractérisé par une dérive des couleurs, une stagnation du mouvement et une dégradation finale de la qualité visuelle. Les remèdes existants se divisent en deux catégories : les méthodes basées sur l'entraînement qui améliorent la stabilité grâce à une meilleure distillation (coûteuses en calcul) et les méthodes sans entraînement qui interviennent lors de l'inférence via des ajustements de RoPE ou la gestion du cache KV. Cependant, les approches actuelles sans entraînement peinent à garantir la qualité visuelle pour une génération de vidéo de plusieurs minutes.

Méthodologie : Analyse dans le domaine fréquentiel et Auto-Ancrage Spectral
Les auteurs caractérisent le phénomène d'accumulation d'erreurs sous l'angle du domaine fréquentiel. Par une analyse spectrale des sorties dans l'espace latent et l'espace des pixels, ils observent que l'accumulation d'erreurs se manifeste par une dérive prononcée de l'énergie dans les bandes de basse fréquence (composante DC, tonalité des couleurs, disposition et identité), tandis que les composantes de haute fréquence (mouvement local, détails fins) deviennent instables.

Bien que des travaux antérieurs aient établi que l'« attention sink » (la conservation des jetons initiaux dans le cache KV) atténue cette dérive dans une certaine mesure, les auteurs constatent qu'elle est insuffisante pour résoudre pleinement le problème, particulièrement pour la génération à l'échelle de la minute.

Pour y remédier, l'article propose FreqForcing, un cadre sans entraînement centré sur l'Auto-Ancrage Spectral (SSA). La méthodologie fonctionne comme suit :

Attention à Double Branche : Pendant l'inférence, le modèle emploie deux branches d'attention parallèles :
- Attention Locale : Suit une attention causale à fenêtre glissante standard avec un « attention sink » pour capturer les changements récents et les détails de haute fréquence.
- Attention d'Ancrage : Maintient un cache séparé d'« images d'ancrage » de haute qualité générées dans l'horizon pré-entraîné du modèle (par exemple, les 21 premières images). Ce cache est gelé une fois rempli et fournit un guidage stable de basse fréquence.
Ancrage Spectral : Les sorties des branches locale et d'ancrage sont fusionnées dans le domaine fréquentiel.
- Les sorties de l'attention locale ( $A_{loc}$ ) et de l'attention d'ancrage ( $A_{anc}$ ) sont transformées via une Transformée de Fourier Rapide (FFT) 3D.
- Un filtre passe-bas gaussien spatio-temporel ( $H_{lp}$ ) est appliqué pour isoler les composantes de basse fréquence.
- La sortie fusionnée ( $A_{fused}$ ) est construite en injectant le résidu de basse fréquence de l'attention d'ancrage dans l'attention locale :
  $\hat{A}_{fused} = \hat{A}_{loc} + \lambda H_{lp}(\hat{A}_{anc} - \hat{A}_{loc})$
- Ici, $\lambda$ contrôle la force de l'ancrage. Ce processus supprime la dérive spectrale des basses fréquences tout en préservant la dynamique de mouvement capturée dans les composantes de haute fréquence de l'attention locale.
Alignement Temporel RoPE : Pour éviter les artefacts non naturels causés par l'augmentation des distances temporelles, la méthode décale les indices temporels des trames de l'« attention sink » et des trames d'ancrage afin de les aligner avec la fenêtre glissante actuelle, maintenant ainsi les positions relatives dans la plage pré-entraînée.
Optimisation de l'Efficacité : Pour minimiser la surcharge de calcul, le SSA est appliqué uniquement lors des deux premières étapes de débruitage (où la disposition globale est établie) et utilise une petite taille de cache d'ancrage ( $N_{anc}=6$ ). Cela n'entraîne qu'une augmentation de ~16,5 % de la latence d'inférence.

Contributions Clés

Caractérisation dans le Domaine Fréquentiel : L'article fournit une analyse novatrice liant l'accumulation d'erreurs autorégressives à la dérive d'énergie spectrale, spécifiquement dans les bandes de basse fréquence.
Auto-Ancrage Spectral (SSA) : Un mécanisme sans entraînement qui fusionne les sorties des attentions locale et d'ancrage dans le domaine fréquentiel pour stabiliser la qualité visuelle sans réentraînement.
Capacité de Génération Étendue : Le cadre étend Self-Forcing, pré-entraîné sur des clips de 5 secondes, à une génération stable de deux minutes (une extrapolation de 24×), surpassant les méthodes existantes sans entraînement et restant compétitif face aux approches basées sur l'entraînement.

Résultats
Des expériences approfondies sur le benchmark VBench-Long démontrent l'efficacité de FreqForcing :

Performance Quantitative : FreqForcing atteint des résultats de pointe parmi les méthodes sans entraînement et surpasse les méthodes basées sur l'entraînement pour le « Degré Dynamique » et la « Cohérence Globale » pour les générations de 60s et 120s. Par exemple, sur la génération de 120s, il atteint un Degré Dynamique de 58,97 et une Cohérence Globale de 20,98, surpassant Self-Forcing (27,42 et 16,17) et Deep Forcing (41,78 et 20,80).
Stabilité Qualitative : Les comparaisons visuelles montrent que si Self-Forcing souffre d'une dérive de couleur sévère et d'un affaiblissement visuel, et que d'autres méthodes présentent des tremblements de mouvement ou des scènes répétitives, FreqForcing produit des vidéos visuellement stables avec des couleurs cohérentes et des dynamiques de mouvement préservées.
Études d'Ablation : Le retrait du SSA ou de l'attention sink entraîne des baisses de performance significatives. L'analyse des hyperparamètres indique que l'équilibre entre la force d'injection de basse fréquence ( $\lambda$ ) et la largeur du filtre ( $\sigma$ ) est crucial pour maintenir la cohérence temporelle sans induire une répétition visuelle excessive.

Signification
L'article affirme que FreqForcing répond à une limitation fondamentale de la génération vidéo autorégressive : l'accumulation d'erreurs sur de longs horizons. En déplaçant la perspective vers le domaine fréquentiel et en introduisant un mécanisme pour « ancrer » la stabilité de basse fréquence à l'aide de trames historiques de haute qualité, la méthode permet une génération de vidéos longues et robuste sans entraînement. Cela comble l'écart entre le pré-entraînement sur des clips courts et les exigences des applications nécessitant de la synthèse vidéo en streaming à l'échelle de la minute, telles que les modèles de monde interactifs et la prise de décision incarnée, sans le coût computationnel d'un réentraînement.