💻 computer science

Train Short, Inference Long: Training-free Horizon Extension for Autoregressive Video Generation

Le papier présente FLEX, un cadre d'inférence sans entraînement qui surmonte les limitations d'extrapolation temporelle des modèles de génération vidéo autoregressifs en combinant une modulation RoPE sensible aux fréquences, un échantillonnage de bruit antiphase et un mécanisme d'attention dédié, permettant ainsi d'étendre la durée de génération jusqu'à plusieurs minutes sans fine-tuning.

Auteurs originaux : Jia Li, Xiaomeng Fu, Xurui Peng, Weifeng Chen, Youwei Zheng, Tianyu Zhao, Jiexi Wang, Fangmin Chen, Xing Wang, Hayden Kwok-Hay So

Publié 2026-03-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jia Li, Xiaomeng Fu, Xurui Peng, Weifeng Chen, Youwei Zheng, Tianyu Zhao, Jiexi Wang, Fangmin Chen, Xing Wang, Hayden Kwok-Hay So

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un enfant à raconter une histoire. Vous lui montrez des images de 5 secondes et vous lui apprenez à décrire ce qui se passe. L'enfant est excellent pour raconter cette petite scène. Mais si vous lui demandez de continuer l'histoire pendant 30 minutes, il commence à perdre le fil : les personnages changent de visage, les objets disparaissent, et l'histoire devient bizarre. C'est exactement le problème que rencontrent les intelligences artificielles (IA) qui créent des vidéos.

Ce papier présente une solution ingénieuse appelée FLEX. C'est comme un "kit de survie" gratuit que l'on peut ajouter à ces IA pour les aider à raconter de très longues histoires sans se tromper, sans avoir besoin de les réapprendre de zéro.

Voici comment cela fonctionne, expliqué avec des images simples :

1. Le Problème : La "Boussole" qui tourne trop vite

Pour savoir où ils sont dans le temps, les IA utilisent une sorte de boussole mathématique (appelée RoPE).

Le souci : Pendant l'entraînement, l'IA a vu de courtes vidéos. Sa boussole est bien calibrée pour les petits pas, mais quand on lui demande de faire un marathon (une vidéo de 30 minutes), elle se perd.
L'analogie : Imaginez que vous avez appris à marcher dans un petit jardin. Si on vous demande de traverser un continent, vous ne savez plus si vous devez faire de petits pas ou de grands bonds. L'IA fait des pas trop petits ou trop grands, et l'image devient floue ou figée.

2. La Solution FLEX : Trois Astuces Magiques

L'équipe a créé trois outils pour aider l'IA à rester sur la bonne voie :

A. La Boussole Intelligente (Modulation de fréquence)

Au lieu de forcer l'IA à utiliser la même boussole pour tout le voyage, FLEX lui donne une boussole qui s'adapte.

L'analogie : C'est comme un GPS qui sait que pour les grandes distances, il faut regarder les grands repères (les montagnes, les rivières) pour ne pas se perdre, mais pour les petits détails (les virages, les panneaux), il faut regarder de plus près.
Le résultat : L'IA garde la structure globale de la vidéo stable (les personnages restent les mêmes), tout en gardant les détails fins (les mouvements des mains, les expressions) bien nets.

B. Le "Bouillon de Culture" Dynamique (Échantillonnage de bruit antiphase)

Pour créer une vidéo, l'IA commence par du "bruit" (une image statique et grise) qu'elle nettoie peu à peu. Habituellement, on donne à l'IA un bruit très calme et prévisible.

Le souci : Si le bruit est trop calme, la vidéo devient ennuyeuse et figée. Tout reste immobile.
L'analogie : Imaginez que vous voulez faire une danse. Si vous donnez à votre danseur une musique très lente et monotone, il va bouger lentement. Mais si vous lui donnez une musique avec des rythmes forts et imprévisibles (le "bruit antiphase"), il va se mettre à danser avec énergie !
Le résultat : FLEX injecte de l'énergie dans le début de la vidéo pour s'assurer qu'il y a du mouvement, de la vie et de la dynamique, même après 30 minutes.

C. L'Ancre de Sécurité (Attention Sink)

Quand on raconte une très longue histoire, on a tendance à oublier le début.

L'analogie : Imaginez un bateau qui navigue sur l'océan. Sans ancre, il dérive au gré des vagues. FLEX pose une "ancre" virtuelle au début de la vidéo.
Le résultat : Cette ancre rappelle constamment à l'IA : "N'oublie pas qui sont les personnages et à quoi ressemble le décor". Cela empêche les visages de changer ou le décor de disparaître au fil du temps.

Pourquoi c'est génial ?

C'est gratuit (Training-free) : Vous n'avez pas besoin de réentraîner l'IA pendant des semaines avec des milliers d'heures de vidéos. Vous ajoutez simplement ces trois outils au moment où l'IA crée la vidéo. C'est comme changer les pneus d'une voiture pour aller plus vite, sans changer le moteur.
Des résultats impressionnants : Avec FLEX, une IA entraînée sur des vidéos de 5 secondes peut en générer de 30, 60, voire 240 secondes (4 minutes !) avec une qualité incroyable. Les personnages restent reconnaissables et l'histoire reste cohérente.
Plug-and-play : Cela fonctionne avec presque n'importe quel modèle de vidéo existant.

En résumé :
FLEX est comme un coach de marathon pour les IA qui créent des vidéos. Il leur apprend à gérer leur énergie, à garder le cap sur la longue distance et à ne pas oublier leur point de départ, le tout sans avoir besoin de les rééduquer de zéro. C'est une étape de plus vers la création de films entiers par intelligence artificielle.

1. Problématique

Les modèles de diffusion vidéo autoregressifs (AR) émergent comme une solution scalable pour la génération de vidéos longues, offrant une efficacité d'inférence supérieure aux modèles bidirectionnels grâce à la mise en cache KV (Key-Value). Cependant, ils souffrent d'un échec sévère d'extrapolation lorsque la durée d'inférence dépasse l'horizon d'entraînement.

Lorsque la génération s'étend au-delà de la fenêtre d'entraînement (par exemple, générer 60 secondes à partir d'un modèle entraîné sur 5 secondes), les modèles rencontrent deux modes d'échec principaux :

Biais spectral des embeddings positionnels (3D RoPE) : Les composantes de basse fréquence des embeddings positionnels rotatifs (RoPE) sont sous-entraînées car elles ne parcourent pas un cycle complet pendant l'entraînement. Cela empêche la généralisation aux grandes distances temporelles. À l'inverse, une interpolation uniforme (Position Interpolation) dégrade les hautes fréquences, essentielles pour la discrimination temporelle fine.
Absence de priors dynamiques dans l'échantillonnage du bruit : Les stratégies d'initialisation du bruit actuelles privilégient la cohérence temporelle via des corrélations positives, ce qui conduit à une perte de diversité de mouvement et à une dégradation dynamique progressive (vidéos statiques ou "gelées") sur de longues séquences.

L'objectif est de combler le fossé entre l'entraînement court et l'inférence longue sans réentraînement (training-free), évitant ainsi les coûts computationnels prohibitifs du "fine-tuning" sur de longues séquences.

2. Méthodologie : Le Framework FLEX

Les auteurs proposent FLEX (Frequency-aware Length EXtension), un framework d'inférence sans entraînement composé de trois modules clés :

A. Modulation RoPE 3D Sensible aux Fréquences (Frequency-aware 3D RoPE Modulation)

Inspired par la méthode NTK-by-parts utilisée dans les LLMs, cette composante adapte les embeddings positionnels en fonction de l'exposition à l'entraînement :

Analyse de l'exposition : On définit l'exposition à l'entraînement ( $r_m$ ) comme le nombre de cycles complets effectués par une dimension de fréquence donnée durant l'entraînement.
Stratégie hybride :
- Hautes Fréquences (bien entraînées) : On conserve les angles de rotation originaux (extrapolation) pour préserver la discrimination temporelle fine et les détails locaux.
- Basses Fréquences (sous-entraînées) : On applique une interpolation (remapping) pour ramener ces composantes dans le domaine de phase familier, assurant ainsi la stabilité de la structure globale à long terme.
Cela évite le compromis de l'interpolation linéaire classique qui écrase toutes les fréquences, dégradant la qualité visuelle.

B. Échantillonnage de Bruit Antiphase (Antiphase Noise Sampling - ANS)

Pour contrer la stagnation dynamique, FLEX introduit une initialisation structurée du bruit :

Au lieu d'une corrélation positive (qui lisse trop le mouvement), ANS utilise un processus autorégressif avec un coefficient de corrélation négatif ( $\rho < 0$ ).
Cela crée une covariance négative entre les perturbations de bruit adjacentes, injectant de l'énergie dans les hautes fréquences temporelles.
Résultat : Le bruit initial contient des variations temporelles riches qui servent de "graines" pour des mouvements dynamiques complexes, empêchant la vidéo de devenir monotone.

C. Puits d'Attention Uniquement pour l'Inférence (Inference-only Attention Sink)

Pour maintenir la cohérence sémantique globale sur de très longues durées :

Les premières frames de la fenêtre d'attention locale sont figées et servent d'ancres temporelles.
Contrairement aux méthodes comme LongLive qui intègrent ces ancres dans l'entraînement, FLEX applique ce mécanisme uniquement lors de l'inférence, sans modifier l'architecture du modèle ni nécessiter de fine-tuning.
Cela empêche la dérive sémantique (drift) des objets et du contexte sur de longues séquences.

3. Contributions Clés

Analyse systémique des échecs d'extrapolation : Identification du biais spectral des RoPE 3D et du manque de priors dynamiques comme causes racines de la dégradation des vidéos AR longues.
Framework FLEX : Proposition d'une solution plug-and-play sans entraînement combinant modulation fréquentielle RoPE, échantillonnage de bruit antiphase et puits d'attention.
Performances supérieures : Démonstration que FLEX surpasse les modèles de l'état de l'art (SOTA) et rivalise avec des modèles fine-tunés spécifiquement pour de longues vidéos, tout en étant beaucoup plus efficace.

4. Résultats Expérimentaux

Les évaluations ont été menées sur le benchmark VBench-Long avec des modèles de base comme Self Forcing (basé sur Wan2.1) et LongLive.

Extrapolation 6x (30 secondes) :
- FLEX atteint un score de qualité global de 83.01, surpassant tous les modèles de base (ex: Self Forcing à 81.21, LongLive à 82.78).
- Il réduit considérablement la dérive de qualité (Drift) à -0.06 contre -1.78 pour le modèle de base.
- Amélioration notable de la Dynamique (Dynamic Degree) : passage de 26.24 à 40.84.
Extrapolation 12x (60 secondes) :
- FLEX atteint un score de 82.68, égalant les performances de LongLive (qui nécessite un entraînement coûteux sur des clips de 60s) tout en partant d'un modèle entraîné sur 5s.
- Il maintient une cohérence des sujets et un arrière-plan stables, là où d'autres modèles souffrent de dérive d'identité ou d'effondrement visuel.
Génération à l'échelle de la minute (4 minutes) :
- En intégrant FLEX à LongLive, le système génère des vidéos de 240 secondes avec une cohérence d'identité préservée et une réduction drastique de la dérive d'image (de -2.19 à -1.17).
Études d'ablation :
- La suppression de la modulation RoPE entraîne une perte de cohérence temporelle.
- La suppression de l'échantillonnage ANS réduit drastiquement la dynamique (mouvement).
- La suppression du "Attention Sink" dégrade la qualité globale due à la dérive sémantique.

5. Signification et Impact

Ce travail est significatif car il remet en question le paradigme "Train Long, Inference Long" (Entraîner long, Inférer long) qui impose des coûts de calcul massifs.

Efficacité : FLEX prouve qu'une gestion intelligente des fréquences et des priors de bruit permet d'étendre l'horizon d'inférence bien au-delà des limites d'entraînement sans aucun coût d'entraînement supplémentaire.
Polyvalence : En tant que module "plug-and-play", il peut être intégré à n'importe quel pipeline d'inférence de modèles vidéo autoregressifs existants.
Futur de la génération vidéo : Il ouvre la voie à la génération de vidéos cohérentes et dynamiques à l'échelle de plusieurs minutes (voire heures) avec des modèles légers, rendant la synthèse vidéo longue plus accessible et scalable.

En résumé, FLEX résout le problème de la dégradation temporelle en traitant séparément les composantes fréquentielles du modèle et en injectant de l'énergie dynamique dès le début du processus de diffusion, permettant ainsi une extension d'horizon robuste et de haute qualité.