💻 computer science

Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation

Cet article présente Relax Forcing, une méthode de mémoire temporelle structurée pour la génération de vidéos longues par diffusion autoregressive, qui améliore la cohérence temporelle et la dynamique du mouvement en décomposant le contexte historique en rôles fonctionnels distincts (Sink, Tail, History) plutôt qu'en traitant l'historique comme un tampon homogène.

Auteurs originaux : Zengqun Zhao, Yanzuo Lu, Ziquan Liu, Jifei Song, Jiankang Deng, Ioannis Patras

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zengqun Zhao, Yanzuo Lu, Ziquan Liu, Jifei Song, Jiankang Deng, Ioannis Patras

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Problème : Le Cinéaste qui Oublie son Histoire

Imaginez que vous demandez à un réalisateur de générer un film d'une heure, image par image, en temps réel.

Le problème actuel : Les modèles actuels (comme Self Forcing) fonctionnent un peu comme un acteur qui improvise. Pour faire la scène 2, il regarde la scène 1. Pour la scène 3, il regarde la scène 2, et ainsi de suite.
La catastrophe : Au bout de 10 minutes, l'acteur commence à oublier qui il est. Le personnage change de visage, l'histoire devient floue, et le mouvement devient bizarre (soit trop figé, soit complètement fou). C'est ce qu'on appelle la "dérive temporelle". Le réalisateur s'est fatigué à retenir toutes les scènes précédentes, et son cerveau s'est saturé d'informations inutiles.

💡 La Solution : "Relax Forcing" (La Mémoire Relaxée)

L'équipe de chercheurs propose une nouvelle méthode appelée Relax Forcing. Au lieu de forcer le modèle à se souvenir de tout ce qui s'est passé depuis le début (ce qui le rend confus), ils lui apprennent à trier ses souvenirs intelligemment.

Imaginez que votre mémoire n'est pas un gros tas de papiers en vrac, mais un bureau de travail organisé en trois tiroirs distincts :

1. Le Tiroir "Ancre" (Sink) : Le GPS du film 🧭

C'est quoi ? Quelques images très anciennes du début du film.
À quoi ça sert ? C'est votre boussole. Cela rappelle au réalisateur : "Rappelle-toi, le personnage s'appelle Pierre, il porte un chapeau rouge et il est sur la Lune."
L'analogie : C'est comme regarder une photo de votre passeport toutes les 10 minutes pour ne pas oublier qui vous êtes. Sans ça, le personnage se transforme en alien après 5 minutes.

2. Le Tiroir "Récence" (Tail) : Le dernier mouvement 🏃

C'est quoi ? Les quelques images tout juste créées (les dernières secondes).
À quoi ça sert ? C'est pour la fluidité immédiate. Si le personnage lève la main, la main suivante doit être juste au-dessus, pas au sol.
L'analogie : C'est comme regarder vos pieds quand vous marchez pour ne pas trébucher. C'est essentiel pour que le mouvement soit naturel maintenant.

3. Le Tiroir "Histoire Dynamique" (History) : Le meilleur des souvenirs 🎞️

C'est quoi ? C'est ici que la magie opère. Au lieu de garder toutes les images du milieu du film, le modèle choisit intelligemment quelques images clés du passé.
Comment ? Il cherche les images qui sont :
- Similaires à l'"Ancre" (pour garder la cohérence du personnage).
- Mais différentes de la "Récence" (pour éviter de répéter le même mouvement encore et encore).
L'analogie : Imaginez que vous racontez une histoire à un ami. Au lieu de lui lire tout votre journal intime (trop long et ennuyeux), vous lui dites : "Souviens-toi de ce moment drôle où j'ai trébuché (le contexte), mais ne parle pas de ce que j'ai mangé il y a 2 secondes (la répétition)." Le modèle sélectionne les "moments forts" du milieu pour guider l'action sans se perdre.

🚀 Pourquoi c'est génial ?

Moins de stress pour le cerveau : Le modèle ne sature pas en essayant de tout retenir. Il ne garde que l'essentiel.
Des mouvements plus vivants : Comme il ne regarde pas trop les images récentes, il n'a pas peur de bouger. Le personnage peut courir, sauter ou tourner sans rester figé dans une pose rigide.
Plus rapide : En ne traitant que quelques images clés au lieu de centaines, le calcul est plus rapide. C'est comme conduire une voiture : il vaut mieux regarder la route (Ancre), les roues (Récence) et les panneaux de signalisation (Histoire choisie) plutôt que de compter chaque gravillon sur la route.

🏆 Le Résultat

Grâce à cette méthode "Relax Forcing", les chercheurs ont pu générer des vidéos d'une minute (et plus !) où :

Le personnage reste le même du début à la fin.
L'histoire évolue naturellement sans devenir bizarre.
Le mouvement est fluide et dynamique.

En résumé, au lieu de forcer le modèle à se souvenir de tout (ce qui crée des erreurs), ils l'ont aidé à se relaxer en ne gardant que les souvenirs les plus utiles. C'est la différence entre un acteur qui panique en oubliant son texte et un acteur chevronné qui sait exactement où il en est de son histoire.

1. Problématique et Contexte

La génération de vidéos longues (à l'échelle de la minute) via des modèles de diffusion auto-régressifs (AR) se heurte à un défi majeur : la dégradation temporelle progressive. Bien que des stratégies d'entraînement comme le Self Forcing aient permis de réduire le biais d'exposition (en entraînant le modèle sur ses propres prédictions), l'extrapolation sur de longues durées reste instable.

Les auteurs identifient que la cause principale de cette instabilité n'est pas un manque de capacité mémoire, mais la manière dont la mémoire temporelle est utilisée lors de l'inférence. Les approches actuelles traitent souvent l'historique généré comme un tampon dense et homogène (toutes les trames passées sont utilisées). Cela conduit à :

L'accumulation d'erreurs : Les erreurs résiduelles s'accumulent au fil du temps.
Une dynamique de mouvement contrainte : Une mémoire trop dense et récente étouffe l'évolution du mouvement, conduisant à des vidéos répétitives ou rigides.
Une dérive sémantique : La cohérence de l'identité et de la scène se perd sur le long terme.

2. Méthodologie : Relax Forcing

L'approche proposée, Relax Forcing, introduit un mécanisme de mémoire KV (Key-Value) structuré et parcimonieux, appelé Relaxed KV Memory. Au lieu d'utiliser l'historique complet et dense, la méthode décompose le contexte temporel en trois rôles fonctionnels distincts et sélectionne dynamiquement les informations les plus pertinentes.

A. Décomposition de la Mémoire Temporelle

Le contexte conditionnel est divisé en trois composantes :

Sink (Ancre Globale) : Un ensemble fixe de trames initiales (ex: 2 trames) servant d'ancres globales pour maintenir la stabilité de l'identité et de la scène sur le long terme.
Tail (Contexte Récent) : Les trames les plus récentes (ex: 1 trame) assurant la continuité à court terme et la fluidité immédiate.
History (Structure Intermédiaire Dynamique) : Au lieu de garder toutes les trames du milieu, un sous-ensemble de trames historiques est sélectionné dynamiquement pour guider la structure du mouvement.

B. Sélection Dynamique par "Relaxation"

Le cœur de l'algorithme réside dans la sélection des trames History. Pour chaque étape de génération, le modèle évalue les trames candidates (issues de la moitié arrière de la région intermédiaire) selon un score de relaxation :

Score de Stabilité ( $S$ ) : Mesure la similarité avec les Sink (pour garantir la cohérence globale).
Score de Redondance ( $R$ ) : Mesure la similarité avec le Tail (pour éviter la redondance avec le contexte immédiat).
Score Final : $r(h) = S(h) - \lambda R(h)$ .
Le modèle sélectionne les trames ayant le meilleur score (Top-K), maximisant ainsi l'apport d'informations structurelles tout en minimisant la redondance et la propagation d'erreurs.

C. Ajustement des Encodages de Position (RoPE)

Puisque la mémoire sélectionnée n'est pas contiguë dans le temps, les auteurs adaptent le mécanisme RoPE (Rotary Position Embedding) :

Le Tail conserve ses indices absolus pour préserver la continuité temporelle réelle.
Le Sink et l'History sont indexés de manière relative, ancrés juste avant le Tail. Cela permet au modèle de traiter les ancres lointaines et la structure intermédiaire sans les confondre avec le contexte immédiat, évitant ainsi l'effondrement des dynamiques temporelles.

3. Contributions Clés

Analyse Empirique de la Mémoire : Les auteurs démontrent que l'augmentation simple de la taille de la mémoire n'améliore pas la génération et peut même nuire à la dynamique du mouvement. Ils établissent que la position temporelle et le rôle fonctionnel des trames sont plus critiques que la quantité brute.
Mécanisme de Mémoire Structurée : Introduction du Relaxed KV Memory, qui remplace le tampon dense par une sélection parcimonieuse basée sur des rôles fonctionnels (Sink, Tail, History).
Stratégie d'Inférence sans Réentraînement : La méthode est conçue pour fonctionner avec des modèles existants (comme Self Forcing) sans nécessiter de nouveau cycle d'entraînement, agissant comme une amélioration de l'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark VBench-Long pour des générations de 30 et 60 secondes.

Performance Globale : Relax Forcing obtient le score le plus élevé sur VBench-Long (80,88% pour 60s), surpassant les méthodes de pointe comme Deep Forcing (+1,24 points) et Self Forcing.
Dynamique du Mouvement : L'amélioration la plus significative est observée sur la métrique Dynamic Degree (+66,8% par rapport au Self Forcing de base), indiquant une capacité bien supérieure à générer des mouvements évolutifs et non répétitifs sur de longues durées.
Cohérence : La consistance du sujet et de l'arrière-plan reste compétitive, prouvant que la sélection parcimonieuse ne nuit pas à la stabilité visuelle.
Efficacité : En réduisant la longueur de l'attention (de 21 trames à 7 trames effectives), la méthode offre une accélération de l'inférence d'environ 1,26x (End-to-End) et une réduction significative du temps de calcul d'attention (Flash Attention réduit de 2,64x).
Évaluation Humaine : Les utilisateurs préfèrent nettement les vidéos générées par Relax Forcing (53,8% de préférence moyenne) en raison d'une meilleure qualité de mouvement et d'une meilleure cohérence texte-vidéo.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la génération de vidéos longues. Il démontre que la clé pour l'extrapolation à long terme ne réside pas dans l'accumulation massive de données passées, mais dans une gestion intelligente et structurée de la mémoire.

En traitant la mémoire temporelle non pas comme un tampon uniforme, mais comme un ensemble d'éléments aux rôles fonctionnels distincts (stabilité, continuité, structure), Relax Forcing résout le compromis entre la stabilité de l'identité et l'évolution du mouvement. Cette approche ouvre la voie à des systèmes de génération vidéo interactifs et en temps réel capables de produire des séquences de plusieurs minutes avec une cohérence et une fluidité inédites, le tout sans coût de réentraînement supplémentaire.