Pretraining Frame Preservation for Lightweight Autoregressive Video History Embedding

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez de raconter une histoire vidéo très longue, comme un film ou une série, mais que votre ordinateur est un petit smartphone avec peu de mémoire. Le problème, c'est que pour que l'histoire reste cohérente (que le personnage porte toujours le même manteau, que le décor ne change pas brusquement), l'ordinateur doit se "souvenir" de tout ce qui s'est passé depuis le début.

Mais se souvenir de chaque seconde d'un film de deux heures demande une mémoire énorme, que les ordinateurs personnels n'ont pas. C'est là que cette recherche intervient.

Voici une explication simple de leur solution, Préservation des images pré-entraînées pour un encodage léger de l'histoire vidéo, en utilisant des analogies du quotidien :

1. Le Problème : Le Camion de Déménagement Trop Plein

Généralement, pour créer une nouvelle scène vidéo, l'ordinateur doit regarder toutes les scènes précédentes. C'est comme si vous deviez emporter tout votre déménagement (tous les meubles, les cartons, la cuisine) dans votre poche pour aller acheter du pain. C'est impossible !
Les méthodes actuelles essaient de faire deux choses :

Soit elles jettent le vieux mobilier (elles oublient l'histoire lointaine), ce qui crée des incohérences (le personnage change de visage).
Soit elles essaient de tout comprimer, mais en perdant les détails (comme un fichier image flou).

2. La Solution : Le "Résumé Magique" (L'Encodeur Léger)

Les auteurs ont créé un outil spécial, un encodeur, qui agit comme un résumé ultra-intelligent.
Au lieu de garder tous les meubles, cet outil regarde l'histoire entière et en extrait l'essentiel sous forme d'un petit résumés (une "embedding" légère). C'est comme si vous aviez un assistant qui lit tout le livre de l'histoire et vous donne un post-it de 3 lignes avec les points clés : "Grand-mère, cuisine, tricot, chat, pull fini".

L'ordinateur n'a plus besoin de tout le livre, juste de ce petit post-it pour continuer l'histoire sans oublier qui est qui.

3. La Méthode : Deux Étapes (L'École et le Stage)

Pour créer ce "résumé magique", ils ont utilisé une astuce en deux temps :

Étape 1 : L'École (Le Pré-entraînement)

Imaginez que vous voulez apprendre à un élève à résumer n'importe quel livre.

L'exercice : Vous lui donnez un livre entier, vous cachez une page au hasard, et vous lui demandez : "À quoi ressemble cette page cachée ?".
Le but : L'élève doit apprendre à se souvenir des détails précis (le visage, les vêtements) à n'importe quel moment de l'histoire, même s'il n'a pas lu le livre en entier à chaque fois.
Résultat : L'élève devient un expert pour extraire les informations importantes de n'importe quel moment, sans avoir besoin de tout lire en détail à chaque fois. C'est ce qu'ils appellent l'objectif de "requête d'image" (frame query).

Étape 2 : Le Stage (Le Finetuning)

Une fois l'élève formé, on l'envoie travailler dans une vraie usine de films.

Là, il apprend à utiliser ses résumés pour créer la suite de l'histoire.
Il apprend à s'assurer que si le personnage portait un pull rouge dans le résumé, il porte toujours ce pull rouge dans la nouvelle scène.
Cela permet de créer des vidéos longues et cohérentes sans faire exploser la mémoire de l'ordinateur.

4. Pourquoi c'est génial ? (L'Analogie du Chef Cuisinier)

Imaginez un chef cuisinier (l'ordinateur) qui doit préparer un repas continu.

Avant : Il devait avoir tous les ingrédients de la semaine précédente sur le comptoir. C'était encombrant et il oubliait souvent les épices.
Maintenant : Il a un assistant (l'encodeur) qui lui dit : "Chef, n'oubliez pas qu'on a utilisé du sel et du poivre il y a 10 minutes, et que le client aime les tomates".
Le chef n'a plus besoin de voir tout le comptoir, il écoute juste l'assistant. Il peut cuisiner pendant des heures, et le goût reste toujours le même.

En Résumé

Cette recherche permet de faire tourner des générateurs de vidéo complexes (comme Sora ou les modèles récents) sur des ordinateurs personnels normaux (comme une carte graphique RTX 4070).

Avant : Impossible de faire des vidéos longues sans perdre le fil ou sans un super-ordinateur.
Maintenant : Grâce à ce "résumé intelligent", on peut raconter des histoires vidéo longues, cohérentes et détaillées, même avec peu de ressources.

C'est comme passer d'un camion de déménagement qui ne rentre pas dans la rue, à un petit vélo électrique qui transporte tout l'essentiel de l'histoire, prêt à rouler partout !

Each language version is independently generated for its own context, not a direct translation.

1. Le Problème : L'Encodage de l'Histoire Vidéo pour la Génération Auto-régressive

La génération vidéo auto-régressive (où chaque nouvelle séquence est générée en fonction de l'historique précédent) est cruciale pour la cohérence narrative et le storytelling. Cependant, à mesure que la durée de la vidéo générée augmente, l'encodage de l'historique complet devient un goulot d'étranglement majeur, particulièrement pour les utilisateurs personnels et les flux de travail locaux aux ressources limitées (mémoire GPU et puissance de calcul).

Les approches existantes présentent des compromis difficiles :

Fenêtres glissantes : Elles maintiennent une longueur de contexte fixe mais perdent l'historique à long terme, brisant la cohérence narrative.
Compression (VAE, Token Merging) : Des méthodes comme FramePack ou les VAEs hautement compressés réduisent la taille des données mais entraînent souvent une perte de détails haute fréquence et une dégradation de la fidélité visuelle.
Attention linéaire/éparse : Bien qu'efficaces pour réduire le coût computationnel, elles ajoutent une surcharge lors de l'entraînement et de l'inférence bidirectionnelle.

L'objectif est de trouver une méthode capable d'encoder de longs historiques vidéo en des embeddings légers tout en préservant une cohérence de contenu (identité, vêtements, mise en scène) et une fidélité visuelle élevée, le tout compatible avec des cartes graphiques grand public (ex: RTX 4070).

2. Méthodologie : Une Approche en Deux Étapes (Pré-entraînement + Finetuning)

Les auteurs proposent un encodeur d'historique léger qui mappe des histoires vidéo longues vers des embeddings courts. L'architecture repose sur une stratégie de pré-entraînement suivie d'un finetuning.

A. Architecture de l'Encodeur

Au lieu de construire une représentation compressée à partir de zéro ou de passer par le goulot d'étranglement d'un VAE (souvent limité à 4, 16 ou 64 canaux), l'encodeur opère directement dans l'espace des caractéristiques internes du modèle de diffusion (DiT - Diffusion Transformer).

Entrée : Une vidéo haute résolution/haute fréquence d'images est sous-échantillonnée et traitée par le VAE et les patchifiers du DiT.
Traitement : Un réseau résiduel (convolutions 3D, SiLU, Attention) encode la vidéo originale et ajoute un vecteur d'amélioration résiduelle aux vecteurs de contexte du DiT.
Sortie : L'encodeur produit des embeddings directement dans les canaux internes du DiT (ex: 3072 ou 5120 canaux), évitant ainsi la perte d'information liée aux bottlenecks des VAEs traditionnels.

B. Étape 1 : Pré-entraînement avec Objectif de "Requête de Trame" (Frame Query)

L'encodeur est pré-entraîné sur des millions de vidéos avec un objectif spécifique : la capacité à récupérer des caractéristiques de contenu à des positions temporelles arbitraires.

Mécanisme : À partir d'un historique vidéo, un sous-ensemble aléatoire de trames est sélectionné (indices $\Omega$ ). Les autres trames sont masquées (bruitées).
Objectif : Le modèle de diffusion doit reconstruire les trames cibles masquées en utilisant uniquement l'embedding compressé de l'historique.
Avantage : Cela force l'encodeur à apprendre une couverture dense de l'historique vidéo sans avoir à reconstruire chaque trame simultanément, réduisant considérablement le coût d'entraînement tout en assurant que l'information temporelle est préservée.

C. Étape 2 : Finetuning pour la Cohérence Auto-régressive

Une fois pré-entraîné, l'encodeur est intégré dans un modèle de diffusion vidéo auto-régressif (comme Wan ou HunyuanVideo) et finetuné conjointement.

Adaptation : L'encodeur s'adapte pour passer d'un objectif de "recherche de trame" à un objectif de cohérence de contenu pour la génération.
Inférence : Lors de la génération, l'historique est encodé en un embedding léger. Ce contexte est concaténé avec les nouvelles trames générées pour la prochaine itération, permettant une génération continue sans recalculer l'ensemble de l'historique.

3. Contributions Clés

Encodage Léger et Efficace : Une méthode permettant de réduire considérablement la mémoire requise pour les contextes longs, rendant la génération vidéo auto-régressive accessible sur du matériel grand public (ex: 12 Go de VRAM).
Stratégie de Pré-entraînement Innovante : L'introduction de l'objectif de "requête de trame" (frame query) qui assure une couverture dense de l'historique temporel et fournit une initialisation robuste, réduisant le coût du finetuning.
Intégration Directe au DiT : L'architecture contourne les limitations des VAEs en travaillant directement sur les états cachés profonds du DiT, préservant ainsi la fidélité des détails fins.
Flexibilité Architecturale : Le framework permet des combinaisons (ex: plusieurs encodeurs avec différents taux de compression spatio-temporelle) et l'ajout de fenêtres glissantes pour gérer les changements de plan.

4. Résultats et Évaluations

Les expériences ont été menées sur des modèles de base comme Wan 2.2 et HunyuanVideo.

Qualité de Reconstruction (Frame Query) : Les résultats quantitatifs (PSNR, SSIM, LPIPS) montrent que la méthode proposée surpasse les approches par patchification simple ou compression pure. Même avec un taux de compression élevé (4x4x2), la méthode préserve la structure de l'image et les détails mieux que les alternatives.
Cohérence du Contenu :
- Étude Utilisateur (ELO) : Le modèle proposé obtient des scores ELO supérieurs (1216-1218) par rapport aux baselines (Wan + QwenEdit), confirmant une meilleure cohérence dans l'identité des personnages, les vêtements et la narration.
- Métriques Automatiques : Des scores élevés sont obtenus sur la cohérence des vêtements, de l'identité faciale et des instances d'objets.
Impact du Pré-entraînement : Une ablation montre que sans pré-entraînement, le modèle échoue souvent à maintenir la cohérence temporelle (décalages de visage, vêtements, style global), tandis que le modèle pré-entraîné maintient une forte cohérence.
Efficacité : Le système permet de générer des vidéos avec un contexte complet (sans coupure d'historique) sur une RTX 4070 12Go, ce qui est impossible avec les méthodes d'attention standard pour de longues séquences.

5. Signification et Impact

Ce travail adresse un défi critique pour l'avenir de la génération vidéo : l'échelle temporelle. En démontrant qu'il est possible de compresser efficacement des heures de contexte vidéo en des embeddings légers sans sacrifier la cohérence narrative, cette recherche ouvre la voie à :

Des outils de création vidéo accessibles aux créateurs individuels et aux laboratoires de recherche (pas besoin de clusters massifs).
Des applications de storytelling long format (films, séries) générés de manière auto-régressive avec une cohérence visuelle et narrative stable.
Une nouvelle approche de l'encodage de contexte qui privilégie la récupération de caractéristiques temporelles plutôt que la simple compression spatiale.

En résumé, l'article propose une solution pratique et performante pour la génération vidéo longue durée, équilibrant efficacement le compromis entre la longueur du contexte, la qualité visuelle et les coûts de calcul.