🤖 machine learning

MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation

MilliVid répond au défi de la cohérence à longue portée dans la génération de vidéos en employant un auto-encodeur hiérarchique pour compresser les images en jetons multi-échelles et en utilisant une stratégie de déploiement du grossier au fin au sein d'un modèle de diffusion vidéo, préservant ainsi la géométrie globale et la permanence des objets tout en réduisant les coûts de calcul.

Auteurs originaux : Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey Zakharov, Vitor Guizilini, Phillip Isola, Vincent Sitzmann

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ishaan Preetam Chandratreya, David Charatan, Basile Van Hoorick, Sergey Zakharov, Vitor Guizilini, Phillip Isola, Vincent Sitzmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de raconter une très longue histoire à un ami, mais que vous n'avez qu'un minuscule carnet de notes. Si vous essayez d'écrire chaque détail de chaque scène — chaque feuille sur un arbre, chaque fissure sur le trottoir, chaque texture sur un mur — vous manquerez de place après seulement quelques phrases. Le temps de parvenir à la fin de l'histoire, vous aurez complètement oublié le début.

C'est exactement le problème auquel sont confrontés les modèles d'IA vidéo aujourd'hui. Ils veulent générer des vidéos longues et cohérentes, mais leurs « carnets de notes » (la mémoire informatique) sont trop petits pour contenir tous les détails d'une séquence longue. En conséquence, ils commencent à halluciner, oubliant où se trouvent les objets ou changeant la disposition de la pièce au fur et à mesure que la vidéo progresse.

Le papier MILLIVID propose une solution ingénieuse : Arrêtez d'essayer de tout vous souvenir en même temps. Au lieu de cela, mémorisez d'abord la vue d'ensemble, puis remplissez les petits détails plus tard.

Voici comment ils ont procédé, en utilisant quelques analogies du quotidien :

1. Le système de mémoire de la « Poupée Russe »

La plupart des modèles d'IA vidéo tentent de stocker chaque image à pleine résolution. MILLIVID change la donne en utilisant un tokenizer hiérarchique. Voyez cela comme un ensemble de poupées russes ou une carte avec différents niveaux de zoom :

Le niveau grossier (La vue d'ensemble) : C'est la plus petite poupée ou la carte au zoom le plus bas. Elle ne montre pas la texture de l'herbe ou la couleur des briques. Elle se souvient seulement de la forme de la pièce, de l'emplacement des murs et de l'endroit où se trouvent les objets principaux. Comme c'est très simple, l'IA peut mémoriser des centaines de ces images de « vue d'ensemble » à la fois.
Le niveau fin (Les détails) : C'est la plus grande poupée ou la carte au zoom maximal. Elle ajoute la texture de l'herbe, les motifs des briques et l'éclairage. Mais comme elle est très détaillée, l'IA ne peut mémoriser que quelques images de ce type avant que sa mémoire ne sature.

L'analogie : Imaginez que vous décrivez une ville à un ami.

L'ancienne méthode : Vous essayez de décrire chaque fenêtre de chaque bâtiment pendant tout le voyage. Vous vous fatiguez et oubliez la disposition de la ville après 10 minutes.
La méthode MILLIVID : D'abord, vous décrivez la disposition de la ville (où se trouve le parc, où coule la rivière) pour toute l'heure. Ensuite, à mesure que vous vous approchez d'un bâtiment spécifique, vous ajoutez les détails (la couleur de la porte, les fleurs à la fenêtre). Vous gardez la « vue d'ensemble » en tête tout le temps pour ne jamais vous perdre.

2. Le déploiement « du grossier vers le fin » (Coarse-to-Fine Rollout)

Le papier introduit une nouvelle façon de générer la vidéo appelée déploiement « du grossier vers le fin ».

Au lieu de générer la vidéo image par image avec tous les détails (ce qui fait que l'IA oublie le passé), le modèle travaille par étapes :

Étape 1 : Il génère une longue séquence d'images « floues » ou de faible détail. Comme elles sont simples, l'IA peut suivre plus de 100 images à la fois. Cela garantit que l'histoire reste cohérente (la voiture reste sur la route, le bâtiment ne disparaît pas).
Étape 2 : Il revient en arrière et « aiguise » les images récentes, en ajoutant les détails haute définition.
Le tour de magie : Crucialement, lorsqu'il ajoute les détails aux images récentes, il regarde les versions basse résolution des images distantes pour s'assurer que l'histoire fait toujours sens.

L'analogie : Pensez à l'esquisse d'une peinture.

D'abord, vous dessinez un contour sommaire en bâtons de toute la scène pour bien placer les poses et les positions. Vous pouvez dessiner toute la scène de cette manière sans faire d'erreurs.
Ensuite, vous revenez ajouter les muscles, les vêtements et les expressions faciales aux personnes au premier plan.
Vous n'essayez pas de peindre les muscles de la personne à l'arrière-plan avant de savoir où elle se tient, sinon vous pourriez les peindre au mauvais endroit.

3. Le test « Minecraft »

Pour prouver que cela fonctionne, les chercheurs n'ont pas seulement utilisé de jolis films. Ils ont utilisé Minecraft.

Pourquoi ? Minecraft est un monde en 3D où l'on se déplace. Si l'IA oublie la disposition, vous pourriez traverser un mur ou voir un arbre disparaître et réapparaître à un autre endroit.
Le résultat : Ils ont testé leur méthode contre les meilleurs modèles actuels (comme FramePack). Les anciens modèles généraient une vidéo où le joueur marchait un certain temps, puis le monde subissait un « glitch » : les bâtiments se déplaçaient ou le chemin revenait incorrectement sur lui-même.
Performance de MILLIVID : Parce qu'il gardait la carte « grossière » du monde en mémoire tout le temps, il pouvait générer de longues vidéos où le joueur marchait des centaines de pas, faisait demi-tour, et retrouvait exactement les mêmes bâtiments qu'il avait passés auparavant, de manière parfaitement cohérente.

L'essentiel

Le papier affirme qu'en acceptant que nous ne pouvons pas nous souvenir de chaque minuscule détail du passé lointain, nous pouvons mieux nous souvenir de la structure du passé.

Approche classique : « Je me souviendrai parfaitement de chaque détail des 5 dernières secondes, mais j'oublierai tout ce qui s'est passé il y a 10 secondes. »
Approche MILLIVID : « Je me souviendrai de la forme générale et de l'emplacement de tout ce qui s'est passé il y a 10 secondes, et je ne me souviendrai des détails infimes que des 5 dernières secondes. »

Cet arbitrage permet à l'IA de générer des vidéos qui restent cohérentes beaucoup plus longtemps, en maintenant la cohérence de l'« histoire » de la vidéo sans avoir besoin de supercalculateurs coûtant des millions de dollars. Les auteurs ont testé cela spécifiquement sur le gameplay de Minecraft et ont constaté que cela produisait des résultats nettement plus cohérents que les méthodes existantes.

Résumé Technique : MILLIVID

Problématique

Les modèles de génération de vidéo ont réalisé des avancées significatives en termes de réalisme et d'échelle, mais ils peinent avec la cohérence à long terme. Générer des vidéos qui restent cohérentes du début à la fin est difficile car maintenir un contexte temporel long nécessite des longueurs de séquences de transformeurs impractiquement élevées. Les approches autorégressives actuelles génèrent des vidéos par blocs (chunks), où le bloc le plus récent sert de contexte pour le suivant. À mesure que les blocs plus anciens sortent de la fenêtre de contexte, leur contenu est oublié, ce qui entraîne des incohérences de géométrie et de permanence des objets.

Augmenter la longueur du contexte est d'un coût computationnel prohibitif en raison de la mise à l'échelle quadratique des coûts des transformeurs par rapport à la longueur de la séquence. Bien que des méthodes récentes comme FramePack tentent d'atténuer cela en allouant moins de jetons (tokens) aux trames de contexte lointaines, les auteurs observent que cette approche seule ne parvient pas à se rappeler le contenu qui quitte le cadre de la caméra, même si ce contenu reste dans la fenêtre de contexte compressée.

Méthodologie

Le papier présente MILLIVID, un modèle de génération de vidéo basé sur la diffusion, conçu pour maximiser la cohérence à long terme sous une contrainte de longueur de séquence fixe. L'approche se compose de deux composantes principales :

1. Auto-encodage Hiérarchique

Les auteurs entraînent un auto-encodeur qui compresse chaque trame de vidéo en une hiérarchie de jetons latents plutôt qu'en une représentation plate unique.

Structure : L'encodeur traite une pyramide d'images multi-résolution. À chaque niveau $\ell$ , l'image est découpée en patchs de $N_\ell$ jetons, où la résolution est divisée par deux à chaque niveau plus grossier ( $N_\ell = \frac{H}{2^\ell} \times \frac{W}{2^\ell}$ ).
Distribution de l'information : Les niveaux les plus grossiers (le moins de jetons) capturent la structure globale de la scène et la sémantique, tandis que les niveaux plus fins ajoutent l'apparence et la texture à haute fréquence.
Entraînement : L'auto-encodeur est entraîné pour reconstruire la pyramide de résolution complète à partir d'un seul niveau échantillonné aléatoirement. Le décodeur doit reconstruire l'ensemble de la cascade de résolutions en se basant sur les jetons de ce niveau spécifique.
Avantage : Contrairement au sous-échantillonnage simple ou au pooling moyen utilisé dans les modèles en cascade, ce tokenizer hiérarchique appris préserve les détails structurels pertinents même à des niveaux de compression élevés, évitant ainsi les reconstructions floues.

2. Génération de Déploiement (Rollout) de Grossier à Fin

Un modèle de diffusion vidéo est entraîné dans cet espace latent hiérarchique en utilisant une nouvelle stratégie de déploiement de grossier à fin (coarse-to-fine).

Contrainte : Le modèle opère sous une longueur de séquence de transformeur $S$ fixe.
Stratégie : Au lieu de générer des trames à pleine résolution de manière autorégressive (ce qui limite le nombre de trames de contexte), le modèle génère d'abord une longue séquence de trames hautement compressées (grossières). Il affine ensuite progressivement ces trames vers des échelles plus fines.
Gestion du contexte : Crucialement, le processus de génération garantit que le contexte inclut toujours la trame la plus récente à haute résolution et les trames futures générées uniquement jusqu'aux niveaux les plus grossiers. Cela empêche les incohérences (par exemple, un panneau indiquant "stop" dans une vue grossière mais "go" dans une vue affinée) en garantissant que le modèle résout l'incertitude simultanément à travers la résolution et le temps.
Entraînement : Le modèle est entraîné pour débruiter les jetons conditionnés par des jetons de contexte propres à travers différents niveaux de la hiérarchie. Les encodages positionnels pour le niveau, la trame, la ligne et la colonne permettent à un seul modèle de gérer toutes les étapes de déploiement.

Contributions Clés

Auto-encodage Hiérarchique pour la Vidéo : Les auteurs démontrent que l'entraînement d'un auto-encodeur avec un espace latent hiérarchique produit une compression qui préserve mieux les détails pertinents par rapport au sous-échantillonnage ou au patchification standard.
Déploiement de Grossier à Fin : Ils introduisent une stratégie de génération qui exploite l'espace hiérarchique pour échanger le détail contre l'horizon temporel. En générant d'abord de nombreuses trames grossières, le modèle peut couvrir un contexte temporel beaucoup plus long dans un budget de jetons fixe.
Cohérence Supérieure à Long Terme : Le papier montre que cette approche produit des déploiements à long terme nettement plus cohérents par rapport aux lignes de base de l'état de l'art comme FramePack et le déploiement à pleine résolution, sans sacrifier la qualité par trame.

Résultats

La méthode a été évaluée sur LOOPCRAFT, un jeu de données personnalisé de vidéos de gameplay de Minecraft de 1024 trames, conçu pour tester la mémoire (contenu sortant et réentrant dans le cadre).

Métriques de Cohérence : MILLIVID a nettement surpassé les lignes de base (FramePack et Déploiement Pleine Résolution) sur les horizons courts, moyens et longs (trame 1–768).
- PSNR : 16,69 (long) contre 11,98 (FramePack) et 11,02 (Pleine Résolution).
- LPIPS : 0,335 (long) contre 0,533 (FramePack) et 0,630 (Pleine Résolution).
- Correspondances LightGlue : 62,4 (long) contre 7,0 (FramePack) et 5,0 (Pleine Résolution).
Métriques de Qualité : La méthode a maintenu une qualité comparable (FVD et FID) aux lignes de base, démontrant que les gains en cohérence ne se sont pas faits au détriment de la fidélité visuelle.
Études d'Ablation :
- Remplacer le tokenizer hiérarchique appris par une approche en cascade (moyenne pondérée) a entraîné une cohérence et une qualité moindres.
- L'application de l'espace latent hiérarchique à l'architecture FramePack n'a pas amélioré les performances, suggérant que le bénéfice provient de l'interaction spécifique entre la hiérarchie apprise et la stratégie de déploiement de grossier à fin.
- Une variante "miroir" de FramePack (prédisant des cibles grossières à long terme) a montré une amélioration de la cohérence, soutenant l'hypothèse selon laquelle les modèles forcés de prédire plus loin dans le futur apprennent à mieux utiliser le contexte distant.

Signification et Revendications

Le papier soutient que la cohérence à long terme dans la génération de vidéo nécessite un compromis fondamental : étant donné une longueur de séquence fixe, il faut décider quelles informations conserver. MILLIVID propose que la structure grossière (disposition de la scène, sémantique) doit être préservée sur de longues périodes temporelles, tandis que les détails fins (textures) peuvent être oubliés ou générés plus tard.

En apprenant une hiérarchie de grossier à fin et en allouant explicitement le budget de jetons du transformeur pour prioriser de nombreuses trames grossières passées plutôt que peu de trames fines récentes, le modèle parvient à des gains spectaculaires de rappel de la structure de la scène 3D sur des centaines de trames. Les auteurs affirment qu'il s'agit d'une étape importante pour les applications nécessitant une cohérence temporelle longue, telles que la modélisation de mondes et la robotique, sans dépendre de mécanismes de récupération externes ou de cartes 3D explicites.

Les auteurs notent des limites, spécifiquement que la méthode n'est pas conçue pour le fine-tuning direct de modèles de diffusion vidéo pré-entraînés standards et nécessite environ 33 % d'étapes de déploiement supplémentaires que FramePack. Cependant, ils postulent que l'échange pour une cohérence radicalement accrue en vaut la peine.