💻 computer science

Goodbye Drift: Anchored Tree Sampling for Long-Horizon Video-to-Video Generation

Ce papier présente l'échantillonnage d'arbres ancrés (ATS), un planificateur d'inférence sans entraînement qui atténue la dérive et les problèmes de continuité dans les vidéos à long horizon en remplaçant les déroulements autorégressifs séquentiels par une stratégie d'imputation hiérarchique bornée par des ancres, réalisant ainsi une qualité et une stabilité supérieures dans la génération vidéo-à-vidéo avec caméra fixe.

Auteurs originaux : Matthew Bendel, Stephen W. Bailey, Mithilesh Vaidya, Sumukh Badam, Xingzhe He

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matthew Bendel, Stephen W. Bailey, Mithilesh Vaidya, Sumukh Badam, Xingzhe He

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de peindre une fresque monumentale de 40 minutes racontant une histoire, mais que vous ne disposez que d'une petite toile capable de contenir 10 secondes d'art à la fois.

L'Ancienne Méthode (Génération Autoregressive) : L'« Effet Domino »
Actuellement, la plupart des générateurs de vidéos par IA fonctionnent comme une rangée de dominos. Pour créer une vidéo longue, l'IA peint les 10 premières secondes, puis utilise cette peinture pour deviner à quoi devraient ressembler les 10 secondes suivantes, puis utilise cette dernière pour deviner les suivantes, et ainsi de suite.

L'article qualifie ce phénomène de « Dérive ». Tout comme dans le jeu du « Téléphone arabe », de minuscules erreurs se produisent dans chaque tranche de 10 secondes. Au moment où l'IA atteint la 30e minute, le visage du personnage peut s'être transformé en monstre, l'arrière-plan peut avoir changé de couleur, ou l'histoire peut avoir perdu son fil conducteur. L'IA doit également attendre que la tranche précédente soit terminée avant de commencer la suivante, ce qui rend le processus très lent.

La Nouvelle Méthode (Échantillonnage d'Arbre Ancré) : L'« Échafaudage de Construction »
Les auteurs, de Descript, Inc., proposent une méthode plus intelligente appelée Échantillonnage d'Arbre Ancré (ATS). Au lieu de peindre la fresque une petite bande à la fois, ils construisent un échafaudage.

Voici comment cela fonctionne, en utilisant une analogie de construction :

L'Appel Racine (Installation des Poteaux) : D'abord, l'IA examine l'ensemble de l'histoire de 40 minutes d'un seul coup. Elle n'essaie pas de peindre chaque image. Au lieu de cela, elle place quelques « poteaux d'ancrage » (images éparses) à des moments clés : tout au début, tout à la fin, et quelques points intermédiaires. Imaginez-les comme les principaux piliers soutenant un pont.
Le Raffinement (Remplissage des Vides) : Maintenant, l'IA examine l'espace entre le premier poteau et le deuxième. Elle peint l'espace entre eux, sachant exactement à quoi ressemblent le début et la fin. Elle fait de même pour l'espace entre le deuxième et le troisième poteau.
Les Feuilles (Les Détails Finaux) : Enfin, elle comble les minuscules espaces entre ces sections nouvellement peintes jusqu'à ce que la vidéo entière soit terminée.

Pourquoi C'est un Changement de Jeu

Plus de Dérive : Parce que chaque section de la vidéo est « ancrée » par un point de départ et un point de fin connus, l'IA ne peut pas s'égarer. Si vous lui demandez de peindre une voiture rouge au début et une voiture rouge à la fin, elle maintiendra la voiture rouge au milieu. Elle n'a pas besoin de deviner en se basant sur une image précédente floue et remplie d'erreurs.
Vitesse Supérieure : L'ancienne méthode ressemble à une seule personne peignant un mur de gauche à droite. La nouvelle méthode ressemble à une équipe de peintres. Une fois les « poteaux » installés, différentes équipes peuvent peindre les différentes sections du mur en même temps. Cela rend la génération de vidéos longues beaucoup plus rapide.
Cohérence : La vidéo reste fidèle aux instructions originales (comme une pose spécifique ou un dessin de contour) du début à la fin, sans que le personnage ne change soudainement de vêtements ou que l'arrière-plan ne se déplace.

Où Cela Fonctionne Mieux (et Où Cela Éprouve des Difficultés)
L'article montre que cette méthode fonctionne incroyablement bien pour les vidéos à caméra statique (où la caméra ne bouge pas de manière sauvage, comme une personne parlant à la caméra ou un plan fixe d'une scène). Dans ces cas, l'IA peut facilement prédire les « poteaux d'ancrage » car l'arrière-plan ne change pas beaucoup.

Cependant, les auteurs admettent qu'il existe actuellement des limites :

Caméras Dynamiques : Si la caméra vole à travers une ville ou tourne sur elle-même, l'IA a parfois du mal à deviner correctement les « poteaux d'ancrage » car le point de vue change trop.
Nouveaux Personnages : Si un nouvel objet ou une nouvelle personne apparaît au milieu de la vidéo alors qu'il n'était pas présent dans les « ancres » de début ou de fin, l'IA risque de le dessiner légèrement différemment de ce qu'elle aurait fait s'il était apparu plus tôt.
Texte-vers-Vidéo : Actuellement, cela fonctionne mieux lorsque vous donnez à l'IA une vidéo à modifier (Vidéo-vers-Vidéo). C'est plus difficile à utiliser si vous tapez simplement un prompt textuel, car l'IA a besoin de ces « poteaux d'ancrage » pour commencer.

Le Conclusion
L'article introduit une structure en « arbre » qui divise les longues vidéos en tranches gérables et connectées. En ancrant la vidéo à des points spécifiques et en remplissant les blancs en parallèle, ils ont résolu le problème des vidéos devenant « négligées » avec le temps et ont rendu le processus considérablement plus rapide. Ils ont généré avec succès des vidéos de 40 minutes qui sont restées cohérentes et de haute qualité, quelque chose que les méthodes précédentes peinaient à réaliser sans erreurs.

Résumé Technique : Échantillonnage d'Arbre Ancré pour la Génération Vidéo-à-Vidéo à Longue Portée

1. Énoncé du Problème

La génération vidéo à longue portée, en particulier dans le régime Vidéo-à-Vidéo (V2V), fait face à deux défis principaux et intriqués : la dérive et les problèmes de continuité.

Dérive : À mesure que la génération progresse dans le temps, les erreurs s'accumulent, entraînant une dégradation de la qualité vidéo (par exemple, des changements de couleurs, de textures et de contraste).
Problèmes de continuité : Ceux-ci se manifestent par un manque de permanence des objets ou un rendu incohérent du contenu transitoire (par exemple, un objet réapparaissant avec un style ou une couleur différente).

Les solutions actuelles reposent principalement sur la distillation autoregressive (AR), qui convertit les modèles bidirectionnels en générateurs causaux. Bien que ces méthodes tentent de stabiliser les déroulements séquentiels, elles souffrent de limitations inhérentes :

Dépendance à l'extension de l'horizon : Les erreurs dans un bloc conditionnent le suivant, provoquant une accumulation linéaire de la dérive avec le temps.
Déroulement séquentiel : La génération doit se produire étape par étape, entraînant une croissance linéaire du temps réel indépendamment du matériel disponible.
Artéfacts de réinitialisation : Pour gérer la mémoire, les systèmes AR effectuent souvent des réinitialisations de cache KV. Ces réinitialisations rejettent l'état accumulé, provoquant des discontinuités « saccadées » dans l'identité des objets et l'état de la scène.

De plus, les travaux existants sur les formats longs se concentrent fortement sur la Vidéo-à-Texte (T2V). La V2V longue, où un signal de conditionnement dense par image (par exemple, pose, profondeur, contours) est connu à l'avance, reste sous-exploité. Les auteurs soutiennent que si le conditionnement complet $c_{1:T}$ est connu, insister sur un déroulement causal (de gauche à droite) est inutile.

2. Méthodologie : Échantillonnage d'Arbre Ancré (ATS)

L'article propose l'Échantillonnage d'Arbre Ancré (ATS), un planificateur sans entraînement fonctionnant au moment de l'inférence, qui remplace le déroulement AR séquentiel par une stratégie d'imputation ancrée et allant du clair au dense, organisée sous forme d'arbre.

Mécanisme Central

ATS utilise un primitif « deux côtés » (Équation 2), où un modèle génère un segment $x_{a:b}$ conditionné à la fois par une ancre de début $A_a$ et une ancre de fin $A_b$ , ainsi que par le conditionnement intermédiaire $c_{a:b}$ . Cela permet au modèle de remplir le contenu de manière bidirectionnelle plutôt que causale.

Le processus de génération est organisé hiérarchiquement :

Appel Racine (Ancres Éparses) : Un appel unique génère des « ancres » éparses (images clés ou courts clips) couvrant l'ensemble de l'horizon $T$ . Dans le régime de caméra statique, ces ancres sont dérivées directement du signal de conditionnement dense sans réentraînement.
Raffinement Récursif (Ancres Intermédiaires) : L'arbre est affiné en générant de nouvelles ancres entre celles existantes. Si un intervalle est trop grand pour la fenêtre de contexte du modèle, des ancres intermédiaires sont insérées.
Génération des Feuilles (Images Denses) : L'étape finale synthétise des images denses entre les ancres voisines. Ces segments « feuilles » sont bornés par des ancres des deux côtés.

Propriétés Clés

Factorisation Descendante : Le graphe de dépendance est descendant (Racine $\to$ Raffinement $\to$ Feuilles) plutôt que de gauche à droite.
Parallélisme : Les nœuds frères au même niveau de l'arbre sont conditionnellement indépendants étant donné leurs ancres parentes. Cela permet une exécution parallèle sur plusieurs GPU.
Sans Entraînement : ATS ne modifie pas les poids du modèle de base. Il traite le générateur bidirectionnel pré-entraîné comme un primitif boîte noire.
Hypothèse de Caméra Statique : L'implémentation actuelle suppose une caméra statique où les conditionnements épars et denses sont presque identiques, permettant au modèle de base de produire des ancres éparses propres « hors de la boîte ».

Complexité et Latence

Autoregressive (AR) : La latence évolue linéairement avec le nombre de blocs $K$ ( $T_{AR} \approx K \cdot \tau_{call}$ ).
ATS : La latence évolue logarithmiquement avec la profondeur de l'horizon $L$ ( $T_{tree} \approx (L+1) \cdot \tau_{call}$ ).
Atténuation de la Dérive : En bornant chaque étape de génération entre deux ancres, la dérive est contenue dans l'étendue de la paire d'ancres plutôt que de s'accumuler sur l'ensemble de la vidéo.

3. Résultats Expérimentaux

Les auteurs ont évalué ATS sur Wan 2.1 + VACE (un backbone V2V bidirectionnel) par rapport à deux baselines autoregressives contemporaines : LongLive et Reward Forcing.

Configuration

Tâche : Génération V2V de 30 minutes à travers cinq modalités de conditionnement : inpainting, outpainting, contours, pose et profondeur.
Métriques : Qualité Esthétique (AQ) et Qualité d'Image (IQ) issues de VBench-1.0, mesurées globalement, comme « dérive de bloc » (dégradation dans le cache) et comme « saut de réinitialisation » (discontinuité lors des réinitialisations de cache).

Principales Découvertes

Amélioration de la Qualité : ATS a surpassé les deux baselines AR en qualité globale.
- vs LongLive : +4,0 AQ / +6,6 IQ.
- vs Reward Forcing : +5,7 AQ / +6,2 IQ.
Élimination de la Dérive :
- Dérive de Bloc : Les méthodes AR ont montré une dégradation significative de la qualité à l'intérieur des fenêtres de cache. ATS a aplati cette courbe, maintenant une qualité constante à travers les blocs.
- Saut de Réinitialisation : Les méthodes AR présentaient de grandes discontinuités lors des réinitialisations de cache. ATS a éliminé ces sauts entièrement.
Vitesse : Grâce au parallélisme, ATS a atteint une génération 5,3 fois plus rapide que la meilleure baseline AR pour une vidéo de 2000 secondes. Il a atteint des performances plus rapides que le temps réel (3,3x) avec seulement 8 GPU.
Stabilité à Longue Portée : Les auteurs ont démontré une génération stable de vidéos de $\ge$ 40 minutes sur LTX-2.3 à travers les cinq modalités, sans dérive de contenu observable liée à l'extension de l'horizon.

4. Limitations et Directions Futures

L'article reconnaît explicitement les limitations de l'implémentation actuelle de caméra statique :

Empoisonnement des Ancres : Une seule mauvaise ancre (par exemple, à la racine) corrompt tout son sous-arbre. Cela est moins critique pour les caméras statiques mais problématique pour les caméras dynamiques où la génération éparse est plus difficile.
Guidage de Mouvement Faible : Pour les signaux de mouvement faibles (par exemple, cartes de profondeur), des images clés uniques sont insuffisantes ; des ancres vidéo multi-images sont requises.
Écarts de Cohérence : ATS garantit la cohérence temporelle au sein des segments bornés mais n'impose pas intrinsèquement l'identité des objets apparaissant entre les ancres (entités hors champ) à moins qu'ils ne soient explicitement suivis.
Généralisation Non-V2V : La méthode actuelle repose sur un signal source dense pour générer des ancres éparses. Elle ne se généralise pas encore au pur Texte-à-Vidéo (T2V) ni aux régimes de caméra dynamique où le modèle doit halluciner du contenu éparse sans guide dense.

Voie Proposée vers l'Avenir

Les auteurs proposent trois extensions structurelles pour généraliser ATS :

Spécialiste de Génération Éparse : Introduire un modèle dédié (similaire au générateur d'images clés de DCARL) pour produire des ancres éparses pour le T2V et les caméras dynamiques, remplaçant la dépendance de l'appel racine au conditionnement dense.
DAG Sémantique : Remplacer l'arbre strictement temporel par un Graphe Acyclique Dirigé (DAG) indexé par des contraintes sémantiques (par exemple, identité du personnage, changements de scène) plutôt que par le temps uniquement, permettant aux feuilles non adjacentes de partager des contraintes.
Conditionnement par Référence : Exploiter des entrées de référence explicites (images/vidéos) pour imposer la continuité sur toute la durée, contournant la dérive inhérente à la mémoire basée sur les suffixes.

5. Importance

L'article affirme que ATS représente un changement significatif dans la stratégie de génération à longue portée. En découplant le problème de planification du problème de modélisation, ATS atteint :

Prévention de la Dérive : Conversion de la dérive s'accumulant avec l'horizon en une dérive bornée par les ancres.
Continuité : Élimination des artéfacts « saccadés » causés par les réinitialisations de cache AR.
Efficacité : Réduction du chemin critique de linéaire à logarithmique, permettant des accélérations massives grâce au parallélisme.
Évolutivité : Démonstration du premier cadre non-avatar capable de génération cohérente et sans dérive approchant l'échelle de l'heure (40+ minutes) sans réentraînement du modèle de base.

L'étude conclut que bien qu'optimisée actuellement pour la V2V à caméra statique, le paradigme basé sur les arbres et bidirectionnel offre une base robuste pour étendre la génération longue forme aux régimes dynamiques et pilotés par le texte.