💻 computer science

Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification

Vorch-Director est un modèle d'histoire de monde interactif qui améliore la génération audiovisuelle à long horizon en introduisant une stratégie de correction résiduelle sensible au bruit pour atténuer l'accumulation d'erreurs et la dérive d'identité, tout en exploitant des plongements de tâches et un entraînement multi-tâches pour supporter un conditionnement multi-plan unifié sur le transformeur de diffusion LTX-2.

Auteurs originaux : Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

Publié 2026-08-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à raconter une histoire. Vous lui donnez quelques phrases, et il écrit la suivante. Ensuite, vous prenez cette nouvelle phrase, vous la réinjectez et vous lui demandez la suivante. Vous continuez ainsi, dans l'espoir de construire un roman entier. C'est ainsi que fonctionnent de nombreux générateurs de vidéos par IA modernes : ils créent un court clip, puis utilisent ce clip comme « mémoire » pour créer le suivant, les assemblant pour former un long film. Ce processus est appelé continuation autoregressive.

Cependant, il existe un problème délicat avec cette méthode de « copier-coller ». Lorsque le robot apprend, on lui montre des histoires parfaites et propres écrites par des humains. Mais lorsqu'il crée réellement un film, il doit s'appuyer sur son propre travail précédent, qui n'est jamais tout à fait parfait. Il peut y avoir une petite tache de flou, un visage légèrement déformé ou une voix qui semble un peu étrange. Lorsque le robot utilise ce clip légèrement imparfait pour créer le suivant, les erreurs s'accentuent. Au bout de dix minutes de film, les personnages peuvent ressembler à de la cire fondue, leurs voix peuvent être inintelligibles et l'histoire peut partir dans le non-sens. C'est ce qu'on appelle le biais d'exposition : le robot est entraîné sur un monde immaculé mais doit vivre dans un monde désordonné. Les scientifiques essaient de résoudre ce problème afin de générer des vidéos longues, cohérentes et de haute qualité avec un son synchronisé, mais jusqu'à présent, les solutions consistaient à essayer de réparer un bateau qui prend l'eau en se contentant d'écoper sans réparer le trou.

Entrez dans Vorch-Director, une nouvelle approche qui agit comme un éditeur intelligent pour la génération de vidéos par IA. Les chercheurs derrière ce projet ont réalisé que la manière dont les modèles d'IA commettent des erreurs n'est pas aléatoire ; elle dépend de la façon dont le modèle est « bruyant » ou incertain à un moment donné. Pensez-y comme au dessin d'un portrait : quand vous tracez les contours grossiers, vos erreurs sont grandes et structurelles (comme faire une tête trop grosse). Quand vous ajoutez les détails finaux, vos erreurs sont minuscules (comme un sourcil de travers). Les méthodes précédentes tentaient de corriger les erreurs en injectant aléatoirement des « erreurs d'entraînement » à l'IA, mais elles ne se souciaient pas du type d'erreur. Elles auraient pu essayer de corriger une erreur de sourcil minuscule avec une correction de la taille d'une tête géante, ce qui ne faisait qu'empirer les choses.

Vorch-Director change la donne en étant conscient du bruit (noise-aware). Le système conserve une bibliothèque des propres erreurs de l'IA, mais il étiquette chaque erreur avec le « niveau de bruit » spécifique auquel elle a été commise. Lorsque l'IA apprend à générer une nouvelle scène, le système regarde le degré d'incertitude actuel de l'IA. Si l'IA est dans une phase de « croquis grossier » (bruit élevé), le système lui soumet des erreurs structurelles importantes pour s'entraîner à les corriger. Si l'IA est dans une phase de « détails fins » (bruit faible), le système lui soumet des erreurs subtiles et minuscules. Cela garantit que l'IA apprend à corriger le bon type de problèmes au bon moment.

Pour faire fonctionner cela sur de longues histoires, l'équipe a également introduit quelques astuces ingénieuses. Ils ont créé une « ancre propre » (clean anchor) — un court clip parfait au début de chaque nouveau segment que l'IA peut consulter pour se souvenir de l'apparence réelle des personnages, empêchant ainsi leur dérive vers des formes étranges. Ils ont également doté l'IA de « étiquettes de nom » spéciales (appelées plongements de tâches ou task embeddings) afin qu'elle sache exactement quelle partie de l'entrée est l'histoire jusqu'ici, quelle partie est une photo de référence et quelle partie est la nouvelle scène qu'elle doit créer. Cela aide l'IA à garder les personnages identiques, même lorsque la caméra change d'angle ou de lieu.

Les résultats sont prometteurs. Lors de tests sur des benchmarks conçus pour mesurer la capacité de l'IA à maintenir la cohérence des personnages et des histoires au fil du temps, Vorch-Director a montré nettement moins de « dérive » que les autres modèles de pointe. Dans des tests impliquant des vidéos d'une minute avec un audio synchronisé, le nouveau modèle a maintenu des visages reconnaissables et des voix stables, alors que les autres modèles aboutissaient souvent à des personnages se transformant en formes étranges ou à des voix devenant inintelligibles. Bien que l'article note qu'il reste encore de la marge de progression — notamment pour égaler la cohérence des modèles purement visuels — la nouvelle méthode suggère qu'en faisant correspondre le type d'erreur à l'étape de la génération, nous pouvons apprendre à l'IA à raconter des histoires beaucoup plus longues, plus cohérentes et plus réalistes sans qu'elle ne perde la tête en cours de route.

Résumé technique : Vorch-Director

Énoncé du problème

La continuation autorégressive offre une voie pour générer du contenu audiovisuel multi-plans de plusieurs minutes en étendant de manière répétée un générateur à fenêtre courte. Cependant, un décalage entraînement-test critique (biais d'exposition) entrave cette approche. Pendant l'entraînement, les modèles sont conditionnés sur des historiques de vérité terrain propres (teacher forcing), tandis qu'à l'inférence, ils dépendent de leurs propres sorties précédemment générées. Cette réutilisation récursive de prédictions imparfaites entraîne une accumulation d'erreurs, se manifestant par une dérive d'identité, un lissage excessif, une incohérence du mouvement et une désynchronisation audio-visuelle sur de longs horizons temporels.

Les solutions existantes tentent d'atténuer cela via la récupération de mémoire (qui suppose un contexte propre) ou l'entraînement par auto-rollout (qui est coûteux en calcul). Des approches récentes et légères, telles que Matrix-Game, injectent des résidus de prédiction dans l'historique de conditionnement pour simuler les erreurs au moment de l'inférence pendant l'entraînement. Cependant, ces méthodes négligent une propriété fondamentale des modèles de diffusion : les résidus de prédiction sont intrinsèquement dépendants du niveau de bruit ( $\sigma$ ) du flow-matching auquel ils sont produits. Les résidus à $\sigma$ élevé représentent des écarts structurels grossiers, tandis que les résidus à $\sigma$ faible capturent des erreurs de détails fins. La réutilisation indiscriminée de résidus à travers différents régimes de bruit entraîne soit une sous-corruption, soit une sur-corruption de l'historique, échouant ainsi à reproduire fidèlement la distribution d'inférence.

De plus, la génération à long horizon introduit des problèmes d'extrapolation positionnelle. Les modèles de continuation standards reposent sur des indices positionnels continus qui croissent avec la longueur de la génération, forçant le modèle à extrapoler au-delà des plages d'entraînement. Cela crée une seconde source de biais d'exposition.

Méthodologie : Vorch-Director

Vorch-Director aborde ces défis grâce à une stratégie de rectification d'erreur sensible au bruit construite sur le LTX-2 audio-visual Diffusion Transformer (DiT).

1. Injection de résidus sensible à $\sigma$

L'innovation centrale est une stratégie qui aligne les erreurs injectées avec le processus de débruitage :

Collecte de résidus : Pendant l'entraînement, les résidus de reconstruction ( $\delta = \hat{x}_0 - x_0$ ) sont collectés à partir des tokens cibles et stockés dans un tampon circulaire (ring buffer). Crucialement, chaque résidu est marqué avec le niveau de bruit $\sigma$ auquel il a été généré.
Échantillonnage apparié au bruit : Lors de la perturbation de l'historique de conditionnement pour une étape de débruitage spécifique avec un niveau de bruit $\sigma$ , le système échantillonne des résidus dans le tampon où le niveau de bruit stocké $\sigma'$ satisfait $|\sigma' - \sigma| \leq \tau_\sigma$ .
Injection : Ces résidus appariés sont injectés dans les tokens de l'historique avec une force $\gamma$ (échantillonnée de $U(0.9, 1.2)$ ). Cela garantit que l'historique « corrompu » présenté au modèle pendant l'entraînement imite le régime d'erreur spécifique que le modèle apprend actuellement à débruiter, plutôt que d'appliquer un bruit arbitraire.

2. Stabilisation du conditionnement et embeddings de tâches

Pour prévenir l'effondrement total dû à l'injection d'erreurs et gérer la complexité multi-plans :

Puits de conditionnement propre (Clean Conditioning Sink) : Une fenêtre courte et non corrompue (1 seconde) de l'historique est ajoutée comme un « puits » ( $\tau_{sink}$ ). Cela fournit une ancre stable et propre à laquelle le modèle peut se référer, empêant la dérive d'identité pendant que le reste de l'historique ( $\tau_{hist}$ ) est corrompu.
Embeddings de tâches : Pour résoudre l'extrapolation positionnelle, le modèle utilise des embeddings de tâches légers ( $e_\tau$ ) pour distinguer les rôles des tokens (Cible, Historique, Puits, Images de référence, Audio de référence) plutôt que de s'appuyer uniquement sur des indices positionnels croissants. Cela permet de réinitialiser les indices positionnels pour de nouveaux segments tout en préservant la cohérence temporelle, découplant les rôles sémantiques de la position absolue.
Template de prompt unifié : Un template de prompt structuré lie les références de sujets (images et audio) et les descriptions de plans, permettant à un seul modèle de gérer des tâches de text-to-video, image-to-video et de continuation audio-visuelle.

3. Objectif d'entraînement

Le modèle est entraîné sur un corpus de tâches mixtes à quatre voies (25 % chacune) :

Continuation vidéo (historique uniquement).
Continuation + Image (historique + références de sujets).
Subject-IP (génération pilotée par l'image de référence).
Continuation audio-visuelle (historique vidéo/audio + références).

La fonction de perte est une perte de flow-matching masquée appliquée uniquement aux tokens cibles, garantissant que le signal de supervision reste propre tandis que la distribution du contexte correspond aux conditions d'inférence.

Contributions clés

Injection de résidus sensible à $\sigma$ : Une stratégie qui apparie les résidus de prédiction au niveau de bruit correspondant du flow-matching, atténuant considérablement le biais d'exposition dans la génération de diffusion autorégressive.
Interface de conditionnement unifiée : Un système d'embedding de tâche léger qui distingue la vidéo historique, les images de référence et la vidéo cible, permettant la réutilisation du codage positionnel à travers les étapes de continuation et éliminant le biais d'extrapolation positionnelle.
Cadre intégré : Un cadre basé sur LTX-2 combinant la stratégie d'entraînement proposée avec un entraînement de tâches mixtes, supportant la génération audio-visuelle multi-plans, multi-sujets et guidée par des références.
Nouvelle évaluation (Benchmarking) : Évaluation sur ST-Bench et introduction d'un nouveau benchmark audio-visuel à long horizon présentant les métriques de Cohérence relative à l'Ancre (ARC) et de Réapparition (Reappear), qui caractérisent mieux la dégradation progressive que les évaluations de plans adjacents standards.

Résultats

Des expériences approfondies démontrent que Vorch-Director améliore la stabilité et la fidélité audio-visuelle par rapport à des bases solides :

ST-Bench (Histoire multi-plans) : Vorch-Director domine les quatre métriques de cohérence entre les plans par une large marge. Notamment, il atteint un score ViCLIP de 0,7887 contre 0,5900 pour la meilleure base (JoyAI-Echo). Il surpasse également de manière significative les bases sur les mesures d'identité à long terme (ARC : 0,6570 vs 0,3961 ; Reappear : 0,6648 vs 0,4114).
UnityShots (T2V & R2V) : Dans les configurations Text-to-Video (T2V), Vorch-Director mène sur ViCLIP, ARC et Reappear. En Reference-to-Video (R2V), il domine la base la plus forte sur les quatre métriques de cohérence.
Benchmark Audio-Visuel Longue Durée : Dans une tâche de génération à l'échelle de la minute sur 22 plans avec audio synchronisé :
- Vorch-Director améliore chaque métrique de cohérence inter-plans par rapport à la base audio-visuelle JoyAI-Echo (ex: ViCLIP 0,6269 vs 0,4922).
- Bien que les bases visuelles seules (StoryMem, Memento) affichent des scores plus élevés sur certaines métriques de similitude, l'article note que ces systèmes ne génèrent pas d'audio (résolvant un problème strictement plus facile) et présentent moins de mouvement entre les images, ce qui gonfle les scores de similitude.
- Qualitativement, Vorch-Director maintient la reconnaissabilité du protagoniste et la fidélité de la scène à travers 22 plans sans la corruption chromatique ou l'effondrement d'identité observés chez des bases comme Memento et StoryMem.

Signification et affirmations

L'article affirme que l'obstacle principal à la génération audio-visuelle à l'échelle de la minute n'est pas la longueur du contexte elle-même, mais le décalage d'historique causé par le biais d'exposition. En alignant les erreurs injectées avec le processus de débruitage via la sensibilité au niveau de bruit, Vorch-Director produit des historiques autorégressifs plus réalistes tout en conservant l'efficacité de l'entraînement par teacher-forcing.

Les auteurs positionnent Vorch-Director comme une amélioration orthogonale aux mécanismes de mémoire et de gating existants ; plutôt que de décider quel historique récupérer, il rend le modèle de continuation de base robuste face à un historique récupéré ou généré imparfait. Le travail démontre qu'un seul modèle peut supporter une génération audio-visuelle complexe, multi-plans, multi-sujets et synchronisée, traitant les problèmes de dérive et de désynchronisation qui limitent actuellement la génération vidéo autorégressive. L'article note modestement que combler l'écart avec les systèmes purement visuels tout en maintenant un audio synchronisé reste un défi ouvert, mais que Vorch-Director représente une étape significative vers une génération stable à long horizon.