💻 computer science

Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification

Vorch-Director is een interactief wereldverhaalmodel dat langdurige audio-visuele generatie verbetert door een ruisbewuste residuele correctiestrategie te introduceren om foutaccumulatie en identiteitsdrift te mitigeren, terwijl het gebruikmaakt van taakembeddings en gemengde taaktraining om uniforme, multi-shot conditionering op de LTX-2 diffusion transformer te ondersteunen.

Oorspronkelijke auteurs: Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

Gepubliceerd 2026-08-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om een verhaal te vertellen. Je geeft het de paar zinnen, en het schrijft de volgende zin. Daarna neem je die nieuwe zin, voert deze weer in, en vraagt om de volgende. Je blijft dit doen, in de hoop een hele roman op te bouwen. Dit is hoe veel moderne AI-videogeneratoren werken: ze maken een korte clip, en gebruiken die clip vervolgens als het "geheugen" om de volgende te maken, waarbij ze ze aan elkaar naaien tot een lange film. Dit proces wordt autoregressieve continuatie genoemd.

Er is echter een lastig probleem met deze "kopiëren-en-plakken"-methode. Wanneer de robot leert, krijgt hij perfecte, zuivere verhalen te zien die door mensen zijn geschreven. Maar wanneer hij daadwerkelijk een film maakt, moet hij vertrouwen op zijn eigen eerdere werk, dat nooit helemaal perfect is. Er kan een klein vlekje van onscherpte in zitten, een licht verkeerd gezicht, of een stem die een beetje vreemd klinkt. Wanneer de robot die licht gebrekkige clip gebruikt om de volgende te maken, worden de fouten erger. Tegen de tijd dat de film tien minuten lang is, kunnen de personages eruitzien als smeltend was, hun stemmen kunnen onverstaanbaar zijn en het verhaal kan afdwalen naar onzin. Dit staat bekend als exposure bias: de robot is getraind op een onberispelijke wereld, maar moet leven in een rommelige wereld. Wetenschappers hebben geprobeerd dit op te lossen zodat we lange, consistente, hoogwaardige video's met gesynchroniseerd geluid kunnen genereren, maar tot nu toe waren de oplossingen als het proberen te repareren van een lekkende boot door simpelweg water te scheppen zonder het gat zelf te repareren.

Maak kennis met Vorch-Director, een nieuwe aanpak die fungeert als een slimme editor voor AI-videogeneratie. De onderzoekers achter dit project realiseerden zich dat de manier waarop AI-modellen fouten maken niet willekeurig is; het hangt ervan af hoe "ruizig" of onzeker het model op elk gegeven moment is. Denk aan het maken van een tekening: wanneer je een ruwe schets maakt, zijn je fouten groot en structureel (zoals het hoofd te groot maken). Wanneer je de laatste details toevoegt, zijn je fouten klein (zoals een scheef wenkbrauwje). Eerdere methoden probeerden fouten te herstellen door willekeurige "oefenfouten" tijdens de training tegen de AI te gooien, maar ze gaven niet om welk type fout het was. Ze probeerden misschien een kleine fout aan een wenkbrauw te herstellen met een enorme correctie ter grootte van een hoofd, wat de boel alleen maar erger maakte.

Vorch-Director verandert het spel door ruis-bewust (noise-aware) te zijn. Het systeem houdt een bibliotheek bij van de eigen fouten van de AI, maar labelt elke fout met het specifieke "ruisniveau" waarbij deze werd gemaakt. Wanneer de AI leert om een nieuwe scène te genereren, kijkt het systeem naar hoe onzeker de AI op dat moment is. Als de AI zich in een "ruwe schets"-fase bevindt (hoge ruis), voert het systeem grote, structurele fouten in om te oefenen met het corrigeren daarvan. Als de AI in een "fijne details"-fase zit (lage ruis), voert het systeem kleine, subtiele fouten in. Dit zorgt ervoor dat de AI leert om de juiste problemen op het juiste moment te corrigeren.

Om dit werkbaar te maken voor lange verhalen, introduceerde het team ook een paar slimme trucjes. Ze creëerden een "clean anchor" (zuiver anker)—een korte, perfecte clip aan het begin van elk nieuw segment waar de AI naar kan kijken om te onthouden hoe de personages er echt uitzien, wat voorkomt dat ze in vreemde vormen veranderen. Ze gaven de AI ook speciale "naamkaartjes" (task embeddings), zodat de AI precies weet welk deel van de input het verhaal tot nu toe is, welk deel een referentiefoto is, en welk deel de nieuwe scène is die het moet creëren. Dit helpt de AI om personages er hetzelfde uit te laten zien, zelfs wanneer de camera naar een nieuwe hoek of een nieuwe locatie snijdt.

De resultaten zijn veelbelovend. Bij tests op benchmarks die ontworpen zijn om te meten hoe goed AI personages en verhalen in de loop van de tijd consistent houdt, vertoonde Vorch-Director aanzienlijk minder "drift" dan andere topmodellen. In tests met video's van een minuut lang met gesynchroniseerde audio, hield het nieuwe model gezichten herkenbaar en stemmen stabiel, terwijl andere modellen vaak resulteerden in personages die veranderden in vreemde klodders of stemmen die onverstaanbaar werden. Hoewel de paper opmerkt dat er nog steeds ruimte is voor verbetering—vooral in het evenaren van de consistentie van visuele-alleen modellen—suggereert de nieuwe methode dat door het type fout te matchen met de fase van generatie, we AI kunnen leren om veel langere, meer coherente en meer realistische verhalen te vertellen zonder onderweg zijn verstand te verliezen.

Technische Samenvatting: Vorch-Director

Probleemstelling

Autoregressieve continuatie biedt een pad naar het genereren van audio-visuele content van minutenlange duur door een generator met een kort venster herhaaldelijk uit te breiden. Echter, een kritieke train-test mismatch (exposure bias) belemmert deze aanpak. Tijdens de training wordt het model geconditioneerd op schone grondwaarheid-historieën (teacher forcing), terwijl het tijdens de inferentie vertrouwt op zijn eigen eerder gegenereerde outputs. Dit recursieve hergebruik van imperfecte voorspellingen leidt tot de accumulatie van fouten, wat zich manifesteert als identiteitsdrift, overmatige smoothing, bewegingsinconsistentie en audio-visuele desynchronisatie over lange temporele horizonten.

Bestaande oplossingen proberen dit te mitigeren via geheugenretrieval (wat een schone context veronderstelt) of self-rollout training (wat computationeel duur is). Recente lichtgewicht benaderingen, zoals Matrix-Game, injecteren voorspellingsresiduen in de conditionerende historie om fouten tijdens de inferentie te simuleren tijdens de training. Deze methoden negeren echter een fundamentele eigenschap van diffusiemodellen: voorspellingsresiduen zijn inherent afhankelijk van het ruisniveau ( $\sigma$ ) van de flow-matching waarbij ze zijn geproduceerd. Residuen met een hoge $\sigma$ vertegenwoordigen grove structurele afwijkingen, terwijl residuen met een lage $\sigma$ fijne detailfouten vastleggen. Het ongecontroleerd hergebruiken van residuen over verschillende ruisregimes resulteert in ofwel onder-corruptie of over-corruptie van de historie, waardoor de werkelijke inferentie-distributie niet getrouw wordt gereproduceerd.

Daarnaast introduceert generatie over lange termijn problemen met positionele extrapolatie. Standaard continuatiemodellen vertrouwen op continue positionele indices die meegroeien met de generatielengte, waardoor het model gedwongen wordt te extrapoleren buiten de trainingsbereiken. Dit creëert een tweede bron van exposure bias.

Methodologie: Vorch-Director

Vorch-Director pakt deze uitdagingen aan via een ruis-bewuste foutrectificatiestrategie gebouwd op de LTX-2 audio-visuele Diffusion Transformer (DiT).

1. $\sigma$ -Bewuste Residue-injectie

De kerninnovatie is een strategie die geïnjecteerde fouten afstemt op het denoising-proces:

Residue-verzameling: Tijdens de training worden reconstructieresiduen ( $\delta = \hat{x}_0 - x_0$ ) verzameld uit doel-tokens en opgeslagen in een ringbuffer. Cruciaal is dat elk residu wordt getagd met het ruisniveau $\sigma$ waarbij het is gegenereerd.
Ruis-gematchte Sampling: Wanneer de conditionerende historie voor een specifieke denoising-stap met ruisniveau $\sigma$ wordt verstoord, samplet het systeem residuen uit de buffer waar het opgeslagen ruisniveau $\sigma'$ voldoet aan $|\sigma' - \sigma| \leq \tau_\sigma$ .
Injectie: Deze gematchte residuen worden in de historie-tokens geïnjecteerd met een sterkte $\gamma$ (gesampled uit $U(0.9, 1.2)$ ). Dit zorgt ervoor dat de "gecorrumpeerde" historie die aan het model wordt gepresenteerd tijdens de training, het specifieke foutenregime nabootst dat het model momenteel leert te denoisen, in plaats van willekeurige ruis toe te passen.

2. Conditionering-stabilisatie en Taak-embeddings

Om totale instorting door foutinjectie te voorkomen en de complexiteit van multi-shot scenario's aan te kunnen:

Clean Conditioning Sink: Een korte, onverstoorde window (1 seconde) van de historie wordt toegevoegd als een "sink" ( $\tau_{sink}$ ). Dit biedt een stabiel, schoon anker waar het model naar kan refereren, wat identiteitsdrift voorkomt terwijl de rest van de historie ( $\tau_{hist}$ ) gecorrumpeerd is.
Taak-embeddings: Om positionele extrapolatie op te lossen, gebruikt het model lichtgewicht taak-embeddings ( $e_\tau$ ) om de rollen van tokens te onderscheiden (Target, History, Sink, Referentiebeelden, Referentie-audio) in plaats van enkel te vertrouwen op groeiende positionele indices. Dit maakt het mogelijk om positionele indices te resetten voor nieuwe segmenten terwijl de temporele consistentie behouden blijft, waardoor semantische rollen worden ontkoppeld van de absolute positie.
Uniform Prompt Template: Een gestructureerd prompt-template koppelt subject-referenties (beelden en audio) en shot-beschrijvingen, waardoor één enkel model taken van text-to-video, image-to-video en audio-visuele continuatie kan afhandelen.

3. Trainingsdoelstelling

Het model wordt getraind op een vierwegse mixed-task corpus (elk 25%):

Video-continuatie (alleen historie).
Continuatie + Beeld (historie + subject-referenties).
Subject-IP (generatie gedreven door referentie-afbeelding).
Audio-visuele continuatie (historie video/audio + referenties).

De verliesfunctie is een gemaskeerde flow-matching loss die alleen wordt toegepast op de doel-tokens, wat ervoor zorgt dat het supervisiesignaal schoon blijft terwijl de context-distributie overeenkomt met de inferentiecondities.

Belangrijkste Bijdragen

$\sigma$ -Bewuste Residue-injectie: Een strategie die voorspellingsresiduen afstemt op het corresponderende flow-matching ruisniveau, wat de exposure bias in autoregressieve diffusiegeneratie aanzienlijk vermindert.
Uniforme Conditionering-interface: Een lichtgewicht taak-embedding systeem dat historische video, referentiebeelden en doelvideo onderscheidt, wat het hergebruik van positionele codering over continuatiestappen mogelijk maakt en positionele extrapolatie-bias elimineert.
Geïntegreerd Framework: Een LTX-2-gebaseerd framework dat de voorgestelde trainingsstrategie combineert met mixed-task training, ondersteuning biedt voor multi-shot, multi-subject en referentie-gestuurde audio-visuele generatie binnen één enkel model.
Nieuwe Benchmarking: Evaluatie op ST-Bench en de introductie van een nieuwe long-horizon audio-visuele benchmark met Anchor-relative Consistency (ARC) en Reappear metrieken, die progressieve degradatie beter karakteriseren dan standaard naburige-shot evaluaties.

Resultaten

Uit uitgebreide experimenten blijkt dat Vorch-Director de stabiliteit en audio-visuele getrouwheid verbetert ten opzichte van sterke baselines:

ST-Bench (Multi-shot Story): Vorch-Director voert alle vier de cross-shot consistentie-metrieken met een ruime marge aan. Opvallend genoeg behaalt het een ViCLIP score van 0.7887 vergeleken met de beste baseline (JoyAI-Echo) op 0.5900. Het presteert ook aanzienlijk beter dan baselines op lange-termijn identiteitsmaten (ARC: 0.6570 vs. 0.3961; Reappear: 0.6648 vs. 0.4114).
UnityShots (T2V & R2V): In Text-to-Video (T2V) settings leidt Vorch-Director in ViCLIP, ARC en Reappear. In Reference-to-Video (R2V) settings leidt het de sterkste baseline op alle vier de consistentie-metrieken.
Long Audio-Visual Benchmark: In een 22-shot, minutenlange generatietaak met gesynchroniseerde audio:
- Vorch-Director verbetert elke cross-shot consistentie-metriek ten opzichte van de audio-visuele baseline JoyAI-Echo (bijv. ViCLIP 0.6269 vs. 0.4922).
- Hoewel visuele-only baselines (StoryMem, Memento) hogere scores laten zien op sommige gelijkenis-metrieken, merkt het paper op dat deze systemen geen audio genereren (een strikt makkelijker probleem oplossen) en minder inter-frame beweging vertonen, wat de gelijkenis-scores opblaast.
- Kwalitatief gezien behoudt Vorch-Director de herkenbaarheid van de protagonist en de scène-getrouwheid over 22 shots zonder de chromatische corruptie of identiteitsinstorting die te zien is bij baselines zoals Memento en StoryMem.

Betekenis en Claims

Het paper claimt dat de primaire hindernis voor audio-visuele generatie van minutenlange duur niet de contextlengte zelf is, maar de historie-mismatch veroorzaakt door exposure bias. Door geïnjecteerde fouten af te stemmen op het denoising-proces via ruisniveau-bewustzijn, produceert Vorch-Director meer realistische autoregressieve historieën terwijl de efficiëntie van teacher-forcing training behouden blijft.

De auteurs positioneren Vorch-Director als een orthogonale verbetering aan bestaande geheugen- en gating-mechanismen; in plaats van te beslissen welke historie moet worden opgehaald, maakt het het basis-continuatiemodel robuust tegen imperfect opgehaalde of gegenereerde historie. Het werk demonstreert dat een enkel model complexe, multi-shot, multi-subject en gesynchroniseerde audio-visuele generatie kan ondersteunen, waarbij de drift- en desynchronisatieproblemen die de huidige autoregressieve videogeneratie beperken, worden aangepakt. Het paper merkt bescheiden op dat het dichten van de kloof met visuele-only systemen terwijl gesynchroniseerde audio behouden blijft een openstaande uitdaging is, maar Vorch-Director vormt een belangrijke stap naar stabiele, langdurige generatie.