💻 computer science

Goodbye Drift: Anchored Tree Sampling for Long-Horizon Video-to-Video Generation

Dit artikel introduceert Anchored Tree Sampling (ATS), een trainingsvrije inferentieplanner die drift en continuïteitsproblemen op lange termijn in video's mitigeert door sequentiële autoregressieve rollouts te vervangen door een hiërarchische, ankergebonden imputatiestrategie, waardoor superieure kwaliteit en stabiliteit worden bereikt bij video-naar-videogeneratie met een statische camera.

Oorspronkelijke auteurs: Matthew Bendel, Stephen W. Bailey, Mithilesh Vaidya, Sumukh Badam, Xingzhe He

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Matthew Bendel, Stephen W. Bailey, Mithilesh Vaidya, Sumukh Badam, Xingzhe He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorm muurschildering van 40 minuten te schilderen, maar je hebt slechts een klein doek dat op elk moment maar 10 seconden aan kunst past.

De Oude Weg (Autoregressieve Generatie): Het "Domino-effect"
Momenteel werken de meeste AI-videogeneratoren als een rij dominostenen. Om een lang video te maken, schildert de AI eerst 10 seconden, gebruikt die schildering om te raden hoe de volgende 10 seconden eruit moeten zien, gebruikt dat om de volgende te raden, en zo verder.

Het paper noemt dit "Drift". Net als bij het spel "Telefoontje" gebeuren er in elk blok van 10 seconden kleine fouten. Tegen de tijd dat de AI minuut 30 bereikt, kan het gezicht van het personage zijn veranderd in een monster, kan de achtergrond van kleur zijn veranderd, of kan het verhaal zijn plot zijn verloren. De AI moet ook wachten tot het vorige blok klaar is voordat het volgende begint, wat het proces zeer traag maakt.

De Nieuwe Weg (Verankerde Boom-Stalsteekproef): Het "Bouwsteiger"
De auteurs, van Descript, Inc., stellen een slimmere manier voor genaamd Anchored Tree Sampling (ATS). In plaats van het muurschildering één klein strookje tegelijk te schilderen, bouwen ze een steiger.

Zo werkt het, met een bouw-analogie:

De Root Call (Het Plaatsen van de Palen): Eerst kijkt de AI naar het hele verhaal van 40 minuten in één keer. Het probeert niet elk frame te schilderen. In plaats daarvan plaatst het een paar "ankerpalen" (spaarzame frames) op cruciale momenten: het zeer begin, het zeer einde, en een paar plekken ertussen. Denk aan deze als de belangrijkste pijlers die een brug dragen.
De Verfijning (Het Opvullen van de Gaten): Nu kijkt de AI naar de opening tussen de eerste paal en de tweede paal. Het schildert de ruimte tussen hen, wetende precies hoe het begin en het einde eruitzien. Het doet hetzelfde voor de opening tussen de tweede en derde paal.
De Bladeren (De Einddetails): Tot slot vult het de kleine gaten op tussen die nieuw geschilderde secties in totdat de hele video compleet is.

Waarom Dit Een Game-Changer Is

Geen Drift Meer: Omdat elke sectie van de video "verankerd" is door een bekend start- en eindpunt, kan de AI niet afdwalen. Als je het zegt om een rode auto aan het begin en een rode auto aan het einde te schilderen, zal het de auto rood houden in het midden. Het hoeft niet te raden op basis van een wazig, foutenrijk vorig frame.
Super Snelheid: De oude manier is als een enkele persoon die een muur schildert van links naar rechts. De nieuwe manier is als een team van schilders. Zodra de "palen" zijn geplaatst, kunnen verschillende teams de verschillende secties van de muur tegelijkertijd schilderen. Dit maakt het genereren van lange video's veel sneller.
Consistentie: De video blijft trouw aan de oorspronkelijke instructies (zoals een specifieke houding of randtekening) van begin tot einde zonder dat het personage plotseling van kleding verandert of de achtergrond verschuift.

Waar Het Het Beste Werkt (en Waar Het Strijdt)
Het paper toont aan dat deze methode ongelooflijk goed werkt voor statische camera video's (waar de camera niet wild rond beweegt, zoals een persoon die tegen de camera praat of een vaste shot van een scène). In deze gevallen kan de AI de "ankerpalen" gemakkelijk voorspellen omdat de achtergrond niet veel verandert.

Echter, de auteurs erkennen dat het nu beperkingen heeft:

Dynamische Camera's: Als de camera door een stad vliegt of ronddraait, heeft de AI soms moeite om de "ankerpalen" correct te raden omdat het beeld te veel verandert.
Nieuwe Personages: Als een nieuw object of persoon in het midden van de video verschijnt dat niet in de start- of eind-"ankers" zat, kan de AI het iets anders tekenen dan als het eerder was verschenen.
Tekst-naar-Video: Momenteel werkt dit het beste als je de AI een video geeft om te wijzigen (Video-naar-Video). Het is moeilijker te gebruiken als je gewoon een tekstprompt typt, omdat de AI die "ankerpalen" nodig heeft om mee te beginnen.

Het Conclusie
Het paper introduceert een "boom"-structuur die lange video's opsplitst in beheersbare, verbonden blokken. Door de video op specifieke punten te verankeren en de gaten parallel op te vullen, hebben ze het probleem opgelost dat video's na verloop van tijd "slordig" worden en het proces aanzienlijk sneller gemaakt. Ze hebben succesvol 40 minuten lange video's gegenereerd die consistent en van hoge kwaliteit bleven, iets waar eerdere methoden moeite mee hadden zonder fouten.

Technische Samenvatting: Verankerde Boomstalen voor Video-naar-Video-Generatie op Lange Termijn

1. Probleemstelling

Video-generatie op lange termijn, en met name in het regime Video-naar-Video (V2V), staat voor twee primaire, verweven uitdagingen: drift en continuïteitsproblemen.

Drift: Naarmate de generatie in de tijd vordert, versterken fouten elkaar, wat leidt tot een verslechtering van de videokwaliteit (bijvoorbeeld verschuivende kleuren, texturen en contrast).
Continuïteitsproblemen: Deze manifesteren zich als een gebrek aan objectpermanentie of inconsistente weergave van voorbijgaande inhoud (bijvoorbeeld een object dat opnieuw verschijnt met een andere stijl of kleur).

Huidige oplossingen vertrouwen voornamelijk op autoregressieve (AR) distillatie, waarbij bidirectionele modellen worden omgezet in causale generators. Hoewel deze methoden proberen sequentiële rollouts te stabiliseren, lijden ze onder inherente beperkingen:

Afhankelijkheid van Horizon-schaling: Fouten in één chunk conditioneren de volgende, waardoor drift lineair oploopt met de tijd.
Sequentiële Rollout: Generatie moet stap-voor-stap plaatsvinden, wat resulteert in een lineaire toename van de wandkloktijd, ongeacht de beschikbare hardware.
Reset-artefacten: Om het geheugen te beheren, voeren AR-systemen vaak KV-cache-resetten uit. Deze resets werpen de geaccumuleerde staat weg, wat leidt tot "springerige" discontinuïteiten in objectidentiteit en scenetoestand.

Bovendien richt bestaand werk voor lange vormen zich sterk op Tekst-naar-Video (T2V). Lange vormen V2V, waarbij een dichte per-frame conditioneringssignaal (bijvoorbeeld pose, diepte, randen) van tevoren bekend is, blijft onderbelicht. De auteurs betogen dat als de volledige conditionering $c_{1:T}$ bekend is, het volharden in een causale (links-naar-rechts) rollout onnodig is.

2. Methodologie: Verankerde Boomstalen (ATS)

Het artikel stelt Verankerde Boomstalen (ATS) voor, een trainingsvrije scheduler voor inferentietijd die sequentiële AR-rollout vervangt door een sparse-naar-dense, anker-gebonden imputatiestrategie die als een boom is georganiseerd.

Kernmechanisme

ATS maakt gebruik van een "tweezijdig" primitief (Vergelijking 2), waarbij een model een span $x_{a:b}$ genereert die is geconditioneerd op zowel een startanker $A_a$ als een eindanker $A_b$ , naast de intermediaire conditionering $c_{a:b}$ . Dit stelt het model in staat om inhoud bidirectioneel in te vullen in plaats van causaal.

Het generatieproces is hiërarchisch georganiseerd:

Root-call (Sparse Ankers): Een enkele call genereert sparse "ankers" (sleutelframes of korte clips) die de volledige horizon $T$ beslaan. In het regime van statische camera's worden deze ankers direct afgeleid van het dichte conditioneringssignaal zonder hertraining.
Recursieve Verfijning (Intermediaire Ankers): De boom wordt verfijnd door nieuwe ankers te genereren tussen bestaande. Als een interval te groot is voor het contextvenster van het model, worden intermediaire ankers ingevoegd.
Leaf-generatie (Dense Frames): De laatste stap synthetiseert dense frames tussen naburige ankers. Deze "leaf"-spans worden aan beide kanten begrensd door ankers.

Belangrijkste Eigenschappen

Top-down Factorisatie: Het afhankelijkheidsdiagram is top-down (Root $\to$ Verfijning $\to$ Leaves) in plaats van links-naar-rechts.
Parallelisme: Zusterknooppunten op hetzelfde boomniveau zijn conditioneel onafhankelijk, gegeven hun ouder-ankers. Dit maakt parallelle uitvoering over meerdere GPU's mogelijk.
Trainingsvrij: ATS wijzigt de gewichten van het basismodel niet. Het behandelt de voorgetrainde bidirectionele generator als een black-box primitief.
Aannames voor Statische Camera: De huidige implementatie gaat uit van een statische camera waarbij sparse en dense conditionering bijna identiek zijn, waardoor het basismodel "out-of-the-box" schone sparse ankers kan produceren.

Complexiteit en Latentie

Autoregressief (AR): Latentie schaalt lineair met het aantal chunks $K$ ( $T_{AR} \approx K \cdot \tau_{call}$ ).
ATS: Latentie schaalt logaritmisch met de horizon-diepte $L$ ( $T_{tree} \approx (L+1) \cdot \tau_{call}$ ).
Driftmitigatie: Door elke generatiestap te begrenzen tussen twee ankers, wordt drift beperkt tot de span van het ankerpaar in plaats van zich te versterken over de volledige video.

3. Experimentele Resultaten

De auteurs evalueerden ATS op Wan 2.1 + VACE (een bidirectionele V2V-ruggengraat) tegen twee hedendaagse autoregressieve baselines: LongLive en Reward Forcing.

Opzet

Taak: 30 minuten V2V-generatie over vijf conditioneringsmodaliteiten: inpainting, outpainting, rand, pose en diepte.
Metingen: Esthetische Kwaliteit (AQ) en Beeldkwaliteit (IQ) van VBench-1.0, gemeten globaal, als "chunk drift" (verslechtering binnen de cache) en als "reset jump" (discontinuïteit bij cache-resetten).

Belangrijkste Bevindingen

Kwaliteitsverbetering: ATS presteerde beter dan beide AR-baselines in globale kwaliteit.
- T.o.v. LongLive: +4.0 AQ / +6.6 IQ.
- T.o.v. Reward Forcing: +5.7 AQ / +6.2 IQ.
Eliminatie van Drift:
- Chunk Drift: AR-methoden vertoonden significante kwaliteitsverslechtering binnen cachevensters. ATS effende dit, waardoor consistente kwaliteit over chunks werd behouden.
- Reset Jump: AR-methoden vertoonden grote discontinuïteiten bij cache-resetten. ATS elimineerde deze sprongen volledig.
Snelheid: Door parallelisatie bereikte ATS 5.3x snellere generatie dan de beste AR-baseline voor een video van 2000 seconden. Het bereikte sneller-dan-realtime prestaties (3.3x) met slechts 8 GPU's.
Stabiliteit op Lange Termijn: De auteurs demonstreerden stabiele generatie van $\ge$ 40 minuten video's op LTX-2.3 over alle vijf modaliteiten, zonder waarneembare horizon-schaling inhoudsdrift.

4. Beperkingen en Toekomstige Richtingen

Het artikel erkent expliciet beperkingen in de huidige implementatie voor statische camera's:

Ankervergiftiging: Een enkel slecht anker (bijvoorbeeld bij de root) corrumpeert de volledige onderliggende boom. Dit is minder kritiek voor statische camera's maar problematisch voor dynamische camera's waar sparse generatie moeilijker is.
Zwakke Bewegingsgeleiding: Voor zwakke bewegingssignalen (bijvoorbeeld dieptekaarten) zijn enkele sleutelframes onvoldoende; multi-frame video-ankers zijn vereist.
Consistentiekloven: ATS garandeert temporele coherentie binnen begrenste spans, maar dwingt niet inherent identiteit af voor objecten die tussen ankers verschijnen (objecten buiten beeld), tenzij ze expliciet worden getrackt.
Niet-V2V Generalisatie: De huidige methode vertrouwt op een dichte bronsignaal om sparse ankers te genereren. Het generaliseert nog niet naar pure Tekst-naar-Video (T2V) of dynamische camera-regimes waarbij het model sparse inhoud moet hallucineren zonder een dichte gids.

Voorgestelde Weg Voorwaarts

De auteurs stellen drie structurele extensies voor om ATS te generaliseren:

Specialist voor Sparse-Generatie: Introduceer een dedicated model (vergelijkbaar met de sleutelframe-generator van DCARL) om sparse ankers te produceren voor T2V en dynamische camera's, waardoor de afhankelijkheid van de root-call van dichte conditionering wordt vervangen.
Semantische DAG: Vervang de strikt temporele boom door een Gerichte Acyclische Grafiek (DAG) geïndexeerd op semantische constraints (bijvoorbeeld karakteridentiteit, sceneschakelingen) in plaats van alleen tijd, waardoor niet-aangrenzende leaves constraints kunnen delen.
Referentie-gebaseerde Conditionering: Gebruik expliciete referentie-invoer (afbeeldingen/clips) om continuïteit over de volledige duur af te dwingen, waardoor de drift die inherent is aan suffix-gebaseerd geheugen wordt omzeild.

5. Betekenis

Het artikel beweert dat ATS een significante verschuiving vertegenwoordigt in de strategie voor generatie op lange termijn. Door het planningsprobleem te ontkoppelen van het modelleringprobleem, bereikt ATS:

Driftpreventie: Het omzetten van horizon-versterkende drift in anker-gebonden drift.
Continuïteit: Het elimineren van de "springerige" artefacten veroorzaakt door AR-cache-resetten.
Efficiëntie: Het reduceren van het kritieke pad van lineair naar logaritmisch, waardoor enorme snelheidswinsten mogelijk worden door parallelisme.
Schaalbaarheid: Het demonstreren van het eerste niet-avatar framework dat in staat is tot coherente, drift-vrije generatie die de uur-schaal benadert (40+ minuten) zonder het basismodel opnieuw te trainen.

Het werk concludeert dat, hoewel momenteel geoptimaliseerd voor statische camera V2V, het boom-gebaseerde, bidirectionele paradigma een robuuste basis biedt voor het uitbreiden van generatie voor lange vormen naar dynamische en tekst-gedreven regimes.