💻 computer science

InfinityStory: Unlimited Video Generation with World Consistency and Character-Aware Shot Transitions

Het paper introduceert InfinityStory, een nieuw raamwerk, dataset en model dat langdurige verhalen met visuele consistentie genereert door achtergrondstabiliteit, naadloze overgangen voor meerdere onderwerpen en schaalbaarheid tot uurlange verhalen te combineren.

Oorspronkelijke auteurs: Mohamed Elmoghany, Liangbing Zhao, Xiaoqian Shen, Subhojyoti Mukherjee, Yang Zhou, Gang Wu, Viet Dac Lai, Seunghyun Yoon, Ryan Rossi, Abdullah Rashwan, Puneet Mathur, Varun Manjunatha, Daksh Dangi, Ch

Gepubliceerd 2026-03-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Elmoghany, Liangbing Zhao, Xiaoqian Shen, Subhojyoti Mukherjee, Yang Zhou, Gang Wu, Viet Dac Lai, Seunghyun Yoon, Ryan Rossi, Abdullah Rashwan, Puneet Mathur, Varun Manjunatha, Daksh Dangi, Chien Nguyen, Nedim Lipka, Trung Bui, Krishna Kumar Singh, Ruiyi Zhang, Xiaolei Huang, Jaemin Cho, Yu Wang, Namyong Park, Zhengzhong Tu, Hongjie Chen, Hoda Eldardiry, Nesreen Ahmed, Thien Nguyen, Dinesh Manocha, Mohamed Elhoseiny, Franck Dernoncourt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een regisseur bent die een hele lange film wil maken, maar in plaats van acteurs en camera's, gebruik je een kunstmatige intelligentie (AI). Tot nu toe was dit als proberen een lange film te maken met een magische toverstaf die alleen korte, losse clips kan maken. Als je die clips aan elkaar plakte, zag je dat de achtergrond elke keer veranderde (een boom verdween, de lucht veranderde van kleur) en personages plotseling verschenen of verdwenen alsof ze geestkracht hadden.

Het paper "InfinityStory" introduceert een nieuwe manier om dit op te lossen. Het is als het bouwen van een onverbrekelijke, magische filmset waar alles consistent blijft, hoe lang de film ook duurt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zwevende Set"

Stel je een toneelstuk voor. Normaal gesproken heb je één vaste set (bijvoorbeeld een kasteel). Als de acteurs de scène verlaten en terugkomen, is het kasteel nog steeds hetzelfde.
Bij oude AI-filmmakers was het alsof de set elke seconde werd herbouwd door een nieuwe, onvoorspelbare architect.

Het probleem: Als je een personage uit de ene scène naar de volgende laat lopen, zag de AI de achtergrond soms als een bos, en toen plotseling als een stad. Of een personage verdween in de lucht en kwam terug als een ander persoon. Dit heet "scene drift" (de scène drijft weg) en "jarring cuts" (schokkende overgangen).

2. De Oplossing: De "Onveranderlijke Achtergrond"

InfinityStory lost dit op met een slimme truc: Locatie-injectie.

De Analogie: Stel je voor dat je een fotolijst hebt die je op de muur hangt. Die lijst (de achtergrond) wordt gemaakt voordat de acteurs (de personages) erin stappen.
Hoe de acteurs zich ook bewegen, rennen of dansen binnen die lijst, de muur en het landschap erachter veranderen nooit.
De AI maakt eerst een perfecte foto van de locatie (bijv. "een regenachtig bos"). Daarna plakt de AI de personages op die foto. Omdat de achtergrond vaststaat, ziet de kijker nooit dat het bos verandert in een woestijn, zelfs niet na 100 shots.

3. De Magische Overgangen: De "Draaideur"

Het tweede grote probleem was hoe personages de scène in en uit gaan. Oude AI's lieten ze soms "poppen" (plotseling verschijnen) of verdwijnen.

De Analogie: Stel je een draaideur voor in een druk station. Mensen lopen rustig naar binnen en lopen rustig naar buiten. Niemand verdwijnt in een wolk van rook.
InfinityStory heeft een speciale "draaideur-machine" (een model genaamd FLF2V). Deze machine is getraind op duizenden voorbeelden van hoe mensen soepel binnenlopen, weglopen of elkaar vervangen.
Als personage A de kamer uitloopt en personage B binnenkomt, zorgt deze machine ervoor dat je ze beide ziet bewegen in één vloeiende beweging, in plaats van een harde knip in de film.

4. Het Regisseurs-Team: De "Multi-Agenten"

Hoe zorgt de AI ervoor dat het verhaal logisch blijft? InfinityStory gebruikt geen één robot, maar een team van digitale regisseurs (multi-agenten):

De Schrijver: Bedenkt het verhaal en de hoofdstukken.
De Locatie-manager: Zorgt dat alle scènes in hetzelfde dorp of kasteel spelen en maakt de "fotolijsten" (achtergronden) aan.
De Regisseur: Zegt precies welke personages waar moeten staan en hoe ze moeten bewegen.
De Editor: Plakt de clips zo aan elkaar dat de overgangen (de draaideuren) perfect zijn.

Elke agent heeft een specifieke taak, net als in een echt filmteam, zodat niemand de boel verpest.

5. De Resultaten: De "Perfecte Film"

De makers hebben hun systeem getest op een benchmark (een soort examen voor videomakers).

Het resultaat: InfinityStory scoorde het hoogst op consistentie. De achtergronden bleven stabiel, en de personages veranderden niet van uiterlijk of verdwenen zomaar.
Het is alsof je van een wazige, dromerige droom (oude AI) bent gegaan naar een scherpe, professionele film waar alles klopt, zelfs als de film een uur lang duurt.

Samenvatting in één zin

InfinityStory is als het geven van een onverbrekelijke set en een professionele regisseur aan een AI, zodat het niet meer droomt over willekeurige beelden, maar een echte, vloeiende film maakt waar de wereld en de personages betrouwbaar blijven.

Probleemstelling

Het genereren van lange, verhalende video's met een consistente visuele narratieven blijft een grote uitdaging in de huidige generatieve AI. Bestaande methoden kampen met drie kritieke beperkingen:

Inconsistentie van achtergronden: Wanneer scènes worden gegenereerd, veranderen achtergronden vaak onbedoeld tussen shots (scene drift), waardoor de locatie en sfeer niet stabiel blijven.
Gebrek aan vloeiende overgangen: Bestaande pipelines genereren vaak losse clips die aan elkaar worden geplakt. Dit resulteert in schokkende edits waarbij personages plotseling verschijnen of verdwijnen, vooral bij complexe scenario's met meerdere onderwerpen (multi-subject).
Schalbaarheid: De meeste systemen zijn beperkt tot korte clips (4-16 seconden) en kunnen geen uur lange verhalen genereren met behoud van structuur en visuele coherentie.

Methodologie: InfinityStory Framework

InfinityStory is een end-to-end framework dat lange video's genereert via een hiërarchisch multi-agent systeem, gefocust op twee kerninnovaties: locatie-gebaseerde achtergrondinjectie en cinematische multi-personen overgangen.

1. Hiërarchisch Multi-Agent Planning

Het systeem deconstructeert een hoog-niveau verhaal in een gestructureerde pipeline:

Chapter Agent: Breekt het verhaal op in hoofdstukken en definieert karakterrelaties.
Location Agent: Creëert een vaste bibliotheek van locaties (bijv. "Kasteel", "Bos") met specifieke achtergrondbeschrijvingen. Elke scène wordt strikt aan één locatie gebonden om consistentie te garanderen.
Scene Agent: Koppelt scènes aan specifieke locaties en bepaalt welke personages er voorkomen.
Shot Agent: Deelt scènes op in shots met een afwisselend patroon:
- Ongelijke shots (1, 3, 5...): Genereren narratieve inhoud via Image-to-Video (I2V).
- Even shots (2, 4, 6...): Genereren vloeiende overgangen via First-Last-Frame-to-Video (FLF2V).

2. Achtergrondconsistentie via Locatie-injectie

Om scene drift te voorkomen, wordt een vaste achtergrond gegenereerd voor elke locatie.

Een Text-to-Image (T2I) model genereert een canonieke achtergrond ( $B_\ell$ ) voor elke locatie.
Voor elke shot wordt een keyframe samengesteld door deze achtergrond te fuseren met karakterreferentie-afbeeldingen via een Image-to-Image (I2I) model.
Dit gefuseerde keyframe dient als anker voor de I2V-generatie, waardoor de achtergrond over alle shots binnen een scène identiek blijft.

3. Cinematic Multi-Subject Transition Synthesis (CMTS)

Om abrupte verschijningen of verdwijningen van personages te voorkomen, introduceert het paper een nieuw model voor overgangen.

Dataset: Er is een synthetische dataset van 10.000 video's gegenereerd die specifieke overgangsscenario's dekken: entry (instappen), exit (uitstappen), replacement (vervanging) en no change.
Filtering: Een Vision-Language Model (VLM) filtert de gegenereerde video's strikt op het juiste aantal personages in het eerste en laatste frame.
Training: Een FLF2V-model (gebaseerd op Wan2.1-14B) wordt gefinetuned op deze dataset. Het model gebruikt expliciete metadata ( $\tau_k$ ) over hoe personages de scène binnenkomen of verlaten, wat zorgt voor vloeiende, choreografische overgangen in plaats van sprongen.

Belangrijkste Bijdragen

Cinematic Multi-Subject Transition Synthesis (CMTS): De eerste methode die systematisch vloeiende shot-overgangen voor meerdere personages adresseert, inclusief bewegingstypes (instap/uitstap), met een bijbehorende synthetische dataset van 10.000 video's.
Schalbaar Framework voor Uur Lange Video's: Een end-to-end systeem dat honderden shots kan genereren met behoud van verhaalstructuur en cinematografische coherentie.
Achtergrond-Consistente Pipeline: Een generatieproces dat achtergrondbehoud ontkoppelt van voorgrond-dynamica door middel van persistente locatie-injectie en selectieve cross-shot geheugengating.

Resultaten

Het model is geëvalueerd op de VBench-benchmark en presteert superieur aan state-of-the-art baselines (zoals MovieAgent, StoryAdapter, en VideoGen-of-Thought).

Achtergrondconsistentie: 88,94 (Hoogste score).
Subjectconsistentie: 82,11 (Hoogste score).
Gemiddelde Ranking: 2,80 (Beste overall ranking).
Ablatiestudies: Het verwijderen van achtergrondinjectie leidde tot een daling van 3,6 punten in subjectconsistentie en 1,6 punten in achtergrondconsistentie. Het uitschakelen van multi-personen overgangen resulteerde in minder vloeiende bewegingen en lagere esthetische scores.

Opmerking: De scores voor beeldkwaliteit en esthetiek zijn iets lager dan sommige baselines, wat wordt toegeschreven aan de 480p resolutie van de pipeline (tegenover 720p bij de onderliggende generator) en visuele artefacten door het bewerkingsproces.

Betekenis en Conclusie

InfinityStory markeert een doorbraak in het genereren van lange, cinematografische video's. Door expliciete locatie-binding en gesuperviseerde multi-personen overgangen op te lossen, lost het systeem fundamentele problemen op zoals "scene drift" en abrupte karakterveranderingen. Het paper bewijst dat het mogelijk is om uur lange verhalen te genereren met een hoge mate van visuele stabiliteit en vloeiende cinematografische overgangen, wat de basis legt voor toekomstige systemen die rijkere en langere narratieve ervaringen kunnen creëren.