💬 NLP

CANVAS: Continuity-Aware Narratives via Visual Agentic Storyboarding

Het paper introduceert CANVAS, een multi-agent framework dat de visuele continuïteit in langdurige verhaallijnen verbetert door expliciete planning van personages, achtergronden en scène-overgangen, wat resulteert in aanzienlijk betere consistentie dan bestaande methoden.

Oorspronkelijke auteurs: Ishani Mondal, Yiwen Song, Mihir Parmar, Palash Goyal, Jordan Boyd-Graber, Tomas Pfister, Yale Song

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ishani Mondal, Yiwen Song, Mihir Parmar, Palash Goyal, Jordan Boyd-Graber, Tomas Pfister, Yale Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

CANVAS: De Regisseur die Nooit Vergeet

Stel je voor dat je een film maakt, maar in plaats van acteurs en camera's, gebruik je een kunstmatige intelligentie (AI) om elke scène te tekenen. Het probleem? Deze AI is geweldig in het maken van prachtige plaatjes, maar ze heeft een heel slecht geheugen voor de details.

Als je haar vraagt om een verhaal te vertellen, gebeurt er vaak dit:

In scène 1 heeft de held een blauwe jas aan.
In scène 5, waar hij terugkeert, draagt hij ineens een groene hoed en heeft hij een ander gezicht.
In scène 2 staat er een vaas op de tafel, maar in scène 6 is de vaas verdwenen, alsof hij nooit bestond.
De kamer ziet er in scène 1 uit als een museum, maar in scène 4 (terug in hetzelfde museum) zijn de muren ineens van een andere kleur en staat de deur aan de verkeerde kant.

Dit is wat er gebeurt met de huidige generatie AI-tools. Ze maken mooie plaatjes, maar het verhaal voelt rommelig en onlogisch.

CANVAS (Continuity-Aware Narratives via Visual Agentic Storyboarding) is de oplossing. Het is als een slimme filmregisseur die de hele productie in de gaten houdt.

Hier is hoe het werkt, in simpele termen:

1. De "Dagboeken" van de Regisseur (Wereld-Modellering)

Voordat de AI ook maar één plaatje tekent, maakt CANVAS een gedetailleerd plan. Het houdt drie soorten "dagboeken" bij:

Het Dagboek van de Personages: Wie is wie? Wat dragen ze? Als Lena in scène 3 een uniform aantrekt, staat dat erin. Als ze in scène 5 weer haar oude jurk aanheeft, weet de regisseur dat ze terug is naar de oude look.
Het Dagboek van de Locaties: Als we terugkeren naar het museum, weet CANVAS precies hoe de muren, de vloer en de vitrines eruitzagen. Het zorgt ervoor dat het museum er in scène 5 precies zo uitziet als in scène 1, tenzij er iets is veranderd (bijvoorbeeld: een vitrine is gebroken).
Het Dagboek van de Voorwerpen: Is de gouden schat gestolen? Dan staat er in het dagboek: "Schatten: Gestolen". Als de AI later een plaatje maakt, weet ze dat de vitrine leeg moet zijn. Ze maakt geen "geestelijke" schatten die plotseling weer verschijnen.

2. De "Ankers" (Geheugen)

Stel je voor dat je een verhaal vertelt en je wilt dat de luisteraar de personages herkent. Je zou kunnen zeggen: "Kijk, dit is de man met de blauwe jas."
CANVAS doet iets vergelijkbaars, maar dan visueel. Het maakt visuele ankers.

Als de AI voor het eerst een kamer tekent, slaat ze een foto van die kamer op als "anker".
Als ze later terugkeert naar die kamer, pakt ze die foto erbij en zegt: "Gebruik deze foto als basis, zodat de kamer er hetzelfde uitziet."
Dit voorkomt dat de kamer elke keer een andere vorm krijgt.

3. De "Kwaliteitscontrole" (De Vraagbaan)

Voordat CANVAS een plaatje definitief maakt, genereert ze eerst een paar versies. Dan doet ze alsof ze een strenge filmcriticus is. Ze stelt zichzelf vragen zoals:

"Draagt de held nog steeds zijn blauwe jas?"
"Is de vaas op de tafel nog steeds daar?"
"Ziet de deur er hetzelfde uit als in de vorige scène?"

Als een plaatje niet klopt met het dagboek, gooit ze het weg en kiest ze de versie die wél klopt. Pas dan wordt het plaatje definitief en wordt het dagboek bijgewerkt voor de volgende scène.

Waarom is dit belangrijk?

Zonder CANVAS is het maken van een lang verhaal met AI als het proberen om een puzzel te maken waarbij de stukjes elke keer van vorm veranderen als je even niet kijkt. Het resultaat is een wirwar van plaatjes die niet bij elkaar horen.

Met CANVAS is het alsof je een regisseur hebt die:

Altijd onthoudt wie wie is.
Zorgt dat de sets er consistent uitzien.
Logisch volgt wat er met voorwerpen gebeurt (bijv. een gestolen voorwerp is weg).

Het resultaat: Een visueel verhaal dat voelt als een echte film, waar personages, locaties en voorwerpen logisch en consistent door het verhaal reizen, zonder dat ze plotseling veranderen of verdwijnen. Het is de brug tussen "mooie losse plaatjes" en "een echt verhaal".

Probleemstelling

Langdurig visueel vertellen (long-form visual storytelling) vereist het genereren van een reeks afbeeldingen die samen een coherent narratief wereldbeeld vormen. Bestaande generatieve modellen zijn vaak uitstekend in het produceren van individuele, hoogwaardige frames, maar falen in het behoud van continuïteit over meerdere shots heen. Dit leidt tot veelvoorkomende fouten zoals:

Drift in karakteruiterlijk: Personages veranderen van gezicht, kleding of kapsel zonder narratieve reden.
Instabiele omgevingen: Locaties die later in het verhaal terugkeren, zien er anders uit (verandering in architectuur, meubilair of belichting).
Inconsistente objecttoestanden: Voorwerpen (props) die gestolen, verbroken of verplaatst zijn, verschijnen nog steeds in hun oorspronkelijke staat of verdwijnen onlogisch.

Bestaande methoden (zoals autoregressieve generatie of referentie-gebaseerde technieken) focussen voornamelijk op korte-termijn consistentie of subject-identiteit, maar modelleren niet expliciet de evoluerende staat van de narratieve wereld (karakters, locaties en objecten) als een geheel.

Methodologie: CANVAS

CANVAS (Continuity-Aware Narratives via Visual Agentic Storyboarding) is een trainingsvrij multi-agent framework dat storyboard-generatie formuleert als expliciete modellering van de wereldtoestand (world-state modeling). Het systeem onderhoudt een gestructureerde representatie van de narratieve wereld die evolueert naarmate het verhaal vordert.

Het proces verloopt in drie hoofdfasen (zie Algorithm 1):

Globale Story Planning:
Voordat er afbeeldingen worden gegenereerd, bouwt een planner een globaal continuïteitsplan op ( $P$ ) gebaseerd op de shot-beschrijvingen. Dit plan bevat:
- Karaktertoestanden ( $C$ ): Een mapping van elk personage naar hun specifieke uiterlijk (kleding, kapsel) per shot, tenzij het verhaal een verandering voorschrijft.
- Locatie-toewijzingen ( $L$ ): Clustering van shots per locatie-identiteit om te garanderen dat terugkerende locaties dezelfde ruimtelijke structuur behouden.
- Objecttoestanden ( $O$ ): Een tracking van de status van voorwerpen (bijv. "aanwezig", "gestolen", "afwezig") om logische veranderingen in de omgeving te forceren.
Sequentiële Generatie met Geheugen:
Het systeem genereert shots sequentieel terwijl het een persistent visueel geheugen ( $M$ ) onderhoudt, bestaande uit:
- Karakter-anchors: Referentieafbeeldingen voor personages.
- Locatie-anchors: Achtergrondreferenties voor specifieke omgevingen.
- Prop-anchors: Visuele representaties van objecten in hun huidige staat.
  Voor elke shot worden relevante anchors opgehaald uit het geheugen of het plan. Als een shot een terugkeer is naar een eerdere locatie, wordt de bijbehorende achtergrond-anchor gebruikt om de ruimtelijke consistentie te waarborgen.
Selectie op Basis van Vragen (QA-based Selection):
Voor elke shot worden meerdere kandidaat-frames gegenereerd. Een Vision-Language Model (VLM) fungeert als een "verkenner" die deze kandidaten beoordeelt aan de hand van specifieke visuele vragen (gebaseerd op het globale plan). Het frame dat het beste voldoet aan de consistentie-eisen voor karakters, achtergronden en objecttoestanden, wordt geselecteerd. Na selectie wordt het geheugen bijgewerkt met de nieuwe anchors uit het geselecteerde frame.

Belangrijkste Bijdragen

CANVAS Framework: Een trainingsvrij, multi-agent systeem dat storyboard-generatie behandelt als wereldtoestand-tracking via globaal plannen, geheugengeleide ophaalactie en sequentiële geheugenupdates.
HardContinuityBench: Een nieuwe, uitdagende benchmark die specifiek is ontworpen om lang-range narratieve consistentie te testen. In tegenstelling tot bestaande benchmarks, bevat deze dataset frequente terugkerende locaties met grote tijdsintervallen, karakterveranderingen en complexe objecttoestand-transities.
ContinuityEval: Een fijnmazige evaluatiemethode (VLM-based) die consistentie meet in drie dimensies: karakteridentiteit, achtergrondgeometrie en prop-toestand.

Resultaten

CANVAS is geëvalueerd op bestaande benchmarks (ViStoryBench, ST-Bench) en de nieuwe HardContinuityBench, en vergeleken met state-of-the-art methoden zoals AutoStudio, Story-Iter en Story2Board.

Prestaties: CANVAS overtreft consequent de beste baselines.
- Achtergrondcontinuïteit: +21,6% verbetering.
- Karakterconsistentie: +9,6% verbetering.
- Prop-consistentie: +7,6% verbetering.
HardContinuityBench: Op deze moeilijke benchmark, waar lange-termijn redenering essentieel is, toont CANVAS de grootste winst, met name bij het behoud van omgevingen na lange onderbrekingen (+14,0% voor niet-opeenvolgende scene-herhalingen).
Menselijke Evaluatie: In een pairwise user study gaf menselijke beoordelaars CANVAS een win-rate van tot 90,9% voor achtergrond- en prop-consistentie ten opzichte van concurrenten.
Video-generatie: Wanneer de gegenereerde storyboardframes worden gebruikt als input voor een Image-to-Video model (Veo-3.1), resulteert dit in video's met aanzienlijk betere narratieve coherentie en karakterconsistentie dan video's gegenereerd uit frames van andere methoden.

Betekenis en Impact

Dit paper markeert een verschuiving in visuele storytelling van louter "frame-na-frame" generatie naar expliciete wereldmodellering. Door het narratief te behandelen als een evoluerende staat met persistente entiteiten, lost CANVAS fundamentele problemen op die eerder leken onoplosbaar voor generatieve modellen zonder training.

De introductie van HardContinuityBench is cruciaal voor de community, aangezien het een gestandaardiseerde manier biedt om de echte "lang-range" redeneercapaciteiten van modellen te testen, verder dan de huidige beperkte benchmarks. De methode is bovendien trainingsvrij, wat betekent dat het direct toepasbaar is op bestaande grote multimodale modellen (zoals Gemini) zonder de noodzaak van kostbare fine-tuning, waardoor het een praktische oplossing biedt voor het creëren van coherente, langdurige visuele verhalen.