💬 NLP

CANVAS: Continuity-Aware Narratives via Visual Agentic Storyboarding

Das Paper stellt CANVAS vor, ein Multi-Agenten-Framework, das durch explizite visuelle Storyboard-Planung die Kontinuität von Charakteren, Hintergründen und Requisiten in langen visuellen Erzählungen sicherstellt und dabei bestehende Benchmarks signifikant verbessert.

Ursprüngliche Autoren: Ishani Mondal, Yiwen Song, Mihir Parmar, Palash Goyal, Jordan Boyd-Graber, Tomas Pfister, Yale Song

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ishani Mondal, Yiwen Song, Mihir Parmar, Palash Goyal, Jordan Boyd-Graber, Tomas Pfister, Yale Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen langen Comic oder einen Film erstellen, bei dem eine Geschichte über viele Bilder hinweg erzählt wird. Das Problem bei den aktuellen KI-Tools ist, dass sie wie ein vergesslicher Künstler sind: In Bild 1 hat der Held eine rote Jacke und steht in einer Bibliothek. In Bild 10 trägt er plötzlich eine blaue Hose, und die Bibliothek sieht aus wie ein Weltraumschiff. Die KI vergisst einfach, wie die Dinge vorher aussahen.

Die Forscher haben CANVAS entwickelt, um dieses Chaos zu beenden. Hier ist eine einfache Erklärung, wie das funktioniert, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der vergessliche Maler

Bisherige KI-Systeme malen jedes Bild einzeln. Sie schauen sich das vorherige Bild an, aber sie haben kein echtes Gedächtnis für die ganze Geschichte.

Das Ergebnis: Der Held ändert sein Gesicht, Möbel verschwinden oder tauchen wieder auf, und Gegenstände, die gestohlen wurden, sind plötzlich wieder im Regal. Es ist, als würde ein Regisseur bei jedem neuen Drehbuchabschnitt die Schauspieler und das Set komplett neu besetzen, ohne sich an den alten Film zu erinnern.

2. Die Lösung: CANVAS – Der Regisseur mit dem perfekten Notizbuch

CANVAS ist wie ein sehr organisierter Filmregisseur, der nicht einfach nur Bilder macht, sondern zuerst einen Welt-Plan erstellt.

Stell dir CANVAS als ein Team aus drei Spezialisten vor, die zusammenarbeiten:

Der Regisseur (Globaler Planer): Bevor auch nur ein Bild gemalt wird, liest dieser Regisseur die ganze Geschichte durch. Er schreibt in ein großes Notizbuch (den "Welt-Zustand"):
- Wer ist wer? (Der Held heißt Ethan, trägt immer einen Trenchcoat, es sei denn, er wechselt die Kleidung.)
- Wo sind wir? (Die Bibliothek hat immer die gleichen Bücherregale und das gleiche Fenster.)
- Was ist mit den Gegenständen? (Das goldene Artefakt ist in Bild 1 da, in Bild 5 gestohlen und in Bild 10 weg.)
  Dieser Plan ist die "Wahrheit", an die sich alle halten müssen.
Der Archivar (Das Gedächtnis): Dieser Spezialist hat einen riesigen Ordner mit Fotos von allem, was bisher passiert ist.
- Wenn wir wieder in die Bibliothek zurückkehren, holt der Archivar das Foto der Bibliothek aus dem Regal und sagt: "Hey, malen wir genau diese Wand, nicht eine neue!"
- Wenn der Held wieder auftaucht, zeigt der Archivar das Foto seines Gesichts: "Erinnerst du dich? So sieht er aus. Nicht anders!"
Der Kritiker (Die Auswahl): Bevor das finale Bild fertig ist, malt die KI mehrere Versionen (wie Skizzen). Der Kritiker nimmt diese Skizzen und vergleicht sie mit dem Regisseurs-Plan und den Archivar-Fotos.
- Frage: "Hat der Held die richtige Jacke an?"
- Frage: "Ist das Artefakt noch da oder gestohlen?"
- Nur das Bild, das alle Regeln befolgt, wird ausgewählt. Die anderen werden verworfen.

3. Warum ist das so besonders?

Früher haben KIs nur auf das letzte Bild geschaut. CANVAS schaut auf die ganze Geschichte.

Die Analogie: Stell dir vor, du baust ein Lego-Modell.
- Alte KI: Sie baut ein Zimmer, macht ein Foto, baut es dann ab und baut ein neues Zimmer daneben. Wenn sie das erste Zimmer wieder nachbauen muss, sieht es anders aus, weil sie die genauen Steine vergessen hat.
- CANVAS: Sie baut das erste Zimmer, macht ein Foto davon und legt es in eine Schublade. Wenn sie später wieder in dieses Zimmer muss, holt sie das Foto raus und baut exakt das Gleiche nach. Sie weiß auch, dass sie einen roten Ball aus dem ersten Zimmer entfernen muss, weil sie ihn in der Geschichte "weggenommen" hat.

4. Das Ergebnis

Mit CANVAS entstehen Geschichten, die sich logisch und konsistent anfühlen.

Die Charaktere sehen immer gleich aus (außer wenn die Geschichte es verlangt, z.B. eine Verkleidung).
Die Hintergründe bleiben stabil, auch wenn die Kamera den Raum verlässt und später wiederkommt.
Gegenstände verhalten sich logisch (wenn etwas gestohlen ist, ist es weg).

Die Forscher haben gezeigt, dass CANVAS deutlich besser ist als alle bisherigen Methoden, besonders bei langen Geschichten, bei denen die Dinge über viele Bilder hinweg konsistent bleiben müssen. Es ist wie der Unterschied zwischen einem Amateurfilm, bei dem alles durcheinandergeht, und einem Hollywood-Blockbuster, bei dem jedes Detail perfekt sitzt.

1. Problemstellung

Die Erstellung langer visueller Erzählungen (z. B. Storyboards oder Videosequenzen) erfordert die Aufrechterhaltung von Kontinuität über mehrere Einstellungen hinweg. Bestehende generative Modelle sind zwar in der Lage, einzelne hochwertige Bilder zu erzeugen, scheitern jedoch oft an der langfristigen Konsistenz. Typische Fehler umfassen:

Charakter-Drift: Gesichter, Kleidung oder Frisuren ändern sich unerwartet zwischen den Szenen.
Instabile Umgebungen: Wenn ein Ort später im Storyboard wiederkehrt, sieht die Architektur oder das Layout oft anders aus.
Inkonsistente Requisiten (Props): Objekte verschwinden, tauchen wieder auf oder ändern ihren Zustand (z. B. ein gestohlener Gegenstand bleibt im Regal), ohne dass dies durch die Handlung gerechtfertigt ist.
Fehlende Weltmodellierung: Die meisten aktuellen Ansätze generieren Frames sequenziell basierend auf vorherigen Bildern oder Texten, ohne eine explizite Repräsentation des sich entwickelnden „Weltzustands" (World State) zu pflegen. Dies führt zu kumulativen Fehlern in langen Sequenzen.

2. Methodik: Das CANVAS-Framework

CANVAS (Continuity-Aware Narratives via Visual Agentic Storyboarding) ist ein trainingsfreies Multi-Agenten-Framework, das Storyboard-Generierung als explizites World-State-Modeling formuliert. Das System plant, generiert und aktualisiert den narrativen Kontext iterativ.

Der Prozess gliedert sich in drei Hauptphasen:

A. Globale Story-Planung (Global Story Planning)

Bevor Bilder generiert werden, erstellt ein Planer-Agent eine globale Kontinuitätsplanung $P = (C, L, O)$ basierend auf dem Text-Skript:

Charaktere ( $C$ ): Definiert den visuellen Zustand (Gesicht, Kleidung) für jeden Charakter in jedem Shot. Änderungen werden nur dann vorgenommen, wenn die Handlung dies explizit vorsieht.
Orte ( $L$ ): Gruppiert Shots nach ihrer geografischen Identität. Das System erkennt, wenn ein Ort wiederkehrt, und plant die Wiederverwendung von Hintergrund-Ankern.
Objektzustände ( $O$ ): Verfolgt den Status von Requisiten (z. B. „vorhanden", „gestohlen", „zerstört") über die Zeit. Dies verhindert logische Fehler wie das Erscheinen gestohlener Gegenstände.

B. Sequenzielle Generierung mit Gedächtnis (Sequential Generation with Memory)

Das System generiert die Frames nacheinander unter Nutzung eines persistenten Visuellen Speichers ( $M$ ), der aus drei Komponenten besteht:

Charakter-Anker ( $M_c$ ): Referenzbilder für das Aussehen von Charakteren.
Hintergrund-Anker ( $M_l$ ): Referenzbilder für Orte/Umgebungen.
Prop-Anker ( $M_o$ ): Visuelle Repräsentationen von Objekten in ihrem aktuellen Zustand.

Für jeden Shot werden relevante Anker aus dem Speicher abgerufen (z. B. der Hintergrund des Museums, wenn die Szene dorthin zurückkehrt). Basierend auf diesen Ankern und dem globalen Plan werden mehrere Kandidatenbilder generiert.

C. QA-basierte Kandidatenauswahl (QA-based Candidate Selection)

Um die beste Konsistenz zu gewährleisten, bewertet ein Vision-Language-Modell (VLM) die generierten Kandidaten anhand eines Frage-Antwort-Systems (QA). Das VLM prüft, ob das Bild:

Den geplanten Charakterzustand erfüllt.
Den korrekten Objektzustand (z. B. ist das Artefakt weg?) zeigt.
Die räumliche Struktur des Hintergrunds beibehält.
Der Kandidat mit dem höchsten Konsistenz-Score wird ausgewählt, und der Speicher wird nach jeder Generierung aktualisiert (Memory Update), um den neuen Zustand zu erfassen.

3. Schlüsselbeiträge

CANVAS-Framework: Ein trainingsfreies, Multi-Agenten-System, das Storyboard-Generierung durch explizites Tracking von Weltzuständen (Charaktere, Orte, Objekte) löst. Es verzichtet auf das Fine-Tuning von Modellen und nutzt stattdessen globale Planung und Gedächtnis-Updates.
HardContinuityBench: Die Einführung eines neuen, herausfordernden Benchmarks, der speziell darauf ausgelegt ist, langfristige narrative Konsistenz zu testen. Im Gegensatz zu bestehenden Benchmarks enthält er häufige Wiederkehr von Orten, lange zeitliche Lücken zwischen Szenen, Charakter-Veränderungen und komplexe Objektzustands-Übergänge.
ContinuityEval: Ein feingranulares, VLM-basiertes Evaluierungsframework, das Konsistenz in drei Dimensionen misst: Charakter-Identität, Hintergrund-Geometrie und Requisiten-Zustand.

4. Ergebnisse

CANVAS wurde auf drei Benchmarks evaluiert: ViStoryBench, ST-Bench und dem neuen HardContinuityBench. Es wurde mit State-of-the-Art-Methoden wie AutoStudio, Story-Iter, Story2Board und Gemini-CT verglichen.

Quantitative Verbesserungen: CANVAS übertrifft die besten Baselines konsistent.
- Verbesserung der Hintergrund-Kontinuität um 21,6 %.
- Verbesserung der Charakter-Konsistenz um 9,6 %.
- Verbesserung der Requisiten-Konsistenz um 7,6 %.
- Auf HardContinuityBench sind die Verbesserungen bei nicht-konsekutiven Szenen (wiederkehrende Orte) besonders stark (+14 %).
Human Preference Study: In einer Studie mit 15 Annotatoren bevorzugten diese CANVAS in bis zu 90,9 % der Fälle bei Hintergrund- und Requisiten-Konsistenz und in 86,7 % der Fälle bei der Charakter-Konsistenz gegenüber den besten Baselines.
Video-Generierung: Wenn die von CANVAS erstellten Storyboards als Eingabe für Image-to-Video-Modelle (z. B. Veo-3.1) verwendet werden, führen sie zu deutlich kohärenteren Videos mit weniger narrativem Drift.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass die explizite Modellierung des narrativen Weltzustands (World State) entscheidend ist, um langfristige visuelle Konsistenz in KI-generierten Geschichten zu erreichen.

Paradigmenwechsel: Statt nur auf visuelle Ähnlichkeit zwischen aufeinanderfolgenden Frames zu setzen (wie bei autoregressiven Methoden), führt CANVAS ein semantisches Gedächtnis ein, das logische Abhängigkeiten über die gesamte Erzählung hinweg verwaltet.
Trainingsfreiheit: Da das System keine neuen Modelle trainiert, sondern bestehende große Sprach- und Bildmodelle orchestriert, ist es leicht anpassbar und vermeidet die Kosten des Fine-Tuning.
Zukünftige Anwendungen: Die Methode legt den Grundstein für interaktives, menschlich geführtes Storytelling, bei dem Nutzer Szenen schrittweise verfeinern können, während die globale Kontinuität gewahrt bleibt.

Zusammenfassend adressiert CANVAS eine der größten Schwächen aktueller generativer KI in der visuellen Erzählung – die Inkonsistenz über lange Sequenzen hinweg – durch eine strukturierte, agentenbasierte Planung und ein dynamisches Gedächtnissystem.