AnimeAgent: Is the Multi-Agent via Image-to-Video models a Good Disney Storytelling Artist?

Die Arbeit stellt AnimeAgent vor, ein bahnbrechendes Multi-Agenten-Framework, das auf Image-to-Video-Modellen basiert und durch die Nachahmung des Disney-Storytelling-Workflows sowie einen hybriden Bewertungsmechanismus die Konsistenz, Ausdrucksstärke und Prompt-Treue bei der automatischen Generierung von Storyboards signifikant verbessert.

Das Wesentliche

Stell dir vor, du möchtest eine animierte Geschichte erzählen, wie einen Disney-Film. Du hast eine Idee, ein Skript und ein paar Charaktere (z. B. Schneewittchen und die böse Königin). Aber das Zeichnen jedes einzelnen Bildes für die ganze Geschichte von Hand ist extrem teuer, zeitaufwendig und schwierig, weil die Figuren in jedem Bild genau gleich aussehen müssen.

Bisherige Computer-Programme, die das automatisch machen sollten, hatten drei große Probleme:

1. Sie waren statisch: Sie machten Bilder wie auf einem Fotoapparat. Wenn eine Figur sich bewegen sollte, kopierten sie das alte Bild einfach und versuchten, es ein bisschen zu verändern. Das sah oft steif und wie ein "Kopieren-Einfügen"-Fehler aus.
2. Sie konnten nicht nachbessern: Wenn das erste Bild nicht passte (z. B. hatte Schneewittchen plötzlich rote Haare statt schwarze), gab es keinen Mechanismus, der sagte: "Moment mal, das ist falsch, versuch es nochmal."
3. Sie waren schlechte Kritiker: Die Programme, die die Bilder bewerten sollten, waren oft verwirrt. Sie wussten nicht, was in einem stilisierten Cartoon "gut" aussieht, und urteilten oft falsch.

AnimeAgent ist die neue Lösung, die diese Probleme löst. Hier ist die Erklärung, wie es funktioniert, mit ein paar einfachen Vergleichen:

1. Der Regisseur (Der "Drehbuchautor")

Stell dir vor, du gibst einem Computer nur einen kurzen Satz: "Schneewittchen geht durch den Wald." Ein normaler Computer würde raten, wie das aussieht.
AnimeAgent hat aber einen Regisseur-Agenten. Dieser nimmt deine einfache Idee und schreibt daraus ein detailliertes Drehbuch (im Papierfach "Dope Sheet" genannt).

• Er plant genau: "Schneewittchen trägt ein blaues Kleid, hat schwarze Haare, der Wald ist dunkel, und sie sieht traurig aus."
• Er sorgt dafür, dass die Figur in Bild 1, Bild 2 und Bild 10 immer gleich aussieht. Er ist wie ein strenger Chef, der sicherstellt, dass alle Details im Skript stehen, bevor die Arbeit beginnt.

2. Der Künstler (Der "Bewegungsmacher")

Früher haben Computer nur einzelne Bilder gemalt. AnimeAgent nutzt einen Künstler-Agenten, der auf einer Technologie namens "Image-to-Video" (Bild-zu-Video) basiert.

• Der Vergleich: Stell dir vor, du willst eine Tüte Wasser durch einen Tunnel werfen.
  • Die alte Methode: Du wirfst das Wasser, fängst es auf, und versuchst, es in der nächsten Sekunde wieder rauszuwerfen. Es wird matschig und ungenau.
  • AnimeAgent: Der Künstler denkt nicht an einzelne Bilder, sondern an die Bewegung. Er malt das erste Bild (den Startpunkt) und lässt den Computer die natürliche Bewegung dazwischen "träumen".
• Das Ergebnis ist eine flüssige, organische Bewegung, bei der die Figur nicht "springt", sondern sich natürlich bewegt, genau wie ein echter Animator es tun würde.

3. Der Kritiker (Der "Qualitäts-Check")

Das ist vielleicht der wichtigste Teil. Nach dem Zeichnen kommt der Reviewer-Agent (Kritiker). Er arbeitet in zwei Schritten:

• Schritt 1: Der Logik-Check. Er schaut sich die Bilder an und fragt: "Hey, hat Schneewittchen im dritten Bild plötzlich einen Bart?" Wenn ja, sagt er zum Regisseur: "Das Drehbuch war ungenau, korrigiere es!" und der Prozess startet neu, bis alles passt.
• Schritt 2: Der Gefühl-Check. Nicht jedes Bild in einer Animation ist wichtig. Die besten Animationen haben "Extrem-Punkte" (z. B. den Moment, in dem eine Figur am höchsten springt oder am meisten lacht). Der Kritiker sucht genau diese emotionalen Höhepunkte aus der langen Videosequenz aus und wählt sie als die endgültigen Bilder aus. Er kombiniert dabei technische Messungen (wie "ist das Bild scharf?") mit menschlichem Gefühl ("wirkt das traurig?").

Warum ist das besser als alles andere?

Stell dir vor, du baust ein Haus.

• Die alten Methoden waren wie jemand, der jeden Ziegel einzeln und zufällig hinlegt. Das Haus steht vielleicht, aber die Wände sind krumm und die Fenster passen nicht.
• AnimeAgent ist wie ein Architekt (Regisseur), der einen perfekten Plan macht, ein Baumeister (Künstler), der die Mauern fließend und stabil setzt, und ein Bauleiter (Kritiker), der jeden Tag prüft: "Sieht das aus wie im Plan? Ist es stabil? Und sieht es gut aus?"

Das Ergebnis:
AnimeAgent kann Geschichten erstellen, bei denen die Charaktere sich nicht verändern (keine roten Haare, wenn sie schwarz sein sollten), die Handlung logisch ist und die Bilder sich wie eine echte, lebendige Animation anfühlen. Es ist der erste Schritt, bei dem Computer nicht nur Bilder malen, sondern wirklich Geschichten erzählen können, so wie es Disney-Animatoren seit Jahrzehnten tun.

Technische Zusammenfassung

1. Problemstellung

Das Ziel der Custom Storyboard Generation (CSG) ist die automatische Erstellung hochwertiger, konsistenter Storyboards mit mehreren Charakteren basierend auf Skripten, Szenen und Charakterreferenzen. Bestehende Ansätze stoßen jedoch auf drei wesentliche Grenzen:

• Mangelnde Dynamik: Herkömmliche statische Diffusionsmodelle (Text-to-Image, T2I) fehlt das Weltwissen für dynamische Bewegungen. Sie neigen zu „Copy-Paste"-Mustern und können komplexe Posen oder Interaktionen zwischen mehreren Charakteren nicht konsistent darstellen.
• Fehlende Iteration: Ein „One-Shot"-Ansatz erlaubt keine iterative Korrektur von fehlenden Attributen oder Abweichungen vom Prompt.
• Unzuverlässige Evaluierung: Multi-Agent-Systeme, die auf T2I basieren, nutzen oft Evaluatoren (wie CLIP-Scores oder MLLM-Bewertungen), die für stilisierte Animationen ungeeignet sind. CLIP ist unempfindlich gegenüber künstlerischen Verzerrungen, und MLLM-Scores sind oft subjektiv und instabil.

2. Methodik: Das AnimeAgent-Framework

Das Paper stellt AnimeAgent vor, das erste Multi-Agent-Framework für CSG, das auf Image-to-Video (I2V)-Modellen basiert. Die Architektur ist vom Disney-Arbeitsfluss „Kombination aus Straight Ahead und Pose-to-Pose" inspiriert und besteht aus drei Hauptagenten:

A. Director Agent (Regisseur)

• Funktion: Übersetzt nicht-experte Eingaben (Text-Skript, Referenzbilder) in eine strukturierte Textuelle Dope-Sheet (TS).
• Struktur: Die TS umfasst fünf Dimensionen: Charaktere, Shots (Aufnahmen), Szene, Komposition und Beziehungen.
• Konsistenz: Ein binärer Linkage-Flag ($L$) stellt sicher, dass das Ergebnis des vorherigen Shots als Referenz für den nächsten dient, um Identitäts- und Aussehenskonsistenz über die Sequenz hinweg zu gewährleisten.
• Technologie: Nutzt Multimodale Large Language Models (MLLMs), um die Eingaben zu verankern und eine präzise Schnittstelle für die nachgelagerte Generierung zu schaffen.

B. Artist Agent (Künstler)

• Kern: Ein I2V-Modell (z. B. Wan2.2-I2V-14B), das eine kontinuierliche Bewegungsbahn generiert.
• Mechanismen:
  1. Visuelle Dope-Sheet: Der erste Frame dient als semantischer Anker (Visual Dope-Sheet), der Identität und Stil stabilisiert und über die Folgebilder propagiert.
  2. Räumlich-zeitliches Reasoning: Durch die sequenzielle Generierung (Chain-of-Frame) inferiert das Modell implizit räumliche Beziehungen und dynamische Interaktionen, ohne explizite Überwachung. Dies verhindert das starre Kopieren von Kompositionen, wie es bei statischen T2I-Modellen der Fall ist.
• Dual Dope-Sheet: Die Kombination aus der textuellen Anleitung (Director) und dem visuellen Anker (erster Frame) sorgt für eine semantisch-visuelle Ausrichtung.

C. Reviewer Agent (Kritiker)

Dieser Agent schließt den Regelkreis durch Evaluierung und Verfeinerung in zwei Stufen:

1. Iterative Verfeinerung (Consistency Reviewer):
   • Nutzt ein MLLM, um aus den Schlüsselbildern des generierten Videos einen neuen Textbeschreibungs-Entwurf zu erstellen.
   • Vergleicht diesen mit der ursprünglichen Textuellen Dope-Sheet mittels Cosine-Similarity.
   • Bei Abweichungen (< 0,8) wird der Director Agent aufgefordert, die Textbeschreibung lokal anzupassen (max. zwei Runden).
2. Auswahl der Extremstellen (Mixed Reviewer):
   • Statt nur das Endbild zu bewerten, sucht der Agent nach EXTREMES (die ausdrucksstärksten Frames, die den Höhepunkt der Bewegung darstellen).
   • Objektive Bewertung: Kombiniert einen ästhetischen Score (AES) und einen Motion Score (MOS). Der MOS nutzt LightGlue und CoTracker, um die Bewegung von Schlüsselpunkten über die Zeit zu verfolgen und dynamische Intensität zu messen.
   • Subjektive Bewertung: Ein MLLM bewertet narrative Aspekte wie Ausrichtung (Alignment), Ausdruckskraft (Expressiveness) und Überzeugungskraft (Persuasiveness).
   • Die besten Frames werden basierend auf einer Mischung aus objektiven und subjektiven Scores ausgewählt.

3. Schlüsselbeiträge

1. Erstes I2V-basiertes Multi-Agent-Framework: Einführung von AnimeAgent, das statische T2I-Pipelines durch dynamische I2V-Modelle ersetzt, um Konsistenz und Ausdruckskraft zu verbessern.
2. Hierarchische Dope-Sheet & Mixed Reviewer: Entwicklung einer strukturierten textuellen Anleitung und eines hybriden Evaluators, der iterative Verfeinerung und die Auswahl der besten „Extremstellen" ermöglicht.
3. Neuer Benchmark (AnimeBoard-GT): Erstellung eines Datensatzes mit menschlich annotierten Ground-Truth-Storyboards, um eine realistischere Evaluierung zu ermöglichen (da bestehende Benchmarks oft keine Ground Truth haben).
4. State-of-the-Art (SOTA) Performance: Demonstration überlegener Ergebnisse in Konsistenz, Prompt-Treue und Stilisierung.

4. Ergebnisse

Die Evaluation erfolgte auf dem ViStoryBench und dem neuen AnimeBoard-GT unter Vergleich mit 13 CSG-Methoden und 9 kommerziellen Plattformen (z. B. GPT-4o, Doubao, Morphic Studio).

• Quantitative Ergebnisse:
  • AnimeAgent erzielt in allen Metriken die besten Werte, insbesondere bei Character Identity Similarity (CIDS) (0,727/0,767) und Prompt Alignment (PA) (durchschnittlich 3,61).
  • Im Vergleich zu kommerziellen Plattformen zeigt AnimeAgent eine deutlich höhere semantische Treue, während kommerzielle Tools oft zwar ästhetisch ansprechend, aber inhaltlich ungenau sind.
  • Auf dem AnimeBoard-GT erreicht AnimeAgent den höchsten CLIP-I-Score (0,786), was starke Generalisierungsfähigkeit belegt.
• Qualitative Ergebnisse:
  • In Fallstudien (z. B. „Alice im Wunderland", „Aladdin") zeigt AnimeAgent weniger „Character Drift" (Änderung des Aussehens) und logisch konsistentere Interaktionen als Baselines.
  • Stattdessen von starren Posen oder wiederholten Hintergründen (bei anderen Methoden) werden flüssige Bewegungen und korrekte Kamerawechsel (Close-up zu Weitwinkel) dargestellt.
• User Study: In einer Studie mit 20 Annotatoren rangierte AnimeAgent in allen drei Kategorien (Charakterkonsistenz, Prompt-Ausrichtung, Ästhetik) vor den besten Konkurrenten (Doubao, GPT-4o).
• Ablationsstudien: Das Entfernen des Directors oder des Reviewers führt zu signifikanten Einbußen, was die Notwendigkeit der strukturierten Anleitung und der iterativen Korrektur unterstreicht.

5. Bedeutung und Ausblick

Die Arbeit beweist, dass die Integration von Image-to-Video-Modellen in Multi-Agent-Systeme ein vielversprechender Weg ist, um die Lücke zwischen statischer Bildgenerierung und dynamischem, narrativem Storytelling zu schließen. Durch die Nachahmung traditioneller Animationsworkflows (Straight Ahead + Pose-to-Pose) und die Einführung robuster Evaluierungsmechanismen überwindet AnimeAgent die Limitationen reiner T2I-Ansätze.

Einschränkungen: Das System ist derzeit rechenintensiv und latenzanfällig aufgrund der Abhängigkeit von großen MLLMs und I2V-Backbones für mehrstufige Interaktionen. Zukünftige Arbeiten zielen darauf ab, effizientere Varianten und leichtere Designs für den Echtzeiteinsatz zu entwickeln.