AnimeAgent: Is the Multi-Agent via Image-to-Video models a Good Disney Storytelling Artist?

Dit paper introduceert AnimeAgent, het eerste Image-to-Video multi-agent framework voor het genereren van consistente en expressieve animatiestoryboards, dat inspiratie put uit Disney's workflow om de beperkingen van statische modellen te overwinnen en state-of-the-art resultaten te behalen.

De kern

Stel je voor dat je een Disney-film wilt maken, maar in plaats van een team van honderden tekenaars, heb je maar één slimme robot. Die robot moet een verhaal vertellen met beelden, waarbij personages er steeds hetzelfde uitzien, de actie logisch verloopt en de sfeer perfect is.

Dat is precies wat AnimeAgent doet. Het is een nieuw systeem dat probeert deze moeilijke taak op te lossen door te kijken naar hoe echte animatoren werken.

Hier is hoe het werkt, vertaald in simpele taal:

1. Het Probleem: De "Plak-en-Kopie" Robot

Vroeger waren robots die plaatjes maakten (op basis van tekst) als een fotograaf die alleen statische foto's maakt.

• Ze konden een mooie foto van Sneeuwwitje maken.
• Maar als je vroeg om een volgende foto waar ze rent, zette de robot vaak Sneeuwwitje neer, maar dan met een andere jurk, of ze stond ineens op de verkeerde plek.
• Het was alsof de robot een foto plakte, de tekst veranderde, en weer een nieuwe foto plakte. Er was geen echte "beweging" of logica tussen de beelden. Het leek meer op een collage dan op een film.

2. De Oplossing: De Disney-Strategie

De makers van AnimeAgent keken naar hoe Disney-animatoren in de oude tijd werkten. Ze gebruikten twee technieken:

• Straight Ahead: Tekenen van begin tot eind, één frame na het ander. Dit geeft een natuurlijk gevoel van beweging.
• Pose to Pose: Eerst de belangrijkste momenten (de "pieken" van de actie) tekenen, en dan de rest invullen.

AnimeAgent combineert deze twee. Het denkt niet in losse plaatjes, maar in een bewegende film.

3. Hoe werkt AnimeAgent? (Het Team van Robots)

In plaats van één robot die alles doet, heeft AnimeAgent een team van drie gespecialiseerde robots die samenwerken, net als een filmset:

🎬 De Regisseur (Director Agent)

Stel je voor dat je een regisseur hebt die het script leest.

• De regisseur neemt jouw simpele zin ("Sneeuwwitje loopt door het bos") en maakt er een gedetailleerd plan van.
• Hij schrijft precies op: "Sneeuwwitje heeft blauwe ogen, rode jurk, en loopt naar een huisje."
• Hij zorgt dat in de volgende scène Sneeuwwitje er nog steeds hetzelfde uitziet. Hij is de "hoofd van de zaak" die ervoor zorgt dat niemand de regels breekt.

🎨 De Artiest (Artist Agent)

Dit is de robot die daadwerkelijk de beelden maakt.

• In plaats van losse plaatjes te maken, gebruikt deze robot een Image-to-Video model.
• De Analogie: Stel je voor dat je een poppetje hebt. De Artiest maakt eerst één foto van het poppetje (het startpunt). Vervolgens "laat hij het poppetje bewegen" in zijn hoofd. Hij genereert een video van de actie.
• Omdat het een video is, weet de robot automatisch hoe een arm beweegt of hoe haar in de wind waait. Hij "plakt" niet meer; hij animeert. Dit zorgt voor veel soepelere bewegingen.

👁️ De Criticus (Reviewer Agent)

Dit is de kwaliteitscontroleur die alles checkt.

• De Consistentie-Criticus: Kijkt of Sneeuwwitje in scène 1 en scène 5 nog steeds dezelfde jurk draagt. Als dat niet zo is, zegt hij tegen de Regisseur: "Hé, pas het plan aan, ze heeft nu ineens een groene jurk!"
• De Gemengde Criticus: Kijkt of het plaatje er mooi uitziet én of het verhaal klopt. Hij kiest uit de video de beste momenten (de "Extremes"). Net als in een stripboek kies je niet elke seconde, maar alleen de momenten waar de actie het spannendst is.

4. Waarom is dit zo goed?

Het systeem heeft een nieuwe testbank gemaakt met echte, door mensen getekende voorbeelden om zichzelf te testen.

• Resultaat: AnimeAgent maakt verhalen waarbij personages er consistent uitzien, de beweging logisch is, en de sfeer perfect past bij het verhaal.
• Het is alsof je van een robot die alleen foto's plakt, bent overgestapt op een robot die een echte filmstudio runt.

Samenvattend

AnimeAgent is als een slimme regisseur die een team aanstuurt:

1. Een Regisseur die het script vertaalt naar een strak plan.
2. Een Artiest die een video maakt in plaats van losse foto's (dus echte beweging).
3. Een Criticus die alles controleert en de beste beelden kiest.

Hierdoor krijg je eindelijk digitale verhalen die voelen als echte Disney-films, zonder dat je duizenden tekenaars nodig hebt.

Technische samenvatting

Probleemstelling

Het doel van Custom Storyboard Generation (CSG) is het automatisch produceren van hoogwaardige, consistente storytelling-beelden op basis van karakters, scènes en scripts. Bestaande methoden, die voornamelijk gebaseerd zijn op statische diffusion-modellen (Text-to-Image of T2I), kampen met drie fundamentele beperkingen:

1. Gebrek aan dynamiek: Statistische modellen missen dynamische expressiviteit en vallen vaak terug op "copy-paste"-patronen, wat leidt tot stijve en onnatuurlijke bewegingen.
2. Eenmalige inferentie (One-shot): Bestaande systemen genereren beelden in één keer zonder iteratieve correctie. Dit maakt het moeilijk om ontbrekende attributen te corrigeren of prompt-afwijkingen te verhelpen.
3. Onbetrouwbare evaluatie: Multi-agent frameworks vertrouwen vaak op niet-robuste evaluatoren (zoals CLIP-scores of MLLM-beloningen) die slecht presteren bij gestileerde, niet-realistische animaties en kunstmatige vervormingen niet goed detecteren.

Methodologie: AnimeAgent

De auteurs stellen AnimeAgent voor, het eerste multi-agent framework voor CSG dat is gebaseerd op Image-to-Video (I2V) modellen. Het systeem is geïnspireerd op de Disney-workflow "Combination of Straight Ahead and Pose to Pose" en bestaat uit drie hoofdagenten:

1. Director Agent (Regisseur):

   • Vertaalt niet-expert input (script, referentieafbeeldingen) naar een gestructureerde tekstuele "dope-sheet".
   • Deze dope-sheet bevat vijf dimensies: Karakters, Shots, Scène, Compositie en Relaties.
   • Het zorgt voor een stabiele interface en handhaaft consistentie tussen opeenvolgende shots via een link-vlag.

2. Artist Agent (Artiest):

   • Gebruikt een I2V-model als kernengine om een continue bewegingstraject te genereren.
   • Twee mechanismen:
     • Visuele dope-sheet: Het eerste frame dient als een visuele anker voor identiteit en stijl, wat zorgt voor stabiele feature-propagatie.
     • Ruimtelijk-temporele redenering: De sequentiële generatie van frames stelt het model in staat om impliciete dynamische consistentie te behouden en complexe interacties tussen meerdere karakters te modelleren zonder expliciete supervisie.

3. Reviewer Agent (Beoordelaar):

   • Sluit de lus via evaluatie en iteratieve verfijning.
   • Stap 1: Iteratieve Refinement: Een Consistency Reviewer vergelijkt keyframes met de originele tekstuele dope-sheet en corrigeert afwijkingen in identiteit of lay-out.
   • Stap 2: Selectie van "Extremes": In plaats van het eindframe te kiezen, selecteert het systeem de meest expressieve momenten (peaks van beweging) via een Mixed Reviewer:
     • Objectieve Reviewer: Meet esthetiek en beweging (Motion Score) via optische flow en keypoint-tracking.
     • Subjectieve Reviewer: Een MLLM beoordeelt narratieve intentie, expressiviteit en overtuigingskracht.

Kernbijdragen

1. Eerste I2V-based Multi-Agent Framework: AnimeAgent is het eerste systeem dat I2V gebruikt voor CSG, waardoor het de beperkingen van statische T2I-modellen overwint door gebruik te maken van impliciete bewegingspriors.
2. Hiërarchische Dope-Sheet & Mixed Reviewer: Introductie van een gestructureerde tekstuele aansturing en een hybride evaluatiesysteem dat objectieve metrics combineert met menselijke voorkeuren voor betere selectie van storytelling-momenten.
3. Nieuwe Benchmark (AnimeBoard-GT): De auteurs hebben een dataset verzameld met menselijk geannoteerde "ground-truth" storyboards om realistischere evaluaties mogelijk te maken, aangezien bestaande benchmarks vaak ontbeerden aan dergelijke annotaties.
4. State-of-the-Art (SOTA) Prestaties: Het systeem presteert superieur in consistentie, prompt-afwijking en stilistische expressiviteit.

Resultaten

Experimenten zijn uitgevoerd op de ViStoryBench en de nieuwe AnimeBoard-GT dataset, vergeleken met 13 CSG-methoden en 9 commerciële platforms (zoals GPT-4o, Doubao, etc.).

• Kwantitatieve resultaten: AnimeAgent behaalt de hoogste scores op alle metrics, waaronder:
  • Style Similarity (CSD): 0.616 - 0.785 (superieur aan baselines).
  • Character Identity Similarity (CIDS): 0.727 - 0.767 (minder identiteitsdrift).
  • Prompt Alignment (PA): Gemiddeld 3.61 (betere uitvoering van complexe instructies).
  • CLIP-I Similarity: 0.786 op de GT-dataset.
• Kwalitatieve resultaten: Visuele vergelijkingen (bijv. Alice in Wonderland, Aladdin) tonen aan dat AnimeAgent beter in staat is om karakterconsistentie te behouden, logische interacties te modelleren en de narratieve boog correct weer te geven, terwijl andere methoden last hebben van "copy-paste" achtergronden, inconsistent kleding en gebrek aan dynamiek.
• User Study: In een studie met 20 beoordelaars scoorde AnimeAgent het hoogst op Karakterconsistentie (3.95), Prompt-afstemming (3.70) en Esthetische Kwaliteit (3.42).

Betekenis en Impact

Dit paper markeert een verschuiving in het veld van generatieve storytelling. Door de overgang van statische "one-shot" generatie naar een iteratief, dynamisch I2V-framework, sluit AnimeAgent beter aan bij de werkelijke workflow van animators (zoals bij Disney). Het lost het probleem op van identiteitsdrift en gebrek aan narratieve coherentie in multi-karakter scènes. Hoewel het systeem momenteel rekenintensief is vanwege de afhankelijkheid van grote MLLM's en I2V-modellen, biedt het een nieuwe richting voor realistische, hoogwaardige animatiegeneratie die zowel technisch als artistiek overtuigend is.