EmoStory: Emotion-Aware Story Generation

Deze paper introduceert EmoStory, een tweestapsframework dat agenten voor verhaalplanning en gebiedsgerichte generatie combineert om visuele verhalen te creëren die niet alleen onderwerpconsistent zijn, maar ook expliciete emotionele richtingen effectief vertalen naar concrete beeldelementen.

De kern

Stel je voor dat je een fotoboek maakt voor je kleinkind. Je wilt niet alleen laten zien wie er in het boek staat (bijvoorbeeld een hond), maar ook hoe het zich voelt. Moet het een spannend avontuur zijn? Of een rustig momentje in de zon?

Tot nu toe konden computers heel goed foto's maken van een hond, maar ze wisten niet hoe ze die hond een gevoel moesten geven. De foto's waren vaak saai of "neutraal". Het papier EmoStory introduceert een slimme nieuwe manier om dit op te lossen. Het is alsof we een computer hebben gegeven die niet alleen een fotograaf is, maar ook een regisseur en een schrijver in één.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: De "Neutrale" Computer

Stel, je zegt tegen een computer: "Maak een verhaal van een panda."
De computer maakt dan misschien een panda die op een boom zit. Maar is hij blij? Bange? Verdrietig? De computer maakt het vaak gewoon, zonder ziel.

• De oplossing: EmoStory wil dat je kunt zeggen: "Maak een verhaal van een panda, maar het moet blij zijn!" of "Maak het eng!"

2. De Oplossing: Twee Slimme Assistenten (Agents)

Om dit te doen, heeft EmoStory twee digitale "assistenten" die samenwerken, net als een regie-team in een filmstudio.

• De Schrijver (De "Emotion Agent"):
  Deze assistent is de regisseur. Als jij zegt "Blij", denkt deze assistent: "Oké, voor blij heb ik zonlicht, ijsjes en een carrousel nodig." Hij kiest de juiste objecten die bij dat gevoel horen. Hij schrijft een script: "De panda eet een ijsje op een zonnige dag."

  • Analogie: Hij is als een toneelschrijver die weet dat voor een grappig toneelstuk je een clown en een taart nodig hebt, niet een doodskist.

• De Verteller (De "Writer Agent"):
  Deze assistent neemt het script en maakt er een mooi, lopend verhaal van. Hij zorgt dat de eerste foto logisch overgaat in de tweede, en dat de panda er in elke foto hetzelfde uitziet.

  • Analogie: Hij is de verteller die zorgt dat het verhaal vloeiend leest en niet stottert.

3. De Magie: Het "Twee-Gedeelten" Systeem

Het moeilijkste deel is: hoe zorg je dat de panda er in elke foto hetzelfde uitziet (consistentie), terwijl de achtergrond verandert om het gevoel te veranderen?

Stel je voor dat je een foto maakt van een vriend. Je wilt dat zijn gezicht perfect blijft, maar je wilt de achtergrond veranderen van een strand naar een bos.

• De oude manier: De computer probeerde alles tegelijk te tekenen. Soms werd je vriend dan een beetje een boom, of verdween zijn neus.
• De EmoStory-methode: Ze splitsen de foto in twee delen, alsof je een doorzichtig masker gebruikt.
  1. Het Masker voor de Hoofdrolspeler: Dit deel kijkt alleen naar de panda. Het zorgt dat de panda er altijd hetzelfde uitziet, waar hij ook staat.
  2. Het Masker voor de Achtergrond: Dit deel is vrij om alles te doen wat nodig is voor het gevoel. Wil je "angst"? Dan komt hier een donker bos met vleermuizen. Wil je "geluk"? Dan komt hier een zonnig park.

Door deze twee delen apart te houden, kan de computer de panda perfect vasthouden, terwijl de wereld om hem heen verandert om het gevoel te creëren.

4. Wat is het resultaat?

In de test hebben ze gekeken of mensen het verschil merkten.

• Andere methoden: Maakten vaak saaie verhalen of verwarrende foto's waar de panda eruitzag als een monster.
• EmoStory: Maakte verhalen die echt voelden. Als het verhaal "blij" moest zijn, zag je een panda die geniet van de zon. Als het "eng" moest zijn, zag je een panda die door een donker bos loopt met vleermuizen. Mensen vonden dit veel beter en geloofden het verhaal meer.

Samenvattend

EmoStory is als een slimme filmregisseur die een computer aanstuurt. Hij zorgt dat:

1. De hoofdrolspeler (de hond, de panda, de mens) er altijd hetzelfde uitziet.
2. De sfeer (zon, regen, monsters) perfect past bij het gevoel dat je wilt overbrengen.

Het maakt het mogelijk om niet alleen foto's te maken van wat er gebeurt, maar ook van hoe het voelt. En dat maakt het verhaal pas echt echt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "EmoStory: Emotion-Aware Story Generation" in het Nederlands.

Probleemstelling

Bestaande methoden voor het genereren van verhalen (story generation) met behulp van diffusion-modellen hebben aanzienlijke vooruitgang geboekt in het creëren van coherente beeldreeksen met een consistent onderwerp. Echter, deze methoden zijn grotendeels emotieneutraal. Ze focussen op wat er in het verhaal gebeurt (het onderwerp), maar negeren hoe het verhaal emotioneel moet worden geïnterpreteerd of visueel versterkt.

Verhalen zijn bedoeld om het publiek emotioneel te raken. Psychologische en artistieke studies tonen aan dat emoties de thematiek, de selectie van elementen en visuele cues (zoals kleur, belichting en compositie) sturen. De uitdaging ligt in het feit dat emoties abstracte concepten zijn die moeten worden vertaald naar concrete visuele elementen (bijv. "vrees" vertalen naar "donker bos en vleermuizen") en dit consistent moeten worden toegepast over meerdere frames heen, terwijl het hoofdonderwerp (bijv. een hond) herkenbaar blijft. Er ontbreekt een taak die specifiek gericht is op het genereren van visuele verhalen met expliciete emotionele richtingen.

Methodologie: Het EmoStory Framework

Om deze uitdaging aan te pakken, stellen de auteurs EmoStory voor, een tweefasig framework dat agent-gebaseerde planning combineert met gebiedsgerichte (region-aware) generatie.

1. Agent-gebaseerde Verhaalplanning (Agent-based Story Planning)

In deze fase worden abstracte emoties omgezet in concrete, coherente verhaalprompts. Het systeem maakt gebruik van twee samenwerkende agents:

• Emotion Agent: Deze agent maakt gebruik van kennis uit EmoSet (een groot visueel emotiedataset). Het bouwt "emotiefactorenbomen" op, waarbij een wortel een emotie is (bijv. "Opwinding") en de bladeren visuele elementen die bij die emotie horen (bijv. "zonovergoten strand", "golven"). Gegeven een onderwerp en een doel-emotie, selecteert deze agent de meest coherente visuele elementen en genereert een verhaalscript ($S$) dat het onderwerp, de emotionele elementen, het thema en het evenement bevat.
• Writer Agent: Deze agent neemt het script en zet dit om in een reeks vloeiende, coherente en boeiende prompts ($P$) voor elke frame in het verhaal. Het zorgt ervoor dat het onderwerp consistent blijft in alle prompts, terwijl de emotionele elementen variëren om de narratieve boog te verrijken.

2. Gebiedsgerichte Verhaalgeneratie (Region-aware Story Generation)

In de generatiefase wordt de uitdaging aangepakt om zowel het onderwerp consistent te houden als de emotionele elementen duidelijk weer te geven, zonder dat ze met elkaar verwarren (bijv. voorkomen dat een eend en een carrouselpaard samensmelten tot een "carrouselduik").

• Gebiedsontkoppeling (Region Disentanglement): Het framework splitst de afbeelding op in een onderwerpregio en een elementenregio (niet-onderwerp).
• Onderwerpuitlijning (Subject Alignment): Om de consistentie van het onderwerp te behouden, wordt een zachte waarde-mixing-strategie gebruikt. Een masker ($M_{sub}$), afgeleid van cross-attention tussen de tekst-prompt en de afbeelding, zorgt ervoor dat de semantische informatie van het onderwerp uit de referentieafbeelding en de tekst nauwkeurig wordt overgebracht naar de gegenereerde afbeelding.
• Emotionele Composities (Emotional Composition): Om emotionele elementen uitsluitend in de niet-onderwerpregio te plaatsen, wordt een versterkingsfactor ($\alpha$) toegepast in de cross-attention mechanismen. Dit dwingt de generatie om emotionele elementen (zoals vleermuizen voor angst) te focussen op de achtergrond of andere gebieden, waardoor de visuele integriteit van het hoofdonderwerp behouden blijft en de emotionele expressie wordt versterkt.

Belangrijkste Bijdragen

1. Nieuwe Taak: Introductie van emotion-aware story generation, een taak die gericht is op het genereren van onderwerp-consistente beeldreeksen met expliciete emotionele richtingen.
2. Framework (EmoStory): Een tweefasig systeem dat agent-gebaseerde planning (voor het vertalen van emoties naar prompts) combineert met gebiedsgerichte generatie (voor visuele coherentie en emotie-injectie).
3. Dataset en Evaluatie: Constructie van een nieuwe dataset met 25 onderwerpen en 8 emotierichtingen (totaal 600 verhalen). Uitgebreide kwantitatieve en kwalitatieve evaluaties tonen aan dat EmoStory state-of-the-art methoden overtreft.

Resultaten

De auteurs evalueren EmoStory op een nieuwe dataset en vergelijken het met acht state-of-the-art methoden (zoals StoryDiffusion, ConsiStory, StoryGen, IP-Adapter, etc.) op drie metrieken:

• Emotie-nauwkeurigheid (Emotion Accuracy): Hoe goed de gegenereerde afbeeldingen de doel-emotie weerspiegelen.
• Prompt-uitlijning (Prompt Alignment): De overeenkomst tussen tekst en beeld.
• Onderwerpconsistentie (Subject Consistency): De herkenbaarheid van het onderwerp over de verschillende frames.

Kernbevindingen:

• Kwantitatief: EmoStory behaalt de hoogste scores in alle drie de metrieken (bijv. 70,17% emotie-nauwkeurigheid, 82,06% prompt-uitlijning, 71,70% onderwerpconsistentie). Het slaagt erin een betere balans te vinden tussen emotionele expressiviteit en verhaalkwaliteit dan bestaande methoden, die vaak kampen met een trade-off (bijv. te veel focus op consistentie leidt tot neutrale, saaiere beelden).
• Kwalitatief: Visuele vergelijkingen tonen aan dat concurrenten vaak falen in het creëren van coherente multi-frame verhalen of dat ze emoties niet effectief visualiseren. EmoStory produceert verhalen waar de omgeving en elementen de beoogde emotie (bijv. vreugde, angst) duidelijk versterken zonder het onderwerp te vervormen.
• Gebruikersstudie: In een studie met 38 deelnemers kreeg EmoStory significant de voorkeur boven andere methoden, met name in "emotie-opwekking" (74,23%) en "onderwerpconsistentie" (68,42%).

Betekenis en Toekomstperspectief

EmoStory is een baanbrekende stap in het veld van affectief computing en beeldsynthese. Het bewijst dat het mogelijk is om abstracte emotionele concepten systematisch te vertalen naar concrete, visueel coherente verhalen. De introductie van "emotion agents" en "region disentanglement" biedt een nieuwe architecturale richting voor generatieve modellen die verder gaan dan louter tekst-naar-beeld conversie.

Beperkingen en Toekomstig Werk:
Het paper erkent enkele beperkingen: het systeem werkt momenteel met slechts 8 discrete emotie-categorieën (terwijl echte emoties complexer zijn), de beschikbaarheid van emotionele elementen is soms beperkt voor bepaalde emoties, en het ondersteunt nog geen multi-onderwerp interacties of zeer lange prompts. Toekomstig werk zal zich richten op het uitbreiden van het emotie-landschap en het modelleren van complexere narratieven met meerdere personages.