Technische Samenvatting: Het genereren van angstaanjagende afbeeldingen

Probleemstelling

Dit artikel onderzoekt een potentiële "ondeugdzame cirkel" binnen de moderne informatieomgeving, waarbij generatieve AI (GenAI)-modellen en visuele media online interageren om negatieve emotionele inhoud te versterken. De auteurs hypothetiseren dat GenAI-systemen, getraind op enorme hoeveelheden digitale spordata van sociale media, een systemische bias kunnen vertonen naar het produceren van afbeeldingen die negatieve emoties oproepen — specif으로 angst — ongeacht de emotionele toon van de tekstuele prompt van de gebruiker. Deze bias zou een feedbackloop kunnen in stand houden: contentmakers produceren emotioneel geladen media voor betrokkenheid (engagement), AI-modellen oververtegenwoordigen deze negatieve emoties in gegenereerde content, en deze content wordt vervolgens opgenomen in toekomstige trainingsdatasets, wat de modellen verder vertekent.

Methodologie

Datasets

De studie maakt gebruik van twee primaire datasets:

1. EmoSet: Een multiclass-dataset van 118.102 afbeeldingen, geannoteerd met een van acht discrete emoties (Amusement, Ontzag, Tevredenheid, Opwinding, Woede, Afkeer, Angst, Verdriet) met behulp van het Mikels-model. Dit werd gebruikt voor het finetunen en valideren van beeldemotie-herkenningsmodellen.
2. DiffusionDB: Een grootschalige text-to-image prompt-dataset met 14 miljoen afbeeldingen gegenereerd door Stable Diffusion. De auteurs analyseerden een subset van 10.000 prompt-afbeelding-paren (de "2m-first-10k" subset) om bronprompts te vergelijken met gegenereerde afbeeldingen.

Emotieherkenningspipeline

Om emotionele bias te evalueren, hebben de auteurs geautomatiseerde methoden voor emotieherkenning ontwikkeld en gevalideerd voor beide modaliteiten:

• Beeldemotieherkenning: De auteurs evalueerden drie benaderingen: zero-shot vision-language modellen (BLIP, CLIP, ALBEF), een auto-captioning pipeline, en gefinetuned beeldclassificatie-modellen. Ze finetunede drie architecturen (Google's Vision Transformer, Microsoft's Swin Transformer en ConvNeXT) op de EmoSet-dataset. De gefinetunde Google Vision Transformer (ViT) behaalde de hoogste macro-gemiddelde F1-score (0,7343) en werd gekozen als het primaire instrument voor beeldanalyse.
• Tekstemotieherkenning: Voor de tekstuele prompts gebruikten de auteurs Demux-MEmo, een state-of-the-art model ontworpen voor multi-label emotieherkenning. Ze testten configuraties die vooraf waren getraind op de SemEval-2018, Paletz en GoEmotions benchmarks. Demux-MEmo werd gekozen vanwege het vermogen om complexe, multi-label emotionele toestanden te verwerken en tegenstrijdige voorspellingen op te lossen (bijv. het onderscheiden tussen co-occurrentie van emoties zoals angst en verdriet).
• Cross-modaliteit uitlijning: Om tekst- en beeldlabels te vergelijken, brachten de auteurs de diverse emotiesets van de tekstmodellen (bijv. de 27 klassen van GoEmotions) in kaart naar de Ekman-groepering en de EmoSet-categorieën. Deze mapping reduceerde positieve emoties tot een enkele "Joy" (Vreugde) label om consistentie tussen de modaliteiten te waarborgen.

Biasmeting

Het kerndoel was het meten van "onbedoelde emotionele bias" door het berekenen van True Positive Rates (TPR) en False Positive Rates (FPR) voor elke emotie:

• TPR (Recall): De frequentie waarmee een afbeelding emotie E oproept, gegeven dat de prompt emotie E bevatte.
• FPR: De frequentie waarmee een afbeelding emotie E oproept, gegeven dat de prompt emotie E niet bevatte.
• Definitie van Bias: Een emotie wordt als biased beschouwd als het model zowel een hoge TPR (sterke replicatie van de emotie in de prompt) als een hoge FPR (het genereren van de emotie zelfs wanneer er niet om gevraagd werd) vertoont. De auteurs gebruikten bootstrapping met 1.000 resamples om gemiddelde TPR/FPR-waarden en 95% betrouwbaarheidsintervallen te berekenen.

Belangrijkste Resultaten

1. Modelvalidatie

Het gefinetunde ViT-model vertoonde een robuuste prestatie op de EmoSet-dataset en presteerde aanzienlijk beter dan de zero-shot en auto-captioning baselines. Validatie op de externe Emotion6-dataset toonde een hoge overeenstemming met menselijke annotaties, met uitzondering van "woede", waarbij het model merkbaar slechter presteerde. Cruciaal was dat tests op willekeurige Gaussische ruis-afbeeldingen aantoonden dat het model geen sterke standaardbias naar een enkele emotie vertoonde, wat suggereert dat de geobserveerde biases in generatie geen artefacten zijn van het herkenningsmodel zelf.

2. Cross-modaliteit Correlaties

Wanneer de volledige set emoties tussen tekstprompts en gegenereerde afbeeldingen werd vergeleken, waren de correlaties over het algemeen zwak. Zelfs na aggregatie naar de zes Ekman-emoties bleven de correlaties laag (gemiddelde cross-modaliteit correlatie van 0,0327), waarbij "angst" de maximale correlatie van 0,0609 vertoonde. Dit geeft aan dat de emotionele distributie in gegenereerde afbeeldingen niet van nature de distributie in de bronprompts weerspiegelt.

3. Bewijs van Systemische Angst-bias

De analyse van de DiffusionDB-subset onthulde een duidelijke bias naar angst:

• Stable Diffusion: Angst vertoonde de hoogste TPR (ongeveer 60%) en de hoogste FPR (bijna 40%). Dit suggereert dat als een prompt angst oproept, de afbeelding dat waarschijnlijk ook doet; omgekeerd, als een prompt geen angst oproept, is er nog steeds een aanzienlijke kans dat de gegenereerde afbeelding dat wel doet.
• Andere Emoties: De TPRs voor verdriet, afkeer, verbazing en woede waren laag (<50%), en de FPRs voor deze emoties waren eveneens laag (<10%), wat aangeeft dat ze zelden worden gegenereerd tenzij er expliciet om wordt gevraagd. "Joy" was de enige andere emotie die vaker dan 1/3 van de tijd over de modaliteiten heen werd behouden.

4. Generaliseerbaarheid over Modellen

Om te bepalen of deze bias specifiek was voor Stable Diffusion, testten de auteurs:

• OpenAI's GPT-Image-1.5: Gebruikmakend van 1.642 prompts uit DiffusionDB, vertoonde het GPT-model een bijna identiek biasprofiel, waarbij angst de hoogste TPR en FPR had.
• Stable Diffusion XL (SDXL): Met dezelfde prompts vertoonde SDXL evene{%} de hoogste percentages voor angst, gevolgd door vreugde. Hoewel SDXL iets meer scheiding vertoonde in FPRs voor andere emoties vergeleken met de andere modellen, bleef de dominantie van angst consistent.

Betekenis en Claims

Het artikel beweert empirisch bewijs te leveren voor de hypothese dat generatieve AI-modellen een structurele neiging hebben om angst te oververtegenwoordigen, ongeacht de inputprompt. De auteurs stellen dat dit waarschijnlijk het gevolg is van trainingsdata die angstaanjagende content oververtegenwoordigt, wat op zichzelf een product is van de op engagement gerichte aard van sociale media.

De betekenis van deze bevindingen ligt in het potentieel voor een "ondeugdzame cirkel":

1. AI-systemen genereren angstaanjagende afbeeldingen, zelfs wanneer daar niet om gevraagd is.
2. Deze afbeeldingen komen in de digitale informatieomgeving terecht.
3. Gezien negatieve emoties besmettelijk zijn en betrokkenheid (engagement) stimuleren, krijgt deze content een hoge zichtbaarheid.
4. Deze content wordt vervolgens opgenomen in de trainingsdata voor de volgende generatie AI-modellen, waardoor de bias wordt versterkt en vergroot.

De auteurs concluderen dat deze bias risico's vormt voor het psychologische welzijn van gebruikers (met name met betrekking tot angst) en politieke mobilisatie en instabiliteit kan beïnvloeden. Zij pleiten voor een multidisciplinaire aanpak om AI-emotieherkenning beter af te stemmen op psychologische inzichten en om instrumenten te ontwikkelen die gebruikers en ontwerpers in staat stellen deze biases te mitigeren.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Label Mismatch: Het gebrek aan een perfecte 1-op-1 mapping tussen de emotie-taxonomieën gebruikt voor tekst (GoEmotions, Paletz, SemEval) en afbeeldingen (EmoSet/Mikels) maakte het noodzakelijk om categorieën samen te voegen, wat nuances mogelijk heeft vertroebeld.
• Multi-Class vs. Multi-Label: De EmoSet-dataset dwingt één emotie-label per afbeelding af (multi-class), terwijl de menselijke emotionele ervaring vaak multi-label is. Deze vereenvoudiging legt mogelijk de complexiteit van emotionele evocatie niet volledig vast.
• Gebrek aan Neutrale Klasse: De beeldmodellen zijn getraind om een dominante emotie te identificeren, zelfs in neutrale afbeeldingen, wat kan leiden tot vertekende vergelijkingen met tekstmodellen die lage niveaus van meerdere emoties of neutraliteit kunnen identificeren.

De auteurs roepen op tot de creatie van nieuwe, uitgebreide beeld-emotie datasets die gebruikmaken van multi-label numerieke ratings om deze structurele beperkingen in toekomstig werk aan te pakken.