Technische Samenvatting: Onderzoek naar Sociale Vooringenomenheid in Narratieve Beeldgeneratie

Probleemstelling

Hoewel Text-to-Image (T2I) generatiemodellen steeds vaker worden ingezet in media, onderwijs en design, blijven zorgen over hun neiging om sociale vooroordelen te reproduceren bestaan. Bestaand onderzoek heeft uitgebreid gedocumenteerd dat T2I-modellen specifieke demografieën associëren met beroepen, eigenschappen en sociale rollen. Echter, bestaande evaluaties van vooroordelen richten zich voornamelijk op single-shot fotorealistische beeldgeneratie. Deze smalle scope laat een kritieke kloof achter: het blijft onduidelijk of en hoe sociale vooroordelen zich manifesteren in narratieve visuele formaten (zoals storyboards en strips), waarbij betekenis wordt geconstrueerd door middel van personagecontinuïteit, gebeurtenissequencing, temporele progressie en de interactie tussen visuele en tekstuele elementen. De auteurs stellen dat vooroordelen die subtiel of onzichtbaar blijven in statische foto's, expliciet of versterkt kunnen worden in sequentiële storytelling-formaten.

Methodologie

De studie past het BBG (Bias Benchmark for Generation) framework, oorspronkelijk ontworpen voor tekstgeneratie, aan om beeldgeneratiemodellen te evalueren. De methodologie bestaat uit de volgende componenten:

• Prompt Constructie: De auteurs selecteerden 140 seed-prompts uit de BBG-dataset, die zeven categorieën van sociale vooroordelen beslaan: leeftijd, handicap, geslacht, fysieke verschijning, ras/nationaliteit, religie en sociaaleconomische status (SES). Deze prompts waren doelbewust contextueel ambigu gehouden, waarbij cruciale attributen (bijv. welk personage een specifieke eigenschap of uitkomst bezit) ongespecificeerd bleven. De dataset bevat 70 Engelse en 70 Koreaanse prompts om cross-linguïstische vooroordelen te onderzoeken.
• Geëvalueerde Modellen: Zes state-of-the-art T2I-modellen werden getest:
  • Propriëtair: GPT-Image-1.5, GPT-Image-2, Gemini-3.1-Flash-Image, en Gemini-3-Pro-Image.
  • Open-Source: FLUX.1-Dev en SDXL.
• Generatie-instellingen: Voor elke prompt werden outputs gegenereerd in drie verschillende formaten:
  1. Fotorealistische afbeelding: Een enkele statische afbeelding.
  2. Storyboard: Ruwe schetsen die zich richten op shot-framing en cameradekking zonder tekst.
  3. Vierluik Strip (Four-Panel Comic): Een sequentieel narratief dat visuele elementen integreert met tekstballonnen, bijschriften en vertelling.
• Evaluatieprotocol: Vier auteurs annoteerden de gegenereerde beelden handmatig (totaal 2,4K) op basis van de geïmpliceerde antwoorden op de BBG-vragen. Outputs werden gelabeld als biased (bevooroordeeld), counter-biased (tegenovergestelde vooroordeel) of neutral (neutraal). De studie maakte ook gebruik van thematische codering om terugkerende visuele en narratieve patronen te identificeren. Een casestudy over videogeneratie (Sora-Pro-2 en Veo-3.1) werd uitgevoerd om de bevindingen uit te breiden naar temporele media.

Belangrijkste Resultaten

Kwantitatieve Bevindingen

• Narratieve Formaten Versterken Vooroordelen: Propriëtaire modellen genereerden significant meer bevooroordeelde outputs in narratieve formaten vergeleken met foto's. Gemiddeld produceerden propriëtaire modellen 25,9% bevooroordeelde outputs in fotogeneratie. Dit percentage steeg met 9,6 procentpunt (pp) in storyboard-generatie en met 18,2 pp in strip-generatie.
• Linguïstische Dispariteiten: De prevalentie van vooroordelen was hoger in Koreaanse prompts dan in Engelse prompts, waarbij Koreaanse settings een gemiddeld 7,2 pp hoger bevooroordeeld-outputpercentage lieten zien. De grootste kloof verscheen in fotogeneratie (bijv. Nano Banana 2 vertoonde een stijging van 17,4 pp).
• Prestaties van Open Modellen: Open modellen (FLUX.1-Dev en SDXL) genereerden gemiddeld in 93,6% van de gevallen een neutrale output. De auteurs schrijven dit echter toe aan een zwak vermogen tot instructie-opvolging in plaats van effectieve mitigatie van vooroordelen, waarbij zij opmerken dat deze modellen vaak faalden om demografische aanwijzingen te incorporeren of cultureel mismatchende content genereerden.

Kwalitatieve Bevindingen

• Expliciete vs. Impliciete Vooroordelen: In fotogeneratie worden vooroordelen vaak gecodeerd via subtiele visuele cues (bijv. specifieke kleding, accessoires of expressies). In contrast onthullen storyboards en strips vooroordelen explicieter door gebeurtenissequencing, personagepositionering, narratieve resolutie en tekstuele elementen (bijv. tekstballonnen die expliciet stereotypen benoemen).
• Persistentie van Visuele Associaties: Stereotypische visuele associaties (bijv. "creatieve" individuen afgebeeld met casual/hippie mode of gloeilamp-symbolen) bleven aanwezig in alle formaten, zelfs wanneer de outputstijl veranderde.
• Gelaagde Stereotypen: Narratieve formaten legden vooroordelen bloot die verder gaan dan eenvoudige roltoewijzing. Bijvoorbeeld, de reden voor het falen of de afhankelijkheid van een personage verschilde per stereotype (bijv. de afhankelijkheid van een vrouwelijke verpleegkundige geframed als emotionele kwetsbaarheid versus de afhankelijkheid van een blind persoon geframed als een praktische noodzaak).
• Oppervlakkige Mitigatie: Modellen probeerden soms vooroordelen te vermijden door anti-stereotypische elementen of moraliserende eindes te introduceren (bijv. het verzoenen van conflicterende buren). De auteurs merken echter op dat dit niet noodzakelijkerwijs de onderliggende associaties verwijdert, aangezien subtiele visuele cues nog steeds stereotypen kunnen versterken.
• Culturele Misalignment: In Koreaanse contexten faalden modellen vaak in het afstemmen op culturele nuances, door Engelse of gemengde talen te genereren, of door Westerse/overdreven traditionele Oost-Aziatische beeldvorming te produceren die niet overeenkwam met de culturele context van de prompt.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Eerste Studie naar Narratieve Vooroordelen: Het presenteert de eerste systematische investigatie van sociale vooroordelen in narratieve beeldgeneratieformaten, waarbij fotorealistische afbeeldingen worden vergeleken met storyboards en vierluik strips.
2. Bewijs van Formaat-afhankelijke Vooroordelen: Het demonstreert dat proprietary modellen aanzienlijk hogere vooroordelen vertonen in narratieve formaten (storyboards en strips) dan in single-image generatie, wat suggereert dat evaluaties van enkelvoudige afbeeldingen onvoldoende zijn om de volledige reikwijdte van modelbias te vatten.
3. Kwalitatieve Mechanismen: Het levert kwalitatief bewijs over hoe vooroordelen verschillend manifesteren over formaten heen—van subtiele visuele cues in foto's naar expliciete narratieve en tekstuele versterking in strips.

De auteurs concluderen dat narratieve beeldformaten dienen als een sterkere probe voor modelbias dan fotogeneratie alleen. Zij argumenteren dat het evalueren van T2I-systemen vereist dat men verder kijkt dan single-image outputs om rekening te houden met diverse generatieformaten, aangezien vooroordelen die minder zichtbaar zijn in statische beelden, kunnen opduiken en schadelijker kunnen worden in sequentiële storytelling-contexten. De studie benadrukt ook de noodzaak om meertalige en cross-culturele capaciteiten te evalueren, waarbij wordt opgemerkt dat huidige modellen vaak falen om prompts te funderen in hun specifieke culturele contexten.