Technische Samenvatting: Emotie-gestuurde Demografische Vooroordelen in Synthetische Gezichtsgeneratie

Probleemstelling

Hoewel tekst-naar-beeld (T2I) en multimodale grote taalmodellen (MLLM's) hoogwaardige synthetische gezichtsgeneratie hebben bereikt, blijven de representatieve kwaliteit en de vooroordelen van deze systemen slecht begrepen, met name met betrekking tot de intersectie van demografische attributen en emotionele prompts. Voorgaand onderzoek heeft zich grotendeels gericht op geïsoleerde demografische vooroordelen (bijv. alleen geslacht of ras) in neutrale gezichten of op in het Westen getrainde modellen. Deze studie identificeert drie kritieke hiaten:

1. Intersectionaliteit: Bestaand werk negeert vaak hoe meerdere identiteiten (geslacht, ras, leeftijd) samenkomen om unieke kwetsbaarheden en ondervertegenwoordigingen te creëren.
2. Emotie-geconditioneerde Bias: De meeste studies negeren hoe emotionele prompts (bijv. "blij" versus "boos") de demografische distributies beïnvloeden, ondanks het bewijs dat gezichtsuitdrukkingen verbonden zijn aan culturele normen en stereotypen.
3. Cross-culturele Consistentie: Er is een gebrek aan systematische vergelijking tussen modellen ontwikkeld in westerse contexten versus die ontwikkeld in China, ondanks de opkomst van China als een belangrijke AI-macht met regio-specifieke trainingsdata.

De centrale onderzoeksvragen adresseren of T2I-modellen demografisch ongebalanceerde gezichten genereren ten opzichte van de wereldbevolking, hoe deze vooroordelen verschillen tussen westerse en Chinese modellen, en hoe emotionele prompts de demografische en aantrekkelijkheidsdistributies verschuiven.

Methodologie

De auteurs voerden een systematische audit uit van acht state-of-the-art diffusie-gebaseerde T2I-modellen: vier ontwikkeld door westerse organisaties (FLUX-Schnell, Proteus V0.3, Stable Diffusion 3.5, SANA 1.5) en vier door Chinese instellingen (Hunyuan-DiT, Qwen-Image, Kolors, Wan2.1).

Experimenteel Ontwerp:

• Prompting: De modellen werden geprompt met identieke Engelse sjablonen: "A photorealistic portrait of a [emotion] person, front-facing."
• Emoties: Zes canonieke emoties (blij, verdrietig, boos, verrast, walgend, angstig) gebaseerd op het framework van de basisemoties van Ekman werden getest, samen met een neutrale baseline.
• Schaal: Er werden 1.000 afbeeldingen gegenereerd per model per emotie, wat neerkomt op in totaal 56.000 synthetische gezichten.
• Attribuutschatting: De gegenereerde gezichten werden geanalyseerd met behulp van state-of-the-art geautomatiseerde tools:
  • Demografie: Het FairFace-model werd gebruikt om geslacht, ras en leeftijd te schatten. Validatie op benchmark-datasets (CFD, FACES, APPA-REAL, FGNET) toonde een hoge nauwkeurigheid (97% voor geslacht, 90% voor ras, 73% voor leeftijd).
  • Aantrekkelijkheid: Een specifiek model (gebaseerd op ResNet en getraind op de AHEAD-dataset) schatte de aantrekkelijkheidsniveaus (laag, gemiddeld, hoog).
• Bias-metrieken: De studie maakte gebruik van informatie-theoretische metrieken om afwijkingen te kwantificeren:
  • Baseline Bias: Kullback-Leibler (KL), Jensen-Shannon (JS) en Total Variation Distance (TVD) divergenties werden berekend tussen de modeloutputs en de wereldwijde populatiestatistieken (afgeleid van VN-gegevens en land-naar-ras toewijzingsstrategieën).
  • Intersectionele Verschuiving: KL- en JS-divergenties maten verschuivingen in de gezamenlijke distributie van geslacht, ras en leeftijd.
  • Emotie-geconditioneerde Bias: Divergenties werden berekend tussen emotie-specifieke outputs en de neutrale baseline om de impact van emotionele prompts te isoleren.

Belangrijkste Resultaten

1. Persistente Demografische Bias (RQ1)
Alle acht modellen vertoonden significante afwijkingen van de wereldwijde populatiestatistieken, ongeacht hun herkomst.

• Geslacht: De meeste modellen vertoonden een uitgesproken gender-imbalans. Vier modellen (FLUX, Proteus, SD3, Qwen) oververtegenwoordigden mannen (60–90%), terwijl twee (SANA, Hunyuan) vrouwen oververtegenwoordigden (>80%). Alleen Qwen en Wan2.1 benaderden een gebalanceerde distributie, hoewel geen van beide pariteit bereikte.
• Ras: De verschillen waren nog extremer. Drie modellen (Proteus, SANA, Kolors) genereerden meer dan 80–90% witte gezichten, ondanks dat witte individuen slechts ~11% van de wereldbevolking uitmaken. Aziatische en zwarte populaties waren consequent ondervertegenwoordigd.
• Leeftijd: Er werd een sterke generatieve prior naar jeugd waargenomen. De leeftijdsgroep 20–39 was zwaar oververtegenwoordigd (>80% in zes modellen), terwijl kinderen, adolescenten, volwassenen van middelbare leeftijd en vooral ouderen (60+) ernstig ondervertegenwoordigd waren.
• Intersectionaliteit: De analyse van de gezamenlijke distributie onthulde dat specifieke combinaties, zoals "jong × vrouw × zwart", in bijna alle modellen een nagenoeg nul-representatie hadden, terwijl "jong × vrouw × wit" domineerde.

2. Cross-culturele Homogenisering (RQ2)
In tegenstelling tot de verwachting dat Chinese modellen de lokale demografie zouden weerspiegelen, vond de studie een verrassende homogenisering van de vooroordelen.

• Gelijkenis: Westerse en Chinese modellen vertoonden vergelijkbare patronen van oververtegenwoordiging van witte en jonge individuen.
• Ras-anomalie: Ondanks dat China een overwegend Oost-Aziatische populatie heeft, genereerden de meeste Chinese modellen een meerderheid aan witte gezichten, wat de westerse modellen nauwgezet nabootst. Hunyuan was een opvallende uitzondering, met een generatie van ~90% Aziatische gezichten.
• Taalimpact: Het testen van Chinese modellen met Chinese prompts (Appendix E) liet slechts gematigde distributieverschuivingen zien; de oververtegenwoordiging van witte gezichten bleef bestaan, wat suggereert dat de bias voortkomt uit gedeelde trainingsdata of architecturale priors in plaats van de prompttaal alleen.

3. Emotie-geconditioneerde Bias (RQ3)
Emotionele prompts verschoven de demografische distributies systematisch en versterkten bestaande vooroordelen.

• Negatieve Emoties: Prompts voor negatieve, hoog-arousal emoties (Woede, Walging, Angst) veroorzaakten de grootste demografische verschuivingen. Deze prompts verhoogden consistent de waarschijnlijkheid van het genereren van oudere, mannelijke en witte gezichten en verlaagden de representatie van jonge, vrouwelijke en Aziatische gezichten.
• Positieve Emoties: "Blij"-prompts resulteerden in de kleinste afwijkingen van de neutrale baseline, en versterkten vaak de standaardbias naar jonge, aantrekkelijke en witte gezichten.
• Aantrekkelijkheid: Negatieve emoties correleerden met een significante toename van lage aantrekkelijkheidsscores, terwijl geluk de hoge aantrekkelijkheidsscores licht verhoogde, wat overeenkomt met het "halo-effect van aantrekkelijkheid".
• Modelgevoeligheid: Westerse modellen vertoonden over het algemeen grotere KL-divergenties (grotere gevoeligheid voor emotie) dan Chinese modellen, hoewel de richting van de verschuivingen consistent was tussen beide groepen.

Betekenis en Claims

Het artikel claimt de eerste systematische, cross-culturele, emotie-geconditioneerde audit van T2I-gegenereerde gezichten te bieden. De belangrijkste bijdragen zijn:

1. Kwantitatief Kader: Een methode voor het meten van representatieve vooroordelen met behruik van informatie-theoretische metrieken over intersectionele attributen.
2. Bewijs van Homogenisering: De bevinding dat modellen uit verschillende culturele ecosystemen (Westers en Chinees) convergeren naar een enkele, westers-gecentreerde "standaard" representatie, wat het idee uitdaagt dat regionale trainingsdata noodzakelijkerwijs leidt tot cultureel onderscheidende outputs.
3. Emotie als Bias-versterker: De ontdekking dat het toevoegen van emotionele cues niet alleen de gezichtsuitdrukking verandert, maar fundamenteel de demografische distributies hervormt, waarbij vaak leeftijdisme en raciale/genderstereotypen worden versterkt (bijv. het associëren van woede met oudere mannen).

De auteurs stellen dat deze vooroordelen niet louter artefacten zijn van de datasamenstelling, maar reflecties zijn van structurele priors in de latente ruimte van generatieve modellen. Ze concluderen dat zonder actieve auditing en interventie, deze systemen het risico lopen uitsluitende stereotypen te versterken, vooral wanneer ze worden gebruikt voor "emotioneel geladen" beeldmateriaal. De studie pleit voor transparantie in trainingsdata, fijnmazige gebruikerscontroles om emotie los te koppelen van demografische defaults, en proactieve regulering die regelmatige bias-audits vereist voordat grootschalige implementatie plaatsvindt.

Beperkingen: De auteurs erkennen dat hun audit beperkt is tot een specifieke set modellen en een vooraf gedefinieerde set emoties en attributen. Ze merken op dat hun afhankelijkheid van geautomatiseerde classificaties, hoewel schaalbaar, classificatiefouten kan introduceren, en dat hun kader diagnostisch is in plaats van voorschrijvend met betrekking tot mitigatiestrategieën.