Bias at the End of the Score

Titel: Bias at the End of the Score

Auteurs: Salma Abdel Magid et al. (Princeton University & Harvard University)

---

1. Probleemstelling

Reward Models (RMs) zijn cruciale componenten in moderne Text-to-Image (T2I) generatiesystemen. Ze worden gebruikt voor datasetfiltering, als evaluatiemetrics, als supervisie-signalen tijdens het optimaliseren van parameters (fine-tuning), en voor veiligheidsfiltering na de generatie.

Hoewel er veel onderzoek is gedaan naar specifieke problemen zoals "reward hacking" of "mode collapse", blijft de robuustheid en eerlijkheid van RMs als scorefuncties grotendeels onbekend. De auteurs stellen dat RMs, hoewel ze zijn ontworpen als neutrale maatstaven voor beeldkwaliteit, in werkelijkheid demografische vooroordelen coderen. Wanneer deze modellen worden gebruikt om T2I-generaties te sturen of te evalueren, leiden deze vooroordelen tot:

• Een disproportionele sexualisatie van vrouwelijke onderwerpen.
• Versterking van gender- en raciale stereotypen.
• Een ineenstorting van demografische diversiteit (convergentie naar een dominante demografie).

2. Methodologie

De auteurs voeren een grootschalige audit uit van vijf wijdverspreide Reward Models: PickScore, ImageReward, HPS (Human Preference Score), VQAScore, en CLIP. De studie bestaat uit twee complementaire delen:

Deel I: Disparate Effecten van Reward-Gestuurde Optimalisatie

In dit deel wordt onderzocht wat er gebeurt wanneer RMs worden gebruikt om de output van generatieve modellen te optimaliseren (in plaats van alleen te evalueren).

• Framework: Ze gebruiken het ReNO-framework om de initiële ruisvector ($\epsilon_0$) van een T2I-model te optimaliseren via gradient ascent, waarbij de reward score wordt gemaximaliseerd.
• Experimenten:
  1. Hypersexualisatie: Ze meten de toename van NSFW-inhoud (Not Safe For Work) en huidblootstelling (Skin Exposure) bij geoptimaliseerde afbeeldingen, gesplitst naar geslacht.
  2. Demografische Drift: Ze gebruiken een "seed selection"-methode om ruisvectoren te vinden die specifieke demografische groepen (bijv. een zwarte arts) genereren op basis van een neutrale prompt. Vervolgens wordt geoptimaliseerd om te zien of de demografische identiteit behouden blijft of verandert.
• Classificatie: Perceptuele demografische attributen (ras en geslacht) worden bepaald door vergelijking met "anchors" uit de Chicago Face Database (CFD) via CLIP-embeddings.

Deel II: Disparate Scoren van Counterfactuele Afbeeldingen

In dit deel wordt de onderliggende scoremechaniek onderzocht zonder optimalisatie.

• Datasets: Ze gebruiken drie counterfactuele datasets (CausalFace, SocialCounterfactuals, PAIRS) waarbij afbeeldingen identiek zijn, behalve voor de demografische attributen (ras/geslacht).
• Prompts: Er worden diverse promptsets gebruikt, waaronder Stereotype Content Model (SCM), ABC-model prompts, en beroepsgerelateerde prompts.
• Analyse:
  1. Lineaire Regressie: Om te bepalen in welke mate ras en geslacht de score voorspellen.
  2. Ranking-analyse: Om te zien welke demografische groepen consequent hoger of lager worden gerangschikt.
  3. Correlatie met Realiteit: Vergelijking van scores met real-world arbeidsstatistieken (US Bureau of Labor Statistics) om te zien of RMs real-world demografische verdelingen kopiëren in plaats van objectieve kwaliteit te meten.

3. Belangrijkste Resultaten

A. Reward-gestuurde optimalisatie versterkt hypersexualisatie

• Bij het optimaliseren van afbeeldingen met PickScore neemt de NSFW-classificatie en huidblootstelling significant toe.
• Geslachtsverschil: Vrouwelijke onderwerpen worden disproportioneel beïnvloed. PickScore verhoogt de NSFW-率 voor vrouwelijke onderwerpen gemiddeld met 19%, tegenover slechts 7% voor mannelijke onderwerpen (een factor 2,7 verschil).
• Dit resulteert in afbeeldingen met meer ontkleding, sexualiserende poses en naaktheid.

B. Reward-gestuurde optimalisatie veroorzaakt demografische convergentie

• Wanneer geoptimaliseerd wordt met ImageReward en HPS, convergeren diverse onderwerpen naar Witte onderwerpen.
• Statistieken: Na optimalisatie worden meer dan 80% van de afbeeldingen die oorspronkelijk als "Zwart" waren geclassificeerd, herclassificeerd als "Wit".
• Ook genderconvergentie treedt op: afbeeldingen met vrouwelijke onderwerpen worden vaker als mannelijk geclassificeerd (tot 39% bij ImageReward).
• Dit gebeurt zelfs wanneer de prompt geen demografische specificaties bevat.

C. Reward Models vertonen demografische scorebias

• Rangschikking: HPS en ImageReward rangschikken afbeeldingen van Witte onderwerpen consequent het hoogst, en Aziatische onderwerpen het laagst. Dit patroon blijft zelfs bestaan bij negatieve prompts (bijv. "oneerlijk"), wat wijst op een structurele prioriteit voor Witte identiteit.
• Beroepsstereotypen: De scores correleren sterk met real-world arbeidsstatistieken. RMs geven hogere scores aan mannelijke gezichten voor mannelijk gedomineerde beroepen en vrouwelijke gezichten voor vrouwelijk gedomineerde beroepen.
• VQAScore toont een omgekeerd patroon bij negatieve prompts, maar bevestigt dat RMs niet neutraal zijn.

D. Encoding van real-world frequentie priors

RMs belonen niet alleen beeldkwaliteit, maar ook conformiteit aan dominante demografische patronen die zijn geleerd tijdens het trainingsproces (vaak gebaseerd op menselijke voorkeursdatasets die zelf vooroordelen bevatten).

4. Bijdragen en Significatie

• Kritische Audit: Dit paper biedt de eerste grootschalige kwantitatieve en kwalitatieve audit van de robuustheid van Reward Models tegenover demografische vooroordelen in T2I-systemen.
• Ontmaskering van "Kwaliteit": Het bewijst dat wat RMs definiëren als "hoge kwaliteit" of "menselijke voorkeur" in feite vaak een proxy is voor het reproduceren van dominante demografische stereotypen en real-world ongelijkheid.
• Risico voor Toekomstige Systemen: Omdat RMs steeds vaker worden gebruikt voor fine-tuning en datasetcursatie, dreigt een exponentiële versterking van deze vooroordelen in toekomstige generatieve modellen. Een pipeline die RMs gebruikt, past impliciet een demografisch gekantelde filter toe.
• Call to Action: De auteurs benadrukken de noodzaak van verbeterde datacollectie, trainingsprocedures en alternatieve methoden voor het bouwen van RMs om robuustere en eerlijkere scoremetrics te creëren.

Conclusie: Reward Models zijn momenteel geen neutrale maatstaven voor beeldkwaliteit. Hun gebruik in T2I-pipelines leidt tot systematische veranderingen in de output die demografische diversiteit onderdrukken en schadelijke stereotypen versterken.