Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder

Deze studie introduceert een mechanische auditmethode om demografische vooroordelen in CLIP's visuele encoder te lokaliseren op het niveau van individuele attention heads, waarbij wordt aangetoond dat genderbias specifiek in bepaalde eindlaag-heads zit die door ablatie kunnen worden gereduceerd, terwijl leeftijdbias diffuser is verdeeld.

De kern

Stel je voor dat een kunstmatige intelligentie (AI) als een enorme, super-snelle detective is die duizenden foto's bekijkt om te raden wat voor beroep iemand heeft. Soms maakt deze detective echter vooroordelen: hij denkt dat een vrouw die eruitziet als een arts, eigenlijk een verpleegster moet zijn, of dat een oudere man geen bouwvakker kan zijn.

Deze wetenschappelijke paper probeert een raadsel op te lossen: Waar zit precies dat vooroordeel in het brein van de AI?

Meestal weten we alleen dat de AI vooroordelen heeft, maar niet waar in de complexe code het misgaat. De onderzoekers hebben een nieuwe manier bedacht om dit op te sporen, alsof ze een chirurg zijn die precies weet welke zenuw in het brein de verkeerde gedachte veroorzaakt.

Hier is hoe het werkt, vertaald in simpele taal:

1. Het Brein van de AI als een Orkest

Stel je de AI voor als een groot orkest. In plaats van één muzikant die alles speelt, bestaat het uit honderden kleine secties (de onderzoekers noemen dit "attention heads"). Elke sectie luistert naar iets anders: de ene kijkt naar kleuren, de andere naar vormen, en weer een andere naar kleding.

De onderzoekers wilden weten: Welke sectie in dit orkest is het die denkt: "Oh, dit is een vrouw, dus het moet een verpleegster zijn"?

2. De "Vertaal-machine" (De Nieuwe Methode)

Om dit te vinden, hebben ze een slimme truc gebruikt:

• Ze hebben de AI dwars door de foto's laten kijken.
• Ze hebben voor elke kleine sectie in het orkest gekeken: "Wat zie jij eigenlijk?"
• Ze hebben een lijstje gemaakt met woorden zoals "dokter", "verpleegster", "man", "vrouw", "jong", "oud".
• Vervolgens hebben ze gekeken welke sectie het hardst reageert op woorden als "vrouw" of "oud", in plaats van op het echte beroep.

Het is alsof je in een drukke zaal luistert naar honderden mensen die fluisteren. De onderzoekers hebben een apparaatje gebruikt dat precies kan horen wie er fluistert: "Ik zie een vrouw, dus ik denk verpleegster" in plaats van "Ik zie een stethoscoop, dus ik denk dokter".

3. Het Experiment: Het "Uitschakelen"

Zodra ze de verdachte secties hadden gevonden, deden ze iets heel grappigs: ze schakelden ze tijdelijk uit (ze noemen dit "ablatie").

• Voor "Geslacht" (Man/Vrouw): Het werkte wonderbaarlijk goed! Ze vonden slechts vier kleine secties in de laatste laag van de AI die het probleem veroorzaakten. Toen ze deze uitschakelden, werd de AI eerlijker. Vrouwen werden vaker als dokter herkend in plaats van als verpleegster, en de AI werd zelfs slimmer in het algemeen.

  • Analogie: Het was alsof ze vier ruisende luidsprekers in het orkest uitzetten. Plotseling klonk de muziek (de beslissing) veel helderder en eerlijker.

• Voor "Leeftijd" (Jong/Oud): Hier werkte het niet zo goed. Ze vonden ook verdachte secties, maar toen ze die uitschakelden, veranderde er bijna niets.

  • Analogie: Het vooroordeel over leeftijd zit niet in één of twee specifieke luidsprekers, maar lijkt verspreid te zijn over het hele orkest, als een lichte mist die overal hangt. Je kunt die mist niet weghalen door één luidspreker uit te zetten.

4. De Belangrijkste Les: Het is een Diagnose, geen Genezing

De onderzoekers maken een belangrijk onderscheid:

• Ze hebben bewezen dat ze het probleem kunnen vinden (diagnose). Ze kunnen precies wijzen op de plek in de code waar het misgaat.
• Maar het oplossen is lastig. Als ze de "verkeerde" sectie uitschakelen, wordt de AI soms eerlijker voor dokters, maar juist onnauwkeuriger voor verpleegsters. Het is alsof je een verkeerde richtingaanwijzer verwijdert: de auto rijdt nu eerlijker naar de ene stad, maar mist de andere stad.

Samenvattend

Deze paper is als een detectiveverhaal voor AI. Ze hebben laten zien dat:

1. Vooroordelen over geslacht vaak zitten in een paar specifieke, kleine plekken in het brein van de AI (makkelijk te vinden).
2. Vooroordelen over leeftijd verspreid zitten (moeilijker te vinden en te fixen).
3. Het vinden van de plek is de eerste stap, maar het weghalen ervan is complexer dan het lijkt, omdat de AI alles met elkaar verweven heeft.

Het is een grote stap vooruit om te begrijpen hoe AI denkt, zodat we in de toekomst eerlijkere systemen kunnen bouwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder", vertaald en samengevat in het Nederlands.

Probleemstelling

Bestaande audits van fundamentele modellen (foundation models) zoals CLIP kunnen wel vaststellen dat een model vooroordelen (bias) vertoont, maar ze kunnen niet verklaren waar in het neurale netwerk deze vooroordelen zich bevinden. Standaard methoden meten alleen de uitkomst (bijv. dat vrouwelijke artsen vaker als verpleegkundige worden geclassificeerd), maar bieden geen inzicht in de interne mechanismen die deze dispariteit veroorzaken. Er is een gebrek aan methoden om demografische bias specifiek te lokaliseren op het niveau van individuele attention heads in vision transformers (ViT), in tegenstelling tot generatieve modellen waar dit al eerder is onderzocht.

Methodologie

De auteurs stellen een mechanistische audit-pipeline voor die bias lokaliseert op het niveau van individuele attention heads in de visuele encoder van CLIP (ViT-L-14). De methode combineert drie kerncomponenten:

1. Projectie van de Residual Stream:
   Het model wordt behandeld als een residual stream. De uiteindelijke beeldrepresentatie wordt ontbonden in de additieve bijdragen van individuele attention heads en MLP-blokken. Dit maakt het mogelijk om de invloed van elke specifieke head te isoleren.

2. Zero-Shot CAV-Based Head Ranking (Concept Activation Vectors):
   In plaats van getrainde lineaire probes op gelabelde beelden te gebruiken, passen de auteurs CAV aan op een zero-shot setting. Ze gebruiken CLIP's eigen tekst-encoder om prototypes te genereren voor:

   • Demografische attributen: Man, Vrouw, Niet-binair, Jong, Middel, Oud.
   • Beroepen: 42 beroepsklassen (uit de FACET benchmark).
     Voor elke attention head wordt berekend hoe sterk de visuele centroid van een beroepsklasse aligneert met een demografisch prototype versus een beroeps-prototype. Heads die sterker aligneren met demografische concepten dan met het relevante beroep, worden geïdentificeerd als potentiële bronnen van bias.

3. Bias-Augmented TextSpan Analyse:
   Om de bevindingen kwalitatief te valideren, wordt het TextSpan-algoritme uitgebreid met een woordenlijst die zowel algemene visuele concepten als de demografische en beroeps-prototypes bevat. Als een demografisch prototype (bijv. "vrouw") voorkomt in de top-20 verklarende teksten voor een specifieke head, biedt dit convergerend bewijs dat die head demografische informatie codeert.

4. Validatie via Ablatie en Random Control:
   Geïdentificeerde heads worden getest door hun output te vervangen door het gemiddelde over de dataset (mean ablation). Om te voorkomen dat effecten simpelweg het gevolg zijn van het verwijderen van attention-capaciteit, wordt een layer-matched random control gebruikt: een vergelijkbaar aantal willekeurige heads uit dezelfde lagen wordt eveneens geablateerd.

Belangrijkste Bijdragen

1. Diagnostische Methodologie: Een nieuwe aanpak om bias te lokaliseren op het niveau van attention heads door demografische prototypes in de TextSpan-dictionary te injecteren, zodat bias concurreert met algemene concepten om de verklaarde variantie.
2. Feasibility-demonstratie: Het aantonen dat deze pipeline succesvol gender-bias heads in CLIP ViT-L-14 kan identificeren. Het ablatie-experiment toont aan dat het verwijderen van deze heads de bias vermindert terwijl de algehele nauwkeurigheid zelfs licht verbetert.
3. Differentiatie per Attribuut: Bewijs dat de mate van localiseerbaarheid verschilt per beschermd attribuut. Gender-bias blijkt geconcentreerd in specifieke heads, terwijl leeftijd-bias diffuser lijkt te zijn gecodeerd.

Resultaten

De studie werd uitgevoerd op de FACET benchmark (42 beroepsklassen) met focus op gender en leeftijd.

• Gender Bias:

  • De pipeline identificeerde een compacte set van vier heads in de laatste lagen (terminal layers) die verantwoordelijk zijn voor gender-bias.
  • Ablatie-effect: Het verwijderen van deze vier heads verlaagde de globale bias (Cramér's V daalde van 0.381 naar 0.362) en verbeterde de nauwkeurigheid licht (+0.42%).
  • Random Control: Het ablatie-effect was specifiek voor de geïdentificeerde heads; het verwijderen van willekeurige heads uit dezelfde lagen had geen vergelijkbaar effect.
  • Dominante Head: Een enkele head in de laatste laag (L23H4) was verantwoordelijk voor 87% van de bias-reductie in de "arts"-klasse. Het ablatie hiervan verbeterde de nauwkeurigheid voor vrouwelijke artsen van 13,4% naar 26,3%.
  • Predictieherverdeling: Het verwijderen van bias leidde niet tot een neutraal model, maar verplaatste voorspellingen. Bijvoorbeeld, minder vrouwelijke artsen werden als verpleegkundige geclassificeerd, maar dit ging ten koste van de nauwkeurigheid voor de klasse "verpleegkundige" zelf. Dit bevestigt dat de heads demografische signalen gebruiken voor classificatie.

• Leeftijds Bias:

  • Hoewel de pipeline kandidaat-heads voor leeftijd-bias identificeerde, had ablatie een veel zwakker en minder consistent effect.
  • In de "wacht"-klasse (waar de leeftijd-bias het grootst was) leidde ablatie zelfs tot een lichte toename van de bias.
  • Dit suggereert dat leeftijd-bias in dit model diffuser is gecodeerd en niet lokaal te isoleren is via individuele attention heads, in tegenstelling tot gender.

• Kruis-attribuut Entanglement:
  De head L23H4 bleek zowel in de gender- als de leeftijd-ranglijst te voorkomen, wat suggereert dat deze head demografische informatie codeert die over meerdere attributen heen loopt.

Betekenis en Conclusie

Dit werk biedt een belangrijke stap in mechanistische interpreteerbaarheid voor eerlijkheid (fairness). Het bewijst dat het mogelijk is om de interne bronnen van discriminatie in vision transformers op een fijnmazig niveau (attention heads) te lokaliseren.

De belangrijkste inzichten zijn:

1. Bias is niet uniform: Verschillende beschermde attributen (gender vs. leeftijd) worden op verschillende manieren in het model gecodeerd (geconcentreerd vs. diffuus).
2. Ablatie is diagnostisch, niet corrigerend: Het simpelweg verwijderen van een bias-head is geen complete oplossing voor debiasing, omdat het voorspellingen kan verplaatsen naar andere vooroordelen binnen hetzelfde attribuut. Het is echter een krachtig instrument om te begrijpen hoe een model bias gebruikt.
3. Toekomstige richting: Eerlijke audits moeten verder gaan dan uitkomstmetingen en inzicht bieden in de architecturale oorzaken van bias, waarbij de localiseerbaarheid per attribuut kan variëren.