Do Prevalent Bias Metrics Capture Allocational Harms from LLMs?

Deze studie concludeert dat gangbare bias-metrics onbetrouwbaar zijn voor het opsporen van allocatieschade bij grote taalmodellen, omdat ze het verschil tussen voorspellingen en de daaruit voortvloeiende beslissingen over de toewijzing van beperkte middelen negeren.

De kern

Stel je voor dat je een reuzegrote, slimme robot hebt die helpt bij het kiezen van mensen voor banen of het beoordelen van schoolopdrachten. Deze robot is een "Large Language Model" (LLM). Hij leest duizenden sollicitaties of essays en zegt: "Deze persoon is geweldig" of "Deze persoon is niet goed genoeg."

Maar hier zit de hak in de tak: Hoe weten we of deze robot eerlijk is?

Dit onderzoek van Hannah Cyberey en haar team van de Universiteit van Virginia pikt precies dat probleem eruit. Ze ontdekten dat de standaard meetinstrumenten die we nu gebruiken om vooroordelen te meten, eigenlijk niet werken als het er echt toe doet: wie krijgt de kans en wie niet?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: De "Schaal" vs. De "Werkelijkheid"

Stel je voor dat je een weegschaal hebt om te zien of twee groepen mensen even zwaar zijn.

• De oude manier (de huidige meetinstrumenten): De robot kijkt naar de gemiddelde score die hij geeft. Hij zegt: "Groep A krijgt gemiddeld een 7,2 en Groep B een 7,1. Dat is bijna hetzelfde, dus er is geen vooroordeel!"
• De echte wereld (allocatie): Maar in het echte leven telt niet de gemiddelde score, maar wie er bovenaan de lijst staat. Stel, je hebt maar één baan. De robot geeft Groep A een 7,2 en Groep B een 7,1. De robot kiest de 7,2. Groep B krijgt niets.
• De conclusie: De weegschaal (de oude meting) zegt "alles is goed", maar in de praktijk heeft Groep B de baan gemist. De meting zag het verschil niet omdat het gemiddelde zo dicht bij elkaar lag, maar het resultaat was onrechtvaardig.

De auteurs noemen dit allocatie-schade: het onterecht weigeren van kansen of middelen aan bepaalde groepen.

2. De twee proefnemingen

De onderzoekers testten dit met twee scenario's, alsof ze een proefkeuring deden voor de robot:

1. Sollicitaties: De robot moest kiezen uit sollicitanten met verschillende namen (bijv. "Wit" vs. "Zwart", "Man" vs. "Vrouw") voor verschillende banen.
2. Opdrachten: De robot moest essays beoordelen van studenten uit verschillende landen.

Ze lieten de robot 10 verschillende versies van zichzelf (verschillende AI-modellen) deze taken doen en keken of de oude meetinstrumenten de echte onrechtvaardigheid voorspelden.

3. Wat vonden ze? (De verrassing)

De resultaten waren schokkend voor de huidige stand van zaken:

• De oude meetinstrumenten (zoals het kijken naar het gemiddelde verschil of de verdeling van de scores) waren volledig blind voor de echte onrechtvaardigheid. Ze konden soms zelfs een heel vooroordeelige robot als "eerlijk" bestempelen.
• Het was alsof je een auto test op een rechte, lege weg (de oude meting), maar de auto moet eigenlijk door een modderig bos rijden (de echte beslissing). De test op de weg gaf aan dat de auto perfect was, maar in het bos bleef hij steken.

4. De oplossing: Een nieuwe "Meetlat"

De onderzoekers stelden een nieuwe manier van meten voor: de Rank-Biserial Correlation.

• De analogie: In plaats van te kijken naar de gemiddelde snelheid van de auto's, kijken we nu naar wie er als eerste over de finish komt.
• Deze nieuwe meting kijkt specifiek naar de volgorde van de lijst. Wie staat er bovenaan? Wie staat er onderaan?
• Het resultaat: Deze nieuwe meetlat pakte de onrechtvaardigheid perfect op. Als een groep mensen systematisch lager werd gerangschikt, zag deze nieuwe meting dat direct. De oude metingen misten het.

5. Waarom is dit belangrijk?

Vandaag de dag maken overheden en bedrijven audits (controles) om te zien of AI eerlijk is. Ze gebruiken de oude, foutieve meetinstrumenten.

• Het risico: Een bedrijf kan denken: "Onze AI is gecontroleerd en is eerlijk," terwijl de AI in werkelijkheid bepaalde groepen mensen systematisch uitkiest voor banen of leningen.
• De boodschap: Je kunt niet alleen kijken naar wat de AI zegt (de voorspelling), je moet kijken naar wat er gebeurt als die voorspelling wordt gebruikt om beslissingen te nemen met beperkte middelen (zoals één baan, één lening, één plek in het ziekenhuis).

Samenvatting in één zin

Deze paper zegt: "De liniaal waarmee we nu AI-maatregelen op eerlijkheid testen, meet de verkeerde dingen; we moeten stoppen met kijken naar gemiddelden en gaan kijken naar wie er echt aan de winnende hand is."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Do Prevalent Bias Metrics Capture Allocational Harms from LLMs?" in het Nederlands.

Probleemstelling

Het paper adresseert een kritiek gat in de huidige evaluatie van vooroordelen (bias) in Large Language Models (LLMs). Hoewel er veel aandacht is voor het meten van bias in modelvoorspellingen, negeren de meeste bestaande methoden het verschil tussen een voorspelling en de daadwerkelijke beslissing die daaruit voortvloeit, vooral in situaties met beperkte middelen (allocatie).

• Allocatie-schade (Allocational Harms): Dit treedt op wanneer specifieke groepen onterecht worden uitgesloten van hulpbronnen of kansen (bijv. banen, leningen, zorg).
• Het probleem: Bestaande bias-metrics (zoals gemiddelde prestatiekloven of afstandsmaten tussen verdelingen) meten alleen de voorspellingen van het model. Ze houden geen rekening met hoe deze voorspellingen worden vertaald naar beslissingen (bijv. het selecteren van de top-$k$ kandidaten). Een model kan ogenschijnlijk "onbevooroordeeld" voorspellingen doen, maar toch leiden tot aanzienlijke ongelijkheid in de uiteindelijke toewijzing van kansen. De auteurs stellen dat het evalueren van modellen in isolatie onvoldoende is om eerlijkheid te garanderen zonder de context van de toepassing te beschouwen.

Methodologie

De auteurs evalueren de voorspellende validiteit van gangbare bias-metrics door ze te vergelijken met daadwerkelijke allocatie-uitkomsten in twee simulatie-taken.

1. Taken:

   • CV-screening: Een model beoordeelt of een kandidaat geschikt is voor een vacature (Output: Ja/Nee). Er worden 8 groepen gedefinieerd op basis van geslacht en etniciteit (bijv. Witte Mannen, Zwarte Vrouwen).
   • Opdrachtgradering: Een model beoordeelt essays op een schaal van 1 tot 5. De groepen zijn gebaseerd op de moedertaal van de schrijver (L1 vs. 10 verschillende L2-landen).

2. Simulatie van Allocatie:

   • De taken worden geformuleerd als een top-$k$ rangschikkingprobleem. Vanuit een pool van $n$ kandidaten worden de $k$ beste geselecteerd op basis van de voorspellingsscores van het LLM.
   • De "waarheid" of het ideale resultaat wordt gemeten aan de hand van de daadwerkelijke selectie-uitkomsten.

3. Gevolgde Metrics:
   De auteurs vergelijken de volgende gangbare metrics met de daadwerkelijke allocatiekloven (gemeten via Demografische Pariteit $\Delta DP$ en Gelijke Kansen $\Delta EO$):

   • Gemiddelde Prestatiekloof ($\delta$): Het verschil in gemiddelde scores tussen groepen.
   • Verdelingsgebaseerde Metrics: Jensen-Shannon Divergentie (JSD) en Earth Mover's Distance (EMD).
   • Rank-Biserial Correlatie (RB): Een alternatieve metric die de correlatie meet tussen groepslidmaatschap en de rangschikking (voordeel/ongunstige paren).

4. Experimenteel Opzet:

   • Modellen: 10 verschillende LLMs van variërende grootte en architectuur (o.a. Llama 2/3, Gemma, StableLM, TinyLlama).
   • Validatie: De correlatie tussen de bias-scores en de werkelijke allocatiekloven wordt berekend. Ook wordt gekeken naar de nuttigheid voor modelselectie (welke metric rangschikt de eerlijkste modellen het beste?).

Belangrijkste Bijdragen

1. Kritische Evaluatie van Bestaande Metrics: Het paper toont aan dat veelgebruikte metrics (gemiddelde kloof, JSD, EMD) niet betrouwbaar zijn voor het voorspellen van allocatie-schade. Ze falen vaak om groepsverschillen in de uiteindelijke uitkomsten te vangen.
2. Inconsistentie in Voorspelling: Bestaande metrics kunnen soms modellen met grotere ongelijkheid in uitkomsten als "minder bevooroordeeld" aanduiden. Ze vertonen ook inconsistente prestaties over verschillende demografische groepen heen.
3. Introductie van Rank-Biserial Correlatie (RB): De auteurs stellen RB voor als een superieur alternatief. Deze metric toont een sterke correlatie met de werkelijke allocatiekloven en is robuuster in het identificeren van schadelijke modellen.
4. Contextuele Analyse: Het paper benadrukt dat de vorm van de voorspellingsscore-verdeling (schewness en kurtosis) een grote invloed heeft op de prestatie van traditionele metrics.

Resultaten

• Voorspellende Validiteit:
  • De Rank-Biserial Correlatie (RB) toont een zeer sterke correlatie ($\geq 0.86$) met de daadwerkelijke allocatiekloven ($\Delta DP$ en $\Delta EO$) in beide taken.
  • De traditionele metrics ($\delta$, JSD, EMD) tonen een zwakke of zelfs geen correlatie met de allocatiekloven, vooral bij de CV-screening taak. In sommige gevallen is de correlatie zelfs negatief of willekeurig.
• Modelselectie (NDCG):
  • Wanneer modellen worden gerangschikt op basis van eerlijkheid, presteert RB aanzienlijk beter dan andere metrics (gemiddelde NDCG@10 $\geq 0.95$).
  • Andere metrics rangschikken vaak de meest bevooroordeelde modellen hoger (als "eerlijker"), wat leidt tot het risico dat schadelijke modellen worden ingezet.
• Groepsvariatie:
  • Verdelingsgebaseerde metrics en de gemiddelde kloof tonen grote variatie in hun vermogen om risico's te voorspellen voor verschillende groepen. Ze kunnen voor de ene groep een positieve correlatie tonen en voor een andere een negatieve. RB blijft daarentegen consistent.
• Invloed van Verdelingsvorm:
  • De CV-screening-taak resulteert in sterk links-scheve verdelingen met zware staarten (extreme outliers), terwijl essay-gradering meer normaal verdeeld is. Dit verklaart waarom traditionele metrics beter presteren bij essay-gradering dan bij CV-screening; ze zijn minder geschikt voor niet-normale verdelingen die vaak voorkomen bij selectieproblemen.

Betekenis en Conclusie

Dit onderzoek heeft belangrijke implicaties voor de audits van AI-systemen in hoog-risico scenario's (zoals werving, leningen en zorg):

1. Onvoldoende Bestaande Audits: Huidige methoden voor het auditeren van LLMs, die zich richten op voorspellingsscores, kunnen misleidend zijn. Ze kunnen schijnbaar eerlijke modellen aanbevelen die in de praktijk toch tot ongelijke verdeling van kansen leiden.
2. Noodzaak van Context: Eerlijkheid moet worden gemeten in de context van hoe het model wordt ingezet (bijv. als een rangschikkingstool voor beperkte middelen), niet alleen als een voorspeller.
3. Aanbeveling: De auteurs pleiten voor het gebruik van Rank-Biserial Correlatie als een betrouwbaardere metric voor het detecteren van allocatie-schade. Dit helpt beleidsmakers en ontwikkelaars om modellen te selecteren die daadwerkelijk minder schadelijk zijn voor kwetsbare groepen in real-world toepassingen.

Kortom, het paper waarschuwt dat het meten van "voorspellingsbias" niet gelijkstaat aan het meten van "allocatie-schade", en biedt een technisch onderbouwde oplossing om dit gat te overbruggen.