No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models

Deze studie analyseert empirisch hoe label- en selectiebias de evaluatie, prestaties en mitigatie van classificatiemodellen beïnvloeden, en introduceert een nieuw raamwerk dat aantoont dat er geen afweging bestaat tussen eerlijkheid en nauwkeurigheid wanneer modellen worden getest op onbevooroordeelde data.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van alledaagse vergelijkingen om de complexe concepten begrijpelijk te maken.

🎯 De Kernboodschap: Je kunt geen eerlijke oordeel vellen op een vervalst verslag

Stel je voor dat je een kok wilt beoordelen op zijn kookkunsten. Maar er is een probleem: de ingrediënten die je hem geeft, zijn niet helemaal vers of eerlijk. Misschien zijn de groenten al een beetje rot (dit noemen ze label bias), of misschien heeft de leverancier alleen maar groenten geleverd die klein en minder goed zijn, terwijl de grote, goede groenten zijn weggehouden (dit noemen ze selectie bias).

Als je de kok nu laat koken met deze slechte ingrediënten en daarna zegt: "Hij heeft een slechte taart gemaakt, dus hij is een slechte kok", dan ben je oneerlijk. Je beoordeelt de kok op basis van de slechte ingrediënten, niet op zijn echte vaardigheid.

Dit is precies wat dit onderzoek doet. De auteurs zeggen: "We kunnen geen eerlijke oordeel vellen over machine learning-modellen (de koks) als we ze testen op data die zelf al vooroordeelsvol is (de slechte ingrediënten)."

---

🕵️‍♂️ Het Probleem: De "Vervormde Spiegel"

In de wereld van kunstmatige intelligentie (AI) gebruiken we vaak historische data om modellen te leren. Maar die data is vaak een vervormde spiegel van de werkelijkheid.

1. Label Bias (De valse cijferbrief):

   • Vergelijking: Stel je voor dat een leraar systematisch lagere cijfers geeft aan meisjes dan aan jongens, zelfs als ze even hard hebben geleerd. Als de AI dit cijfer als "waarheid" ziet, denkt hij dat meisjes dommer zijn.
   • Gevolg: De AI leert dat meisjes minder goed zijn, omdat hij de valse cijfers als waarheid accepteert.

2. Selectie Bias (De gekozen gastenlijst):

   • Vergelijking: Stel je voor dat je een receptie organiseert, maar je nodigt alleen rijke mensen uit en vergeet de arbeiders. Als je nu vraagt: "Wat vinden mensen van dit eten?", krijg je alleen het antwoord van de rijken.
   • Gevolg: De AI ziet alleen een deel van de wereld en denkt dat die representatief is voor iedereen.

---

🛠️ De Oplossing: Een Nieuwe Testmethode

De auteurs van dit onderzoek hebben een slimme manier bedacht om dit op te lossen. Ze noemen het een "Eerlijke Wereld Framework".

In plaats van de AI te testen op de vervormde data (waar de fouten zitten), doen ze het volgende:

1. Ze nemen een dataset die ze als "eerlijk" beschouwen (bijvoorbeeld cijfers van studenten die eerlijk zijn gegeven).
2. Ze voegen zelf bewust fouten toe aan deze dataset (ze maken de cijfers oneerlijk of halen mensen weg). Dit is hun "laboratorium".
3. Ze laten de AI leren op deze vervalste data.
4. Ze testen de AI daarna op de originele, eerlijke data.

De metafoor: Het is alsof je een kok laat koken met rotte groenten (de training), maar hem laat proeven aan een panel dat de versie van het gerecht eet dat hij had moeten maken met verse groenten (de test). Zo zie je echt of de kok zijn best doet, of dat hij gewoon de rotte groenten heeft overgenomen.

---

🔍 Wat Vonden Ze? (De Verassende Resultaten)

Het onderzoek bracht drie belangrijke dingen aan het licht:

1. De "Fairness-Accuracy Trade-off" is een mythe (als je eerlijk meet)

Veel mensen denken: "Als je een AI eerlijker maakt, moet je wel iets aan zijn nauwkeurigheid inleveren. Je kunt niet alles hebben."

• De waarheid: Dit onderzoek toont aan dat dit niet waar is, mits je de AI op eerlijke data test.
• Vergelijking: Het is alsof mensen denken dat je een auto niet snel én veilig kunt maken. Maar als je de auto op een echte, veilige weg test (in plaats van op een weg vol gaten), zie je dat je beide kunt hebben. De "trade-off" ontstaat alleen omdat we de auto op de verkeerde weg testen.

2. Niet alle "reparaties" werken voor alle "schades"

Er zijn veel methoden om AI eerlijker te maken (de "reparatie-werkplaatsen"). Maar het onderzoek laat zien dat je de juiste tool moet kiezen voor het juiste probleem.

• Vergelijking: Als je een lekke band hebt, helpt een plaksetje (een methode voor label bias) niet als je wiel eraf is gevallen (selectie bias).
• Conclusie: Als je niet weet welk type vooroordeel er in je data zit, kun je de verkeerde reparatie proberen. Soms maakt de reparatie het probleem zelfs erger!

3. Hoe je de data "verpest" maakt uit

Het maakt een groot verschil hoe de data oneerlijk is gemaakt.

• Als je alleen de cijfers van één groep verlaagt (label bias), werkt dat heel anders dan als je alleen mensen van die groep uit de dataset haalt (selectie bias).
• Sommige methoden werken goed tegen het ene, maar falen totaal tegen het andere.

---

💡 Wat betekent dit voor de toekomst?

De auteurs zeggen eigenlijk: "Stop met het testen van AI op de data die we al hebben, want die is vaak vies."

In plaats daarvan moeten we:

1. Beter begrijpen waarom onze data scheef is.
2. Methoden ontwikkelen die AI leren op de "viesse" data, maar testen op de "schone" droomwereld.
3. Stoppen met het idee dat eerlijkheid en nauwkeurigheid elkaars vijand zijn. Ze kunnen prima samenwerken, als we maar op de juiste manier meten.

Kortom: Om een eerlijke AI te bouwen, moeten we eerst eerlijk meten. En dat kan alleen als we niet blindelings vertrouwen op de imperfecte data uit het verleden, maar een heldere blik werpen op hoe de wereld had moeten zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "No evaluation without fair representation: Impact of label and selection bias on the evaluation, performance and mitigation of classification models" van Legast, Calders en Fouss.

1. Het Probleem

Machine Learning-modellen worden vaak getraind en geëvalueerd op datasets die vertekeningen (bias) bevatten, zoals label bias (onjuiste labels) of selectie bias (onvolledige of vertegenwoordigende steekproeven). Een groot probleem in het huidige onderzoeksveld is dat bias-mitigatiemethoden (methodes om discriminatie te verminderen) doorgaans worden geëvalueerd op dezelfde bias-rijke data die gebruikt werd voor training.

Dit leidt tot twee fundamentele misvattingen:

1. De Fairness-Accuracy Trade-off: Er wordt vaak aangenomen dat er een onvermijdelijke afweging bestaat tussen eerlijkheid en nauwkeurigheid. Het artikel stelt dat deze trade-off grotendeels een artefact is van het evalueren op vertekende data (waarbij "nauwkeurigheid" wordt gemeten tegenover onjuiste labels).
2. Onjuiste Evaluatie van Mitigatie: Omdat de "ground truth" (de werkelijke labels) in de testset evenzeer vertekend is, worden methoden die de bias in de data versterken soms beloond, terwijl methoden die de data corrigeren naar een eerlijkere werkelijkheid als slecht worden beoordeeld.

2. Methodologie: Het Biasing and Evaluation Framework

De auteurs introduceren een nieuw raamwerk om bias gecontroleerd te modelleren en eerlijk te evalueren.

• Het "Fair World" Concept: De auteurs gaan uit van een onderliggende "eerlijke wereld" (Fair World) waarin eerlijkheidscriteria gelden. De beschikbare datasets zijn een vervormde representatie van deze wereld.
• Gecontroleerde Bias Injectie: In plaats van bestaande, twijfelachtige datasets (zoals Adult of COMPAS) te gebruiken, starten ze met realistische datasets die als "eerlijk" worden beschouwd (Student Performance en OULAD). Op deze datasets introduceren ze kunstmatige, gecontroleerde bias:
  • Label Bias: Het systematisch aanpassen van scores voor de onbevoorrechte groep, wat leidt tot onjuiste labels.
  • Selectie Bias: Drie subtypes worden gemodelleerd:
    • Random Selection: Willekeurige ondervertegenwoordiging van een groep.
    • Self-Selection: Systematische ondervertegenwoordiging van individuen met lagere scores in de onbevoorrechte groep.
    • Malicious Selection: Actieve selectie om de onbevoorrechte groep met positieve labels en de bevoorrechte groep met negatieve labels te verwijderen.
• Evaluatie Strategie: Modellen worden getraind op de bevooroordeelde data (met of zonder mitigatie), maar geëvalueerd op de oorspronkelijke, onbevooroordeelde testset. Dit simuleert een evaluatie in de "Fair World".
• Experimentele Opzet: Er worden acht verschillende mitigatiemethoden getest (pre-processing zoals Reweighing en Massaging, en post-processing zoals EOP, CEO, ROC) op drie algoritmen (Random Forest, Decision Tree, MLP) met verschillende intensiteiten van bias.

3. Belangrijkste Bijdragen

1. Nieuw Evaluatiekader: Een framework dat het mogelijk maakt om modellen te trainen op data met bekende bias en te evalueren op een onbevooroordeelde "ground truth". Dit maakt een contextgevoelige evaluatie mogelijk.
2. Empirische weerlegging van de Trade-off: De studie toont aan dat er geen inherent trade-off bestaat tussen eerlijkheid en nauwkeurigheid, noch tussen individuele en groeps-eerlijkheid, zolang de evaluatie plaatsvindt op een onbevooroordeelde testset.
3. Bias-afhankelijke Effectiviteit: Het artikel demonstreert dat de effectiviteit van een mitigatiemethode sterk afhankelijk is van het type bias in de data. Een methode die werkt voor label bias, kan schadelijk zijn voor selectie bias.
4. Analyse van Bias-impact: Gedetailleerde analyse van hoe verschillende bias-types de prestaties van modellen beïnvloeden, waarbij wordt aangetoond dat label bias veel schadelijker is dan selectie bias (die vaak beperkt blijft tot datasetgrootte-effecten, tenzij de data van lage kwaliteit is).

4. Resultaten

• Evaluatievervorming: Het gebruik van een bevooroordeelde testset leidt tot misleidende metingen. Bijvoorbeeld, bij label bias geven metrics zoals Accuracy en EqOd (Equalized Odds) op bevooroordeelde data een vertekend beeld, terwijl metrics zoals SPD (Statistical Parity Difference) en BCC (Balanced Conditioned Consistency) minder gevoelig zijn voor label bias maar wel voor selectie bias.
• Prestaties van Mitigatiemethoden:
  • Reweighing: Werkt zeer goed voor selectie bias (herstelt de verdeling) en heeft een positief effect op label bias.
  • Massaging & ROC-SPD: Werken goed voor label bias (door labels te flippen), maar introduceren "reverse unfairness" bij selectie bias omdat ze de onjuiste verdeling van labels versterken in plaats van corrigeren.
  • FTU (Fairness Through Unawareness): Presteert over het algemeen goed, vooral omdat de oorspronkelijke data weinig correlatie had tussen het gevoelige attribuut en de labels.
  • EOP & CEO: Zijn kwetsbaar voor beide bias-types en verbeteren vaak niet de prestaties op de eerlijke testset; ze blijven soms de bias in de data repliceren.
• Geen Trade-off: Wanneer geëvalueerd op de eerlijke testset, zien de auteurs dat methoden zoals Reweighing en FTU zowel de nauwkeurigheid als de eerlijkheid kunnen verbeteren. De vermeende trade-off verdwijnt wanneer de "ground truth" correct is.
• Dataset Kenmerken: De impact van bias hangt af van datasetkenmerken zoals de grootte van de dataset, de verhouding van de groepen en de voorspellende kracht van de features. Bij complexe taken met weinig voorspellende features heeft selectie bias een grotere negatieve impact.

5. Betekenis en Conclusie

Deze studie heeft belangrijke implicaties voor het veld van Algorithmic Fairness:

• Paradigmaverschuiving: Het is cruciaal om bias-mitigatiemethoden te evalueren op data die de gewenste eerlijke uitkomst representeert, niet op de vertekende data die we in de praktijk hebben. Zolang we evalueren op bevooroordeelde data, blijven we de trade-off tussen eerlijkheid en nauwkeurigheid zien en kiezen we mogelijk voor de verkeerde interventies.
• Context is Koning: Er is geen "one-size-fits-all" oplossing. De keuze van een mitigatiemethode moet gebaseerd zijn op een goed begrip van het type bias in de dataset.
• Toekomstig Onderzoek: De auteurs pleiten voor het creëren van meer "dual datasets" (met zowel bevooroordeelde als eerlijke labels) en voor verder onderzoek naar complexere combinaties van bias-types en de invloed van datasetkarakteristieken op de efficiëntie van mitigatie.

Kortom, zonder een eerlijke representatie in de evaluatie (de testset), is elke conclusie over de prestaties en eerlijkheid van een model fundamenteel onbetrouwbaar.