🤖 machine learning

FairTree: Subgroup Fairness Auditing of Machine Learning Models with Bias-Variance Decomposition

Dit artikel introduceert FairTree, een nieuw algoritme voor het auditeren van subgroepfairness in machine learning-modellen dat continu-, categorische- en ordinale variabelen direct verwerkt en prestatieverschillen decomposeert in systematische bias en variantie.

Oorspronkelijke auteurs: Rudolf Debelak

Gepubliceerd 2026-04-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rudolf Debelak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🌳 FairTree: De "Fairness-Boom" die onrechtvaardigheid opspoort

Stel je voor dat je een reusachtige machine hebt die beslissingen neemt. Misschien is het een computer die bepaalt of je een hypotheek krijgt, of een systeem dat examens corrigeert. Meestal kijken we alleen naar het gemiddelde: "Hoe goed werkt deze machine in totaal?"

Maar dat is net als kijken naar het gemiddelde weer in Nederland: "Het is 15 graden." Dat zegt niets over het feit dat het in Groningen vriest en in Maastricht tropisch warm is. Een machine kan in totaal "goed" presteren, maar voor bepaalde groepen mensen (bijvoorbeeld vrouwen, ouderen of mensen met een specifieke taal) kan het volledig falen.

De auteurs van dit paper, Rudolf Debelak, hebben een nieuw gereedschap bedacht genaamd FairTree. Laten we uitleggen wat het doet, zonder ingewikkelde wiskunde.

1. Het Probleem: De "Blinde Vlekken"

Vroeger waren er hulpmiddelen om te kijken waar een machine faalt (zoals SliceFinder of SliceLine). Maar die hadden een groot nadeel: ze waren als een stempel met vierkante gaten. Als je een ronde appel wilt stempelen, krijg je er een vierkant gat uit.

Het probleem: Veel gegevens zijn continu (zoals leeftijd of inkomen). De oude methodes moesten deze getallen in hokjes stoppen (bijv. "jong", "midden", "oud"). Als je de hokjes verkeerd kiest, mis je de echte problemen. Het is alsof je kijkt of het regent, maar je kijkt alleen om de 10 minuten. Je mist de bui die precies tussen twee momenten valt.

2. De Oplossing: FairTree (De Boom)

FairTree is een slimme boom die niet in hokjes denkt. Hij kan direct met "vloeibare" getallen omgaan (zoals exacte leeftijd of exacte tijd).

Stel je FairTree voor als een detective die een boom plant:

De detective kijkt naar alle mensen die door de machine zijn beoordeeld.
Hij vraagt zich af: "Is er een groep mensen waar de machine veel meer fouten maakt dan bij de rest?"
Als het antwoord "ja" is, sneed hij de boom door. Hij maakt twee takken: één voor de groep die het goed doet, en één voor de groep die het slecht doet.
Dan kijkt hij op die nieuwe takken weer: "Zijn hier nog meer groepen?"
Zo groeit er een beslissingsboom die precies laat zien: "Ah! De machine faalt alleen bij mensen ouder dan 50 die werken in de bouw."

3. Het Magische Trucje: Bias vs. Variance (De Twee Soorten Fouten)

Dit is het belangrijkste nieuwe stukje. FairTree kan niet alleen zeggen "hier gaat het fout", maar ook waarom het fout gaat. Hij onderscheidt twee soorten problemen, net als een leraar die een fout in een proefwerk ziet:

Bias (De Vooroordeel-Fout):
- Vergelijking: Stel je voor dat een leraar altijd 2 punten aftrekt bij leerlingen met een rood T-shirt, zelfs als het antwoord goed is.
- Wat het betekent: De machine is systematisch onrechtvaardig. Hij is vooroordelig. Hij haalt de resultaten van een groep altijd lager dan ze zouden moeten zijn.
- Oplossing: Je moet de "regels" van de machine aanpassen.
Variance (De Onbetrouwbare-Fout):
- Vergelijking: Stel je voor dat een leraar bij leerlingen met een blauw T-shirt soms een 10 geeft en soms een 2, terwijl het antwoord precies hetzelfde is. Het is willekeurig.
- Wat het betekent: De machine is onbetrouwbaar voor die groep. Hij weet niet hoe hij ze moet beoordelen. Hij is niet per se kwaadaardig, maar hij is onzeker.
- Oplossing: Je hebt meer of betere voorbeelden (data) nodig van die groep om de machine te leren.

Waarom is dit belangrijk? Als je denkt dat het een vooroordeel is (Bias), maar het is eigenlijk onzekerheid (Variance), dan lost je het probleem op met de verkeerde medicijnen! FairTree helpt je het juiste medicijn te kiezen.

4. Twee Manieren om te Kijken (De Twee Detectives)

De auteurs hebben twee versies van FairTree bedacht, twee detectives met verschillende methodes:

De Permutation-Detective (De "Gokker"):
- Deze detective neemt alle resultaten, gooit ze door elkaar (shufflen) en kijkt of het resultaat anders is dan toen ze in de juiste volgorde zaten.
- Voordeel: Zeer nauwkeurig, zelfs bij heel kleine groepen mensen.
- Nadeel: Het is traag. Het moet duizenden keren rekenen om zeker te zijn.
De Fluctuation-Detective (De "Snelle Rekenaar"):
- Deze detective gebruikt slimme wiskundige formules (gebaseerd op hoe golven bewegen) om direct te zien of er een patroon is. Hij hoeft niet alles te shufflen.
- Voordeel: Hij is extreem snel en werkt goed met grote hoeveelheden data. Hij is ook beter in het vinden van kleine fouten.
- Nadeel: Hij is iets minder goed bij heel, heel kleine groepjes.

Conclusie van de auteurs: De "Snelle Rekenaar" (Fluctuation) is meestal de beste keuze, tenzij je met heel weinig data werkt.

5. Wat hebben ze getest?

Ze hebben FairTree getest in twee situaties:

In een virtuele wereld (Simulatie): Ze hebben computerspellen gemaakt waarbij ze opzettelijk fouten in de machine stopten. FairTree vond die fouten bijna altijd, terwijl de oude methodes (zoals SliceLine) vaak niets zagen of de verkeerde groep aanwezen.
In de echte wereld (Volwassenen Dataset): Ze keken naar een bekende dataset over inkomens. Ze lieten zien dat FairTree kon vinden dat de machine faalde bij mensen onder de 25 jaar (bias) en bij mensen die heel lang werkten (variance).

6. Waarom is dit geweldig?

Geen hokjes meer: Je hoeft geen leeftijden meer in "20-30" of "30-40" te stoppen. De boom ziet de exacte leeftijd.
Duidelijke diagnose: Het zegt niet alleen "er is een probleem", maar "het is een vooroordeel" of "het is onzekerheid".
Snelheid: Het werkt snel genoeg om in real-time te controleren of een AI-systeem eerlijk blijft.

Samenvatting in één zin

FairTree is een slimme, snelle boom die precies laat zien waar een computerprogramma onrechtvaardig is, en of dat komt door vooroordelen of door onzekerheid, zonder dat je de data in onhandige hokjes hoeft te stoppen.

Probleemstelling

De evaluatie van machine learning-modellen steunt doorgaans op algemene prestatiemetrics (zoals gemiddelde fouten), wat het risico inhoudt dat prestatieverminderingen in specifieke subgroepen over het hoofd worden gezien. Bestaande audittools, zoals SliceFinder en SliceLine, zijn ontwikkeld om dergelijke groepen te detecteren, maar hebben conceptuele beperkingen:

Ze vereisen vaak discretisatie (indelen in categorieën) van continue covariaten (zoals leeftijd of inkomen), wat kan leiden tot het missen van kleine subgroepen met slechte prestaties of tot misinterpretatie van effecten.
Ze onderscheiden niet tussen de oorzaken van prestatieverschillen: is er sprake van systematische bias (systematische onder- of overpredictie) of van verhoogde variatie (onbetrouwbaarheid/instabiliteit)?
Bestaande methoden zijn vaak computationally intensief of hebben beperkte ondersteuning voor continue variabelen zonder voorafgaande binning.

Methodologie: FairTree

De auteurs introduceren FairTree, een nieuw algoritme dat is geïntroduceerd vanuit de psychometrie (invariantestesten) en econometrie. Het algoritme gebruikt recursieve partitie (soortgelijk aan beslissingsbomen) om subgroepen te identificeren waarin het verlies van het model significant afwijkt.

Kerncomponenten:

Behandeling van Variabelen: FairTree kan direct omgaan met continue, categorische (geordend en ongeordend) en ordinale variabelen zonder discretisatie. Dit vermindert het risico op het missen van kritieke "slices" (subgroepen).
Decompositie van Prestaties: Het algoritme splitst prestatieverschillen op in twee componenten:
- Bias: Systematische afwijking (het model is consequent te hoog of te laag voor een groep).
- Variance: Instabiliteit (het model is onvoorspelbaar voor een groep, zelfs als de gemiddelde voorspelling correct is).
Statistische Tests voor Splitsing: Het algoritme biedt twee varianten om de null-hypothese (invariantie van het verlies over covariaten) te toetsen:
- Permutatietest: Een klassieke statistische methode waarbij groepsleden willekeurig worden gewisseld om een referentieverdeling te creëren. Dit is conceptueel dicht bij SliceFinder, maar computationally zwaarder.
- Fluctuatietest (Geadviseerd): Geïnspireerd op de Generalized M-fluctuation test uit de econometrie. Deze test analyseert de stabiliteit van het verlies analytisch via cumulatieve sommen (CUSUM) van residuen.
  - Voor bias wordt de cumulatieve som van gecentreerde residuen geanalyseerd.
  - Voor variatie wordt de cumulatieve som van de kwadratische residuen geanalyseerd.
  - De teststatistiek convergeert naar een standaard Brownse brug, waardoor kritieke waarden analytisch kunnen worden bepaald (Kolmogorov-verdeling) zonder zware resampling. Dit maakt de methode zeer snel ( $O(n \log n)$ ).
Recursieve Partitie: Het algoritme splitst de data recursief op het punt met de grootste statistische significantie (lage p-waarde), waarbij een Bonferroni-correctie wordt toegepast voor meervoudig toetsen. Het proces stopt wanneer geen significante splitsingen meer worden gevonden of de steekproefgrootte te klein wordt.

Belangrijkste Bijdragen

Directe verwerking van continue data: Eliminatie van de noodzaak tot discretisatie, wat de nauwkeurigheid van de detectie van subgroepen verbetert.
Onderscheid tussen Bias en Variance: Voor het eerst wordt een auditframework aangeboden dat niet alleen waar een model faalt, maar ook waarom (systematisch vs. onbetrouwbaar), wat cruciaal is voor de juiste remedie (bijv. data verzamelen vs. loss-functie aanpassen).
Efficiëntie: De fluctuatietest biedt een analytische oplossing die veel sneller is dan permutatietesten, waardoor het geschikt is voor real-time monitoring en grote datasets.
Interpreteerbaarheid: De output wordt weergegeven als een intuïtieve beslissingsboom die de gevonden subgroepen en de aard van de fout visualiseert.

Resultaten

De auteurs hebben de methode geëvalueerd via drie simulatiestudies en een empirische toepassing op het UCI Adult Census dataset.

Type I-fout en Power:
- Beide varianten van FairTree houden de Type I-fout (vals-positieven) dicht bij het nominale niveau (0.05).
- De fluctuatietest toont consistent een hoger power (vermogen om echte effecten te detecteren) dan de permutatietest, vooral bij matige effectgroottes en kleinere steekproeven.
- SliceLine (de concurrent) presteerde slecht zonder fijnafstemming van parameters en had bij fijnafstemming een te hoog aantal vals-positieven.
Classificatie van Bias vs. Variance:
- De fluctuatietest classificeerde de aard van het probleem (bias, variatie, of beide) zeer accuraat (>90% precisie in veel scenario's).
- De permutatietest was iets minder accuraat bij het onderscheiden van gecombineerde effecten.
- SliceLine kan geen onderscheid maken tussen bias en variatie.
Realistische Scenario's:
- FairTree (fluctuatietest) detecteerde effecten in scenario's met continue variabelen, interactie-effecten en kleine minderheidsgroepen waar SliceLine faalde of onnauwkeurig was.
- In een empirisch geval met het Adult Census-dataset (met kunstmatig ingevoegde bias en variatie) detecteerde FairTree de fouten correct. De fluctuatietest was 1000x sneller (21.6 ms vs 26.4 s) dan de permutatietest.
- De studie toonde aan dat discretisatie (zoals bij SliceLine vereist) de statistische signalen kan verdunnen en tot verkeerde conclusies kan leiden.

Significantie en Conclusie

FairTree biedt een flexibel en statistisch robuust kader voor het auditen van machine learning-modellen op eerlijkheid en prestatie. De belangrijkste doorbraak is het vermogen om continue covariaten direct te analyseren en het onderscheid te maken tussen systematische discriminatie (bias) en onbetrouwbaarheid (variatie).

Praktische impact: Voor modelontwikkelaars betekent dit dat ze sneller kunnen bepalen of een model moet worden bijgesteld (bij variatie) of dat er meer data nodig is voor specifieke groepen (bij bias).
Aanbeveling: De auteurs raden de fluctuatietest aan voor de meeste toepassingen vanwege de hoge power en computational efficiency. De permutatietest kan dienen als follow-up bij zeer kleine steekproeven waar de analytische benadering minder betrouwbaar zou kunnen zijn.

Het artikel benadrukt dat FairTree een exploratief hulpmiddel is om groepsgebonden onrechtvaardigheden te detecteren, maar dat het geen garantie biedt voor individuele eerlijkheid en dat ethische interpretatie van de resultaten essentieel blijft.