📊 statistics

How Reliable are Fairness Audits with Unreliable Data?

Dit artikel introduceert een met een seed gekalibreerde stresstest om aan te tonen dat het ontbreken van beschermde labels in fairness-audits de resultaten van mitigatie vaak niet significant verandert buiten de natuurlijke variabiliteit van de seed om, hoewel het specifieke faalmodi kan blootleggen zoals intersectionele schade tijdens drempeloptimalisatie, wat suggereert dat effecten van ontbrekende gegevens met zorgvuldige kalibratie en context gerapporteerd moeten worden in plaats van afgedaan te worden als de fragiliteit van de audit.

Oorspronkelijke auteurs: Yash Vardhan Tomar

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yash Vardhan Tomar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechter bent die moet beslissen welk van vijf verschillende "eerlijkheidsrecepten" het beste werkt voor een machine learning-model. Je doel is om ervoor te zorgen dat het model verschillende groepen mensen (zoals verschillende rassen of geslachten) eerlijk behandelt.

Om dit te doen, heb je een Fairness Audit nodig. Dit is als een smaaktest waarbij je de voorspellingen van het model controleert tegen echte data om te zien of het bevooroordeeld is. Maar hier is de crux: soms ontbreken de "ingrediënten" die je nodig hebt om te weten bij welke groep iemand hoort. Misschien hebben mensen het formulier niet ingevuld, of zijn de gegevens kwijtgeraakt.

Dit artikel stelt een eenvoudige maar cruciale vraag: Als we een deel van deze groepslabels missen, kunnen we onze auditresultaten dan nog vertrouwen, of gaat de audit gewoon kapot omdat de data rommelig is?

Hier is de uitsplitsing van wat de onderzoekers hebben gevonden, met behulp van alledaagse analogieën.

1. Het "Ruis"-probleem: Is het de ontbrekende data of gewoon willekeur?

Stel je voor dat je de beste hardloper in een race probeert te kiezen.

Het Probleem: Soms staat de stopwatch er net naast, of starten de hardlopers een fractie van een seconde later dan anderen. Zelfs als je perfecte data hebt, kan het zijn dat je bij het twee keer hardlopen van de race met verschillende willekeurige startcondities (in de tekst "seeds" genoemd) telkens een iets andere winnaar kiest.
Het Inzicht van het Papier: De onderzoekers realiseerden zich dat wanneer we zien dat een audit van gedachten verandert omdat data ontbreekt, we vaak in paniek raken en denken: "O nee, de ontbrekende data heeft alles kapotgemaakt!"
De Reality Check: Ze ontdekten dat ontbrekende data de audit eigenlijk niet zo erg verstoort als we denken. Sterker nog, de audit verandert net zo vaak (of zelfs vaker) van gedachten wanneer het perfecte data heeft, simpelweg vanwege de willekeurige ruis.
De Analogie: Het is alsof een rechter van gedachten verandert over de beste hardloper, alleen maar omdat hij op het verkeerde moment knipperde. Het papier zegt: "Geef de ontbrekende data nog niet de schuld. Controleer eerst of de rechter gewoon wispelturig is." Ze creëerden een "kalibratie"-instrument om de "wispelturige rechter"-ruis te scheiden van de werkelijke schade veroorzaakt door ontbrekende data.

2. De "Geen-Data"-afgrond

Er is een specifiek punt waar de audit wél in de war raakt: wanneer er nul groepslabels beschikbaar zijn.

Wat Er Gebeurt: Als je geen idee hebt in welke groep iemand valt, eindigen verschillende verschillende eerlijkheidsrecepten allemaal met precies hetzelfde resultaat (ze gedragen zich allemaal als de standaard, niet-eerlijke versie).
Het Resultaat: Wanneer de audit een winnaar moet kiezen tussen deze identieke recepten, kiest hij er gewoon één willekeurig (zoals het opgooien van een muntje of het kiezen van de eerste in alfabetische volgorde). Dit laat de audit instabiel lijken, maar het is eigenlijk een probleem met het doorbreken van gelijke stand, niet een fundamenteel falen van de methode.

3. De "Verborgen Val": Het Intersectionele Gevaar

Dit is de belangrijkste bevinding. Stel je voor dat je controleert of een school eerlijk is.

De Val: Je controleert of de school eerlijk is voor "Jongens" en eerlijk voor "Meisjes" afzonderlijk. Je vindt een recept dat zaken eerlijk maakt voor beide groepen individueel. Je viert het!
De Realiteit: Maar hoe zit het met "Zwarte Meisjes"? Of "Oudere Mannen"? Het papier vond dat sommige methoden (specifiek één genaamd Threshold Optimization) de enkelvoudige groepen geweldig kunnen laten lijken, terwijl ze stiekem de situatie voor de specifieke combinaties van groepen (de intersecties) slechter maken.
De Analogie: Het is als een dieetplan dat helpt om af te vallen aan je armen en benen, maar stiekem een gevaarlijke hoeveelheid gewicht doet aankomen in je buik. De "enkelvoudige as"-audit zegt: "Goed gedaan!" maar de "intersectionele" audit zegt: "Je bent eigenlijk de meest kwetsbare mensen aan het schaden."
De Bevinding: De onderzoekers ontdekten dat deze "verborgen schade" vooral voorkomt bij het gebruik van de Threshold Optimization-methode. Zelfs als de audit zegt dat het model eerlijk is, verbergt deze specifieke methode vaak een scherpe daling in nauwkeurigheid voor de meest kwetsbare subgroepen.

4. De "Stress Test" Resultaten

De onderzoekers hebben hun audit uitgevoerd op echte wereldgegevens (zoals het voorspellen van inkomen of werkgelegenheid) en hebben gesimuleerd hoe ontbrekende data werkt op twee manieren:

Willekeurig Ontbrekend: Zoals een formulier dat verloren gaat in de post (ongerelateerd aan wie je bent).
Systematisch Ontbrekend: Zoals een specifieke groep mensen die weigert de vraag te beantwoorden.

Het Oordeel:

Goed Nieuws: Zolang je enige data hebt (zelfs 20% of 40%), blijven de aanbevelingen van de audit meestal stabiel. Ze wisselen niet wild van gedachten, alleen maar omdat data ontbreekt.
Slecht Nieuws: Het echte gevaar is niet de ontbrekende data zelf, maar het kiezen van het verkeerde eerlijkheidsrecept. Als je het "Threshold Optimization"-recept kiest, denk je misschien dat je het eerlijkheidsprobleem hebt opgelost, maar je hebt eigenlijk een verborgen val gecreëerd voor intersectionele groepen.

Samenvatting: Wat moet je onthouden?

Als je een eerlijkheidsaudit uitvoert:

Raak niet direct in paniek over ontbrekende data. Controleer eerst of je audit gewoon "ruisachtig" is (willekeurig van gedachten verandert).
Pas op voor de "Verborgen Val". Alleen omdat een model eerlijk is voor Ras A en Geslacht B, betekent niet dat het ook eerlijk is voor "Ras A + Geslacht B".
Wees voorzichtig met "Threshold Optimization". Deze specifieke methode is erg goed in het oplossen van problemen voor enkelvoudige groepen, maar is zeer goed in het verbergen van schade aan complexe, intersectionele groepen.
Rapporteer het volledige plaatje. Zeg niet alleen "We hebben Methode X gekozen." Je moet rapporteren hoe de methode zich gedraagt wanneer data ontbreekt, en controleren of het de meest kwetsbare subgroepen schaadt.

Kortom: Ontbrekende data is vervelend, maar het kiezen van het verkeerde eerlijkheidstool is gevaarlijk. Dit papier geeft ons een betere manier om het verschil te zien.

Technisch Samenvatting: Hoe betrouwbaar zijn fairness-audits met onbetrouwbare data?

Probleemstelling

Fairness-audits zijn essentieel voor verantwoorde implementatie van machine learning, maar de betrouwbaarheid ervan onder protected-label missingness (het ontbreken van beschermde labels) is nog onvoldoende begrepen. In de praktijk ontbreken demografische attributen (bijv. ras, geslacht) vaak door het niet verzamelen ervan, weigering door gebruikers of inconsistenties in de gegevens. Wanneer deze labels ontbreken, kunnen auditors groepsniveau-dispariteiten niet nauwkeurig berekenen of geschikte mitigatiemethoden selecteren.

De centrale uitdaging die wordt aangepakt, is het onderscheid maken tussen audit-instabiliteit veroorzaakt door ontbrekende data en instabiliteit die inherent is aan het auditproces zelf (bijv. variatie tussen verschillende seeds, bijna-equivalente kandidaat-methoden en deterministische tie-breaking). Zonder een baseline voor "normale" auditruis kan een verandering in aanbeveling door ontbrekende labels worden geïnterpreteerd als een kritiek falen van het auditframework, in plaats van een reflectie van standaard stochastische variantie.

Methodologie

De auteurs stellen een seed-gekalibreerde stresstest voor om de effecten van missingness te isoleren van inherente auditruis. De methodologie omvat:

Experimentele Opzet:
- Taken: Vier binaire classificatietaken uit de ACS/Folktables dataset (Inkomen, Werkgelegenheid, Publieke Dekking, Mobiliteit).
- Protected Views: Ras (RAC1P), Geslacht (SEX) en hun intersectie (RAC1P×SEX).
- Kandidaat-methoden: Empirical Risk Minimization (ERM), Feature Mixing, Reweighing, Protected-Group Mixing en Equalized-Odds Threshold Optimization.
- Selectiecriteria: Accuracy-constrained Equalized Odds (EO), Demographic Parity (DP), Worst-Group Accuracy (WGA) en Intersectional EO.
Missingness Regimes:
- Complete-Label Oracle ( $r_0$ ): Alle beschermde labels zijn beschikbaar.
- Missing Completely at Random (MCAR): Labels zijn verborgen met percentages van 80%, 60%, 50%, 40%, 20%, 10% en 0%.
- Missing Not at Random (MNAR): Gematched aan specifieke MCAR-doelstellingen (50%, 20%, 10%) met asymmetrische toegang tot labels (meerderheidsgroepen behouden een hogere beschikbaarheid).
- Evaluatie: Labels worden altijd behouden voor de evaluatiefase om ervoor te zorgen dat metrieken tegen de grondwaarheid worden berekend; missingness beïnvloedt alleen de training en post-processing mitigatie.
Kalibratiemechanisme:
- Seed-Pair Null: De audit wordt opnieuw uitgevoerd met volledige labels met behulp van verschillende willekeurige seeds ( $s, s'$ ). De frequentie van aanbevelings-flips tussen deze seeds vormt een baseline voor "ruis".
- Gematchte Excess Flip Rate ( $\Delta_c(r)$ ): Het verschil tussen de flip rate geobserveerd onder missingness en de seed-pair null. Een positieve $\Delta$ geeft aan dat missingness instabiliteit veroorzaakt die verder gaat dan normale auditvariatie.
- Hidden-Regression Screen: Controleert of een methode verbetering brengt in single-axis fairness (bijv. ras of geslacht) terwijl dit intersectionele uitkomsten (bijv. ras×geslacht) of Worst-Group Accuracy (WGA) verslechtert.
Validatie: Een secundair experiment herhaalt de audit met een Random Forest base learner om de robuustheid tegen modellen met een hogere variantie te testen.

Belangrijkste Resultaten

1. Missingness blijft vaak onder de Seed Null

Tegen de intuïtie in dat ontbrekende labels audits destabiliseren, laat de studie zien dat positive-availability missingness meestal niet de volledige-label seed floor overschrijdt bij de selectie van mitigatiemethoden.

Raw Flip Rates: 37,3% van de vergelijkingen met ontbrekende labels resulteerde in een andere methode-selectie.
Seed-Null Baseline: 53,8% van de complete-label seed-pair vergelijkingen resulteerde in een flip.
Gekalibreerde Bevinding: Na kalibratie vallen de meeste missingness regimes (MCAR en MNAR met >0% beschikbaarheid) onder de seed noise floor. Alleen het 0% (geen label) eindpunt overschrijdt de seed floor (+6,3 procentpunt), voornamelijk door deterministische tie-breaking tussen ERM-equivalente kandidaten.

2. Samenstelling van de Kandidaat-set is Cruciaal

De "flip rate" is zeer gevoelig voor de kandidaat-set. Wanneer de audit wordt beperkt tot {ERM, Reweighing, Threshold Optimization}, daalt de raw flip rate naar 33,8% tegenover een 39,8% seed null. Dit suggereert dat schijnbare fragiliteit vaak een artefact is van het opnemen van bijna-equivalente methoden die tie-breaking regels triggeren, in plaats van een fundamenteel falen van de auditlogica.

3. Threshold Optimization drijft Intersectionele Schade

Het meest significante falen van betrouwbaarheid dat is geïdentificeerd, is verborgen intersectionele regressie, waarbij winst in single-axis fairness de schade aan subgroepen maskeert.

Overall Hidden-Regression Rate: 69,9% (gekalibreerd tegen een 55,0% seed null).
Driver: Threshold Optimization is de primaire driver, met een hidden-regression rate van 94,2%. Het verbetert vaak single-axis EO-metrieken terwijl het ernstige dalingen in Worst-Group Accuracy (mediaan daling van 12,34 pp) veroorzaakt.
Andere Methoden: Reweighing en Feature Mixing vertonen lagere hidden-regression rates (29,6% en 36,2%, respectievelijk) en blijven onder de seed null wanneer threshold optimization wordt uitgesloten.

4. Robuustheid tegen Base Learner Variantie

Validatie met een Random Forest (hogere variantie dan Logistic Regression) bevestigde de belangrijkste bevindingen:

De strikte flip rates namen licht toe (van 37,3% naar 41,1%), maar de relatieve ordening van de effecten van missingness bleef consistent.
Het hidden-regression patroon gedreven door threshold optimization bleef bestaan (93,5% rate), wat bevestigt dat de foutmodus methode-specifiek is en niet model-specifiek.

Betekenis en Claims

Het paper betoogt dat protected-label missingness niet moet worden behandeld als bewijs van audit-fragiliteit zonder correcte kalibratie. De auteurs stellen:

Noodzaak voor Seed-Null Kalibratie: Ruwe sensitiviteitsanalyses (bijv. "de methode veranderde toen labels werden verborgen") zijn misleidend. Audits moeten rapporteren of de verandering de variatie overschrijdt die inherent is aan het auditproces onder volledige labels.
Contextuele Rapportage: Auditrapporten moeten het volgende bevatten:
- Seed-null kalibratie: Om onderscheid te maken tussen effecten van missingness en ruis.
- Kandidaat-set context: Om rekening te houden met tie-breaking artefacten.
- Intersectionele consequenties: Om verborgen regressies te detecteren waarbij winst op single-axis de intersectionele schade verbergt.
Specifieke Foutmodi: De studie identificeert threshold optimization als een risicovolle methode die "above-null" verborgen regressies kan produceren, vooral wanneer labels schaars zijn.
Actiegerichte Beschikbaarheidscurves: Audits zouden moeten visualiseren hoe methoden zich gedragen over een spectrum van labelbeschikbaarheid, waarbij onderscheid wordt gemaakt tussen veranderingen in aanbevelingen en degradatie van metrieken.

Samenvattend biedt dit werk een diagnostisch kader om de misinterpretatie van effecten van ontbrekende data te voorkomen, waarbij wordt benadrukt dat veel waargenomen instabiliteiten artefacten zijn van standaard auditvariatie of specifieke methodologische gedragingen (zoals threshold optimization), in plaats van een algemeen onvermogen om te auditen onder missingness.