Reliable fairness auditing with semi-supervised inference

Technische Samenvatting: Betrouwbare Fairness-audits met Semi-supervised Inference

Probleemstelling
Machine learning-modellen die worden ingezet in biomedische toepassingen vertonen vaak bias die ongelijkheden verergert tussen subpopulaties die worden gedefinieerd door beschermde attributen (bijvoorbeeld ras, geslacht). Het identificeren en mitigeren van deze biases vereist "group fairness auditing", een proces dat prestatie-indicatoren van het model (zoals True Positive Rate, False Positive Rate of kalibratie) evalueert over verschillende groepen heen. Betrouwbare auditing vereist echter doorgaans grote hoeveelheden gelabelde data om subtiele prestatieverschillen op te sporen. In biomedische contexten is het verkrijgen van dergelijke labels kostbaar en arbeidsintensief, vaak met behulp van gespecialiseerde klinische expertise (bijvoorbeeld het annoteren van medische afbeeldingen of ontslagrapporten). Bijgevolg vinden fairness-audits vaak plaats in een semi-supervised (SS) setting: een kleine gelabelde dataset is beschikbaar, aangevuld met een veel grotere ongelabelde dataset. Traditionele supervised auditing-methoden negeren de ongelabelde data, wat leidt tot hoge variantie en een verminderde power om verschillen op te sporen. Bestaande SS-methoden voor fairness auditing zijn ofwel beperkt tot specifieke metrics, vertrouwen op parametrische aannames die tot vertekende inferentie kunnen leiden als deze worden geschonden, of slagen er niet in om aanvullende covariaten die tijdens de audit beschikbaar zijn, te benutten.

Methodologie: Het Infairness Framework
De auteurs stellen Infairness voor, een unified semi-supervised inference framework dat is ontworpen om een breed scala aan fairness-criteria te auditen door zowel gelabelde als ongelabelde data te benutten. De kern van de methode bestaat uit het imputeren van ontbrekende uitkomsten ($Y$) in de ongelabelde data met behulp van een regressiemodel dat conditioneert op de voorspellingen van het model ($S$) en aanvullende covariaten ($W$).

1. Probleemopzet: Het framework gaat uit van een validatiedataset bestaande uit $n$ gelabelde samples $\{(Y_i, X_i, W_i, A_i)\}$ en $N$ ongelabelde samples $\{(X_i, W_i, A_i)\}$, waarbij $A$ een categorisch beschermd attribuut is. Het doel is het schatten van groepspecifieke prestatie-indicatoren ($M_a$) en hun verschillen ($\Delta M$) met een hogere efficiëntie dan supervised schatting.
2. Imputatiestrategie: Voor metrics die afhankelijk zijn van de uitkomst $Y$ (bijvoorbeeld TPR, FPR), schat de methode de conditionele verwachting $E(Y | S, W, A=a)$ met behulp van een werkmodel. Dit model maakt gebruik van flexibele niet-lineaire basisfuncties (specifiek natuurlijke kubische splines) van de voorspelling $S$ en aanvullende covariaten $W$. De parameters worden geschat via een gepenaliseerde schattingsvergelijking op de gelabelde data.
3. Schatting: De ontbrekende uitkomsten in de ongelabelde data worden geïmputeerd met het gefitte model. De groepspecifieke metrics worden vervolgens berekend door deze imputaties te middelen over de grote ongelabelde dataset binnen elke groep. Voor metrics die onafhankelijk zijn van $Y$ (bijvoorbeeld die welke alleen afhankelijk zijn van $S$ of $D$), middelt de methode eenvoudigweg over de ongelabelde data, wat inherent de variantie verlaagt vanwege de grotere steekproefomvang.
4. Robuustheid: Het framework is ontworpen om robuust te zijn ten opzichte van de specificatie van het imputatiemodel. Door een intercept, de voorspelling $S$ en de classificatie $D$ op te nemen in de basisfuncties, blijft de schatter consistent, zelfs als de functionele vorm van het imputatiemodel verkeerd is gespecificeerd, mits de basis deze essentiële termen bevat.

Belangrijkste Bijdragen en Theoretische Resultaten

• Unified Framework: Infairness biedt een algemene aanpak die toepasbaar is op een breed spectrum aan fairness-metrics (nauwkeurigheid, discriminatie, kalibratie) en vertrouwt niet op de restrictieve parametrische aannames van eerdere SS-fairness-methoden (bijvoorbeeld Beta Calibration).
• Consistentie en Validiteit: De auteurs bewijzen dat de Infairness-schatting consistent is voor de doel-fairness-metrics en dat de inferentieprocedures (betrouwbaarheidsintervallen) geldig zijn onder standaard regulariteitsvoorwaarden, zelfs wanneer het imputatiemodel niet perfect is gespecificeerd.
• Efficiëntiewinst: Theoretische analyse toont aan dat de Infairness-schatting een kleinere asymptotische variantie heeft dan de supervised schatting. Specifiek, als het imputatiemodel informatie over $Y$ vastlegt die verder gaat dan wat alleen in $S$ zit (d.w.z. $E(Y|S, W, A) \neq E(Y|A)$), wordt de variantie strikt gereduceerd.
• Robuustheid tegen Foutieve Specificatie: In tegenstelling tot methoden die een specifieke parametrische vorm aannemen voor het verband tussen voorspellingen en uitkomsten, maakt Infairness gebruik van flexibele basisuitbreidingen. Theoretische resultaten tonen aan dat de schatter consistent blijft, zelfs als het werkmodel verkeerd is gespecificeerd, zolang de basisfuncties de nodige termen bevatten (intercept, $S$, $D$).

Empirische Resultaten
Het artikel evalueert Infairness door middel van uitgebreide simulatiestudies en twee real-world biomedische audits:

1. Simulatiestudies:

   • In gestileerde settings leverde Infairness consequent onbevooroordeelde schattingen met nominale dekkingkansen op, terwijl parametrische methoden (Beta Calibration) te kampen hadden met aanzienlijke bias en onderdekking wanneer hun aannames werden geschonden.
   • In traditionele settings met complexe data-genererende mechanismen (n-lineariteiten, interacties, boom-gebaseerde structuren) behield Infairness een lage bias en een dekking die dicht bij het nominale niveau lag.
   • Efficiëntie: Infairness presteerde consequent beter dan supervised schatting en niet-parametrische baselines. Wanneer aanvullende covariaten ($W$) informatie over $Y$ bevatten, bereikten modellen die $W$ integreerden (bijvoorbeeld Infairness($S \times W$)) relatieve efficiëntiewinsten van 10–37% ten opzichte van methoden die $W$ negeren.

2. Real-world Toepassingen:

   • EHR-phenotyping (Depressie): Auditing van een model voor depressiedetectie over rasgroepen heen met behulp van MIMIC-III-data ($n=872$ gelabeld, $N=28.766$ ongelabeld). Infairness verlaagde de variantie van dispariteitsschattingen met ongeveer 43,5% in vergelijking met supervised schatting, wat overeenkomt met het vereisen van 43,5% minder gelabelde samples om dezelfde precisie te bereiken.
   • Medische Imaging (Thoraxröntgen): Auditing van een cardiomegalie-classificator over geslachtsgroepen heen ($n=500$ gelabeld, $N=64.740$ ongelabeld). Infairness verlaagde de variantie met 60,9% voor TPR-dispariteit en met 56,3% voor FPR-dispariteit in vergelijking met supervised schatting.

Betekenis en Claims
Het artikel claimt dat Infairness een praktische en statistisch rigoureuze oplossing biedt voor de knelpunt van "label scarcity" in biomedische fairness-auditing. Door effectief gebruik te maken van overvloedige ongelabelde data en aanvullende covariaten, stelt de methode krachtigere detectie van prestatieverschillen tussen subgroepen in staat zonder de kosten van data-annotatie te verhogen. De auteurs benadrukken dat de methode geen validiteit opoffert voor efficiëntie; het garandeert consistente schatting en geldige inferentie zonder te vertrouwen op sterke parametrische aannames die kunnen leiden tot overmoedige, vertekende conclusies over de fairness van het model. Het werk onderstreept de waarde van semi-supervised inference om ervoor te zorgen dat ML-modellen in de gezondheidszorg verantwoord en rechtvaardig worden ingezet.