FairLogue: Evaluating Intersectional Fairness across Clinical Machine Learning Use Cases using the All of Us Research Program

Probleemstelling

Gezondheidsdispariteiten ontstaan zelden door een enkele sociale identiteit, maar veeleer door complexe interacties tussen meerdere identiteiten (zoals ras, geslacht, leeftijd en sociaaleconomische status). Dit concept, bekend als intersectionaliteit, leidt tot samengestelde vormen van bias die in gezondheidsdata en de daarop getrainde machine learning-modellen kunnen worden verankerd.

Het huidige probleem is dat de meeste evaluaties van eerlijkheid (fairness) demografische attributen onafhankelijk van elkaar beoordelen (bijvoorbeeld alleen ras of alleen geslacht). Deze "single-axis" benadering faalt vaak om de gecombineerde ongelijkheden te vangen die individuen ervaren die tot meerdere ondervertegenwoordigde groepen behoren. Hierdoor worden betekenisvolle patronen van dispariteit verdoezeld, wat kan leiden tot misleidende conclusies over de eerlijkheid van klinische modellen en het voortbestaan van systemische ongelijkheden.

Methodologie

De studie evalueert de FairLogue-toolkit, een modulair systeem voor intersectioneel eerlijkheidsauditing, op twee verschillende klinische voorspellingsopgaven met behulp van het All of Us Research Program (Registered Tier V8 dataset).

De twee use-cases:

1. Case A: Bloedingen geassocieerd met SSRI's: Voorspelling van bloedingen binnen 90 dagen na blootstelling aan selectieve serotonineheropname-remmers (SSRI's).
   • Modellen: LightGBM en Random Forest.
   • Data: 12.850 deelnemers, gelaagd op SSRI-type, ras en geslacht.
2. Case B: Beroerte-risico bij Atriumfibrillatie (AF): Voorspelling van het risico op een beroerte binnen twee jaar bij patiënten met AF.
   • Model: LightGBM.
   • Data: 11.160 deelnemers, met een specifieke verdeling van trainings- en testsets gebaseerd op staten met verschillende demografische samenstellingen.

Analytische aanpak:

• Observationale metrieken: Berekening van eerlijkheidsmetrieken voor enkele dimensies (ras, geslacht) en intersectionele subgroepen (ras × geslacht). Gebruikte metrieken:
  • Demographic Parity (DP)
  • Equalized Odds (EO) - specifiek False Positive Rate (FPR)
  • Equal Opportunity Difference (EOD)
  • Onrechtvaardigheidswaarden ("u-values") met een drempel van 0,10 (10%).
• Counterfactual analyse: Om te bepalen of dispariteiten daadwerkelijk worden veroorzaakt door groepsaansluiting, wordt een contrafactual scenario gesimuleerd waarbij de groepsaansluiting willekeurig wordt toegewezen. Als de waargenomen dispariteiten vergelijkbaar zijn met die in dit willekeurige scenario, suggereert dit dat de bias niet direct door de demografie zelf wordt veroorzaakt, maar door andere covariaten in de data.

Belangrijkste Resultaten

1. Intersectionele analyses onthullen grotere dispariteiten:
In beide use-cases toonde de intersectionele analyse (ras × geslacht) consistent grotere eerlijkheidskloven aan dan de single-axis analyses.

• Bij de SSRI-studies waren de kloven voor Demographic Parity en Equalized Odds FPR klein, maar toonde Equal Opportunity Difference aanzienlijke variabiliteit tussen subgroepen.
• Bij de beroerte-studies waren de waargenomen dispariteiten na single-axis tuning klein, maar steeg de kloof bij intersectionele evaluatie aanzienlijk.

2. Counterfactual analyse ontketent de oorzaak van de bias:
Hoewel intersectionele dispariteiten in de observatie groter waren, toonde de counterfactual analyse aan dat de meeste van deze verschillen vergelijkbaar waren met wat men zou verwachten onder willekeurige groepsaansluiting.

• SSRI-studie: De "u-values" voor positieve voorspellingen waren nul. Er was enige onrechtvaardigheid voor negatieve voorspellingen, maar de counterfactual foutpercentages (cFNR en cFPR) toonden geen statistisch significante verschillen tussen subgroepen.
• Beroerte-studie: De empirische cumulatieve verdelingen (ECDF) lagen dicht bij nul en onder de drempel van 0,1. Dit suggereert dat de waargenomen dispariteiten niet direct kunnen worden toegeschreven aan de demografische groep zelf, maar waarschijnlijk het gevolg zijn van complexe correlaties tussen identiteit en andere factoren (zoals comorbiditeiten of medicatiegebruik) in de dataset.

3. Modelonafhankelijkheid:
De patronen van eerlijkheid waren consistent tussen LightGBM en Random Forest modellen, wat suggereert dat de dispariteiten meer worden gedreven door de onderliggende data-distributie dan door de specifieke modelarchitectuur.

Bijdragen

• Validatie van FairLogue: Het paper bewijst de bruikbaarheid en generaliseerbaarheid van de FairLogue-toolkit over meerdere klinische domeinen, niet slechts één.
• Methodologische vooruitgang: Het demonstreert het belang van het combineren van observationale metrieken met counterfactual diagnostiek. Dit onderscheidt tussen dispariteiten die voortkomen uit directe modeldiscriminatie en die welke voortkomen uit onderliggende data-ongelijkheden.
• Inzicht in Intersectionaliteit: Het bevestigt dat single-axis evaluaties de omvang en complexiteit van ongelijkheid in klinische modellen onderschatten.

Betekenis en Conclusie

De studie concludeert dat hoewel intersectionele analyses noodzakelijk zijn om de volledige omvang van bias in klinische machine learning te begrijpen, de aanwezigheid van dispariteiten niet automatisch betekent dat het model discrimineert op basis van demografie.

De counterfactual analyse suggereert dat de waargenomen ongelijkheden vaak het gevolg zijn van bredere covariaten-relaties in de gezondheidszorg (bijv. verschillen in comorbiditeitsprevalentie of toegang tot zorg) die in de data zijn verankerd, en niet van de modelstructuur zelf. Dit heeft belangrijke implicaties voor mitigatiestrategieën: in plaats van alleen het model aan te passen, moeten ontwikkelaars kijken naar de onderliggende data-distributies en de structurele factoren die deze correlaties veroorzaken.

FairLogue biedt een gestructureerde aanpak om deze nuances te ontrafelen, waardoor ontwikkelaars betere beslissingen kunnen nemen over de ontwikkeling, evaluatie en implementatie van eerlijke klinische AI-systemen.