Integrating Group and Individual Fairness Auditing in Clinical AI: A Post-Hoc, Model-Agnostic Approach

Dit artikel introduceert EquiLense, een praktische, post-hoc en modelonafhankelijke audittool die de kloof tussen groeps- en individuele eerlijkheidsbeoordelingen in klinische AI overbrugt door gebruik te maken van een nieuwe metriek, genaamd Mean Predicted Probability Difference (MPPD), om systematische voorspellingstegenheden over demografische groepen heen te identificeren.

De kern

Stel je voor dat je een zeer slimme, geautomatiseerde assistent hebt die artsen helpt voorspellen hoe een patiënt het na een operatie zal doen. Deze assistent is over het algemeen uitstekend in zijn werk, maar er is een knagende zorg: Behandelt het iedereen eerlijk?

Soms kunnen deze assistenten op twee verschillende manieren onrechtvaardig zijn:

1. Groepsongelijkheid: Het geeft consequent slechtere voorspellingen voor één hele groep mensen (zoals een specifieke ras of geslacht) in vergelijking met een andere.
2. Individuele ongelijkheid: Het behandelt twee patiënten die medisch identiek zijn (zelfde leeftijd, dezelfde gezondheidsproblemen, dezelfde operatie) verschillend, alleen omdat ze tot verschillende groepen behoren.

Het probleem is dat de meeste hulpmiddelen die worden gebruikt om op eerlijkheid te controleren, slechts één van deze hoeken bekijken. Ze kunnen controleren of Groep A slechtere scores krijgt dan Groep B, maar missen het feit dat twee specifieke, identieke patiënten verschillend worden behandeld. Of ze controleren of identieke patiënten hetzelfde worden behandeld, maar missen het grotere plaatje van systemische vooroordelen tegen een hele groep.

Presentatie van "EquiLense": De Eerlijkheidsbril

De auteurs van dit paper hebben een nieuw hulpmiddel ontwikkeld dat EquiLense heet. Denk hierbij aan een paar "eerlijkheidsbrillen" die een arts of ontwikkelaar kan opzetten nadat het AI-model al is gebouwd en werkt. Je hoeft de motor niet opnieuw te bouwen; je kijkt gewoon door de bril om te zien wat er echt gebeurt.

EquiLense doet drie belangrijke dingen om een compleet beeld te geven:

1. De Groepscontrole: Het kijkt naar het grote plaatje om te zien of bepaalde demografische groepen systematisch slechtere voorspellingen krijgen dan anderen.
2. De Individuele Controle: Het vindt paren patiënten die medische tweelingen zijn (zelfde leeftijd, dezelfde medische geschiedenis) en controleert of de AI hen dezelfde voorspelling geeft. Als het aan de ene een "hoog risico"-score geeft en aan de andere een "laag risico"-score, puur vanwege hun ras of verzekering, dan is dat een rode vlag.
3. Het "Gemiddeld Voorspeld Kansenverschil" (MPPD): Dit is het geheimzinnige ingrediënt van het paper. Het is een nieuwe manier om de kloof tussen die "medische tweelingen" te meten.

Hier is een eenvoudige analogie voor MPPD:
Stel je voor dat je een rechter bent die twee mensen veroordeelt die precies hetzelfde misdrijf hebben gepleegd met exact dezelfde geschiedenis.

• Eerlijkheid: Beide krijgen 5 jaar.
• Onrechtvaardigheid: De ene krijgt 5 jaar, en de andere krijgt 10 jaar, alleen omdat ze uit een andere wijk komen.

MPPD is als een liniaal die precies meet hoeveel extra tijd de tweede persoon in vergelijking met de eerste heeft gekregen, gemiddeld, in de hele rechtszaal. Het kwantificeert de "onrechtvaardige kloof" tussen mensen die gelijk zouden moeten worden behandeld.

Wat hebben ze gevonden?

Het team testte EquiLense op echte ziekenhuisdata met meer dan 59.000 chirurgische patiënten. Ze keken naar modellen die twee dingen voorspelden: delirium (verwarring na de operatie) en heropname (terugkeren naar het ziekenhuis binnen 30 dagen).

• De verrassing: De AI-modellen waren over het algemeen behoorlijk goed in het voorspellen van uitkomsten (ze waren accuraat). Echter, toen ze de EquiLense-bril opzetten, ontdekten ze dat de modellen "medische tweelingen" nog steeds verschillend behandelden op basis van ras.
• Het specifieke voorbeeld: Voor patiënten die medisch identiek waren aan blanke patiënten, kregen Aziatische patiënten systematisch verschillende (en minder eerlijke) voorspellingen. De "kloof" in hun scores was meetbaar en significant.
• De reparatietest: Ze probeerden een eenvoudig experiment: ze vertelden de AI om ras en verzekeringstype te negeren bij het maken van zijn voorspellingen. Toen ze dit deden, kromp de "onrechtvaardige kloof" (de MPPD-score) aanzienlijk. Dit suggereert dat het simpelweg verwijderen van die specifieke datapunten uit het "brein" van het model ervoor zorgde dat het gelijkaardige patiënten eerlijker behandelde, zonder dat het model slechter werd in zijn werk.

Werkte dit op andere problemen?

Om ervoor te zorgen dat hun nieuwe liniaal (MPPD) echt werkte, testten ze het op twee beroemde, niet-medische datasets waar vooroordelen al bekend waren:

1. COMPAS: Een hulpmiddel dat wordt gebruikt om te voorspellen of criminelen opnieuw zullen delicten plegen. (We weten dat dit hulpmiddel historisch gezien vooroordelen had tegen zwarte verdachten).
2. UCI Adult Income: Een dataset die voorspelt of iemand meer dan $50.000 verdient. (We weten dat dit historische gendervooroordelen heeft).

Het resultaat: De MPPD-maatstaf van EquiLense slaagde erin om precies de groepen te markeren waarvan we al wisten dat ze onrechtvaardig werden behandeld (zwarte verdachten in de COMPAS-data en vrouwen in de inkomensdata). Dit bewees dat het hulpmiddel werkt.

Waarom is dit belangrijk?

Het paper betoogt dat we een hulpmiddel nodig hebben dat ons niet dwingt om onze huidige AI-modellen weg te gooien en opnieuw te beginnen (wat duur en moeilijk is). In plaats daarvan hebben we een manier nodig om ze te auditeren nadat ze zijn gebouwd.

EquiLense is als een kwaliteitscontrole-inspecteur voor AI in de gezondheidszorg. Het repareert de machine niet voor je, maar het geeft je een duidelijk, makkelijk te begrijpen rapportkaartje dat zegt: "Hé, je machine is goed in wiskunde, maar het behandelt deze twee identieke patiënten verschillend alleen vanwege hun achtergrond."

Dit stelt artsen en ontwikkelaars in staat om geïnformeerde keuzes te maken, zoals het beslissen of ze bepaalde datapunten (zoals ras) uit het model moeten verwijderen om het eerlijker te maken, zonder dat ze wiskundige genieën hoeven te zijn of het hele systeem vanaf nul hoeven te herbouwen.

Technische samenvatting

1. Probleemstelling

De integratie van AI in klinische besluitvorming roept kritieke ethische zorgen op met betrekking tot algoritmische rechtvaardigheid. Huidige kaders voor het evalueren van rechtvaardigheid lijden onder fragmentatie:

• Groepsrechtvaardigheid: Metrieken (bijv. Demografische Pariteit, Gelijke Kans) beoordelen dispariteiten tussen demografische groepen, maar verdoezelen vaak variaties op patiëntniveau. Een model kan op groepsniveau rechtvaardig lijken terwijl het klinisch vergelijkbare individuen inconsistent behandelt.
• Individuele Rechtvaardigheid: Metrieken zorgen ervoor dat vergelijkbare individuen vergelijkbare voorspellingen ontvangen. Deze worden echter zelden toegepast in de gezondheidszorg vanwege de moeilijkheid om "klinische vergelijkbaarheid" te definiëren en het gebrek aan operationele hulpmiddelen. Bestaande benaderingen vereisen vaak het opnieuw trainen van modellen, specifieke architecturen (bijv. grafische neurale netwerken) of complexe specificaties van causale grafieken (Contravariante Rechtvaardigheid), waardoor ze onpraktisch zijn voor het auditen van reeds ingezette modellen.

De Kloof: Er ontbreekt een praktische, post-hoc, model-agnostische tool die gelijktijdig dispariteiten op groepsniveau en consistentie van voorspellingen op individueel niveau evalueert in klinische settings.

2. Methodologie: Het EquiLense-kader

De auteurs introduceren EquiLense, een post-hoc, model-agnostisch auditinstrument dat is ontworpen om groeps- en individuele rechtvaardigheid te verbinden. Het bestaat uit drie kerncomponenten:

A. Evaluatie van Groepsrechtvaardigheid

De tool berekent standaard dispariteitsmetrieken over gevoelige attributen (bijv. ras, geslacht, verzekeringstype):

• Verschil in Demografische Pariteit (DPD)
• Verschil in Gelijke Kans (EOD)
• Gelijkgestelde Odds (EO)
• Index voor Dispariteit in Foutverdeling (EDDI): Een nieuwe metriek die is ontworpen voor klinische settings met diverse groepsgroottes en class-ongelijkheid.

B. Beoordeling van Individuele Rechtvaardigheid

De tool meet de consistentie van voorspellingen onder klinisch vergelijkbare patiënten.

• Definitie van Vergelijkbaarheid: Gebruikers kunnen klinische vergelijkbaarheid definiëren op basis van specifieke kenmerken (bijv. leeftijd, BMI, Charlson Comorbiditeitsindex) met behulp van op afstand gebaseerde metrieken (bijv. cosinus-achtbaarheid).
• Flexibiliteit: Het kader stelt gebruikers in staat om vergelijkbaarheidsdrempels en kenmerksets aan te passen om te matchen met specifieke klinische contexten.

C. Gemiddeld Verschil in Voorspelde Kans (MPPD)

Dit is de nieuwe methodologische bijdrage van het artikel, ontworpen om individuele rechtvaardigheid operationeel te maken terwijl groepsniveau-effecten worden vastgelegd.

• Concept: MPPD kwantificeert het gemiddelde absolute verschil in voorspelde kansen tussen klinisch vergelijkbare patiënten die tot verschillende demografische groepen behoren.
• Implementatie:
  1. Referentie-gebaseerd: Identificeert een referentiegroep (bijv. blanke patiënten) en matcht hen met klinisch vergelijkbare patiënten uit andere groepen. Het berekent de voorspellingskloof.
  2. Paarsgewijs: Voert bidirectionele matching uit tussen alle groepcombinaties (bijv. Zwart-Blank, Aziatisch-Hispans) om een symmetrische matrix van dispariteitsscores te creëren. Dit voorkomt het aannemen van één enkele "rechtvaardige" referentiegroep en benadrukt dispariteiten tussen minderheidsgroepen.
• Voordeel: In tegenstelling tot Contravariante Rechtvaardigheid, vertrouwt MPPD op waargenomen, real-world data in plaats van synthetische tegenhangers of niet-geverifieerde causale grafieken, waardoor het computerefficiënt en interpreteerbaar is voor clinici.

3. Studieontwerp en Data

• Klinische Cohort: 59.047 chirurgische patiënten van een groot academisch medisch centrum (2012–2022).
• Uitkomsten:
  1. Postoperatief delier (geïdentificeerd via ICD-codes, CAM-scores en NLP van klinische notities).
  2. 30-daagse ziekenhuisopname.
• Modellen: Logistische regressie en XGBoost-classificatoren getraind op klinische kenmerken (leeftijd, BMI, CCI, geschiedenis van mentale gezondheid, enz.). Gevoelige attributen (ras, geslacht, verzekering) werden opgenomen of uitgesloten om hun impact te testen.
• Externe Referenties: MPPD gevalideerd op twee datasets met bekende historische biases:
  1. COMPAS: Voorspelling van recidive (n=6.172).
  2. UCI Adult Income: Voorspelling van inkomen (n=32.561).

4. Belangrijkste Resultaten

Klinische Toepassing (Chirurgische Modellen)

• Prestatie: Het XGBoost-model behaalde een AUROC van 0,78 voor delier en 0,61 voor opname. Het verwijderen van gevoelige attributen had een verwaarloosbaar effect op de voorspellende prestaties.
• Groepsrechtvaardigheid: Standaard metrieken toonden matige dispariteiten, met name in de foutverdeling (EDDI).
• Individuele Rechtvaardigheid (MPPD):
  • MPPD onthulde systematische inconsistenties: Onder patiënten die klinisch vergelijkbaar waren met blanke patiënten, vertoonden Aziatische patiënten de grootste voorspellingsdispariteit (MPPD-verschil = 0,045).
  • Gevoeligheid voor Kenmerken: Het uitsluiten van gevoelige attributen (ras/etniciteit) uit het modeltraining verminderde de MPPD-scores aanzienlijk, wat wijst op verbeterde consistentie zonder afbreuk te doen aan de nauwkeurigheid.
  • Paarsgewijze Analyse: De paarsgewijze matrix benadrukte dispariteiten tussen minderheidsgroepen die referentie-gebaseerde methoden zouden kunnen missen.

Validatie via Externe Referenties

• COMPAS: MPPD identificeerde correct de hoogste dispariteit voor African American-verdachten, in overeenstemming met bekende biases in recidive-scoring.
• UCI Adult Income: MPPD kende de hoogste dispariteitsscore toe aan vrouwelijke werknemers, in lijn met gedocumenteerde genderbias in inkomen-voorspelling.
• Conclusie: MPPD slaagde erin bekende ground-truth biases in niet-klinische datasets te detecteren, wat de bruikbaarheid ervan als screeningsmetriek valideert.

5. Belangrijkste Bijdragen

1. EquiLense Tool: Een unificerend, post-hoc kader dat metrieken voor groeps- en individuele rechtvaardigheid integreert zonder dat modelhertraining vereist is.
2. MPPD Metriek: Een nieuwe, interpreteerbare metriek die de kloof overbrugt tussen groepsdispariteit en individuele consistentie door echte, waargenomen patiënten te vergelijken. Het is computergewicht licht en vereist geen specificatie van causale grafieken.
3. Praktische Toepasbaarheid: De tool is model-agnostisch (werkt met elke classifier) en stelt clinici in staat om "vergelijkbaarheid" te definiëren op basis van domeinkennis, waardoor het direct toepasbaar is op auditing in de echte wereld van de gezondheidszorg.
4. Empirisch Bewijs: Toonde aan dat hoge algehele modelprestaties geen garantie bieden voor rechtvaardigheid; modellen kunnen klinisch vergelijkbare patiënten systematisch verschillend behandelen op basis van demografische attributen.

6. Betekenis en Beperkingen

Betekenis:

• De Kloof Overbruggen: EquiLense adresseert het "blinde vlekje" waar groepsmetrieken individuele inconsistenties missen en individuele metrieken een systemische context missen.
• Actieerbare Inzichten: Door gevoeligheidsanalyses mogelijk te maken (bijv. het verwijderen van gevoelige kenmerken), helpt de tool practitioners bij het nemen van onderbouwde beslissingen over modelimplementatie en kenmerksselectie om bias te mitigeren.
• Post-Hoc Nut: Het vult een kritieke behoefte aan het auditen van modellen die reeds in productie zijn, een fase waarin strategieën voor mitigatie tijdens het trainen niet langer van toepassing zijn.

Beperkingen:

• Causaliteit: MPPD is een op correlatie gebaseerde metriek; het signaleert inconsistenties maar kan niet bepalen of deze het gevolg zijn van algoritmische bias of klinisch gepaste onderscheidingen.
• Definitie van Vergelijkbaarheid: De nauwkeurigheid van individuele rechtvaardigheid hangt af van de subjectieve definitie van "klinische vergelijkbaarheid" door de gebruiker. Slechte kenmerkselectie of ruis in de data kan resultaten verstoren.
• Doorlopende Impact: De tool audit modeluitkomsten maar beoordeelt niet de doorlopende klinische gevolgen (bijv. daadwerkelijke veranderingen in patiëntenzorg of gezondheidsuitkomsten).
• Steekproefgrootte: Schattingen voor kleine subgroepen (bijv. inheems-Amerikaanse patiënten in de studie) moeten met voorzichtigheid worden geïnterpreteerd.

Conclusie

Het artikel presenteert EquiLense als een vitale stap naar het operationaliseren van rechtvaardigheid in klinische AI. Door gevestigde groepsmetrieken te combineren met de nieuwe MPPD, biedt het een uitgebreide, interpreteerbare en praktische aanpak voor het auditen van ingezette modellen, zodat AI-systemen de gezondheidsequity bevorderen in plaats van ondermijnen.