Equitable Electronic Health Record Prediction with FAME: Fairness-Aware Multimodal Embedding

Dit artikel introduceert FAME, een framework dat de bijdrage van verschillende modaliteiten aan eerlijkheid weegt om via een gecombineerde verliesfunctie en de Error Distribution Disparity Index (EDDI) zowel de voorspellingsprestatie als de eerlijkheid van multimodale modellen voor elektronische gezondheidsrecords te optimaliseren.

De kern

De Slimme, Eerlijke Medische Teamleider: Een Verklaring van FAME

Stel je voor dat een arts een patiënt moet beoordelen. Om een goede diagnose te stellen of te voorspellen of iemand de intensive care overleeft, kijkt de arts naar heel veel verschillende soorten informatie:

1. De papieren dossier: Getallen, bloeddruk, leeftijd, verzekering (dit is de gestructureerde data).
2. De handgeschreven notities: De verhalen van de verpleegkundigen en artsen over hoe de patiënt zich voelt (dit is de ongestructureerde tekst).
3. De achtergrond: De etniciteit, leeftijd en inkomen van de patiënt.

In het verleden probeerden computers (kunstmatige intelligentie) om deze informatie te gebruiken, maar ze maakten vaak twee fouten:

• Ze keken maar naar één soort informatie (bijvoorbeeld alleen de getallen), waardoor ze veel details misten.
• Ze waren vaak onrechtvaardig. Ze deden het goed voor de meeste mensen, maar faalden voor bepaalde groepen (bijvoorbeeld mensen met een andere huidskleur of een andere verzekering). Dit komt omdat de computer onbewust leerde dat bepaalde groepen "minder belangrijk" waren.

De auteurs van dit paper hebben een nieuwe manier bedacht om dit op te lossen, genaamd FAME (Fairness-Aware Multimodal Embeddings). Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De Onrechtvaardige Jury

Stel je een jury voor die een zaak moet beoordelen. Ze hebben drie getuigen:

• Getuige A (de getallen): Heeft veel feiten, maar soms is hij vooroordelend.
• Getuige B (de verhalen): Heeft veel nuance en context, maar is soms vaag.
• Getuige C (de achtergrond): Vertelt wie de patiënt is.

In de oude systemen gaf de jury aan iedereen evenveel stemmen, ongeacht of ze een goed verhaal hadden of niet. Soms luisterde de jury te hard naar Getuige C (de achtergrond), wat leidde tot onrechtvaardige uitspraken voor bepaalde groepen.

2. De Oplossing: FAME als de Slimme Teamleider

FAME is als een slimme teamleider die de jury organiseert. Deze teamleider heeft een heel speciale opdracht: hij moet niet alleen zorgen voor het juiste antwoord, maar ook voor eerlijkheid.

Hoe doet hij dat?

• Hij luistert naar iedereen, maar weegt hun stem:
  De teamleider kijkt tijdens het leren naar elk getuige. Hij vraagt zich af: "Hoe goed doet deze getuige het voor de zwakste groepen?"
  Als Getuige A (de getallen) het goed doet voor iedereen, maar Getuige B (de verhalen) het slecht doet voor een specifieke groep, dan geeft de teamleider Getuige B een tikkeltje minder stemmen in die specifieke situatie. Hij "dempt" de stemmen die onrechtvaardig zijn en "versterkt" de stemmen die eerlijk zijn.

• De "Eerlijkheids-Compass" (EDDI):
  De teamleider heeft een kompas genaamd EDDI. Dit kompas meet niet alleen of het antwoord goed is, maar ook of het antwoord eerlijk is voor iedereen (jong, oud, rijk, arm, verschillende etniciteiten).
  Als het kompas aangeeft dat een bepaalde groep onterecht slecht wordt behandeld, past de teamleider de gewichten direct aan. Hij zegt: "Oké, we luisteren iets minder naar de achtergrondinformatie en iets meer naar de medische feiten, want dat maakt het eerlijker."

• De "Filter-bril" (Sigmoid):
  Naast het luisteren naar de getuigen, heeft de teamleider ook een bril waarmee hij door de details kijkt. Soms staat een specifiek detail in een medisch verslag (bijvoorbeeld een woordje over de woonomstandigheid) in de weg voor eerlijkheid. De teamleider kan die specifieke details "demp" met een filter, zodat ze minder invloed hebben op het eindoordeel.

3. Wat is het Resultaat?

De auteurs hebben FAME getest op echte ziekenhuisdata (de MIMIC-dataset). Ze lieten het systeem drie dingen voorspellen:

1. Overlijdt de patiënt binnen de intensive care?
2. Blijft de patiënt langer dan 3 dagen in het ziekenhuis?
3. Heeft de patiënt een beademing nodig?

De uitkomsten waren verrassend goed:

• Beter dan alleen getallen of alleen verhalen: Door zowel de getallen als de verhalen te combineren, was het systeem slimmer dan systemen die maar naar één ding keken.
• Veel eerlijker: Het systeem maakte veel minder fouten bij kwetsbare groepen dan andere systemen. Het was niet nodig om de achtergrondinformatie (zoals ras of inkomen) helemaal te negeren; FAME leerde gewoon hoe je daar eerlijk mee omgaat.
• De balans: Het systeem vond een perfecte balans. Het gaf de medische feiten (getallen en verslagen) de meeste aandacht, en gebruikte de achtergrondinformatie alleen waar het nodig was, maar niet meer dan dat.

Samenvatting in één zin

FAME is als een super-geöordeelde arts-assistent die leert om niet alleen de slimste diagnose te stellen, maar ook om te zorgen dat die diagnose voor iedereen even goed is, door slim te luisteren naar welke informatiebron het eerlijkst is voor welke patiënt.

Waarom is dit belangrijk?
In de zorg mag geen enkel leven minder tellen dan een ander. Deze technologie helpt ervoor te zorgen dat AI in ziekenhuizen niet discrimineert, maar juist helpt om de zorg voor iedereen te verbeteren.

Technische samenvatting

Probleemstelling

Elektronische Gezondheidsregistraties (EHR's) bevatten diverse data-modaliteiten, waaronder gestructureerde data (bijv. labwaarden, vitale functies, medische codes), ongestructureerde data (klinische notities, tekst) en demografische informatie. Hoewel Multimodale AI (MAI) modellen deze data kunnen fusioneren om de voorspellende prestaties te verbeteren, neigen bestaande modellen er vaak toe om te optimaliseren voor puur prestatie, wat bestaande vooroordelen (bias) in patiëntsubgroepen kan versterken.

De huidige uitdagingen zijn:

1. Bias in EHR-modellen: AI-modellen vertonen vaak ongelijke prestaties op basis van gevoelige attributen zoals etniciteit, leeftijd en verzekeringstype.
2. Gebrek aan modale specifieke fairness: Bestaande debiasing-technieken worden vaak toegepast na de fusie van modaliteiten of behandelen alle data-bronnen gelijkwaardig, zonder rekening te houden met de unieke bijdrage van elke modale (bijv. tekst vs. gestructureerde data) aan zowel nauwkeurigheid als eerlijkheid.
3. Trade-off tussen prestatie en eerlijkheid: Het is moeilijk om modellen te bouwen die zowel hoog presteren als eerlijke uitkomsten garanderen voor alle subgroepen.

Methodologie: FAME Framework

De auteurs introduceren FAME (Fairness-Aware Multimodal Embeddings), een framework dat expliciet de bijdrage van elke modale aan eerlijkheid weegt tijdens het fusieproces.

1. Architectuur en Modellen:

• Data-modaliteiten: Het model verwerkt drie modaliteiten:
  • Demografische data: Leeftijd, etniciteit, verzekering.
  • Gestructureerde klinische data: Longitudinale data (labwaarden, vitale functies).
  • Ongestructureerde klinische data: Tekstuele notities van artsen en verpleegkundigen.
• Encoder:
  • BEHRT: Een transformer-model voor gestructureerde en demografische data.
  • BioClinicalBERT: Een gespecialiseerd taalmodel voor ongestructureerde klinische tekst.
• Fusie: In plaats van een simpele concatenatie of gemiddelde, gebruikt FAME een Fairness-Aware Joint Fusion.

2. Kerncomponenten van FAME:

• EDDI (Error Distribution Disparity Index): De auteurs gebruiken EDDI om de eerlijkheid te meten. EDDI kwantificeert het verschil in foutpercentages tussen bevoorrechte en minder bevoorrechte subgroepen.
  • Sign-agnostische aggregatie: Om te voorkomen dat positieve en negatieve afwijkingen elkaar opheffen, wordt de wortel van de som van de kwadraten van de EDDI-waarden per subgroep gebruikt. Dit zorgt voor een eerlijke schatting over alle demografische groepen heen.
• EDDI-gewogen Fusie:
  • Tijdens het trainen worden gewichten ($w_m$) voor elke modale dynamisch bijgewerkt op basis van hun EDDI-waarde.
  • Modaliteiten met een lagere EDDI (betere eerlijkheid) krijgen een hoger gewicht.
  • De formule voor het bijwerken van het gewicht is: $w_m^{(t)} = w_m^{(t-1)} + \gamma \cdot (\max(EDDI_m) - EDDI_m)$.
• Sigmoid-gewogen Feature Selectie:
  • Naast het wegen van hele modaliteiten, wordt er een mechanisme ingevoerd om individuele features binnen een modale te wegen.
  • Een sigmoid-activatielaag leert gewichten om specifieke dimensies in de embedding-vector te versterken of te dempen, gebaseerd op hun bijdrage aan eerlijkheid.
• Verliesfunctie: Het model wordt getraind met een gecombineerde loss:
  $$L_{total} = L_{BCE} + \lambda \cdot L_{EDDI}$$
  Waarbij $L_{BCE}$ de Binary Cross-Entropy is (voor prestatie) en $L_{EDDI}$ de gemiddelde EDDI over alle gevoelige attributen (voor eerlijkheid). De hyperparameter $\lambda$ reguleert de trade-off.

Belangrijkste Bijdragen

1. FAME Framework: Een nieuwe methode voor het fuseren van EHR-data waarbij modaliteiten worden gewogen op basis van hun specifieke bijdrage aan eerlijkheid, niet alleen op prestatie.
2. Sign-agnostische EDDI Aggregatie: Een innovatieve methode om EDDI-waarden over subgroepen te combineren zonder dat positieve en negatieve bias elkaar opheffen, wat leidt tot een robuustere maatstaf voor eerlijkheid.
3. Dynamische Modale Weging: Een mechanisme dat tijdens het trainen de invloed van elke modale (bijv. demografische data vs. klinische notities) aanpast om bias te minimaliseren terwijl de voorspellende kracht behouden blijft.
4. Uitgebreide Validatie: Toepassing en evaluatie op drie verschillende voorspellingsopgaven (sterfte, verblijfsduur, mechanische ventilatie) met vergelijking tegen state-of-the-art baselines.

Resultaten

De experimenten zijn uitgevoerd op het MIMIC-III dataset met een cohort van ICU-patiënten. De resultaten tonen aan dat FAME superieur is aan bestaande methoden (zoals DfC, AdvDebias, FPM, FairEHR-CLP) en ongewogen fusie.

• Prestatie (AUROC/AUPRC): FAME behaalde de hoogste scores in bijna alle taken.
  • Bijvoorbeeld voor In-ICU Mortality: AUROC van 0.94 en AUPRC van 0.82 (tegenover 0.90/0.71 voor DfC).
  • Bij Length of Stay (LOS): FAME bereikte een perfecte AUROC van 1.00 en AUPRC van 1.00.
• Eerlijkheid (EDDI & EO): FAME vertoonde de laagste bias-maatstaven.
  • Voor In-ICU Mortality: EDDI van 0.44% en Equalized Opportunity (EO) van 4.25%, wat aanzienlijk lager is dan alle baselines (bijv. AdvBias had een EDDI van 2.40%).
  • Voor LOS: EDDI van slechts 0.02% en EO van 0.06%.
• Ablatie-analyse:
  • Het gebruik van alleen ongestructureerde tekst (BioClinicalBERT) bleek al beter dan alleen gestructureerde data (BEHRT), maar de combinatie met FAME's weging gaf de beste resultaten.
  • De "EDDI-only" variant (zonder sigmoid feature selectie) presteerde goed, maar de volledige FAME (met zowel EDDI-weging als sigmoid selectie) gaf de beste balans tussen prestatie en eerlijkheid.
  • Sensitiviteitsanalyse toonde aan dat een $\lambda$ waarde van 0.8 de optimale balans biedt tussen nauwkeurigheid en eerlijkheid.

Interessante bevinding: Het model leert automatisch om de invloed van demografische data te verminderen (lagere gewichten), terwijl het de gewichten voor gestructureerde en ongestructureerde klinische data verhoogt. Dit suggereert dat het minimaliseren van de directe invloed van demografische attributen, terwijl men wel gebruikmaakt van de rijke klinische context, leidt tot eerlijkere uitkomsten.

Betekenis en Impact

Dit paper is significant voor de ontwikkeling van eerlijke AI in de gezondheidszorg omdat het:

1. De "Black Box" van Fusie doorbreekt: Het toont aan dat multimodale fusie niet alleen een techniek voor betere nauwkeurigheid is, maar ook een krachtig middel om bias te mitigeren door slimme weging.
2. Een Praktische Oplossing Biedt: In plaats van gevoelige attributen volledig te verwijderen (wat vaak leidt tot slechtere prestaties), reguleert FAME hun invloed dynamisch.
3. Toekomstige Richtingen: Het suggereert dat het omzetten van ongestructureerde notities naar gestructureerde features (tabellen) een veelbelovende weg is om zowel prestatie als eerlijkheid te verbeteren, aangezien gestructureerde data in dit onderzoek steeds belangrijker werd geacht.

Samenvattend demonstreert FAME dat het intentioneel balanceren van multimodale data-bronnen op basis van eerlijkheidsmetingen leidt tot modellen die niet alleen nauwkeuriger zijn, maar ook rechtvaardiger voor diverse patiëntgroepen.