Advancing Health Equity through Multi-Level Fairness in Health Informatics

In het moderne ziekenhuis vindt een stille revolutie plaats. Computers leren medische dossiers te lezen, patronen in symptomen te herkennen en behandelingen voor te stellen met een snelheid en precisie die menselijke artsen niet kunnen evenaren. Deze hulpmiddelen, gebouwd op basis van machine learning, beloven de zorg te stroomlijnen en levens te redden. Toch dragen ze, zoals elk instrument dat gevormd is uit de menselijke geschiedenis, de vingerafdrukken van het verleden. De data die worden gebruikt om deze computers te onderwijzen — gegevens over wie ziek werd, wie behandeld werd en wie achterbleef — weerspiegelen vaak diepgewortelde maatschappelijke ongelijkheden. Wanneer een computer leert van bevooroordeelde data, kan deze onbedoeld leren om sommige patiënten slechter te behandelen dan anderen, waardoor de zeer ongelijkheden die het probeert op te lossen, worden versterkt. Dit is geen fout in de code, maar een reflectie van de wereld die de code bedoeld is te begrijpen. De centrale uitdaging voor wetenschappers vandaag de dag is niet alleen om deze systemen accuraat te maken, maar om ervoor te zorgen dat ze eerlijk zijn, zodat de voordelen van technologie elke patiënt bereiken, ongeacht hun achtergrond of waar zij wonen.

Nick Souligne en Vignesh Subbian, onderzoekers aan de University of Arizona, hebben hun aandacht gericht op dit cruciale probleem. Zij gingen aan de slag om te onderzoeken hoe het vakgebied van de gezondheidsinformatica momenteel omgaat met het vraagstuk van rechtvaardigheid. Specifiek onderzochten zij een strategie die bekend staat als multi-level fairness (rechtvaardigheid op meerdere niveaus). In plaats van te proberen een bevooroordeeld computermodel op slechts één stadium te corrigeren — zoals het opschonen van de data voordat de computer leert, of het aanpassen van het uiteindelijke antwoord nadat de computer een beslissing heeft genomen — probeert multi-level fairness op verschillende punten tijdens het proces in te grijpen. De onderzoekers wilden weten of deze uitgebreide aanpak daadwerkelijk leidt tot betere gezondheidsresultaten voor onderbediende groepen, en of de manier waarop wetenschappers hun werk rapporteren goed genoeg is om dit te bewijzen. Na het beoordelen van een breed scala aan bestaande studies ontdekten zij dat hoewel het idee om bias op meerdere stadia aan te pakken veelbelovend is, het vakgebied nog steeds worstelt met het verbinden van deze technische oplossingen aan echte gezondheidsequiteit, en dat de regels voor het rapporteren van deze inspanningen vaak te vaag zijn om werkelijk nuttig te zijn.

De onderzoekers begonnen met het in kaart brengen van het huidige landschap van inspanningen. Zij vonden dat veel studies zich richten op één enkel type bias of één enkele methode om het te corrigeren. Sommige onderzoekers zuiveren de data voordat het model wordt getraind, anderen passen het model aan terwijl het leert, en anderen passen de uiteindelijke voorspellingen aan. De auteurs merkten echter op dat zeer weinig studies deze methoden combineren tot een samenhangende strategie. In een beoordeling van honderden studies naar bias-mitigatie bleek slechts een fractie van de studies daadwerkelijk verschillende technieken te combineren, en nog minder keken naar hoe deze combinaties specifieke groepen mensen beïnvloedden, zoals minderheden of bevolkingsgroepen met een laag inkomen. De auteurs suggereren dat het vertrouwen op een enkele oplossing is als het proberen te stoppen van een lek in een boot door één gat te dichten terwijl de andere worden genegeerd; het water zal nog steeds binnenkomen. Om gezondheidsequiteit echt vooruit te helpen, betogen zij dat we bias in elke stap van de ontwikkeling van de computer moeten aanpakken, van het moment dat data worden verzameld tot het moment dat een arts het hulpmiddel in een kliniek gebruikt.

Een aanzienlijk deel van het artikel richt zich op de kloof tussen technische rechtvaardigheid en werkelijke gezondheidsequiteit. De onderzoekers wijzen erop dat een computermodel op een nauwe wiskundige zin "eerlijk" kan zijn — door het ziekterisico voor verschillende raciale groepen even goed te voorspellen — terwijl het nog steeds faalt in het verbeteren van de gezondheidsresultaten. Dit gebeurt omdat het model de complexe, overlappende barrières kan negeren waar bepaalde groepen mee te maken hebben, zoals een gebrek aan toegang tot vervoer of de stress van het leven in armoede. Als een model voorspelt dat een patiënt een specifieke behandeling nodig heeft, maar de patiënt kan deze niet betalen of kan niet naar het ziekenhuis komen, dan doet de voorspelling, hoe accuraat ook, niets om hen te helpen. De auteurs benadrukken dat echte rechtvaardigheid vereist dat men verder kijkt dan de cijfers om te zien hoe de voorspellingen van het model uitpakken in de echte wereld, vooral voor degenen die te maken hebben met meerdere lagen van achterstand. Zij stellen dat we succes niet alleen moeten meten aan de hand van hoe goed de computer presteert, maar aan de hand van de vraag of het leidt tot een rechtvaardige toegang tot zorg en een betere gezondheid voor iedereen.

Om ervoor te zorgen dat deze inspanningen transparant en verantwoorde zijn, onderzoekt het artikel de standaarden die wetenschappers gebruiken om hun werk te rapporteren. Momenteel zijn er richtlijnen zoals TRIPOD-AI en MINIMAR die onderzoekers vertellen welke informatie zij moeten opnemen wanneer zij een nieuw medisch model publiceren. Deze standaarden vragen om details over de gebruikte data en hoe het model is getest. De auteurs ontdekten echter dat deze richtlijnen vaak tekortschieten als het gaat om rechtvaardigheid. Ze vragen onderzoekers zelden om uit te leggen hoe zij voor bias hebben gecontroleerd in elke fase van de ontwikkeling, of hoe zij hebben gewaarborgd dat het model goed zou werken voor gemarginaliseerde groepen. Zonder deze details is het voor andere wetenschappers of ziekenhuisbeheerders moeilijk om te weten of een nieuw hulpmiddel werkelijk veilig en eerlijk is voor alle patiënten. De onderzoekers merken op dat hoewel TRIPOD-AI een sterk startpunt is, het moet worden uitgebreid om expliciete rapportage te eisen over hoe bias is gedetecteerd en gecorrigeerd, en hoe het model de gezondheidsequiteit beïnvloedt nadat het in een echt ziekenhuis is ingezet.

Op basis van deze bevindingen bieden de auteurs twee duidelijke aanbevelingen voor de toekomst. Ten eerste dringen zij er bij onderzoekers op aan om rechtvaardigheid in te bedden in de gehele levenscyclus van het bouwen van een computermodel. Dit betekent het controleren op bias bij het verzamelen van data, het aanpassen van het trainingsproces om inclusiever te zijn, en het constant monitoren van het model nadat het is uitgebracht om te zien of het iedereen eerlijk behandelt. Ten tweede pleiten zij voor een nieuwe, striktere standaard voor rapportage. Zij stellen voor dat de wetenschappelijke gemeenschap het eens wordt over een enkele, uitgebreide set regels die auteurs verplicht om elke stap te specificeren die zij hebben ondernomen om rechtvaardigheid te waarborgen, inclusief hoe zij met verschillende groepen mensen zijn omgegaan en hoe zij de impact op gezondheidsequiteit hebben gemeten. Door deze veranderingen door te voeren, kan het vakgebied voorbij gaan aan eenvoudige technische oplossingen en een toekomst opbouwen waarin machine learning werkelijk dient als een instrument om de kloof in gezondheidsverschillen te dichten, in plaats van deze te vergroten. Het werk van Souligne en Subbian dient als een herinnering dat de weg naar een betere gezondheid voor iedereen niet alleen slimme computers vereist, maar ook een meer doordachte en eerlijke benadering van hoe we deze bouwen en delen.