A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

In het moderne ziekenhuis vindt een stille revolutie plaats. Computers leren patiëntendossiers te lezen, patronen te ontdekken in bloeddruk, leeftijd en levensstijl die menselijke artsen zouden kunnen missen, en gebruiken die patronen om te voorspellen wie het risico loopt op een hartaanval of andere ernstige ziekten. Dit veld, bekend als klinisch machinaal leren, draagt de belofte in zich om levens te redden door gevaar vroegtijdig te signaleren. Maar er is een addertje onder het gras. Een computerprogramma dat leert om hartziekten te voorspellen in de ene stad, kan volledig falen wanneer het wordt verplaatst naar een andere stad met een andere populatie. Dit gebeurt omdat de mensen in de tweede stad ouder kunnen zijn, anders eten of omdat hun medische dossiers op een iets andere manier zijn geschreven. Wanneer de computer deze verschillen tegenkomt, kunnen de voorspellingen onbetrouwbaar worden, niet alleen in termen van wel of niet gelijk hebben, maar ook in het vertrouwen dat het uitdrukt. Als een model zegt dat een patiënt een kans van vijfenzeventig procent heeft op een incident, terwijl de werkelijke kans slechts vijfendertig procent is, kan een arts onnodige, invasieve tests ordenen, of erger nog, een echt gevaar missen. Om deze hulpmiddelen veilig te laten zijn, moeten ze betrouwbaar zijn, wat betekent dat ze niet alleen accuraat moeten zijn, maar ook eerlijk over hun eigen onzekerheid en consistent in hoe ze hun redenering uitleggen.

Een onderzoeker genaamd Tanya Deep heeft een nieuw systeem gebouwd om precies dit soort betrouwbaarheid te testen. Ze creëerde een raamwerk genaamd AETHEL, een reeks geautomatiseerde tools die ontworpen zijn om klinische modellen voor machinaal leren te auditeren voordat ze ooit worden gebruikt bij echte patiënten. In plaats van alleen te controleren of een model het juiste antwoord geeft, fungeert AETHEL als een rigoureuze veiligheidsinspecteur die drie specifieke zaken controleert: hoe goed de waarschijnlijkheidsschattingen van het model overeenkomen met de werkelijkheid, hoe stabiel de redenering blijft wanneer de data verandert, en of het advies artsen daadwerkelijk helpt om betere beslissingen te nemen. Om dit systeem te testen, trainde Deep verschillende verschillende computermodellen op een synthetische cohort van 1.000 patiënten en probeerde vervolgens diezelfde modellen te gebruiken op echte data van de beroemde Framingham Heart Study (de doelcohort) en de National Health and Nutrition Examination Survey (de domeinverschuivingsreferentie). Het doel was om te zien wat er gebeurt wanneer een model dat getraind is in één omgeving, wordt gedwongen te opereren in een andere, een situatie die bekend staat als domeinverschuiving (domain shift).

De resultaten van dit audit onthulden een aanzienlijk probleem met de manier waarop deze modellen momenteel worden gevalideerd. Wanneer de modellen werden verplaatst van de trainingsdata naar de nieuwe, echte wereldse data, daalde hun vermogen om correct te voorspellen, maar belangrijker nog, hun vertrouwen werd gevaarlijk ontregeld. Een model zou nog steeds de juiste patiënten kunnen identificeren, maar het zou hen de verkeerde risicopercentages toekennen. Bijvoorbeeld, een model dat goed gekalibreerd was in zijn trainingsfase, werd ongekalibreerd bij de transfer, wat betekent dat de risicoscores niet langer overeenkwamen met de werkelijke waarschijnlijkheid van een incident. Deep ontdekte dat hoewel de modellen gerepareerd konden worden met standaard wiskundige aanpassingen om hun vertrouwen opnieuw af te stemmen, er een subtieler probleem restte. Zelfs na het corrigeren van de cijfers begon de kracht van de redenering van het model te verschuiven. Hoewel de modellen consequent dezelfde top drie factoren — leeftijd, BMI en rookstatus — als de belangrijkste identificeerden, veranderde de specifieke weging en correlatie van deze factoren tussen de verschillende settings. In de trainingsdata vertrouwde het model mogelijk zwaar op leeftijd en rookstatus om een beslissing te nemen, maar in de nieuwe data veranderde de relatie tussen deze factoren en de uitkomst. Deze verschuiving in redenering is gevaarlijk omdat artsen vertrouwen op deze verklaringen om te begrijpen waarom een computer een patiënt signaleert. Als de logica zonder waarschuwing verandert, kan de arts het advies niet vertrouwen.

Om deze verborgen instabiliteit te meten, introduceerde Deep nieuwe manieren om te tellen hoeveel de redenering van een model verandert. Ze ontwikkelde metrieken die de lijst van de belangrijkste factoren die een model in de ene setting gebruikt, vergelijken met de lijst die het in een andere setting gebruikt. De tests toonden aan dat hoewel sommige modellen, zoals eenvoudige lineaire vergelijkingen, hun redenering vrij consistent hielden, meer complexe modellen vaak de kracht van hun afhankelijkheid van sleutelfactoren veranderden wanneer de data veranderde. Deze bevinding daagt de gangbare praktijk uit waarbij wordt aangenomen dat als een model goed werkt op de ene plek, het op dezelfde manier zal werken op een andere plek. De studie toonde aan dat het controleren van alleen de nauwkeurigheid niet genoeg is; men moet ook controleren of de interne logica van het model standhoudt wanneer de omgeving verandert.

Het raamwerk keek ook naar de praktische waarde van deze voorspellingen voor een arts die aan het bed van een patiënt staat. Met behulp van een methode genaamd decision curve analysis vertaalde de studie abstracte statistische voordelen naar concrete cijfers die een clinicus kan begrijpen. In plaats van alleen te zeggen dat een model de resultaten verbetert, genereerde het systeem visuele grafieken die precies lieten zien hoeveel patiënten uit duizend correct geïdentificeerd zouden worden voor behandeling versus hoeveel patiënten onnodig behandeld zouden worden. De resultaten lieten zien dat wanneer de modellen correct gekalibreerd waren, ze een duidelijke verbetering boden ten opzichte van simpelweg iedereen behandelen of niemand behandelen. Deze verbetering verdween echter als het model niet opnieuw gekalibreerd werd voor de nieuwe populatie. De studie concludeerde dat voor machinaal leren veilig te kunnen zijn in een ziekenhuis, het geen "set it and forget it"-instrument kan zijn. Het vereist een continue, geautomatiseerde audit die niet alleen de eindscore controleert, maar ook de kalibratie van het vertrouwen, de stabiliteit van de redenering en de impact in de echte wereld van het advies. Door dit raamwerk als open-source software vrij te geven, heeft de onderzoeker een manier geboden voor anderen om deze veiligheidscontroles zelf te verifiëren, om er zeker van te zijn dat de belofte van kunstmatige intelligentie in de geneeskunde de veiligheid ervan niet voorbijstreeft.