When high AUROC does not travel: internal-to-external performance differences in machine-learning models for antimicrobial resistance

In de strijd tegen superbugs richten artsen en wetenschappers zich steeds vaker op computers om te voorspellen welke bacteriën resistent zullen zijn tegen welke antibiotica. Deze computerprogramma's, gebouwd met behulp van machine learning, fungeren als hooggetrainde experts in patroonherkenning. Ze scannen enorme hoeveelheden medische gegevens—zoals patiëntendossiers, laboratoriumtestresultaten en genetische sequenties—om te raden of een specifieke infectie zal overleven bij een standaard medicamenteuze behandeling. Wanneer deze programma's worden getest in het ziekenhuis waar ze zijn ontwikkeld, lijken ze vaak op wonderen van de moderne geneeskunde, waarbij ze resistente bacteriën met een hoge nauwkeurigheid correct identificeren. Dit succes geeft onderzoekers en clinici de hoop dat deze instrumenten binnenkort wereldwijd kunnen worden ingezet om levensreddende behandelbeslissingen te sturen.

Echter, een computerprogramma dat leert van de gegevens van het ene ziekenhuis, weet niet automatisch hoe het de gegevens van een ander ziekenhuis moet lezen. Net zoals iemand die heeft geleerd autorijden op de rustige straten van een klein stadje, kan moeite hebben op de chaotische snelwegen van een grote stad, kampen deze modellen met een verborgen uitdaging wanneer ze hun thuisomgeving verlaten. De gegevens die ze tegenkomen in een ander land, een andere tijdperiode, of zelfs een naburige stad, kunnen subtiel verschillen door variaties in lokale bacteriestammen, laboratoriumapparatuur of patiëntenpopulaties. De cruciale vraag voor de toekomst van medische AI is niet alleen hoe goed deze modellen thuis presteren, maar hoeveel hun nauwkeurigheid afneemt wanneer ze naar de echte wereld worden gestuurd om in nieuwe omgevingen te werken.

Een nieuwe studie zette zich af om precies deze daling in prestaties te meten. De onderzoeker, Dripto Roy, verzamelde een collectie gepubliceerde machine-learningstudies die het zware werk hadden gedaan om hun modellen op twee plaatsen te testen: eerst in het ziekenhuis waar het model is gebouwd, en daarna opnieuw in een volledig onafhankelijk ziekenhuis of dataset. Het doel was simpel maar essentieel: om het verschil te zien tussen het zelfvertrouwen van het model thuis en de werkelijke prestaties in het buitenland. Door de scores van deze gekoppelde tests te vergelijken, beoogde de studie te bepalen of de hoge succespercentages gerapporteerd in wetenschappelijke artikelen een betrouwbare belofte zijn van toekomstig succes, of dat ze vaak een illusie zijn die vervaagt wanneer het model naar elders reist.

Het onderzoek richtte zich op een specifieke groep studies die zowel een interne score als een externe score rapporteerden voor hetzelfde model en dezelfde voorspellingsopgave. In totaal analyseerde de onderzoeker zevenenveertig verschillende vergelijkingen afkomstig uit acht onafhankelijke onderzoeksartikelen. Deze vergelijkingen bestreken een breed scala aan scenario's, waaronder voorspellingen voor gevaarlijke bacteriën zoals MRSA en resistente longontsteking, gebruikmakend van gegevens uit elektronische patiëntendossiers, whole-genome sequencing en klinische laboratoriumrapporten. De onderzoeker berekende het verschil tussen de interne score en de externe score voor elke afzonderlijke vergelijking om te zien hoeveel de prestaties veranderden.

De resultaten onthulden een duidelijk, zij het genuanceerd, patroon. In de overgrote meerderheid van de individuele vergelijkingen—zesendertig van de zevenenveertig—presteerde het model slechter bij het testen op nieuwe, externe gegevens dan bij de gegevens waarop het getraind was. Gemiddeld was de daling in nauwkeurigheid merkbaar, waarbij de externe score onder de interne score zakte met een meetbare marge. Dit bevestigde dat de "optimisme" van het zien van een hoge score in een ontwikkelingsomgeving een echt fenomeen is; modellen verliezen inderdaad wat van hun scherpte wanneer ze hun thuisomgeving verlaten.

Het verhaal wordt echter complexer wanneer men naar het grotere plaatje kijkt. De onderzoeker realiseerde zich dat het simpelweg tellen van elke individuele vergelijking als een gelijk stuk bewijs misleidend was. Sommige onderzoeksartikelen rapporteerden tientallen verschillende modelvariaties of antibiotica-doelwitten, die allemaal afgeleid waren van exact dezelfde groep patiënten en dezelfde gegevensverwerkingsstappen. Als deze vele resultaten uit één enkel artikel allemaal als gelijk werden geteld, zouden ze de resultaten van andere artikelen die slechts één of twee vergelijkingen rapporteerden, overstemmen. Wanneer de onderzoeker de analyse aanpaste om elk volledig onderzoeksartikel als een enkele eenheid van bewijs te behandelen, waardoor elk artikel een even grote stem kreeg ongeacht hoeveel cijfers het bevatte, veranderde het beeld aanzienlijk.

Onder dit meer gebalanceerde perspectief kromp de gemiddelde daling in prestaties aanzienlijk. Hoewel de modellen over het algemeen slechter presteerden buiten hun thuisomgeving, was de kloof veel kleiner dan de initiële telling suggereerde. Sterker nog, wanneer de acht studies als geheel werden bekeken, was het gemiddelde verschil zo klein dat het gemakkelijk nul kon zijn. Dit betekent dat hoewel sommige modellen een aanzienlijk verlies aan nauwkeurigheid lijden wanneer ze worden getransporteerd, anderen verrassend robuust blijven, en het vakgebied als geheel niet lijdt onder een universele straf. De omvang van de daling hangt volledig af van de specifieke studie, de gebruikte gegevens en hoe de resultaten worden geteld.

De studie benadrukte ook wat er ontbreekt in het huidige landschap van medische AI. Hoewel de meeste onderzochte artikelen wel probeerden hun modellen in nieuwe omgevingen te testen, gingen zeer weinig verder om te controleren of de modellen goed gekalibreerd waren. Kalibratie is een cruciaal concept dat verder gaat dan eenvoudige nauwkeurigheid; het vraagt of de door het model uitgegeven waarschijnlijkheidsgetallen daadwerkelijk overeenkomen met het reële risico. Bijvoorbeeld: als een model voorspelt dat een patiënt een kans van 20% heeft op resistentie, komt die patiënt dan ook daadwerkelijk in één op vijf gevallen met resistentie? De review vond dat deze vitale controle zelden werd gerapporteerd. Bovendien testten zeer weinig studies hun modellen in de loop van de tijd om te zien of ze accuraat bleven naarmate bacteriën evolueerden, of testten ze op een vooruitblikkende, prospectieve wijze waarbij het model de uitkomsten voorspelt voor patiënten terwijl zij het ziekenhuis binnenkomen.

De bevindingen dienen als een waarschuwend voorbeeld voor hoe we medische AI interpreteren. De studie betoogt dat we niet simpelweg een hoge nauwkeurigheidsscore uit een artikel kunnen nemen en ervan uitgaan dat deze overal zal gelden. De schijnbare omvang van het prestatiekloof is zeer gevoelig voor de manier waarop we het bewijs tellen. Als we elke modelvariatie in een artikel als een apart feit tellen, overdrijven we het probleem. Als we elk artikel als één verhaal behandelen, lijkt het probleem kleiner, maar nog steeds reëel. Het onderzoek concludeert dat er geen eenvoudige wiskundige oplossing of universele correctiefactor bestaat die op alle gepubliceerde scores kan worden toegepast om hun prestaties in de echte wereld te voorspellen.

In plaats daarvan vereist de weg vooruit meer transparantie en strengheid. Onderzoekers moeten expliciet zijn over hoe ze hun gegevens splitsen om te garanderen dat er geen informatie lekt van de testfase terug naar de trainingsfase. Ze moeten niet alleen rapporteren hoe goed een model patiënten rangschikt, maar ook hoe goed hun waarschijnlijkheidschattingen overeenkomen met de realiteit. Het allerbelangrijkste is dat ze hun modellen moeten valideren in werkelijk onafhankelijke omgevingen, waarbij ze de specifieke aantallen patiënten en de prevalentie van resistentie in zowel de thuisomgeving als de nieuwe setting rapporteren. Totdat deze standaarden de norm worden, zullen de hoge scores die in de literatuur worden gerapporteerd een belofte blijven die nog niet volledig is nagekomen, en zal de reis van een succesvol computermodel naar een betrouwbaar hulpmiddel voor artsen een werk in uitvoering blijven.