Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

In de wereld van de moderne geneeskunde vertrouwen artsen steeds vaker op computers om te helpen voorspellen welke patiënten moeite kunnen hebben met het innemen van hun dagelijkijke medicatie. Dit is vooral cruciaal voor kinderen die leven met hiv, waarbij het missen van doses antiretrovirale therapie ernstige, levensbedreigende gevolgen kan hebben. Om deze voorspellingen te doen, verzamelen onderzoekers enorme hoeveelheden gegevens uit ziekenhuisbezoeken, zoals hoeveel pillen een kind nog over heeft, of een ouder een gemiste dosis heeft gerapporteerd, of hoe lang het duurde om een recept te herhalen. Ze voeden deze informatie aan machine learning-modellen, wat geavanceerde computerprogramma's zijn die zijn ontworpen om patronen te vinden en toekomstig gedrag te voorspellen. De hoop is dat deze hulpmiddelen risicovolle kinderen vroegtijdig identificeren, zodat klinieken kunnen ingrijpen voordat de gezondheid van een kind verslechtert. Er bestaat echter een verborgen valstrik in de manier waarop deze gegevens worden verzameld en gebruikt. Als de informatie die wordt gebruikt om de voorspelling te doen te nauw verbonden is met de definitie van het probleem zelf, kan de computer lijken op een genie, terwijl hij in werkelijkheid gewoon het antwoordmodel aan het lezen is. Dit fenomeen, bekend als datalekken (data leakage), creëert een illusie van perfecte nauwkeurigheid die verdwijnt op het moment dat het model in de echte wereld wordt getest.

Een team onderzoekers uit Oeganda onderzocht onlangs exact dit probleem met behulp van gegevens uit de EARTH-cohort, een langetermijnstudie die kinderen volgt die leven met hiv. Ze wilden begrijpen hoeveel het schijnbare succes van een machine learning-model afhankelijk was van een specifiek type methodologisch probleem: het gebruik van de zeer specifieke aanwijzingen die het probleem definiëren om het probleem op te lossen. In hun begeleidende studie had het team een model gebouwd om "suboptimale therapietrouw" te voorspellen, wat zij definieerden als een kind dat doses mist, zonder medicijnen komt te zitten of een vertraging heeft bij het ophalen van een apotheekrecept. Om rigoureus te zijn, hadden ze eerder de specifieke datapunten die deze definitie direct creëerden verwijderd voordat ze hun computer trainden. Dat eerdere werk liet bescheiden, realistische resultaten zien. Maar voor deze nieuwe analyse stelden de onderzoekers een andere vraag: wat gebeurt er als we die aanwijzingen laten staan? Ze wilden zien hoeveel de prestaties van het model zouden opblazen als het de kans zou krijgen om in het antwoord te spieken.

Om dit te ontdekken, reconstrueerden de onderzoekers de dataset van dezelfde groep van 208 kinderen en 590 kliniekbezoeken, maar ze organiseerden de gegevens in drie verschillende lagen van striktheid. De eerste laag was de "ongecontroleerde" versie, waarbij de computer over alle beschikbare informatie beschikte, inclus\n_bij de directe meldingen van gemiste doses en de exacte aantallen resterende pillen. Dit zijn de specifieke feiten die de onderzoekers gebruikten om te beslissen of een kind een slechte therapietrouw vertoonde of niet. Wanneer de computer op deze laag werd getraind, waren de resultaten verbijsterend perfect. Zes verschillende soorten machine learning-algoritmen, waaronder complexe boomgebaseerde modellen, behaalden een score van 1,000, wat betekende dat ze nul fouten maakten in hun voorspellingen. De computer was niet de toekomst aan het voorspellen; hij was simpelweg de regels aan het herhalen die hem waren gegeven. Het vond dat als een kind een dosis had gemist, het model niet-therapietrouw voorspelde, en als dat niet het geval was, therapietrouw. Het was een perfecte lus, maar een nutteloze voor echte voorspellingen.

De onderzoekers gingen vervolgens over naar de tweede laag, de "losjes gecontroleerde" versie. Hier verwijderden ze de vijf specifieke velden die de uitkomst direct definieerden: de melding van een gemiste dosis, de vertraging in het ophalen bij de apotheek, de melding van het opraken van medicijnen, de berekening van de vertraging en de hoeveelheid resterende medicatie. Zonder deze directe aanwijzingen daalde de prestatie van de computer aanzienlijk. Het beste model, een programma genaamd CatBoost, zag zijn nauwkeurigheidsscore dalen van een perfecte 1,000 naar 0,735. Hoewel dit nog steeds een goed resultaat was, was het een heel ander verhaal dan de perfectie van de eerste laag. Deze daling bewees dat het initiële succes grotendeels een illusie was, gecreëerd door het model dat de definitie van het probleem las in plaats van een echt patroon te leren.

De geschiedenis eindigde echter niet daar. De onderzoekers merkten op dat zelfs in deze tweede laag één variabele nog steeds de beslissingen van het model domineerde: een veld dat aangaf of het kind de behandeling sinds het laatste bezoek had onderbroken. Hoewel deze variabele de uitkomst technisch gezien niet definieerde, was deze zo nauw verwant aan het concept van therapietrouw dat het fungeerde als een bijna perfecte proxy. Toen de onderzoekers deze laatste variabele verwijderden om de derde, "strikt gecontroleerde" laag te creëren, daalde de prestatie van het model opnieuw. De CatBoost-score daalde naar 0,680, en het vermogen om de meest kritieke gevallen correct te identificeren, daalde naar 0,407. Dit laatste resultaat kwam nauw overeen met de bescheiden prestaties die in hun eerdere, meer rigoureuze studie werden gezien, wat bevestigde dat het werkelijke voorspellende signaal in de gegevens veel zwakker was dan de aanvankelijk opgeblazen cijfers suggereerden.

De studie benadrukt een cruciale les voor iedereen die computers gebruikt om medische uitkomsten te voorspellen. De onderzoekers ontdekten dat boomgebaseerde modellen, die populair zijn vanwege hun vermogen om complexe gegevens te verwerken, bijzonder vatbaar zijn voor dit soort inflatie omdat ze uitstekend zijn in het vinden van de exacte regels die een categorie definiëren. Wanneer de doeluitkomst is opgebouwd uit een eenvoudige "of"-combinatie van procesvariabelen — zoals "dosis gemist OF zonder medicijnen komen te zitten" — kan het model deze regels gemakkelijk onthouden en perfecte scores behalen die de werkelijkheid niet weerspiegelen. De onderzoekers benadrukken dat variabelen zoals gegevens over het ophalen van medicijnen bij de apotheek niet inherent slecht zijn; ze zijn nuttig voor het voorspellen van andere uitkomsten, zoals of het virus van een kind onderdrukt zal zijn. Het gevaar ontstaat alleen wanneer het doel is om de therapietrouw zelf te voorspellen, en het model de mogelijkheid krijgt om de zeer specifieke metingen die therapietrouw definiëren als zijn primaire aanwijzingen te gebruiken.

Uiteindelijk dient deze analyse als een waarschuwing tegen het klakkeloos overnemen van hoogwaardige prestatiecijfers. De onderzoekers toonden aan dat het opnemen van velden die de uitkomst definiëren de discriminatie van een model kunstmatig met wel 0,41 punten kan verhogen, een enorm verschil dat ertoe kan leiden dat clinici een hulpmiddel vertrouwen dat eigenlijk nog niet klaar is voor gebruik. Ze stellen voor dat toekomstige studies een gelaagde aanpak moeten hanteren, waarbij direct gerelateerde componenten en nauwe proxies systematisch worden verwijderd om te controleren op dit soort datalekken. Door dit te doen, kunnen wetenschappers ervoor zorgen dat de modellen die ze bouwen werkelijke, verplaatsbare signalen detecteren die standhouden in de echte wereld, in plaats van slechts de structuur van de gegevens te reflecteren die ze gevoed hebben. Het werk bevestigt dat hoewel machine learning een groot potentieel heeft om de zorg in omgevingen met beperkte middelen te verbeteren, de kracht ervan getemperd moet worden met een rigoureus begrip van hoe de gegevens zijn geconstrueerd.