Spatial Transferability of Explainable Machine Learning for Predicting Pre-Treatment Tuberculosis Loss to Follow-up Across West Java Districts

Elk jaar worden miljoenen mensen wereldwijd gediagnosticeerd met tuberculose, een ernstige bacteriële infectie die de longen aanvalt. Het medische systeem heeft een duidelijk pad voor ogen: zodra iemand is gediagnosticeerd, moet diegene onmiddellijk beginnen met medicatie te nemen. Echter, er bestaat een gevaarlijke kloof in dit proces. Veel patiënten verlaten de kliniek, raken de verbinding met zorgverleners kwijt of besluiten niet te beginnen met het regime nadat ze hun diagnose hebben ontvangen. Dit staat bekend als "loss to follow-up" (uitval uit de zorg). Deze individuen blijven besmettelijk, waardoor ze hun familie en gemeenschappen infecteren, terwijl hun eigen gezondheid snel achteruitgaat. Gezondheidsprogramma's worstelen vaak met het vinden van het geld en het personeel om elke patiënt te ondersteunen, dus ze hebben een manier nodig om te identificeren wie waarschijnlijk zal uitvallen nog voordat ze de deur uitlopen. Als artsen deze risicopatiënten vroegtijdig kunnen signaleren, kunnen ze hun beperkte middelen richten op de mensen die ze het hardst nodig hebben, in plaats van te proberen iedereen gelijk te helpen.

In de Indonesische provincie West-Java zetten onderzoekers zich in om dit probleem op te lossen met behulp van de enorme hoeveelheden gegevens die al door het nationale gezondheidssysteem worden verzameld. Ze stelden een eenvoudige maar moeilijke vraag: kan een computerprogramma, getraind op de patiëntendossiers van de gehele provincie, nauwkeurig voorspellen welke specifieke individuen in een specifieke stad er niet mee zullen beginnen aan de behandeling? Ze wilden weten of een enkel, grootschalig model overal zou werken, of dat de unieke omstandigheden van elk district de voorspelling zouden breken. Om dit te beantwoorden, wenden zij zich tot een vakgebied binnen de informatica genaamd machine learning, waarmee computers patronen in gegevens kunnen vinden zonder expliciet geprogrammeerd te zijn met regels. Ze richtten zich op "uitlegbare" modellen, die lijken op transparante dozen waar je precies kunt zien waarom de computer een beslissing heeft genomen, in plaats van "black boxes" die een antwoord geven zonder hun werk te tonen. Deze transparantie is cruciaal voor artsen, die de redenering achter een risicovoorspelling moeten begrijpen voordat ze actie ondernemen.

Het team verzamelde informatie over meer dan 174.000 mensen die in 2024 in de 27 verschillende districten en steden van West-Java de diagnose tuberculose kregen. Ze keken naar details die beschikbaar waren op het moment van diagnose, zoals de leeftijd van de patiënt, of de patiënt diabetes had, waar de patiënt woonde en voor wat voor soort kliniek de patiënt was gegaan. Het belangrijkste was dat ze noteerden of de HIV-status van de patiënt in het systeem was opgenomen. Ongeveer negen procent van deze patiënten was al verloren gegaan voordat de behandeling begon. De onderzoekers bouwden vijf verschillende computermodellen om te zien welk model de patiënten die de behandeling zouden starten het beste kon onderscheiden van degenen die dat niet zouden doen. Ze testten alles, van eenvoudige statistische methoden tot complexere boomstructuur-systemen die beslissingen nemen door een reeks ja-of-nee-vragen te stellen.

De resultaten toonden aan dat de computermodellen verrassend goed waren in hun werk. Het beste model kon met een hoge mate van nauwkeurigheid onderscheid maken tussen patiënten die zouden blijven en patiënten die zouden vertrekken. Wat misschien wel verrassender was, was dat alle vijf de verschillende soorten modellen bijna hetzelfde presteerden. Het meest complexe model versloeg de eenvoudigere modellen niet met een grote marge. Dit suggereerde dat de kwaliteit van de gegevens zelf, in plaats van de slimheid van het computeralgoritme, de belangrijkste factor was die bepaalde hoe goed de voorspellingen konden werken. De gegevens bevatten sterke signalen, met name met betrekking tot de vraag of de HIV-status van de patiënt was geregistreerd. Patiënten bij wie de HIV-status ontbrak in hun dossier, waren veel grotere kans op uitval uit de zorg dan patiënten wier status duidelijk als negatief of positief was geregistreerd. Dit wees op een dieper liggend probleem: het registreren van de HIV-test was niet alleen een taak van gegevensinvoer, maar een teken van hoe compleet en zorgvuldig het gehele medische proces voor die patiënt was.

Echter, toen de onderzoekers testten of dit enkele provinciebrede model even goed werkte in elke stad, veranderde het beeld. Een model dat gemiddeld genomen goed presteerde in de hele regio, bleek niet betrouwbaar te zijn in specifieke districten. In sommige gebieden onderschatte het model het risico consequent, waarbij het voorspelde dat patiënten met de behandeling zouden beginnen terwijl ze dat in werkelijkheid niet deden. In andere gebieden overschatte het de risico's juist. De onderzoekers ontdekten twee hoofdoorzaken voor deze mislukkingen. Ten eerste was in sommige districten de manier waarop gegevens werden geregistreerd anders dan in de rest van de provincie. Bijvoorbeeld, in één district was een veel hoger percentage patiënten voorzien van ontbrekende HIV-gegevens vergeleken met het provinciale gemiddelde. Omdat het model zwaar op deze informatie vertrouwde, had het moeite met het maken van nauwkeurige voorspellingen in gebieden waar de gegevens incompleet waren.

De tweede reden was mysterieuzer. In bepaalde districten, zelfs wanneer de gegevens er normaal uitzagen, voorspelde het model nog steeds dat patiënten met de behandeling zouden beginnen, om er vervolgens achter te komen dat velen dat wel niet deden. Dit suggereerde dat er lokale factoren waren die de beslissingen van de patiënten beïnvloedden die de computer niet kon zien. Dit kunnen de kwaliteit van de lokale gezondheidszorg zijn, de afstand tot de kliniek, of cultuurbarrières die specifiek zijn voor die stad. De onderzoekers ontdekten dat deze lokale mislukkingen niet op een voorspelbaar patroon naar naburige steden verspreidden; een stad met een slechte voorspelling lag niet noodzakelijkerwijs naast een andere stad met een slechte voorspelling. Dit betekende dat een enkel, eenheidsmodel niet blindelings overal kon worden vertrouwd zonder aanpassingen.

De studie concludeerde dat hoewel machine learning een krachtig hulpmiddel is bij het identificeren van risicopatiënten, het niet simpelweg blindelings over verschillende regio's kan worden toegepast. De onderzoekers ontdekten dat het aantal patiënten in een district niet bepaalde hoe goed het model werkte; zelfs gebieden met zeer weinig patiënten konden goed voorspeld worden als de lokale gegevens consistent waren, terwijl grote gebieden konden falen als de lokale omstandigheden uniek waren. Ze ontdekten ook dat het vereenvoudigen van de lijst met factoren waar de computer naar keek, de resultaten niet verbeterde. De belangrijkste les was dat het model voor elke specifieke locatie moest worden hergekalibreerd. Door de voorspellingen van het model aan te passen aan de lokale realiteit, konden zorgverleners de inzichten van de computer gebruiken om een gerichte lijst van patiënten op te stellen die echt extra ondersteuning nodig hadden.

Om dit praktisch te maken voor drukke klinieken, vertaalden de onderzoekers hun complexe computermodel naar een eenvoudig scoringssysteem. Artsen kunnen in enkele seconden een risicoscore voor een patiënt berekenen met behulp van slechts enkele feiten: of de HIV-status is geregistreerd, hoe de diagnose is gesteld, de leeftijd en de behandelgeschiedenis. Een patiënt met een ontbrekende HIV-registratie krijgt bijvoorbeeld onmiddellijk een hoge risicoscore, wat aangeeft dat er directe aandacht nodig is. Deze aanpak stelt gezondheidsprogramma's in staat om af te stappen van het behandelen van elke patiënt op dezelfde manier en in plaats daarvan hun beperkte middelen te richten op de individuen die het meest waarschijnlijk door de mazen van het net vallen. De studie bewees dat met de juiste gegevens en zorgvuldige lokale aanpassingen, technologie kan helpen de kloof tussen diagnose en behandeling te dichten, en zo levens te redden in de kritieke eerste dagen na een diagnose van tuberculose.