Benchmarking machine learning for cardiovascular disease classification across 46 countries with geographic and temporal transportability assessment
Deze studie benchmarkt machine learning-modellen voor de classificatie van hart- en vaatziekten over 46 landen met behulp van WHO STEPS-gegevens, waarbij wordt onthuld dat complexe algoritmen slechts marginale prestatiewinsten bieden ten opzichte van logistische regressie, terwijl tegelijkertijd substantiële geografische en temporele heterogeniteit wordt benadrukt die noodzaakt om de prioriteit te leggen bij transporteerbaarheid, kalibratie en prestaties van minderheidsklassen boven gepoolde ROC AUC in de publieke gezondheidszorg-AI.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Hartziekten blijven de belangrijkste doodsoorzaak wereldwijd, waarbij elk jaar miljoenen levens worden geëist. In veel delen van de wereld is de last zelfs nog zwaarder, aangezien meer dan drie kwart van deze sterfgevallen voorkomt in lage- en middeninkomenslanden. Om dit te bestrijden, vertrouwen gezondheidsfunctionarissen op grote enquêtes waarin mensen vragen naar hun gezondheid, hun gewoonten en hun toegang tot medische zorg. Deze enquêtes verzamelen gegevens over zaken als bloeddruk, roken en dieet, waarvan bekend is dat ze de hartgezondheid beïnvloeden. De hoop is dat computers, door deze informatie te analyseren, patronen kunnen leren herkennen die voorspellen wie een risico loopt, zodat artsen eerder kunnen ingrijpen.
In de afgelopen jaren is er een race ontstaan om geavanceerde computerprogramma's, bekend als machine learning, te gebruiken om deze patronen te vinden. Deze programma's worden vaak geprezen omdat ze in staat zouden zijn problemen op te lossen die simpelere methoden niet kunnen, door verborgen verbanden te vinden in enorme hoeveelheden gegevens. Er blijft echter een belangrijke vraag bestaan: werken deze complexe programma's daadwerkelijk beter wanneer ze worden toegepast in de echte wereld, over verschillende landen en over de tijd heen? Vaak worden deze instrumenten getest op manieren die ze succesvoller doen lijken dan ze werkelijk zijn, zoals door gegevens van één enkel land op te splitsen in trainings- en testgroepen. Deze aanpak kan verbergen dat een model volledig kan falen wanneer het wordt geconfronteerd met een nieuw land, een ander jaar of een populatie met een andere toegang tot de gezondheidszorg.
Een nieuwe studie zette een veel moeilijkere uitdaging tegenover deze computermodellen. Onderzoekers verzamelden gezondheidsenquêtegegevens uit 46 verschillende landen, die bijna 188.000 volwassenen beslaan. Ze stelden een eenvoudige vraag: kan een computerprogramma accuraat mensen identificeren die al hartziekten hebben op basis van hun enquêteantwoorden, en zal dat programma nog steeds werken als het naar een land wordt gestuurd dat het nog nooit heeft gezien? Om het antwoord te vinden, vergeleken ze de prestaties van verschillende soorten computermodellen, variërend van eenvoudige, transparante statistische methoden tot complexe, moderne kunstmatige intelligentiesystemen.
De onderzoekers keken niet alleen naar de hoogste algemene score. In plaats daarvan ontwierpen ze een rigoureuze test die de inzet in de echte wereld nabootste. Ze trainden de modellen op gegevens van de meeste landen en testten ze vervolgens op volledige landen die volledig buiten het trainingsproces waren gelaten. Ze controleerden ook hoe goed de modellen standhielden in de loop van de tijd door ze te trainen op oudere enquêtegegevens en te testen op nieuwere gegevens uit dezelfde landen. Ze besteedden nauwlettend aandacht aan de vraag hoe goed de modellen omgingen met het feit dat hartziekten relatief zeldzaam zijn in deze enquêtes, wat betekent dat een model de meeste tijd fout kan hebben en er toch goed uit kan zien op een standaardscore. Ze onderzochten ook of de modellen simpelweg leerden om mensen te herkennen die al een arts hadden bezocht voor andere aandoeningen, in plaats van het onderliggende risico op hartziekten zelf te identificeren.
De resultaten boden een nuchtere realiteitscheck voor het vakgebied van de medische kunstmatige intelligentie. De meest complexe computermodellen presteerden niet significant beter dan een eenvoudige, goed begrepen statistische methode. Sterker nog, het verschil in hun vermogen om hartziektegevallen correct te identificeren was zo klein dat het nauwelijks merkbaar was. Hoewel de complexe modellen een piepkleine voorsprong behaalden in sommige specifieke metingen, boden ze niet de spectaculaire verbetering waar velen op hadden gehoopt. Belangrijker nog, de studie toonde aan dat de prestaties van deze modellen sterk varieerden afhankelijk van waar ze werden gebruikt. Een model dat redelijk goed werkte in één regio, kon in een andere regio bijna volledig falen. Zo waren de modellen in sommige delen van Centraal-Azië vrij accuraat, maar in verschillende Pacifische eilandstaten en delen van Afrika daalde hun vermogen om onderscheid te maken tussen mensen met en zonder hartziekten tot bijna willekeurige niveaus.
De studie onthulde ook dat deze modellen niet stabiel zijn over de tijd. Wanneer de onderzoekers een model trainden op gegevens van enkele jaren geleden en testten op gegevens van een later jaar, waren de resultaten vaak slecht. De modellen hadden moeite om zich aan te passen aan veranderingen in de populatie, verschuivingen in de diagnose van ziekten of verbeteringen in de toegang tot de gezondheidszorg die plaatsvonden tussen de enquêtegolven door. Dit suggereert dat een model dat vandaag wordt gebouwd, morgen niet langer betrouwbaar kan zijn zonder aanzienlijke aanpassingen. Bovendien ontdekten de onderzoekers dat de modellen zwaar leunden op het feit of iemand een diagnose had gekregen voor een hoge bloeddruk of diabetes. Wanneer zij deze specifieke stukjes informatie uit de gegevens verwijderden, daalde de prestatie van de modellen merkbaar. Dit wijst erop dat de computers deels leerden om mensen te identificeren die al contact hadden gehad met de gezondheidszorg, in plaats van puur het biologische risico op hartziekten te identificeren. In landen waar veel mensen geen regelmatige toegang tot artsen hebben, zou deze afhankelijkheid ertoe kunnen leiden dat de modellen juist de mensen missen die de meeste hulp nodig hebben.
De onderzoekers concludeerden dat de keuze voor een complex algoritme minder belangrijk is dan de context waarin het wordt gebruikt. De verschillen tussen landen en door de tijd heen waren veel groter dan de verschillen tussen de computermodellen zelf. Ze voerden aan dat voordat een dergelijk instrument wordt gebruikt om beslissingen in de publieke gezondheidszorg te sturen, het niet alleen moet worden getest op zijn algemene score, maar ook op zijn vermogen om in specifieke lokale omgevingen te werken, zijn betrouwbaarheid in de loop van de tijd en zijn eerlijkheid ten opzichte van verschillende groepen mensen. De studie suggereert dat voor wereldwijde gezondheidssurveillance transparantie en robuustheid waardevoller zijn dan complexiteit. Een eenvoudig model dat goed begrepen wordt en gemakkelijk kan worden aangepast aan lokale omstandigheden, kan een veel beter instrument zijn om levens te redden dan een geavanceerde 'black box' die faalt wanneer de omgeving verandert. De weg vooruit, suggereren de auteurs, is niet het najagen van het krachtigste computerprogramma, maar het bouwen van systemen die eerlijk zijn over hun beperkingen en aanpasbaar zijn aan de diverse realiteiten van de wereld die ze bedoeld zijn te dienen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.