Missing Data Governance in Real-World Cardiovascular Risk Prediction: Effects on Machine Learning Performance and Interpretability
Deze studie toont aan dat bij de voorspelling van cardiovasculair risico in de echte wereld, een passende behandeling van ontbrekende gegevens door middel van imputatie of hybride strategieën cruciaal is voor het behoud van de betrouwbaarheid en interpreteerbaarheid van het model, terwijl het ongebreidelde verwijderen van incomplete records de prestaties aanzienlijk verslechtert en de informatieve waarde van het ontbreken zelf over het hoofd ziet.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Hartziekten blijven de belangrijkste doodsoorzaak wereldwijd, en artsen vertrouwen op vroege detectie om levens te redden. Om dit te doen, verzamelen ze een enorme hoeveelheid informatie over elke patiënt: hun leeftijd, bloeddruk, cholesterolgehaltes, en of ze een geschiedenis hebben van roken of diabetes. In de afgelopen jaren zijn computerprogramma's, bekend als machine learning, getraind om naar deze informatie te kijken en te voorspellen wie een risico loopt. Deze programma's zijn uitstekend in het vinden van patronen in schone, perfecte data. Echter, de echte wereld is zelden perfect. In werkelijke ziekenhuizen zijn dossiers vaak slordig. Een arts kan vergeten een bloeddrukmeting op te schrijven, een laboratoriumuitslag kan ontbreken, of een patiënt kan een test hebben ondergaan bij een andere kliniek die nooit in het dossier terecht is gekomen. Al een tijdje testen wetenschappers deze computerprogramma's voornamelijk met oude, opgeschoonde datasets die deze realiteit niet weerspiegelen. Ze hebben zich gericht op welke computeralgoritme de slimste is, waarbij ze vaak negeerden dat de data zelf incompleet is. Dit roept een cruciale vraag op: als een computerprogramma is getraind op perfecte data, kan het dan nog steeds werken wanneer het geconfronteerd wordt met de slordige, incomplete dossiers die in een echt ziekenhuis worden gevonden?
Een team onderzoekers in Denizli, Turkije, besloot dit te beantwoorden door een studie op te bouwen rondom de data zelf in plaats van rondom het computerprogramma. Ze gingen rechtstreeks naar de cardiologieafdeling van een privékliniek en haalden elk dossier op van patiënten die tussen 2019 en 2024 werden gezien. Ze hebben de data niet eerst schoongemaakt. Ze hebben de dossiers met ontbrekende getallen niet weggegooid. In plaats daarvan namen ze de ruwe, ongefilterde informatie precies zoals die in de ziekenhuisdatabase stond, met alle hiaten en inconsistenties. Uit deze dossiers selecteerden ze negentien belangrijke gezondheidsparameters, zoals leeftijd, geslacht, cholesterol en diverse hartmetingen, om te zien hoe goed verschillende computerprogramma's hartziekten konden voorspellen wanneer zij gedwongen worden om met ontbrekende informatie om te gaan. Ze testten elf verschillende soorten leeralgoritmes, variërend van eenvoudige statistische methoden tot complexe, moderne systemen die veel kleine modellen samen laten werken. Cruciaal was dat ze niet slechts één manier kozen om de ontbrekende getallen te corrigeren. Ze testten vier volledig verschillende strategieën. Eén strategie vulde de gaten in met geschatte getallen. Een andere liet de gaten leeg om te zien of de computer er zelfstandig mee om kon gaan. Een derde strategie behandelde de ontbrekende waarden als een specifieke categorie op zich, wat de computer in feite vertelde: "We weten dit niet, maar het feit dat we dit niet weten, kan belangrijk zijn." De vierde strategie, die gebruikelijk is in veel studies, verwijderde simpelweg elk dossier dat zelfs maar één ontbrekend getal bevatte.
De resultaten lieten zien dat de manier waarop de onderzoekers met de ontbrekende data omgingen, veel belangrijker was dan de keuze voor het computerprogramma zelf. Wanneer zij de strategie van het verwijderen van incomplete dossiers gebruikten, daalde de prestatie van elk computermodel aanzienlijk. De meest accurate modellen daalden van het correct identificeren van ongeveer 77 procent van de gevallen naar slechts 69 procent. Dit verlies gebeurde omdat het verwijderen van dossiers zoveel waardevolle informatie wegnam en de computer met te weinig voorbeelden achterliet om van te leren. In tegenstelling hiertoe behielden de strategieën die de incomplete dossiers behielden — of het nu ging om het invullen van de gaten of het behandelen van de ontbrekende gegevens als een bekende factor — het vermogen van de modellen om hartziekten accuraat te voorspellen. De computerprogramma's die het beste presteerden, waren die welke de slordige data konden verwerken zonder deze weg te gooien. Onder de verschillende geteste typen algoritmes bleek een familie van systemen bekend als 'boosting ensembles' het meest veerkrachtig. Deze systemen, die veel eenvoudige besluitvormers combineren om een sterk voorspellend geheel te vormen, behielden een hoge nauwkeurigheid, zelfs wanneer de data incompleet was. Eenvoudigere methoden, zoals die gebaseerd op het vinden van de dichtstbijzijnde buren in een dataset, hadden de meeste moeite wanneer zij met ontbrekende waarden werden geconfronteerd.
Misschien kwam de meest verrassende ontdekking pas toen de onderzoekers nauwkeurig keken naar hoe de computerprogramma's hun beslissingen namen. Ze gebruikten een speciale analyse tool om te zien welke kenmerken de computer het belangrijkst vond. Ze ontdekten dat de computer veel aandacht besteedde aan het feit dat bepaalde metingen ontbraken. Specifiek was de indicator dat een bloeddrukmeting ontbrak, een van de meest invloedrijke factoren bij het voorspellen van hartziekten. Dit betekent niet dat het ontbreken van een bloeddrukmeting hartziekten veroorzaakt. Het suggereert in plaats daarvan dat het patroon van ontbrekende gegevens zijn eigen informatie draagt. In dit ziekenhuis kan het feit dat een bloeddrukmeting niet is geregistreerd, wijzen op iets over de situatie van de patiënt, zoals een specifiek type bezoek of een sociaaleconomische factor die beïnvloedde welke tests werden besteld. De computer leerde dat deze afwezigheid een signaal was, net zo reëel als een hoog cholesterolgetal. Deze bevinding daagt het idee uit dat ontbrekende data slechts een defect is dat gerepareerd of genegeerd moet worden. Het laat zien dat in de klinische praktijk van de echte wereld de manier waarop informatie wordt geregistreerd — of juist niet — onderdeel is van het verhaal dat de data vertelt.
De studie concludeert dat voor computerprogramma's om vertrouwd te kunnen worden in echte ziekenhuizen, wetenschappers moeten stoppen met het behandelen van datakwaliteit als een minder belangrijk detail dat eerst moet worden opgeschoond voordat het eigenlijke werk begint. De manier waarop met ontbrekende informatie wordt omgegaan, is een fundamenteel onderdeel van de wetenschap. Als onderzoekers simpelweg incomplete dossiers verwijderen, riskeren zij modellen te bouwen die op papier goed werken, maar in de praktijk falen. De meest betrouwbare aanpak is het gebruiken van methoden die de onvolledigheid van de data respecteren, hetzij door gaten zorgvuldig in te vullen, of door te erkennen dat de afwezigheid van een meting op zichzelf een stuk informatie is. Door een lokaal afkomstige dataset uit Turkije te gebruiken, hebben de onderzoekers aangetoond dat modellen gebouwd op echte, slordige data representatiever zijn voor de werkelijke omstandigheden waarmee artsen te maken krijgen. Ze kwamen tot de conclusie dat hoewel de modellen niet perfect waren, ze wel eerlijk en robuust waren. De studie betoogt dat de toekomst van medische voorspelling niet ligt in het vinden van een iets beter algoritme om op perfecte data te draaien, maar in het bouwen van systemen die de imperfecte realiteit van menselijke medische dossiers kunnen begrijpen en leren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.