Impact of Missing Data Imputation on The Structure of Real-World Clinical Datasets: A Comparison of Median, K-Nearest Neighbours, and MICE Approaches
Deze studie toont aan dat k-nearest neighbours (KNN) imputatie beter presteert dan zowel mediaan substitutie als multiple imputation by chained equations (MICE) in het behouden van de distributionele getrouwheid en de multivariate structurele integriteit van klinische datasets uit de echte wereld bij variërende niveaus van ontbrekende gegevens.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medisch onderzoek is data de levensader van ontdekking. Artsen en wetenschappers vertrouwen op verslagen van de patiëntgeschiedenis, laboratoriumresultaten en behandeluitkomsten om ziekten te begrijpen en de zorg te verbeteren. Echter, echte medische dossiers zijn zelden perfect. Patiënten missen afspraken, machines falen, of artsen vergeten simpelweg een specifieke meting op te schrijven. Deze hiaten, bekend als ontbrekende gegevens, creëren een probleem: als een onderzoeker probeert een lijst met getallen te analyseren die gaten bevat, kunnen de resultaten misleidend of onmogelijk te berekenen zijn. Om dit op te lossen, vullen onderzoekers de lege plekken vaak in met een proces dat imputatie wordt genoemd. De meest voorkomende en eenvoudigste manier om dit te doen, is door naar alle getallen te kijken die ze hebben voor een specifieke meting, de middelste waarde te vinden en diezelfde waarde in elk leeg vakje te plakken. Hoewel dit gemakkelijk is, heeft het een bekend gebrek: het vlakt de natuurlijke variatie van de data af, waardoor een diverse groep patiënten er identieker uitziet dan ze in werkelijkheid zijn. Een meer geavanceerde aanpak houdt in dat complexe computermodellen worden gebruikt om te raden wat de ontbrekende getallen zouden kunnen zijn, gebaseerd op hoe ze zich verhouden tot andere informatie over de patiënt. De vraag die de wetenschappelijke gemeenschap bezighoudt, is of de eenvoudige methode goed genoeg is, of dat de complexe methode noodzakelijk is om de data eerlijk te houden.
Een team van onderzoekers uit Valencia, Spanje, zette zich in om deze vraag te beantwoorden door drie verschillende manieren te testen om de gaten in echte medische dossiers op te vullen. Ze creëerden geen nepdata om hun theorieën te testen; in plaats daarvan gebruikten ze twee grote, werkelijke collecties patiëntinformatie. De eerste groep bestond uit 408 patiënten die een longtransplantatie hadden ondergaan, een complexe procedure waarbij artsen tientallen metingen bijhouden voor, tijdens en na de operatie. De tweede groep omvatte 1.700 patiënten die een hartaanval hadden gehad, met dossiers die hun vitale functies en medische geschiedenis beschreven. In beide groepen ontbraken veel getallen. In de groep van de longtransplantatie ontbraken bepaalde metingen bij zo weinig als 0,2 procent van de patiënten tot wel 77,9 procent. In de groep van de hartaanval varieerden de ontbrekende gegevens van 0,24 procent tot meer dan 63 procent. De onderzoekers wilden zien welke methode van het invullen van deze gaten de ware vorm en relaties van de oorspronkelijke data het beste bewaarde.
Het team vergeleek drie specifieke strategieën. De eerste was de standaard, eenvoudige aanpak: het vervangen van elk ontbrekend getal door de mediaan, oftewel de middelste waarde, van de getallen die daadwerkelijk zijn opgenomen. De tweede methode was een methode genaamd k-nearest neighbours, die werkt door de patiënten in de database te vinden die het meest lijken op de patiënt met de ontbrekende data en hun waarden te gebruiken om een gok te doen. De derde was een zeer complexe statistische techniek bekend als multiple imputation, die een reeks geavanceerde modellen draait om verschillende mogelijke versies van de ontbrekende data te genereren en deze vervolgens middelt. De onderzoekers maten hoe nauw de ingevulde data overeenkwam met de oorspronkelijke, volledige data met behulp van een statistische liniaal die controleert of de verdeling van de getallen hetzelfde blijft. Ze controleerden ook of de relaties tussen verschillende variabelen, zoals hoe leeftijd zich verhoudt tot bloeddruk, intact bleven.
De resultaten waren verrassend voor velen die verwachten dat de meest complexe methode altijd de beste is. De eenvoudige methode van het gebruiken van de middelste waarde heeft inderdaad de data vervormd, de variatie in getallen samengedrukt en de dataset minder divers gemaakt dan deze werkelijk was. Echter, het complexe, meerstaps statistische model presteerde zelfs nog slechter in deze specifieke test. Het introduceerde de grootste fouten en veranderde de relaties tussen variabelen meer dan welke andere methode dan ook. De methode die het best presteerde, was de k-nearest neighbours aanpak. Het behield de natuurlijke spreiding van de data en hield de relaties tussen verschillende medische metingen nauwkeuriger dan zowel de eenvoudige middelwaarde-methode als het complexe model. In de groep van de longtransplantatie vervormde het complexe model de data voor bijna 39 procent van de variabelen, terwijl de k-nearest neighbours methode slechts ongeveer 11 procent vervormde. In de groep van de hartaanval vervormde het complexe model 39 procent van de variabelen, terwijl de k-nearest neighbours methode slechts 11 procent vervormde.
De onderzoekers ontdekten dat naarmate de hoeveelheid ontbrekende data toenam, alle methoden meer fouten maakten, maar dat de k-nearest neighbours methode veel langzamer fouten maakte. Wanneer een variabele een hoog percentage ontbrekende getallen had, hadden zowel de eenvoudige middelwaarde-methode als het complexe model moeite om de data er echt uit te laten zien, maar de k-nearest neighbours methode hield het beter vol. Dit komt waarschijnlijk doordat het complexe model probeert een perfecte wiskundige regel voor elke enkele variabele te bouken, wat moeilijk wordt wanneer er veel variabelen zijn en niet genoeg patiënten zijn om van te leren. De k-nearest neighbours methode kijkt daarentegen simpelweg naar de meest vergelijkbare patiënten en kopieert hun patroon, wat goed werkt, zelfs wanneer de data rommelig of incompleet is.
Deze studie suggereert niet dat het complexe statistische model nutteloos is. Dat model is ontworpen voor een ander doel: om een reeks mogelijke antwoorden te bieden en om rekening te houden met de onzekerheid van het niet weten van de ware getallen, wat cruciaal is voor bepaalde typen diepe statistische analyse. Echter, voor veel onderzoekers die simpelweg een schone, volledige dataset nodig hebben om een groep patiënten te beschrijven of om relaties tussen variabelen te verkennen, kan het complexe model overbodig en zelfs contraproductief zijn. De bevindingen suggereren dat voor het creëren van een enkele, betrouwbare versie van een medische dataset, de k-nearest neighbours methode een krachtige balans biedt. Het is veel nauwkeuriger dan de eenvoudige middelwaarde-methode, die nog steeds breed wordt gebruikt, en het is gemakkelijker te gebruiken dan het complexe model, omdat het minder technische beslissingen van de onderzoeker vereist.
De studie benadrukt een praktische les voor de medische wetenschap: soms is het meest geavanceerde instrument niet het beste voor de klus. In de rommelige realiteit van ziekenhuisarchieven, waar data vaak incompleet is en patiëntprofielen uniek zijn, kan een methode die naar vergelijkbare patiënten kijkt om de gaten op te vullen, het ware verhaal van de data beter bewaren dan een rigide wiskundige formule. Door de juiste tool te kiezen, kunnen onderzoekers ervoor zorgen dat de patronen die zij in hun data ontdekken, de realiteit van de patiënten die zij bestuderen weerspiegelen, in plaats van de artefacten van hoe zij probeerden de ontbrekende getallen te herstellen. Dit werk biedt een duidelijk pad voorwaarts voor wetenschappers die hun data eerlijk willen houden zonder te verdrinken in onnodige complexiteit.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.