Impact of Missing Data Imputation on The Structure of Real-World Clinical Datasets: A Comparison of Median, K-Nearest Neighbours, and MICE Approaches
Diese Studie zeigt, dass die k-nächste-Nachbarn-Imputation (KNN) sowohl die Median-Substitution als auch die multiple Imputation durch verkettete Gleichungen (MICE) in der Erhaltung der Verteilungsgenauigkeit und der multivariaten strukturellen Integrität von realen klinischen Datensätzen über variierende Grade der Fehlwertbehaftung hinweg übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Forschung sind Daten das Lebenselixier der Entdeckung. Ärzte und Wissenschaftler verlassen sich auf Aufzeichnungen über die Patientengeschichte, Laborergebnisse und Behandlungsergebnisse, um Krankheiten zu verstehen und die Versorgung zu verbessern. Medizinische Aufzeichnungen aus der realen Welt sind jedoch selten perfekt. Patienten verpassen Termine, Maschinen fallen aus oder Ärzte vergessen schlichtweg, eine bestimmte Messung aufzuschreiben. Diese Lücken, bekannt als fehlende Daten, stellen ein Problem dar: Wenn ein Forscher versucht, eine Liste von Zahlen mit Löchern zu analysieren, können die Ergebnisse irreführend oder unmöglich zu berechnen sein. Um dies zu beheben, füllen Forscher die Lücken oft durch einen Prozess namens Imputation auf. Die gängigste und einfachste Art, dies zu tun, besteht darin, sich alle vorhandenen Zahlen für eine bestimmte Messung anzusehen, den mittleren Wert zu finden und diesen identischen Wert in jede leere Stelle einzufügen. Obwohl dies einfach zu handhaben ist, hat es einen bekannten Fehler: Es ebnet die natürliche Vielfalt der Daten ab und lässt eine diverse Gruppe von Patienten einheitlicher erscheinen, als sie eigentlich sind. Ein anspruchsvollerer Ansatz besteht darin, komplexe Computermodelle zu verwenden, um zu erraten, wie die fehlenden Zahlen basierend auf der Beziehung zu anderen Informationen über den Patienten aussehen könnten. Die Frage, vor der die wissenschaftliche Gemeinschaft steht, ist, ob die einfache Methode gut genug ist oder ob die komplexe Methode notwendig ist, um die Daten ehrlich zu halten.
Ein Forschungsteam aus Valencia, Spanien, ging die Frage an, indem es drei verschiedene Wege testete, die Lücken in echten medizinischen Unterlagen zu füllen. Sie erstellten keine gefälschten Daten, um ihre Theorien zu testen; stattdessen nutzten sie zwei große, tatsächliche Sammlungen von Patienteninformationen. Die erste Gruppe bestand aus 408 Patienten, die sich einer Lungentransplantation unterzogen hatten, einem komplexen Eingriff, bei dem Ärzte Dutzende von Messwerten vor, während und nach der Operation verfolgen. Die zweite Gruppe umfasste 1.700 Patienten, die einen Herzinfarkt erlitten hatten, wobei die Aufzeichnungen deren Vitalwerte und Krankengeschichte detailliert darlegten. In beiden Gruppen fehlten viele Zahlen. In der Gruppe der Lungentransplantationspatienten fehlten einige Messwerte bei nur 0,2 Prozent der Patienten bis hin zu 77,9 Prozent. In der Gruppe der Herzinfarktpatienten reichten die fehlenden Daten von 0,24 Prozent bis über 63 Prozent. Die Forscher wollten sehen, welche Methode das Auffüllen dieser Lücken am besten bewahrt, um die wahre Form und die Beziehungen der ursprünglichen Daten beizubehalten.
Das Team verglich drei spezifische Strategien. Die erste war der standardmäßige, einfache Ansatz: das Ersetzen jeder fehlenden Zahl durch den Median, also den mittleren Wert der tatsächlich aufgezeichneten Zahlen. Die zweite Methode war ein Verfahren namens k-Nearest-Neighbours (k-Nächste-Nachbarn), das dadurch funktioniert, dass es die Patienten in der Datenbank findet, die dem Patienten mit den fehlenden Daten am ähnlichsten sind, und deren Werte nutzt, um eine Vermutung anzustellen. Die dritte war eine hochkomplexe statistische Technik, bekannt als multiple Imputation, die eine Reihe anspruchsvoller Modelle durchläuft, um mehrere verschiedene mögliche Versionen der fehlenden Daten zu generieren und diese dann zu mitteln. Die Forscher maßen dann, wie genau die ausgefüllten Daten mit den ursprünglichen, vollständigen Daten übereinstimmten, indem sie ein statistisches Lineal verwendeten, das prüft, ob die Verteilung der Zahlen gleich bleibt. Sie prüften auch, ob die Beziehungen zwischen verschiedenen Variablen, wie etwa wie das Alter mit dem Blutdruck zusammenhängt, intakt blieben.
Die Ergebnisse waren überraschend für viele, die erwarten, dass die komplexeste Methode immer die beste ist. Die einfache Methode der Verwendung des mittleren Wertes verzerrte in der Tat die Daten, indem sie die Vielfalt der Zahlen komprimierte und den Datensatz weniger divers erscheinen ließ, als er tatsächlich war. Das komplexe, mehrstufige statistische Modell schnitt jedoch in diesem speziellen Test sogar noch schlechter ab. Es führte die größten Fehler ein und veränderte die Beziehungen zwischen den Variablen stärker als jede andere Methode. Die Methode, die am besten abschnitt, war der k-Nearest-Neighbours-Ansatz. Er bewahrte die natürliche Streuung der Daten und hielt die Beziehungen zwischen verschiedenen medizinischen Messwerten genauer aufrecht als sowohl die einfache Methode des mittleren Wertes als auch das komplexe Modell. In der Gruppe der Lungentransplantationspatienten verzerrte das komplexe Modell die Daten für fast 39 Prozent der Variablen, während die k-Nearest-Neighbours-Methode nur etwa 11 Prozent verzerrte. In der Herzinfarkt-Gruppe verzerrte das komplexe Modell 39 Prozent der Variablen, während die k-Nearest-Neighbours-Methode nur 11 Prozent verzerrte.
Die Forscher stellten fest, dass alle Methoden mehr Fehler machten, wenn die Menge der fehlenden Daten zunahm, aber die k-Nearest-Neighbours-Methode machte deutlich langsamer Fehler. Wenn eine Variable einen hohen Prozentsatz an fehlenden Zahlen aufwies, hatten sowohl die einfache Methode des mittleren Wertes als auch das komplexe Modell Schwierigkeiten, die Daten realistisch erscheinen zu lassen, aber die k-Nearest-Neighbours-Methode hielt sich besser durch. Dies liegt wahrscheinlich daran, dass das komplexe Modell versucht, eine perfekte mathematische Regel für jede einzelne Variable aufzubauen, was schwierig wird, wenn es viele Variablen und nicht genügend Patienten gibt, von denen es lernen kann. Die k-Nearest-Neighbours-Methode hingegen schaut sich einfach die ähnlichsten Patienten an und kopiert deren Muster, was selbst dann gut funktioniert, wenn die Daten unordentlich oder unvollständig sind.
Diese Studie legt nicht nahe, dass das komplexe statistische Modell nutzlos ist. Dieses Modell ist für einen anderen Zweck konzipiert: um einen Bereich möglicher Antworten zu liefern und die Unsicherheit darüber zu berücksichtigen, dass die wahren Zahlen unbekannt sind, was für bestimmte Arten tiefgehender statistischer Analysen entscheidend ist. Doch für viele Forscher, die lediglich einen sauberen, vollständigen Datensatz benötigen, um eine Gruppe von Patienten zu beschreiben oder um Beziehungen zwischen Variablen zu untersuchen, ist das komplexe Modell möglicherweise übertrieben und sogar kontraproduktiv. Die Ergebnisse legen nahe, dass die k-Nearest-Neighbours-Methode für die Erstellung einer einzigen, zuverlässigen Version eines medizinischen Datensatzes ein leistungsfähiges Gleichgewicht bietet. Sie ist weitaus genauer als die einfache Methode des mittleren Wertes, die immer noch weit verbreitet ist, und einfacher anzuwenden als das komplexe Modell, da sie weniger technische Entscheidungen vom Forscher erfordert.
Die Studie unterstreicht eine praktische Lektion für die medizinische Wissenschaft: Manchmal ist das anspruchsvollste Werkzeug nicht das beste für die Aufgabe. In der unordentlichen Realität von Krankenhausakten, in denen Daten oft unvollständig sind und Patientenprofile einzigartig sind, kann eine Methode, die sich auf ähnliche Patienten bezieht, um die Lücken zu füllen, die wahre Geschichte der Daten besser bewahren als eine starre mathematische Formel. Indem man das richtige Werkzeug wählt, können Forscher sicherstellen, dass die Muster, die sie in ihren Daten entdecken, die Realität der Patienten widerspiegeln, die sie untersuchen, und nicht die Artefakte der Art und Weise, wie sie versuchten, die fehlenden Zahlen zu korrigieren. Diese Arbeit bietet einen klaren Weg nach vorn für Wissenschaftler, die ihre Daten ehrlich halten wollen, ohne sich in unnötiger Komplexität zu verlieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.