A Comparative Study of Methods for Handling Missing Data in Longitudinal Data with Implications for Causal Inference

Stellen Sie sich vor, Sie versuchen herauszufinden, ob der tägliche Genuss eines Glases Wein die Menschen tatsächlich glücklicher oder trauriger macht. Sie beschließen, eine Gruppe von Menschen über mehrere Jahre hinweg zu verfolgen, um die Antwort zu finden. Dies ist das, was Forscher eine „Längsschnittstudie“ nennen.

Doch das Leben ist chaotisch. Menschen vergessen, Umfragen auszufüllen, sie ziehen weg oder hören einfach auf, Fragen zu ihrer Stimmung zu beantworten. Dies sind fehlende Daten. Gleichzeitig beeinflussen andere Dinge die Ergebnisse, wie etwa das Einkommen oder das Alter. Dies sind Confounder (die „verborgenen Variablen“, die die Sicht trüben).

Dieses Paper ist wie ein riesiger, hochmoderner Kochwettbewerb. Die Forscher haben nicht nur ein Gericht gekocht; sie haben tausende verschiedene Szenarien simuliert, um zu sehen, welches „Rezept“ (statistische Methode) am besten funktioniert, wenn Zutaten fehlen und die Küche chaotisch ist.

Hier ist die Aufschlüsselung ihrer Ergebnisse in einfachen Worten:

Das Problem: Zwei Unordnung gleichzeitig

In realen Studien treten meist zwei Probleme gleichzeitig auf:

1. Fehlende Daten: Einige Menschen sind ausgeschieden oder haben Fragen übersprungen.
2. Confounding: Es ist schwer zu sagen, ob der Alkohol die Stimmung verändert hat oder ob etwas anderes (wie Stress oder Einkommen) sowohl den Alkoholkonsum als auch die Stimmung verursacht hat.

Die meisten bisherigen Studien versuchten, diese Probleme nacheinander zu lösen. Diese Studie fragte: „Wenn wir einen unordentlichen Datensatz haben, was ist die absolut beste Kombination aus Werkzeugen, um die fehlenden Teile zu reparien UND den wahren Grund vom Rauschen zu trennen?“

Das Experiment: Die Simulations-Küche

Die Forscher bauten eine virtuelle Welt mit einem Computer. Sie erschufen fiktive Menschen mit fiktiven Leben, fiktiven Trinkgewohnheiten und fiktiven Stimmungen. Dann „machten“ sie die Daten absichtlich kaputt, indem sie:

• Einige Menschen verschwinden ließen (fehlende Daten).
• Das Verschwinden aus unterschiedlichen Gründen geschehen ließen (einige zufällig, andere, weil sie unglücklich waren).
• Die Anzahl der Jahre änderten, in denen sie nachverfolgt wurden.
• Verschiedene Zahlen von „verborgenen Variablen“ (Confoundern) hinzufügten.

Dann testeten sie 7 verschiedene Wege, um die fehlenden Daten zu korrigieren (wie das Erraten der fehlenden Zahlen) und 6 verschiedene Wege, um die Confounder zu kontrollieren (wie das Anpassen des Rezepts). Sie ließen diese Simulation 1.000 Mal für jede Kombination durchlaufen, um zu sehen, welche die genauesten Ergebnisse liefert.

Die Zutaten: Die getesteten Methoden

Um fehlende Daten zu korrigieren (Das „Lückenfüll“-Team):

• Complete Case Analysis: Man wirft einfach jeden raus, bei dem ein Teil fehlt. (Wie einen ganzen Kuchen wegzuwerfen, nur weil ein Ei fehlt).
• Mean Imputation: Man füllt die Lücke mit dem Durchschnitt auf. (Wie zu raten, dass eine fehlende Testnote dem Klassendurchschnitt entspricht).
• Multiple Imputation (MI): Man erstellt mehrere verschiedene „Was-wäre-wenn“-Versionen der fehlenden Daten und bildet den Durchschnitt der Ergebnisse. (Wie zehn verschiedenen Köchen zu raten, welche Zutat fehlt, und dann den Durchschnittsrat zu nehmen).
• Random Forest & KNN: Intelligente Computer-Algorithmen, die nach ähnlichen Menschen suchen, um die fehlenden Werte zu erraten.

Um Confounder zu kontrollieren (Das „Rauschunterdrückungs“-Team):

• Multivariate Adjustment (MA): Man fügt einfach alle bekannten Variablen in die mathematische Gleichung ein.
• Propensity Score Methods (PSM, IPW): Man versucht, Trinker mit Nicht-Trinkern abzugleichen, die auf dem Papier exakt gleich aussehen, oder man gibt seltenen Typen von Menschen mehr Gewicht.
• Doubly Robust Estimation (DRE): Ein „Doppelcheck“-System. Es verwendet zwei verschiedene mathematische Modelle; wenn eines falsch liegt, rettet das andere den Tag.
• Instrumental Variable (IV): Man nutzt einen dritten Faktor (wie ein genetisches Merkmal oder ein zufälliges Ereignis), der zwar den Alkoholkonsum, aber nicht direkt die Stimmung beeinflusst, um als natürliches Experiment zu dienen.

Die Ergebnisse: Wer hat den Wettbewerb gewonnen?

1. Der Mythos der „Fehlmechanismen“
Die Forscher fanden heraus, dass es die eigentliche Antwort nicht stark veränderte, warum die Daten fehlten (ob es zufällig war oder daran lag, dass Menschen traurig waren). Das Wichtigste war, wie viele Daten fehlten. Je mehr Daten fehlten, desto schlechter wurden die Ergebnisse, egal welche Methode man verwendete.

2. Das beste „Lückenfüll“-Team
Für die kausale Inferenz (das Finden der wahren Ursache) waren die Gewinner:

• Multiple Imputation (MI): Der Goldstandard. Sie geht gut mit Unsicherheit um.
• Mean Imputation: Überraschend gut für dieses spezifische Ziel, obwohl sie sehr einfach ist.
• Random Forest: Der intelligente Algorithmus, der aus Mustern lernt.

Vermeiden: Das einfache Wegwerfen von Menschen mit fehlenden Daten (Complete Case Analysis) war der schlechteste Performer. Es erzeugte die meisten Fehler.

3. Das beste „Rauschunterdrückungs“-Team
Dies hing von der jeweiligen Situation ab:

• Szenario A (Komplexe, realweltliche Effekte): Wenn die Wirkung von Alkohol von Person zu Person variiert (heterogen) und keine verborgenen Geheimnisse existieren, war die Doubly Robust Estimation (DRE) der klare Gewinner. Sie war am genauesten und stabilsten.
• Szenario B (Einfache Effekte oder verborgene Geheimnisse): Wenn die Wirkung für alle gleich ist oder es ungemessene Confounder (Geheimnisse, die die Forscher nicht kannten) gibt, war die Instrumental Variable (IV)-Methode am besten. Sie ist die einzige, die hinter die Kulissen der verborgenen Variablen blicken kann.

4. Die Goldene Kombination
Die Studie fand heraus, dass die beste Strategie für die meisten realen Szenarien (wo Effekte variieren und wir davon ausgehen, dass wir die Haupt-Confounder kennen) lautet:

Multiple Imputation (oder Random Forest) + Doubly Robust Estimation.

Diese Kombination war wie das Besitzen eines Chefkochs (MI) und eines Doppelcheck-Systems (DRE). Sie lieferte die genauesten Ergebnisse mit dem geringsten Fehler.

Der reale Geschmackstest

Um zu beweisen, dass ihre Simulation keine reine Computerfantasie war, wandten sie diese Methoden auf echte Daten aus dem China Health and Retirement Longitudinal Study (CHARLS) an. Sie untersuchten den Zusammenhang zwischen Alkohol und Depression bei älteren Chinesen.

Das Ergebnis? Die realen Daten verhielten sich exakt wie ihre Simulation.

• Alle Methoden fanden einen Zusammenhang zwischen Alkohol und Depression.
• Die „Doubly Robust“-Methoden in Kombination mit „Multiple Imputation“ lieferten die stabilsten und zuverlässigsten Zahlen.
• Die Methode „Fehlende Daten wegwerfen“ (Complete Case) in Kombination mit „Inverse Probability Weighting“ lieferte die erratischsten und übersteigerten Ergebnisse.

Das Fazit

Wenn Sie ein Forscher sind, der Ursache-Wirkungs-Zusammenhänge in Langzeitstudien ermitteln will:

1. Löschen Sie nicht einfach fehlende Daten. Nutzen Sie intelligente Auffüllmethoden wie Multiple Imputation oder Random Forest.
2. Nutzen Sie ein „Doppelcheck“-System. Wenn Sie glauben, dass der Effekt zwischen Menschen variiert, nutzen Sie die Doubly Robust Estimation.
3. Passen Sie auf Geheimnisse auf. Wenn Sie vermuten, dass es verborgene Faktoren gibt, die Sie nicht messen können, müssen Sie vielleicht eine Instrumental Variable verwenden – aber seien Sie vorsichtig, da sie an Aussagekraft verliert, wenn Sie zu viele Folgejahre untersuchen.

Das Paper kommt zu dem Schluss, dass Forscher, indem sie das richtige „Auffüll“-Werkzeug mit dem richtigen „Rauschunterdrückungs“-Werkzeug kombinieren, viel klarere und vertrauenswürdigere Antworten aus unordentlichen, realen Datensätzen gewinnen können.