A Comparative Study of Methods for Handling Missing Data in Longitudinal Data with Implications for Causal Inference

Stel je voor dat je probeert uit te zoeken of het drinken van een glas wijn elke dag mensen gelukkiger of juist droeviger maakt. Je besluit om een groep mensen gedurende enkele jaren te volgen om het antwoord te vinden. Dit is wat onderzoekers een "longitudinale studie" noemen.

Maar het leven is rommelig. Mensen vergeten enquêtes in te vullen, ze verhuizen weg, of ze stoppen gewoon met het beantwoorden van vragen over hun stemming. Dit is ontbrekende data. Tegelijkertijd zijn er andere zaken die de resultaten beïnvloeden, zoals hoeveel geld mensen verdienen of hoe oud ze zijn. Dit zijn confounders (de "verborgen variabelen" die de boel vertroebelen).

Dit artikel is als een enorme, hoogtechnologische kookwedstrijd. De onderzoekers hebben niet slechts één gerecht gekookt; ze hebben duizenden verschillende scenario's gesimuleerd om te zien welk "recept" (statistische methode) het beste werkt wanneer ingrediënten ontbreken en de keuken chaotisch is.

Hier is de uitslag van hun bevindingen in eenvoudige termen:

Het Probleem: Twee Messen Tegelijkertijd

In echte onderzoeken heb je meestal twee problemen die tegelijkertijd spelen:

1. Ontbrekende Data: Sommige mensen zijn uitgevallen of hebben vragen overgeslagen.
2. Confounding: Het is moeilijk te zeggen of alcohol de stemmingsverandering veroorzaakte, of dat iets anders (zoals stress of inkomen) zowel de alcoholconsumptie als de stemming veroorzaakte.

De meeste eerdere studies probeerden deze problemen één voor één op te lossen. Deze studie vroeg: "Als we een rommelige dataset hebben, wat is dan de absolute beste combinatie van hulpmiddelen om de ontbrekende stukjes te repareren EN de echte oorzaak te scheiden van de ruis?"

Het Experiment: De Simulatiekeuken

De onderzoekers bouwden een virtuele wereld met behulp van een computer. Ze creëerden nepmensen met neplevens, nepdrinkgewoonten en nepstemmingen. Vervolgens "braken" ze de data bewust door:

• Sommige mensen te laten verdwijnen (ontbrekende data).
• De verdwijningen om verschillende redenen te laten plaatsvinden (sommigen waren willekeurig, anderen verdwenen omdat ze ongelukkig waren).
• Het aantal jaren waarin ze werden gevolgd te veranderen.
• Verschillende aantallen "verborgen variabelen" (confounders) toe te voegen.

Vervolgens testten ze 7 verschillende manieren om de ontbrekende data te herstellen (zoals het raden van de ontbrekende getallen) en 6 verschillende manieren om controle te houden over de verborgen variabelen (zoals het aanpassen van het recept). Ze draaiden deze simulatie 1.000 keer voor elke combinatie om te zien welke de meest nauwkeurige resultaten gaf.

De Ingrediënten: De Geteste Methoden

Om ontbrekende data te herstellen (Het "Invul-de-gaten-team"):

• Complete Case Analysis: Gooi simpelweg iedereen weg die een ontbrekend onderdeel heeft. (Zoals een hele taart weggooien omdat er één ei mist).
• Mean Imputation: Vul het gat in met het gemiddelde. (Zoals gokken dat een ontbrekende toetsscore het klassengemiddelde is).
• Multiple Imputation (MI): Maak verschillende "wat als"-versies van de ontbrekende data en neem het gemiddelde van de resultaten. (Zoals 10 verschillende chefs vragen om het ontbrekende ingrediënt te raden, en daarna het gemiddelde van hun gokken nemen).
• Random Forest & KNN: Slimme computeralgoritmen die naar vergelijkbare mensen kijken om de ontbrekende waarden te raden.

Om confounders te controleren (Het "Ruis-onderdrukkende team"):

• Multivariate Adjustment (MA): Simpelweg alle bekende variabelen toevoegen aan de wiskundige vergelijking.
• Propensity Score Methods (PSM, IPW): Proberen drinkers te matchen met niet-drinkers die op papier precies hetzelfde lijken, of het meer gewicht geven aan zeldzame typen mensen.
• Doubly Robust Estimation (DRE): Een "dubbel-check" systeem. Het gebruikt twee verschillende wiskundige modellen; als er één fout zit, redt de andere de dag.
• Instrumental Variable (IV): Gebruik een derde factor (zoals een genetische eigenschap of een willekeurige gebeurtenis) die het drinken beïnvloedt maar niet de stemming direct, om te fungeren als een natuurlijk experiment.

De Resultaten: Wie Won de Wedstrijd?

1. De Mythe van het "Ontbrekende Mechanisme"
De onderzoekers ontdekten dat waarom de data ontbrak (of het nu willekeurig was of omdat mensen ongelukkig waren) de uiteindelijke conclusie niet veel veranderde. Het belangrijkste was hoeveel data er ontbrak. Hoe meer ontbrekende data, hoe slechter de resultaten, ongeacht welke methode werd gebruikt.

2. Het Beste "Invul-de-gaten-team"
Voor causale inferentie (het vinden van de echte oorzaak) waren de winnaars:

• Multiple Imputation (MI): De gouden standaard. Het gaat goed om met onzekerheid.
• Mean Imputation: Verrassend goed voor dit specifieke doel, ook al is het simpel.
• Random Forest: Het slimme algoritme dat patronen leert.

Vermijd: Het simpelweg weggooien van mensen met ontbrekende data (Complete Case Analysis) was de slechtste presteerder. Dit veroorzaakte de meeste fouten.

3. Het Beste "Ruis-onderdrukkende Team"
Dit hing af van de situatie:

• Scenario A (Complexe, real-world effecten): Als het effect van alcohol per persoon verschilt (heterogeen) en er geen verborgen geheimen zijn, was Doubly Robust Estimation (DRE) de duidelijke winnaar. Het was het meest nauwkeurig en stabiel.
• Scenario B (Simpele effecten of verborgen geheimen): Als het effect voor iedereen hetzelfde is, of als er niet-gemeten confounders zijn (geheimen die de onderzoekers niet kenden), was de Instrumental Variable (IV) methode het beste. Het is de enige die achter de gordijnen van verborgen variabelen kan kijken.

4. De Gouden Combinatie
De studie vond dat de beste strategie voor de meeste real-world scenario's (waar effecten variëren en we ervan uitgaan dat we de belangrijkste confounders kennen) is:

Multiple Imputation (of Random Forest) + Doubly Robust Estimation.

Deze combinatie was als het hebben van een meesterchef (MI) en een dubbel-check systeem (DRE). Het leverde de meest nauwkeurige resultaten op met de minste fouten.

De Real-World Smaaktest

Om te bewijzen dat hun simulatie geen computerfantasie was, pasten ze deze methoden toe op echte data van de China Health and Retirement Longitudinal Study (CHARLS). Ze keken naar de link tussen alcohol en depressie bij oudere Chinezen.

Het resultaat? De echte wereld gedroeg zich precies zoals hun simulatie:

• Alle methoden vonden een link tussen alcohol en depressie.
• De "Doubly Robust" methoden gecombineerd met "Multiple Imputation" gaven de meest stabiele en betrouwbare cijfers.
• De "Weggooien van ontbrekende data" methode (Complete Case) gecombineerd met "Inverse Probability Weighting" gaf de meest grillige en opgeblazen resultaten.

De Kernboodschap

Als je een onderzoeker bent die de oorzaak-gevolgrelatie in langetermijnstudies probeert te ontrafelen:

1. Verwijder ontbrekende data niet zomaar. Gebruik slimme invulmethoden zoals Multiple Imputation of Random Forest.
2. Gebruik een "Dubbel-check" systeem. Als je denkt dat het effect per persoon verschilt, gebruik dan Doubly Robust Estimation.
3. Pas op voor geheimen. Als je vermoedt dat er verborgen factoren zijn die je niet kunt meten, heb je misschien een Instrumental Variable nodig, maar wees voorzichtig — het verliest aan kracht als je te veel vervolgjaren hebt.

Het artikel concludeert dat door de juiste "invul"-tool te koppelen aan de juiste "ruis-onderdrukkende" tool, onderzoekers veel duidelijkere en betrouwbaardere antwoorden kunnen krijgen uit de rommelige, echte wereld.