A Comparative Study of Methods for Handling Missing Data in Longitudinal Data with Implications for Causal Inference

Imaginez que vous essayez de déterminer si boire un verre de vin chaque jour rend réellement les gens plus heureux ou plus tristes. Vous décidez de suivre un groupe de personnes sur plusieurs années pour trouver la réponse. C'est ce que les chercheurs appellent une « étude longitudinale ».

Cependant, la vie est désordonnée. Des gens oublient de remplir des sondages, déménagent, ou cessent simplement de répondre à des questions sur leur humeur. C'est ce qu'on appelle des données manquantes. En même temps, d'autres facteurs influencent les résultats, comme le montant de leurs revenus ou leur âge. Ce sont des facteurs de confusion (les « variables cachées » qui troublent les eaux).

Ce document est comme un immense concours de cuisine de haute technologie. Les chercheurs n'ont pas seulement cuisiné un plat ; ils ont simulé des milliers de scénarios différents pour voir quelle « recette » (méthode statistique) fonctionne le mieux lorsque des ingrédients manquent et que la cuisine est chaotique.

Voici la décomposition de leurs conclusions en termes simples :

Le Problème : Deux Désordres à la fois

Dans les études du monde réel, vous avez généralement deux problèmes se produisant simultanément :

1. Données manquantes : Certains participants ont abandonné ou ont sauté des questions.
2. Confusion : Il est difficile de dire si l'alcool a causé le changement d'humeur, ou si autre chose (comme le stress ou le revenu) a causé les deux.

La plupart des études précédentes tentaient de résoudre ces problèmes un par un. Cette étude a demandé : « Si nous avons un ensemble de données désordonné, quel est l'absolu meilleur mélange d'outils pour réparer les pièces manquantes ET séparer la véritable cause du bruit ? »

L'Expérience : La Cuisine de Simulation

Les chercheurs ont construit un monde virtuel à l'aide d'un ordinateur. Ils ont créé de fausses personnes avec de fausses vies, de fausses habitudes de consommation d'alcool et de fausses humeurs. Ensuite, ils ont délibérément « cassé » les données en :

• Faisant disparaître certaines personnes (données manquantes).
• Faisant en sorte que les disparitions se produisent pour différentes raisons (certaines étaient aléatoires, d'autres parce que les gens étaient malheureux).
• Modifiant le nombre d'années de suivi.
• Ajoutant différents nombres de « variables cachées » (facteurs de confusion).

Ils ont ensuite testé 7 façons différentes de corriger les données manquantes (comme deviner les chiffres manquants) et 6 façons de contrôler les facteurs de confusion (comme ajuster la recette). Ils ont fait tourner cette simulation 1 000 fois pour chaque combinaison afin de voir laquelle donnait la réponse la plus précise.

Les Ingrédients : Les Méthodes Testées

Pour corriger les données manquantes (L'équipe des « Remplir les blancs ») :

• Analyse des cas complets (Complete Case Analysis) : Jeter simplement ceux qui ont une pièce manquante. (Comme jeter un gâteau entier parce qu'il manque un œuf).
• Imputation par la moyenne (Mean Imputation) : Combler le vide avec la moyenne. (Comme deviner qu'un score de test manquant est la moyenne de la classe).
• Imputation multiple (MI) : Créer plusieurs versions différentes de données manquantes (« et si... ») et moyenner les résultats. (Comme demander à 10 chefs différents de deviner l'ingrédient manquant, puis prendre la moyenne des suppositions).
• Forêt aléatoire (Random Forest) & KNN : Des algorithmes informatiques intelligents qui regardent des personnes similaires pour deviner les valeurs manquantes.

Pour contrôler les facteurs de confusion (L'équipe de « Réduction du bruit ») :

• Ajustement multivarié (MA) : Ajouter simplement toutes les variables connues dans l'équation mathématique.
• Méthodes de score de propension (PSM, IPW) : Essayer de faire correspondre les buveurs avec des non-buveurs qui se ressemblent exactement sur papier, ou donner plus de poids aux types de personnes rares.
• Estimation doublement robuste (DRE) : Un système de « double vérification ». Il utilise deux modèles mathématiques différents ; si l'un est erroné, l'autre sauve la mise.
• Variable instrumentale (IV) : Utiliser un troisième facteur (comme un trait génétique ou un événement aléatoire) qui influence la consommation d'alcool mais pas directement l'humeur, pour agir comme une expérience naturelle.

Les Résultats : Qui a gagné la compétition ?

1. Le mythe du « Mécanisme de manque »
Les chercheurs ont découvert que la raison pour laquelle les données manquaient (si c'était aléatoire ou parce que les gens étaient tristes) ne changeait pas beaucoup la réponse finale. La chose la plus importante était combien de données manquaient. Plus les données manquaient, plus les résultats étaient mauvais, peu importe la méthode utilisée.

2. La meilleure équipe des « Remplir les blancs »
Pour l'inférence causale (trouver la véritable cause), les gagnants étaient :

• L'imputation multiple (MI) : La référence. Elle gère bien l'incertitude.
• L'imputation par la moyenne : Étonnamment bonne pour cet objectif spécifique, bien qu'elle soit simple.
• La Forêt aléatoire (Random Forest) : L'algorithme intelligent qui apprend des modèles.

À éviter : Simplement jeter les personnes ayant des données manquantes (Analyse des cas complets) était le moins performant. Cela créait le plus d'erreurs.

3. La meilleure équipe de « Réduction du bruit »
Cela dépendait de la situation :

• Scénario A (Effets complexes du monde réel) : Si l'effet de l'alcool varie d'une personne à l'autre (hétérogène) et qu'il n'y a pas de secrets cachés, l'Estimation doublement robuste (DRE) était le grand vainqueur. Elle était la plus précise et la plus stable.
• Scénario B (Effets simples ou secrets cachés) : Si l'effet est le même pour tout le monde, ou s'il y a des facteurs de confusion non mesurés (des secrets que les chercheurs ne connaissaient pas), la méthode de la Variable instrumentale (IV) était la meilleure. C'est la seule capable de regarder derrière le rideau des variables cachées.

4. La Combinaison Dorée
L'étude a trouvé que la meilleure stratégie pour la plupart des scénarios du monde réel (où les effets varient et où nous supposons connaître les principaux facteurs de confusion) est :

Imputation multiple (ou Forêt aléatoire) + Estimation doublement robuste.

Cette combinaison était comme avoir un chef étoilé (MI) et un système de double vérification (DRE). Elle produisait les résultats les plus précis avec le moins d'erreurs.

Le Test de Goût du Monde Réel

Pour prouver que leur simulation n'était pas seulement une fantaisie informatique, ils ont appliqué ces méthodes à des données réelles de la China Health and Retirement Longitudinal Study (CHARLS). Ils ont examiné le lien entre l'alcool et la dépression chez les adultes âgés chinois.

Le résultat ? Les données du monde réel se comportaient exactement comme leur simulation.

• Toutes les méthodes ont trouvé un lien entre l'alcool et la dépression.
• Les méthodes « Doublement robustes » combinées à l'« Imputation multiple » ont donné les chiffres les plus stables et les plus fiables.
• La méthode de « Jeter les données manquantes » (Cas complets) combinée à la « Pondération par l'inverse de la probabilité » a donné les résultats les plus erratiques et les plus gonflés.

L'Essentiel

Si vous êtes un chercheur essayant de comprendre la relation de cause à effet dans des études à long terme :

1. Ne vous contentez pas de supprimer les données manquantes. Utilisez des méthodes de remplissage intelligentes comme l'Imputation multiple ou la Forêt aléatoire.
2. Utilisez un système de « Double Vérification ». Si vous pensez que l'effet varie d'une personne à l'autre, utilisez l'Estimation doublement robuste.
3. Attention aux secrets. Si vous soupçonnez l'existence de facteurs cachés que vous ne pouvez pas mesurer, vous aurez peut-être besoin d'une Variable instrumentale, mais attention — elle perd de sa puissance si vous avez trop d'années de suivi.

L'article conclut qu'en associant le bon outil de « remplissage » au bon outil de « réduction du bruit », les chercheurs peuvent obtenir des réponses beaucoup plus claires et dignes de confiance à partir de données réelles et désordonnées.