Causal analyses using education-health linked data for England: a case study

Cet article présente les enseignements tirés de l'étude HOPE sur l'utilisation de données administratives liées pour analyser les effets causaux des provisions pour l'éducation spéciale en Angleterre, en soulignant l'importance de l'alignement des questions causales, de la vérification des hypothèses et de l'utilisation de méthodes alternatives pour valider les résultats.

L'essentiel

🎓 L'histoire : Un grand puzzle éducatif et sanitaire

Imaginez que vous êtes un chef cuisinier (le décideur politique) qui veut savoir si l'ajout d'un ingrédient spécial (l'aide aux élèves en difficulté, appelée SEND au Royaume-Uni) améliore vraiment le goût du plat final (la santé et la réussite scolaire des enfants).

Le problème ? Vous ne pouvez pas faire de cuisine expérimentale en laboratoire. Vous ne pouvez pas prendre deux groupes d'enfants identiques, donner l'ingrédient à l'un et pas à l'autre, et voir ce qui se passe. Vous devez regarder les recettes qui ont déjà été faites dans des milliers de restaurants (les données administratives réelles) pour deviner si l'ingrédient a fonctionné.

C'est exactement ce que l'équipe HOPE a fait. Ils ont utilisé de gigantesques bases de données scolaires et médicales pour essayer de comprendre l'impact de l'aide scolaire sur la santé des enfants.

🗺️ La carte au trésor : La "Feuille de route causale"

Au début, la question était trop floue, comme demander : "Est-ce que la magie fonctionne ?". C'est trop vague.
Les chercheurs ont dû affiner leur boussole en utilisant une méthode appelée "l'émulation d'essai clinique" (Target Trial Emulation).

Imaginez que vous voulez simuler un jeu vidéo parfait où vous contrôlez tout, mais que vous devez jouer avec les données d'un jeu réel où vous ne contrôlez rien. Pour y arriver, ils ont dû :

1. Définir précisément la mission : Au lieu de regarder tous les enfants, ils ont zoomé sur des groupes spécifiques (comme les enfants avec un bec-de-lièvre ou une paralysie cérébrale) qui avaient un besoin réel de cette aide. C'est comme dire : "On ne teste pas le médicament pour tout le monde, mais seulement pour ceux qui ont vraiment mal."
2. Choisir le bon moment : Est-ce que l'aide donnée en 1ère année aide encore en 6ème année ? Ou est-ce que ça ne sert que pour l'année suivante ? Ils ont posé trois questions précises (Q1, Q2, Q3) pour couvrir le court terme, le long terme et la durée continue.

🧪 L'entraînement : Le simulateur de vol

Avant de voler dans le vrai avion (les vraies données), les chercheurs ont construit un simulateur de vol (des données simulées).

Pourquoi ? Parce que les vraies données sont bruyantes et pleines de pièges. Ils ont créé 10 000 "enfants virtuels" dans un ordinateur, en programmant exactement comment l'aide scolaire affectait leurs absences non autorisées.

• L'analogie : C'est comme un pilote qui s'entraîne sur un simulateur avant de voler dans une tempête. Ils ont pu tester différentes méthodes de calcul pour voir laquelle donnait le bon résultat, sachant déjà quelle était la "vraie" réponse dans leur simulation.

🛠️ Les outils de mesure : Différentes façons de compter

Pour mesurer l'effet, ils ont utilisé plusieurs outils, comme un menuisier qui utilise une règle, un mètre ruban et un compas pour vérifier la même table.

1. La régression classique (l'outil de base) : C'est comme mesurer la table avec une règle simple. Parfois, ça marche, mais si la table est tordue (à cause d'autres facteurs cachés), la mesure est fausse.
2. G-computation et IPW (les outils de précision) : Ce sont des outils plus sophistiqués qui tentent de "corriger" les courbes de la table.
   • Leçon apprise : Si vous ne configurez pas ces outils avec assez de détails (comme un GPS mal programmé), ils vous donnent une fausse direction. Mais si vous les configurez bien, ils sont très précis.
3. Les variables instrumentales (le détective) : Parfois, ils ont utilisé un indice indirect (comme la région géographique) pour deviner l'effet. C'est comme essayer de deviner la météo en regardant les fourmis, mais c'est souvent imprécis.

📊 Les résultats : Ce qu'ils ont découvert

En regardant leurs données simulées (et en appliquant ces leçons aux vraies données), ils ont vu que :

• L'aide scolaire fonctionne : Elle réduit les absences non autorisées (les enfants sont plus présents à l'école).
• L'effet varie : L'aide donnée tôt a un effet à long terme, mais l'effet immédiat est aussi important.
• La méthode compte : Si on utilise la mauvaise méthode de calcul, on peut conclure que l'aide ne sert à rien, alors qu'elle est très utile ! C'est comme si on utilisait une balance cassée pour peser un diamant.

💡 La conclusion pour tout le monde

Ce papier nous apprend une leçon cruciale pour la science moderne : On ne peut pas juste "jeter" des données dans un ordinateur et attendre une réponse magique.

1. Il faut poser les bonnes questions : Plus la question est précise, meilleure est la réponse.
2. Il faut s'entraîner : Utiliser des simulations pour tester ses méthodes avant de les appliquer au monde réel est essentiel.
3. Il faut vérifier ses outils : Utiliser plusieurs méthodes pour voir si elles donnent le même résultat est une sécurité indispensable.

En résumé, les chercheurs disent : "Ne faites pas confiance aveuglément aux chiffres. Comprenez d'abord comment ils ont été fabriqués, testez vos outils sur du sable avant de construire sur du roc, et soyez prêts à ajuster votre question si les données ne répondent pas comme prévu."

Résumé technique

1. Problématique et Contexte

L'article aborde les défis méthodologiques liés à l'utilisation de données administratives à grande échelle (spécifiquement la base de données ECHILD reliant l'éducation et la santé en Angleterre) pour répondre à des questions causales en politique publique.

• Le défi principal : Les questions de recherche initiales sont souvent trop vagues pour être traitées par des méthodes d'inférence causale rigoureuse. Par exemple, l'efficacité globale des provisions pour les besoins éducatifs spéciaux et le handicap (SEND) n'est pas bien définie en termes de timing de l'intervention, de durée du suivi ou de population cible.
• Le problème spécifique : L'étude vise à évaluer l'impact des provisions SEND sur les absences scolaires non autorisées (UA). Cependant, l'attribution de ces provisions n'est pas aléatoire (biais de sélection), et les données administratives peuvent manquer de granularité pour ajuster correctement les facteurs de confusion (ex: anomalies majeures supplémentaires).
• Objectif : Démontrer comment reformuler une question de politique publique floue en une question causale précise, utilisable avec des données observationnelles, en utilisant le cadre de l'émulation d'essai cible (Target Trial Emulation - TTE).

2. Méthodologie

Les auteurs ont suivi une « feuille de route causale » (causal roadmap) structurée en cinq étapes, guidée par le cadre TTE :

1. Définition de la question causale : Transformation d'une question générale en trois questions spécifiques (Q1, Q2, Q3) concernant l'effet des provisions SEND sur les absences non autorisées (UA) :
   • Q1 : Effet à long terme d'une provision en année 1 sur les UA jusqu'à la fin de l'école primaire.
   • Q2 : Effet à court terme d'une provision annuelle sur les UA de l'année suivante.
   • Q3 : Effet d'une provision soutenue (années 1 à 3) sur les UA cumulées.
2. Délimitation de la portée (Scope) : Restriction de la population cible aux enfants atteints de fentes labio-palatines (CLP) ou de paralysie cérébrale (CP) sans autres anomalies majeures, car les données administratives ne permettent pas d'ajuster correctement pour les comorbidités complexes.
3. Définition des effets causaux : Utilisation du cadre des résultats potentiels (Potential Outcomes) pour définir les effets moyens de traitement (ATE) et les effets moyens de traitement chez les traités (ATT), mesurés sur des échelles de ratio de taux (RR) et de différence de taux (RD).
4. Hypothèses et Modélisation :
   • Adoption de l'hypothèse de non-confusion non mesurée (NUC).
   • Utilisation de méthodes d'estimation avancées : G-computation, pondération par l'inverse de la probabilité (IPW), et IPW augmentée (AIPW).
   • Utilisation d'une variable instrumentale (VI) simulée (« Région ») pour la méthode des moindres carrés en deux étapes (2SLS).
5. Validation par Simulation : Avant d'analyser les données réelles, les auteurs ont généré des données simulées (N=10 000) reflétant la structure de la base ECHILD (incluant des facteurs de confusion temporels et des effets de traitement variables dans le temps). Cela a permis de tester la robustesse des méthodes et de connaître la « vérité terrain » (true values) pour évaluer les biais.

3. Contributions Clés

• Application du cadre TTE aux données administratives : Démonstration pratique de la nécessité de reformuler itérativement les questions de recherche pour les adapter aux contraintes des données disponibles.
• Comparaison de méthodes d'estimation : Analyse comparative des performances de la g-computation, de l'IPW et de l'AIPW, notamment face à des violations d'hypothèses (spécification incorrecte des modèles de résultat ou de propension).
• Gestion des facteurs de confusion temporels : Démonstration que les régressions traditionnelles échouent à estimer correctement les effets des interventions soutenues en présence de facteurs de confusion dépendants du temps (comme l'hospitalisation), tandis que les méthodes g-computation et IPW réussissent.
• Ressources Open Source : Mise à disposition de codes (R et Stata) et de données simulées pour faciliter la reproduction et l'application de ces méthodes par d'autres chercheurs.

4. Résultats Principaux

L'analyse sur les données simulées a produit les enseignements suivants :

• Importance de la spécification du modèle :
  • Pour la g-computation, une spécification très générale du modèle de résultat (incluant des interactions) est cruciale. Des modèles simplifiés conduisent à des estimations biaisées.
  • Pour l'IPW, la précision dépend de la spécification correcte du modèle de score de propension.
  • L'AIPW s'est révélée être l'approche la plus robuste, car elle reste cohérente même si l'un des deux modèles (résultat ou propension) est mal spécifié.
• Effets à court vs long terme : Les effets à court terme (Q2) et à long terme (Q1) diffèrent significativement. L'effet à long terme de la provision en année 1 est plus fort (réduction de ~40% du taux d'absences) que l'effet à court terme immédiat.
• Biais des méthodes traditionnelles : Pour la question Q3 (provision soutenue), une régression ajustée standard a produit des estimations biaisées (RR = 23,5% vs vérité terrain 12,8%) car elle bloque les effets indirects via les facteurs de confusion temporels et introduit un biais de collier.
• Limites des Variables Instrumentales (VI) : Bien que la méthode 2SLS (basée sur la VI simulée) soit non biaisée, elle produit des intervalles de confiance très larges (estimations imprécises), rendant son utilité pratique limitée dans ce contexte.
• Conclusion sur les données réelles : Les résultats suggèrent que les provisions SEND réduisent effectivement les absences non autorisées, mais l'estimation précise de cet effet nécessite des méthodes causales sophistiquées et une définition stricte de la population.

5. Signification et Implications

Cet article offre un guide pratique pour les chercheurs utilisant des données administratives pour l'évaluation de politiques publiques :

1. Itération nécessaire : La définition de la question causale n'est pas statique ; elle doit être révisée en fonction de la disponibilité et de la qualité des données.
2. Rôle de la simulation : L'utilisation de données simulées est un outil indispensable pour valider les méthodes d'estimation, comprendre l'impact des violations d'hypothèses et interpréter correctement les résultats avant de les appliquer aux données réelles.
3. Supériorité des méthodes modernes : Pour les interventions soutenues dans le temps avec des facteurs de confusion dynamiques, les méthodes de type g-computation ou IPW sont supérieures aux régressions ajustées classiques.
4. Transparence : La publication du code et des données simulées encourage la reproductibilité et l'amélioration des pratiques d'inférence causale dans le domaine de la santé publique et de l'éducation.

En résumé, l'étude souligne que l'inférence causale avec des données administratives est possible mais exige une rigueur méthodologique extrême, une modélisation flexible et une validation par simulation pour éviter des conclusions erronées sur l'efficacité des interventions sociales.