The Illusion of Learning from Observational Data: An Empirical Bayes Perspective

1. Problématique : L'Illusion de l'Apprentissage

Les expériences randomisées (RCT) restent l'étalon-or pour l'inférence causale car elles brisent le lien entre l'attribution du traitement et les facteurs de confusion. Cependant, elles sont souvent coûteuses, difficiles ou contraires à l'éthique à grande échelle. Les chercheurs se tournent alors vers des études observationnelles, qui sont abondantes et peu coûteuses mais souffrent de biais de sélection inconnus.

Le problème central abordé par les auteurs est ce qu'ils appellent « l'illusion de l'apprentissage » (Gerber, Green et Kaplan, 2004a) :

• Lorsqu'un chercheur combine une estimation expérimentale avec plusieurs estimations observationnelles, mais qu'il est complètement incertain sur la distribution des biais de ces études observationnelles (c'est-à-dire qu'il utilise une loi a priori plate sur les biais), les données observationnelles n'apportent aucune information sur l'effet causal.
• Dans ce scénario, l'estimation a posteriori de l'effet causal reste identique à celle de l'étude expérimentale seule. Pire encore, l'ajout de données observationnelles peut réduire artificiellement la variance a posteriori, créant une confiance injustifiée (surconfiance) dans les résultats, sans améliorer la précision réelle de l'estimation.

2. Méthodologie : Une Perspective Empirical Bayes

Les auteurs proposent une approche Empirical Bayes (EB) pour surmonter cette illusion. L'idée fondamentale est de traiter les biais spécifiques à chaque étude observationnelle comme des tirages d'une distribution de population sous-jacente, que l'on peut apprendre à partir des données.

Le cadre hiérarchique proposé modélise :

1. Une étude expérimentale : $y_e \sim N(\theta^*, \sigma_e^2)$.
2. Des études observationnelles : $y_{o,j} \sim N(\theta^* + b_j^*, \sigma_{o,j}^2)$, où $b_j^*$ est un biais inconnu.
3. Des études de calibration (Calibration Studies) : Des études observationnelles ciblant un effet causal connu à l'avance (généralement nul), permettant d'observer directement la distribution des biais.

L'analyse explore trois scénarios de modélisation des biais $b_j$ :

A. Le cas de l'illusion (Prior plat)

Si l'on suppose une loi a priori plate sur les biais ($p(b) \propto 1$), le théorème 1 montre que l'estimateur a posteriori de $\theta$ est simplement $y_e$. Les études observationnelles sont ignorées.

B. L'approche EB avec biais à moyenne nulle (Hypothèse irréaliste)

Si l'on suppose que les biais suivent une loi normale centrée en zéro ($b_j \sim N(0, \gamma^2)$) et que l'on estime la variance $\gamma^2$ via EB :

• L'illusion est brisée : les études observationnelles influencent l'estimation et réduisent la variance.
• Limitation : L'hypothèse que les biais moyens s'annulent à l'échelle de la population est souvent non crédible en pratique.

C. L'approche EB avec moyenne et variance inconnues (Retour de l'illusion)

Si l'on relâche l'hypothèse de moyenne nulle et que l'on estime à la fois la moyenne $\mu$ et la variance $\gamma^2$ des biais ($b_j \sim N(\mu, \gamma^2)$) :

• L'illusion revient. Le théorème 3 démontre que l'estimation a posteriori de $\theta$ reste égale à $y_e$.
• Les études observationnelles ne modifient pas l'estimation ponctuelle mais réduisent artificiellement la variance, renforçant la surconfiance.

D. La solution : Les Études de Calibration

Pour briser l'illusion sans faire d'hypothèses irréalistes sur la moyenne des biais, les auteurs introduisent des études de calibration.

• Principe : On collecte des études observationnelles où l'effet causal vrai est connu (souvent nul, via des contrôles négatifs ou des placebos).
• Mécanisme : Puisque l'effet vrai est nul, toute estimation non nulle dans ces études de calibration est attribuée au biais. Cela permet d'estimer directement la distribution des biais ($\mu$ et $\gamma^2$) via une vraisemblance marginale ou un appariement de moments.
• Application : Une fois la distribution des biais estimée à partir des études de calibration, elle est utilisée comme loi a priori pour combiner l'estimation expérimentale et les études observationnelles cibles.

3. Contributions Clés

1. Formalisation théorique : Les auteurs formalisent mathématiquement le phénomène d'illusion de l'apprentissage dans un modèle gaussien hiérarchique, démontrant rigoureusement pourquoi l'ajout de données observationnelles sans information sur la distribution des biais est inutile.
2. Analyse des hypothèses EB : Ils montrent que l'estimation de la seule variance (avec moyenne nulle connue) brise l'illusion, mais que l'estimation conjointe de la moyenne et de la variance (sans données externes) la rétablit.
3. Proposition de la méthode Calibrated EB : Ils introduisent un cadre où les études de calibration permettent d'identifier la distribution des biais. Ils prouvent que, avec un nombre croissant d'études de calibration et observationnelles, l'estimateur Empirical Bayes converge vers l'effet causal vrai avec un risque asymptotiquement nul.
4. Validation empirique :
   • Simulations : Démonstration que l'erreur quadratique moyenne (MSE) de l'estimateur Calibrated EB décroît comme $O(J^{-1})$ (où $J$ est le nombre d'études), surpassant l'estimateur expérimental seul.
   • Application Semi-Synthétique : Utilisation des données de l'expérience de terrain de Ferraro et Miranda (2013) sur la consommation d'eau. Les auteurs ont généré des données observationnelles biaisées et des études de calibration à partir de l'expérience réelle. Les résultats montrent que la méthode Calibrated EB retrouve l'estimation de l'effet causal (ATE) avec une précision proche de celle de l'expérience complète, tandis que le modèle "Illusion" produit des intervalles de crédibilité trop étroits et non calibrés.

4. Résultats Principaux

• Théorème 4 (Calibration brise l'illusion) : L'utilisation d'études de calibration permet d'estimer les hyperparamètres du biais ($\mu, \gamma^2$) de manière cohérente. L'estimateur résultant $\hat{\theta}_{CEB}$ utilise les données observationnelles pour ajuster l'estimation expérimentale, réduisant le risque total.
• Performance : Dans les simulations et l'application réelle, la méthode Calibrated EB atteint une précision relative bien supérieure à l'expérience seule (réduction du MSE) et maintient une couverture correcte des intervalles de confiance (environ 96% dans l'étude de cas), contrairement au modèle d'illusion qui sous-estime gravement l'incertitude.
• Robustesse : La méthode fonctionne même lorsque les biais ne sont pas centrés sur zéro, à condition que les études de calibration partagent la même distribution de biais que les études observationnelles cibles.

5. Signification et Impact

Cet article apporte une contribution majeure à l'épistémologie de la causalité et à la méthodologie statistique :

• Dépassement du scepticisme : Il répond au scepticisme de longue date sur l'utilité des études observationnelles en montrant qu'elles peuvent être utiles, mais seulement si la structure de leurs biais est apprise via des mécanismes de calibration.
• Rôle des contrôles négatifs : Il élève le statut des études de calibration (ou contrôles négatifs) d'outils de diagnostic à des composants essentiels d'une stratégie d'estimation causale robuste.
• Cadre unifié : Il propose un cadre pratique pour combiner des données expérimentales (précises mais rares) et observationnelles (abondantes mais biaisées) en utilisant la puissance de l'Inférence Bayésienne Empirique.
• Implication pratique : Pour les chercheurs, cela signifie que pour tirer parti de grandes bases de données observationnelles, il est crucial de concevoir des études de validation (calibration) spécifiques pour quantifier les biais systématiques inhérents à leur design d'observation.

En résumé, l'article transforme l'« illusion » de l'apprentissage en une opportunité réelle d'apprentissage, à condition d'introduire des études de calibration pour apprendre la distribution des biais.