Résumé technique : Confusion induite par la mesure

Énoncé du problème

Les études observationnelles reposent sur l'hypothèse de « l'ignorabilité forte », qui postule que toutes les variables de confusion sont connues et suffisamment ajustées pour estimer les effets causaux. Un aspect critique, souvent négligé, de cette hypothèse est que les variables de confusion doivent être mesurées sans erreur. Dans les sciences sociales, éducatives et médicales, de nombreux facteurs de confusion sont des traits latents (par exemple, la motivation, la capacité, le bien-être) qui ne sont pas directement observables. Au lieu de cela, les chercheurs s'appuient sur des instruments (tests ou enquêtes) pour générer des mesures de substitution (proxies), telles que des scores de somme, des estimations de la théorie de la réponse aux items (IRT), ou des réponses brutes aux items.

Les auteurs soutiennent que la substitution de ces mesures de substitution par le véritable trait latent introduit une confusion induite par la mesure. Parce que les mesures de substitution contiennent une erreur de mesure, l'ajustement pour celles-ci ne parvient pas à bloquer entièrement le chemin de confusion (backdoor path) entre le traitement et le résultat. Par conséquent, les approches conventionnelles produisent des estimations biaisées de l'effet de traitement moyen (ATE) et produisent des intervalles d'incertitude aux propriétés de couverture incorrectes (spécifiquement, une sous-couverture).

Méthodologie

Cadre théorique

L'article utilise des graphes acycliques dirigés (DAGs) pour illustrer le problème. Dans un cadre observationnel standard où un trait latent $\theta$ confond la relation entre le traitement $Z$ et le résultat $Y$, et où les réponses aux items $X$ sont générées par $\theta$ :

• Approche conventionnelle : Les chercheurs ajustent pour $\hat{\theta}$ (estimations dérivées de $X$) ou $X$ directement. Les auteurs démontrent via les DAGs que $\hat{\theta}$ et $X$ ne sont pas des ensembles d'ajustement suffisants car ils ne tiennent pas pleinement compte du $\theta$ inobservé, laissant une confusion résiduelle entre $Z$ et les potentiels résultats $Y(1), Y(0)$.
• Solution proposée : Les auteurs proposent une approche d'Estimation Conjointe Bayésienne. Cette méthode estime simultanément trois composantes au sein d'un modèle probabiliste unique :
  1. Le modèle de mesure : Relie les réponses aux items $X$ au trait latent $\theta$ (par exemple, en utilisant un modèle IRT à 2 paramètres logistiques).
  2. Le modèle d'assignation du traitement : Relie le trait latent $\theta$ à l'assignation du traitement $Z$ (score de propension).
  3. Le modèle de réponse : Relie le trait latent $\theta$ et le traitement $Z$ au résultat $Y$.

En modélisant la distribution jointe $p(\theta, Z, Y, X)$, l'approche permet un ajustement direct pour le trait latent $\theta$ sans jamais l'observer directement, fermant ainsi efficacement le chemin de confusion.

Étude de simulation

Pour valider la théorie, les auteurs ont mené une étude de simulation ($N=1000$ individus, $J=100$ items, $M=1000$ réplications) imitant une étude observationnelle de la fréquentation universitaire sur le revenu, la motivation étant le seul facteur de confusion latent.

• Processus de génération de données : La motivation latente $\theta$ a été tirée d'une distribution normale standard. Les réponses aux items ont été générées via un modèle IRT 2PL. L'assignation du traitement et les potentiels résultats étaient des fonctions linéaires de $\theta$.
• Comparateurs : L'Estimation Conjointe Bayésienne a été comparée à :
  • La modélisation de surface de réponse : Ajustement pour les scores de somme ($\hat{\theta}_{sum}$), les estimations IRT ($\hat{\theta}_{IRT}$), ou les réponses brutes aux items ($X$) dans une régression linéaire.
  • La pondération par l'inverse de la probabilité de traitement (IPTW) : Modélisation des scores de propension en utilisant $\hat{\theta}_{sum}$, $\hat{\theta}_{IRT}$, ou $X$.

Étude observationnelle construite

Les auteurs ont appliqué leur méthode à un ensemble de données observationnelles construit, dérivé d'une étude randomisée de Keller et al. (2025). Dans cet ensemble de données, les participants se sont auto-sélectionnés dans les bras de traitement selon leur préférence, créant un scénario avec une confusion latente (capacité mathématique de base mesurée par un pré-test de 12 items). Le résultat de l'étude randomisée a servi de référence impartiale (benchmark).

Résultats clés

Résultats de la simulation

• Biais : Toutes les approches conventionnelles (scores de somme, estimations IRT, ou réponses brutes aux items) ont produit des estimations biaisées de l'effet de traitement moyen conditionnel (CATE).
  • Les modèles de surface de réponse ont montré des biais standardisés allant de 0,0475 à 0,0584 écart-type.
  • Les modèles IPTW ont montré des biais encore plus importants, allant de 0,102 à 0,126 écart-type.
  • L'approche d'Estimation Conjointe Bayésienne a convergé vers un biais nul.
• Couverture : Les approches conventionnelles ont systématiquement sous-couvert le véritable effet (les intervalles de confiance à 95 % ont échoué à capturer le paramètre réel plus souvent que le taux nominal).
• Efficacité : L'approche d'Estimation Conjointe Bayésienne a atteint une couverture nominale (95 %) sans gonfler la longueur de l'intervalle d'incertitude ; en fait, ses intervalles étaient comparables ou plus courts que ceux des méthodes conventionnelles biaisées.

Résultats de l'étude construite

• Le CATE de référence de la randomisation était de 0,7603.
• L'Estimation Conjointe Bayésienne a récupéré un CATE de 0,73 (0,007 écart-type du benchmark).
• Les méthodes conventionnelles ont produit des estimations allant de 0,99 à 1,24 (0,06 à 0,132 écart-type de distance par rapport au benchmark).
• Crucialement, tous les modèles de surface de réponse ont échoué à couvrir le benchmark expérimental avec leurs intervalles à 95 %. Bien que certains intervalles IPTW aient couvert le benchmark, cela était dû à une incertitude excessive (intervalles larges) plutôt qu'à la précision.

Contributions et portée

L'article apporte deux contributions principales :

1. Identification de la confusion induite par la mesure : Il identifie et démontre formellement que l'ajustement pour des traits latents via des mesures de substitution (scores de somme, estimations IRT ou réponses aux items) dans les études observationnelles conduit à des estimations causales biaisées et à une quantification de l'incertitude incorrecte, même lorsque les formes fonctionnelles sous-jacentes sont linéaires et correctement spécifiées.
2. Solution proposée : Il introduit un cadre d'Estimation Conjointe Bayésienne qui résout ce problème en modélisant simultanément les processus de mesure, d'assignation et de réponse.

Portée :
Les auteurs concluent qu'un grand nombre d'études observationnelles existantes en éducation, en psychologie et en médecine, qui ajustent pour des traits latents en utilisant des méthodes conventionnelles, rapportent probablement des estimations causales biaisées avec des intervalles d'incertitude trompeurs. L'Estimation Conjointe Bayésienne proposée offre une voie vers une inférence impartiale dans ces contextes.

Cependant, les auteurs maintiennent un ton modeste concernant les limites de leur solution :

• Hypothèses paramétriques : L'implémentation actuelle repose sur de fortes hypothèses paramétriques (par exemple, relations linéaires, IRT 2PL). Ils reconnaissent que les méthodes flexibles d'apprentissage automatique (par exemple, BART, Causal Forests) ne peuvent pas résoudre actuellement la confusion induite par la mesure car elles ne traitent pas le chemin de confusion via le mécanisme d'assignation lorsque des variables latentes sont impliquées.
• Scalabilité : Bien que l'approche puisse passer à l'échelle pour plusieurs facteurs de confusion latents, étendre cela à des modèles non paramétriques reste un défi computationnel important en raison de la non-différentiabilité des estimateurs basés sur les arbres.
• Alternative optimale : Les auteurs réitèrent que les études randomisées restent la solution optimale, car la randomisation élimine la confusion par conception, rendant la mesure des traits latents inutile pour l'identification causale. La méthode proposée est un remède pour les situations où la randomisation est éthiquement ou logistiquement impossible.