📊 statistics

Propensity score adjustment when errors in achievement measures inform treatment assignment

Cet article présente une méthode d'ajustement par score de propension qui tient compte de l'erreur de mesure dans les données de réussite bruitées afin d'améliorer l'équilibre des sous-groupes et de réduire le biais lors de l'évaluation des interventions visant à combler les écarts de réussite, comme le démontrent des simulations et une initiative texane sur la perte d'apprentissage estivale.

Auteurs originaux : Joshua Wasserman, Ben B. Hansen, Michael R. Elliott

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joshua Wasserman, Ben B. Hansen, Michael R. Elliott

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un district scolaire essayant de déterminer si un nouveau programme (appelons-le « Summer School Plus ») aide réellement les élèves à apprendre. Pour le faire équitablement, vous devez comparer les écoles qui ont utilisé le programme avec celles qui ne l'ont pas utilisé. Mais voici le hic : les écoles ne sont choisies pour le programme que si elles présentent de grands « écarts de réussite » (de grandes différences entre les scores de test de différents groupes d'élèves).

Le problème est que les scores de test sont comme des instantanés bruyants. Si une école possède un groupe très restreint d'élèves (disons seulement 5 ou 6 enfants) dans une catégorie démographique spécifique, son score moyen pour cette année-là peut être extrêmement élevé ou bas par pure chance. Peut-être que ces 5 enfants ont passé une excellente journée, ou peut-être qu'ils étaient tous malades. Ce « bruit » ne reflète pas leur capacité réelle et de long terme.

Les auteurs de cet article soutiennent que si vous essayez de faire correspondre les écoles sur la base de ces instantanés bruyants, chanceux (ou malchanceux), vous risquez de comparer des pommes avec des oranges. Vous pourriez ainsi associer une école qui a été choisie grâce à un coup de chance et une école qui a un réel problème.

Les deux nouveaux outils

Les auteurs proposent deux nouvelles façons de corriger ce « bruit » avant de tenter de faire correspondre les écoles. Considérez cela comme des outils pour voir à travers les parasites d'une radio afin d'entendre la véritable musique.

1. La méthode de la « Calibration par Régression » (RC) : La boule de cristal
Imaginez que vous avez une photo floue d'une personne. Vous savez qu'elle porte un chapeau rouge, mais le visage est flou. La méthode RC est comme utiliser une boule de cristal (plus précisément, un modèle statistique appelé Modèle Linéaire Hiérarchique) pour deviner à quoi ressemble réellement la personne en se basant sur la photo floue et d'autres détails clairs que vous possédez (comme sa taille ou la couleur de ses cheveux).

Comment cela fonctionne : Au lieu d'utiliser le score de test bruyant directement, la méthode utilise la boule de cristal pour prédire le « Score Réel » (ce qu'elle obtiendrait si elle passait le test 1 000 fois). Elle utilise ensuite ce « Score Réel » prédit pour trouver des écoles correspondantes.
Le résultat : Cela lisse le facteur chance, aidant à trouver des écoles qui sont réellement similaires dans leur capacité sous-jacente, et non simplement dans leur jour de chance lors du test.

2. La méthode du « Maximum de Vraisemblance » (ML) : Le filtre intelligent
Cette méthode est un peu plus sophistiquée. Imaginez que vous essayez de trier un tas de pièces de puzzle mélangées. Certaines pièces sont claires et d'autres sont couvertes de boue. La méthode ML ne se contente pas de deviner ce qui se trouve sous la boue ; elle construit une image complète de la manière dont la boue est arrivée là au départ.

Comment cela fonctionne : Elle crée un modèle mathématique qui comprend à la fois la capacité réelle des élèves et la « boue » (l'erreur de mesure) qui s'est déposée sur les scores de test. Elle calcule la probabilité qu'une école soit choisie pour le programme en « filtrant mathématiquement » le bruit.
Le résultat : Cette méthode est particulièrement efficace pour gérer le facteur « chance ». Elle crée une liste d'écoles à comparer qui se chevauchent bien mieux que les anciennes méthodes. Elle est moins susceptible de rejeter une école simplement parce que son score de test était un coup de chance.

Pourquoi cela importe (L'idée du « Moins c'est plus »)

Habituellement, en statistiques, on veut utiliser toutes les données dont on dispose. Mais les auteurs ont découvert que lorsque vous avez de petits groupes d'élèves, l'utilisation des données brutes et bruyantes rend en réalité votre comparaison pire. C'est comme essayer d'équilibrer une balance avec une plume qui s'envole sans cesse au gré du vent ; la balance penche de manière erratique.

En utilisant leurs nouvelles méthodes pour estimer le « Score Réel » plutôt que le « Score Bruyant », ils ont constaté que :

De meilleures correspondances : Ils ont pu trouver plus d'écoles à comparer. Les anciennes méthodes devaient souvent écarter des écoles parce que leurs scores bruyants les faisaient paraître trop différentes. Les nouvelles méthodes ont réalisé que ces écoles étaient en fait similaires une fois que l'on a tenu compte du bruit.
Des résultats plus équitables : Lorsqu'ils ont testé ces méthodes sur un programme réel au Texas (ADSY) conçu pour stopper la perte d'apprentissage estivale, les nouvelles méthodes ont créé des groupes beaucoup plus équilibrés.
Gestion des données manquantes : Dans de nombreux États, si une école possède moins de 5 élèves dans un groupe, le gouvernement cache le score de test pour protéger la vie privée. Les anciennes méthodes ne pouvaient pas utiliser ces écoles du tout. Les nouvelles méthodes peuvent toujours estimer le « Score Réel » pour ces écoles en utilisant les données qu'elles possèdent, permettant ainsi de les inclure dans l'étude.

L'essentiel

L'article démontre que lorsque vous traitez de petits groupes d'élèves, ignorer le « bruit » des scores de test conduit à de mauvaises comparaisons. En utilisant ces nouveaux « filtres » statistiques (RC et ML) pour deviner la véritable capacité derrière les scores bruyants, les chercheurs peuvent réaliser des comparaisons plus justes, conserver plus d'écoles dans leurs études et obtenir des réponses plus précises sur l'efficacité d'un programme scolaire.

Ils ont testé cela avec des simulations informatiques et un exemple réel au Texas, et dans les deux cas, leurs nouveaux « filtres » ont mieux fonctionné que la méthode standard.

Résumé technique : Ajustement par score de propension lorsque les erreurs dans les mesures de réussite influencent l'assignation au traitement

Énoncé du problème
L'article traite d'un défi spécifique lié à l'évaluation des interventions au niveau scolaire, telles que l'initiative de l'année scolaire supplémentaire (ADSY) du Texas, où l'assignation au traitement est dictée par les écarts de réussite entre les sous-groupes démographiques. Dans de nombreuses écoles, ces sous-groupes (par exemple, des groupes raciaux/ethniques spécifiques) sont de petite taille, ce qui conduit à des scores de tests de fin d'année qui sont des mesures bruitées des scores moyens « réels » des élèves.

Selon la théorie classique des tests, un score obtenu ( $W$ ) est la somme d'un score vrai ( $X$ ) et d'une erreur aléatoire ( $\epsilon$ ). Bien que le mécanisme d'assignation de l'intervention ( $T$ ) soit déterminé par les scores obtenus ( $W$ ), les auteurs soutiennent que pour une inférence causale valide, le score de propension (SP) devrait idéalement équilibrer les écoles sur les scores vrais inobservés ( $X$ ). L'estimation standard du score de propension utilisant les scores obtenus bruités ( $W$ ) échoue à équilibrer les scores vrais ( $X$ ) lorsque l'erreur de mesure est « différentielle » — c'est-à-dire lorsque $W$ et $T$ ne sont pas conditionnellement indépendants de $X$ . Cela se produit parce que le mécanisme d'assignation répond explicitement au $W$ bruité, et non seulement au $X$ sous-jacent. De plus, les seuils de publication des rapports retiennent souvent les moyennes des sous-groupes pour les groupes très restreints, créant des problèmes de données manquantes qui empêchent l'estimation standard du SP pour ces écoles.

Méthodologie
Les auteurs proposent deux méthodes pour estimer les scores de propension qui équilibrent les scores moyens réels des sous-groupes ( $X$ ) plutôt que les scores obtenus ( $W$ ), en utilisant des estimations externes de la variance de l'erreur de mesure (Erreurs Standards de Mesure Conditionnelles, ou CSEM) fournies par les agences de l'éducation de l'État.

Score de propension par calibration de régression (RC) :
- Cette approche remplace les scores obtenus sujets à l'erreur ( $W$ ) dans le modèle de SP par des prédictions de l'inférence bayésienne empirique (EB) des scores vrais ( $\hat{X}$ ).
- Les prédictions EB sont dérivées d'un modèle linéaire hiérarchique (HLM) à deux niveaux qui prend en compte la variabilité entre les écoles et entre les sous-groupes au sein des écoles.
- L'estimation externe de la variance de l'erreur de mesure ( $\Sigma_i$ ), dérivée des CSEM, est cruciale pour identifier les effets aléatoires dans le HLM.
- Le modèle de SP est ensuite une régression logistique de l'assignation au traitement sur les scores vrais prédits ( $\hat{X}$ ) et d'autres covariables exemptes d'erreur ( $Z$ ).
Score de propension par maximum de vraisemblance (ML) :
- Cette approche modélise conjointement l'assignation au traitement ( $T$ ) et les scores obtenus ( $W$ ) conditionnellement aux scores vrais ( $X$ ) et aux covariables exemptes d'erreur ( $Z$ ).
- Elle suppose que $W$ capture l'intégralité des effets de $X$ sur $T$ (c'est-à-dire que $T \perp W | X, Z$ ), reconnaissant que $W$ agit comme un « substitut faible ».
- Le score de propension cible, $e(X, Z)$ , est obtenu en intégrant $W$ hors de la distribution jointe de $T$ et $W$ .
- Puisque l'intégrale résultante (une intégrale logistique-normale) est analytiquement insoluble, les auteurs emploient une approximation rapide basée sur Monahan et Stefanski (1992), représentant l'intégrale comme un mélange de position-échelle de fonctions de distribution normales.
- Cette méthode produit des estimations de SP qui conditionnent uniquement sur $X$ et $Z$ , effectuant ainsi une marginalisation du bruit.

Résultats clés
Les auteurs ont évalué ces méthodes via des études de simulation et une application à l'initiative ADSY du Texas.

Étude de simulation :
- Recouvrement et appariement : Les méthodes ML et RC ont considérablement amélioré le recouvrement entre les groupes d'intervention et de contrôle par rapport à une approche « naïve » (régression logistique standard sur $W$ ). Dans les scénarios avec de petits sous-groupes sujets à une erreur de mesure élevée, l'approche naïve a exclu jusqu'à 21 % des écoles d'intervention de l'analyse en raison de violations de la positivité (manque d'appariements), tandis que l'approche ML n'en a exclu que 2 %.
- Équilibre : L'appariement sur les estimations ML et RC a permis un meilleur équilibre sur les scores réels des sous-groupes ( $X$ ) que l'appariement sur les estimations naïves.
- Erreur d'estimation : Les estimations d'effet résultantes (Effet Moyen du Traitement sur les Traités) présentaient une erreur quadratique moyenne (RMSE) plus faible lorsque les estimations de SP par ML ou RC étaient utilisées. L'estimateur ML, en particulier, a montré un compromis favorable : bien qu'il présente un biais légèrement plus élevé dans certains scénarios d'hétérogénéité de l'erreur, il a démontré une variance nettement plus faible, conduisant à des RMSE globalement supérieurs.
Application à l'ADSY du Texas :
- Les méthodes ont été appliquées à des données scolaires publiques où les moyennes des sous-groupes pour les petits groupes étaient retenues.
- Contrairement à l'approche naïve, qui nécessite l'imputation de données manquantes pour fonctionner, les méthodes RC et ML peuvent générer des estimations de SP pour les écoles dont les données sont retenues en utilisant uniquement les prédictions EB et les estimations de la variance de l'erreur.
- L'appariement sur les SP de type ML a obtenu le meilleur équilibre sur les scores vrais prédits parmi les trois méthodes, présentant les différences standardisées moyennes les plus faibles.
- Un test placebo sur les scores de 2019 pour les sous-groupes non utilisés dans le modèle de SP (étudiants asiatiques et blancs) a révélé des déséquilibres significatifs pour les étudiants asiatiques à travers toutes les méthodes, attribués à des tailles de sous-groupes extrêmement réduites (médiane de 0 étudiant dans certains cas), soulignant les limites de l'équilibrage lorsque les données sont éparses.

Signification et revendications
L'article affirme que ses méthodes proposées offrent une solution pratique pour évaluer les interventions où l'assignation au traitement est pilotée par des mesures de réussite bruitées et basées sur de petits échantillons. Les principales contributions sont :

Traitement de l'erreur de mesure différentielle : Les méthodes tiennent explicitement compte du fait que l'erreur de mesure influence l'assignation au traitement, dépassant l'hypothèse d'une erreur non différentielle souvent requise par la calibration de régression standard.
Gestion des données manquantes : Les approches permettent l'estimation du SP dans les écoles où les moyennes des sous-groupes sont retenues, un problème courant dans la recherche en éducation, sans nécessiter l'accès à des données d'élèves restreintes pour l'imputation.
Amélioration de la positivité : En réduisant la variabilité des estimations de SP, les méthodes améliorent le recouvrement entre les groupes de traitement et de contrôle, réduisant ainsi la nécessité d'exclure des écoles d'intervention de l'analyse et préservant ainsi la taille de l'échantillon et la précision.
Compromis biais-variance : L'estimateur ML offre une solution convaincante au compromis entre le biais de confusion et le biais provenant des violations de positivité, fournissant des estimations d'effet plus précises en présence d'une erreur de mesure significative.

Les auteurs notent que bien que leurs méthodes améliorent le traitement de l'omission de l'erreur de mesure, elles dépendent de la disponibilité d'estimations externes de l'erreur de mesure (CSEM) et supposent que la distribution de l'erreur est gaussienne (pour la méthode ML). Ils reconnaissent que des travaux futurs sont nécessaires pour comprendre le comportement de l'estimateur ML lorsque différents sous-groupes présentent des distributions d'erreur de mesure distinctes.

Les deux nouveaux outils

Pourquoi cela importe (L'idée du « Moins c'est plus »)

L'essentiel

Articles similaires