A median-based estimate of effect size - toward more intuitive comparisons in mathematics education research

Résumé technique : Une estimation de la taille de l'effet basée sur la médiane

Énoncé du problème
La recherche en éducation mathématique s'appuie fréquemment sur les tests d'hypothèse nulle (NHST), qui produisent des conclusions binaires « significatives/non significatives » fortement dépendantes de la taille de l'échantillon. Bien que les estimations de la taille de l'effet (telles que le d de Cohen) traitent de l'ampleur des différences, les auteurs soutiennent que les mesures standards échouent souvent à fournir des interprétations intuitives ou significatives pour la nature spécifique des données en éducation mathématique. Les problèmes courants incluent :

1. Hypothèses de distribution : Le d de Cohen et le g de Hedges supposent des données normalement distribuées et reposent sur les moyennes et les écarts-types, ce qui les rend vulnérables à l'asymétrie, aux queues de distribution lourdes et aux valeurs aberrantes — des caractéristiques communes dans les scores de tests, les échelles de Likert et les gains d'apprentissage.
2. Interprétabilité : Les différences de moyennes standardisées sont sans unité et souvent difficiles à interpréter contextuellement pour les praticiens.
3. Types de données : Beaucoup de données en éducation mathématique sont « naturalistes » (par exemple, des évaluations en classe) plutôt que strictement expérimentales ou issues d'échantillons aléatoires, ce qui rend les hypothèses d'échantillonnage traditionnelles et les tests de signification potentiellement peu sincères ou mal appliqués.
4. Dépendance excessive aux estimations ponctuelles : Le fait de ne rapporter que des estimations ponctuelles sans intervalles de confiance peut conduire à une surinterprétation des effets, particulièrement avec de petits ensembles de données ou ceux présentant une faible variance.

Méthodologie
Les auteurs proposent un indicateur de la taille de l'effet basé sur la médiane, noté M(A, B), conçu pour comparer deux ensembles de données numériques, A et B.

• Définition : L'estimateur est défini par $M(A, B) = 2|\gamma(A)|/|A| - 1$, où $\gamma(A) = \{a \in A : a \geq \text{médiane}(B)\}$. Conceptuellement, cela mesure la probabilité qu'une donnée aléatoire de A soit supérieure ou égale à la médiane de B, ajustée sur une échelle de [-1, 1].
• Propriétés théoriques :
  • Il fonctionne comme une « probabilité de dominance basée sur la médiane », contrastant avec la dominance stochastique classique (Prob(A > B)) utilisée dans les tests de Mann-Whitney U.
  • Il est résistant à l'asymétrie, aux queues de distribution lourdes et aux valeurs aberrantes car il repose sur la médiane plutôt que sur la moyenne.
  • Pour les données normalement distribuées, il existe une relation fonctionnelle et non linéaire avec le d de Cohen ($M = 2\Phi(d) - 1$), mais les auteurs soutiennent que cette relation ne doit pas être utilisée pour dériver M à partir de d pour les données non normales.
  • Il approxime le delta de Cliff lorsque les distributions sont symétriques, mais se comporte de manière plus robuste que le delta de Cliff lorsque les données sont asymétriques.
• Procédure d'inférence : Pour traiter l'incertitude des estimations ponctuelles, les auteurs emploient une procédure de bootstrap fréquentiste. Ils génèrent des distributions de probabilité pour l'estimateur basé sur la médiane et pour le d de Cohen en rééchantillonnant avec remplacement (par exemple, $10^4$ à $10^5$ fois). Cela permet de calculer les intervalles de confiance (IC) à 95 % pour les moyennes de la taille de l'effet, offrant une vision transparente de la fiabilité de l'estimation.

Contributions clés et résultats
L'article présente l'estimateur basé sur la médiane comme un outil complémentaire aux mesures existantes, démontrant son utilité à travers une série d'exemples tirés de la littérature et de jeux de données en éducation mathématique.

1. Robustesse à la non-normalité : Dans les exemples impliquant des distributions asymétriques (par exemple, les gains pré-test/post-test, les données d'intervention en algèbre précoce), l'estimateur basé sur la médiane a fourni des résultats stables là où le d de Cohen était potentiellement trompeur en raison de la non-normalité ou de valeurs aberrantes extrêmes.
2. Interprétation intuitive : Les auteurs démontrent que $M(A, B)$ peut être interprété visuellement (la proportion d'une distribution dépassant la médiane d'une autre) et de manière probabiliste (par exemple, « équivalent à tirer une bille noire d'une urne »).
3. Exemples empiriques :
   • Effets importants : Dans les cas tels que l'impact d'une intervention d'algèbre précoce (Blanton et al., 2015) ou les différences de niveau de classe pour les pré-tests, l'estimateur basé sur la médiane a confirmé des effets importants (par exemple, $M \approx 0,93$) avec des intervalles de confiance serrés, en accord avec les histogrammes visuels.
   • Effets modérés : Les comparaisons de types de problèmes (pratique entrelacée vs pratique par blocs) et de modèles curriculaires ont montré des effets modérés ($M \approx 0,38 - 0,47$) avec des intervalles de confiance éloignés de zéro.
   • Effets faibles/nuls : Dans les comparaisons des différences de genre dans les scores TIMSS ou l'efficacité des manuels scolaires, l'estimateur basé sur la médiane a produit de faibles estimations ponctuelles ($M \approx 0,16$). Crucialement, les intervalles de confiance du bootstrap pour ces cas incluaient souvent zéro (par exemple, $[-0,19, 0,51]$), signalant que les différences observées pourraient être dues au hasard, une nuance parfois occultée par les estimations ponctuelles seules.
4. Comparaison avec le d de Cohen : L'étude souligne que bien que le d de Cohen et l'estimateur basé sur la médiane soient souvent corrélés, ils peuvent diverger de manière significative dans les données asymétriques ou lorsque les variances sont faibles. Les auteurs notent que de faibles variances peuvent artificiellement gonfler le d de Cohen, tandis que l'approche basée sur la médiane reste stable.

Signification et revendications
Les auteurs ne prétendent pas que l'estimateur basé sur la médiane doive remplacer le d de Cohen, le g de Hedges ou d'autres mesures établies. Au contraire, ils le positionnent comme un ajout productif au répertoire du chercheur pour quantifier et interpréter les différences de données.

La principale signification de l'article réside dans son plaidoyer pour :

• L'ancrage contextuel : Fournir une métrique de taille d'effet qui s'aligne plus étroitement sur la façon dont les chercheurs et les praticiens raisonnent sur la performance des élèves (par exemple, « combien d'élèves se sont améliorés au-delà de la médiane du groupe de contrôle ? »).
• Transparence et honnêteté : Souligner que la taille de l'effet est une distribution de probabilité, et non seulement un nombre. Les auteurs soutiennent que le rapport des intervalles de confiance à 95 % via des méthodes de bootstrap est essentiel pour un rapport honnête, particulièrement pour les petits ensembles de données ou ceux ayant une faible variance, afin d'éviter une surinterprétation des estimations ponctuelles.
• Robustesse : Offrir une méthode qui ne nécessite pas l'hypothèse de normalité, ce qui la rend adaptée aux données « naturalistes », asymétriques et hétérogènes fréquemment rencontrées dans la recherche en éducation mathématique.

En fin de compte, l'article suggère que la combinaison de l'estimateur basé sur la médiane avec des intervalles de confiance et des représentations visuelles des données (histogrammes lissés) répond mieux aux questions fondamentales de savoir si un effet est réel, quelle est son ampleur et s'il est pratiquement utile.