Refining Effect-Size Measures and Classification for Differential Item Functioning: Toward Unified Guidelines Across Methods

Résumé Technique : Affinement des mesures de la taille de l'effet et de la classification pour le Fonctionnement Différentiel des Items (DIF)

Énoncé du Problème
L'analyse du Fonctionnement Différentiel des Items (DIF) est cruciale pour identifier les biais dans les mesures multi-items, garantissant que des individus issus de groupes différents, ayant le même niveau de trait latent, ont des probabilités égales de répondre à un item. Bien que les tests de signification statistique soient la norme, ils sont insuffisants en soi car les taux d'erreur de type I et la puissance statistique dépendent fortement de la taille de l'échantillon. Par conséquent, l'évaluation de la signification pratique du DIF par le biais de mesures de la taille de l'effet et de la classification (généralement en catégories « négligeable », « modérée » et « grande ») est essentielle.

Cependant, le domaine manque actuellement de directives unifiées. Les mesures de taille d'effet existantes (par exemple, $\Delta MH$ de Mantel-Haenszel, $\hat{\beta}$ de SIBTEST, $\Delta R^2$ de la régression logistique et les mesures basées sur l'aire) produisent souvent des classifications incohérentes pour un même item. De nombreuses valeurs de coupure existantes ont été dérivées d'études de simulation à petite échelle ou manquent de validation systématique à travers différentes méthodes de détection. Cette incohérence complique la prise de décision concernant la rétention ou le retrait d'un item, particulièrement dans les grands ensembles de données où des différences triviales peuvent être signalées comme statistiquement significatives.

Méthodologie
Les auteurs ont mené une étude de simulation exhaustive pour évaluer les propriétés des mesures de taille d'effet DIF existantes et pour proposer des directives de classification unifiées. L'étude s'est concentrée sur les items dichotomiques et l'appartenance à des groupes binaires, couvrant le DIF uniforme et non uniforme.

• Conception de la simulation : L'étude a manipulé six facteurs de conception : la taille de l'échantillon (allant de 100 à 10 000 par groupe), la longueur du test (20 et 40 items), la proportion d'items DIF (5 % et 10 %), les décalages de la distribution des capacités, l'ampleur du DIF sous-jacent (définie par l'Aire Non Signée, UA, entre les Courbes Caractéristiques de l'Item) et le type de DIF (uniforme vs non uniforme). Cela a résulté en 1 008 configurations uniques, chacune répliquée 1 000 fois (totalisant plus d'un million de jeux de données).
• Méthodes évaluées : L'étude a évalué les méthodes traditionnelles (Mantel-Haenszel, SIBTEST, Crossing SIBTEST) et les approches basées sur des modèles (Régression Logistique, modèles IRT 2PL/3PL/4PL).
• Mesures de la taille de l'effet : Un large éventail de mesures a été analysé, incluant :
  • Basées sur le rapport des cotes (odds-ratio) : $|\Delta MH|$, $\Delta LR$.
  • Basées sur la probabilité : $LR-P-DIF$, $LR-STD-P-DIF$ (avec divers schémas de pondération).
  • Basées sur la variance : $\Delta R^2$.
  • Basées sur l'aire : Aire Signée (SA), Aire Non Signée (UA), Aires Signées/Non Signées Fermées (CSA, CUA), Aires Signées/Non Signées Pondérées (WSA, WUA), et les nouvelles versions standardisées ($SA^{STD}$, $UA^{STD}$).
• Approche analytique : Les auteurs ont utilisé des modèles de régression linéaire et cubique pour lier différentes mesures de taille d'effet à un ancrage commun (l'UA sous-jacente ou $|\Delta MH|$). Ils ont étudié la dépendance de ces mesures vis-à-vis des facteurs de conception (par exemple, la taille de l'échantillon) et ont dérivé de nouvelles valeurs de coupure qui alignent les classifications entre les méthodes.

Principales Contributions

1. Directives de Classification Unifiées : L'article propose des valeurs de coupure révisées pour plusieurs mesures de taille d'effet afin d'assurer une classification cohérente (Négligeable, Modérée, Grande) entre les différentes méthodes de détection du DIF.
   • Pour le DIF Uniforme : De nouveaux seuils sont proposés pour le SIBTEST ($|\hat{\beta}|$), la Régression Logistique ($\Delta R^2$, $LR-STD-P-DIF$) et les mesures basées sur l'aire. Notamment, les auteurs introduisent des mesures d'aire standardisées ($UA^{STD}$) avec des seuils de 0,426 (négligeable/modérée) et 0,638 (modérée/grande), qui sont analytiquement liées aux seuils conventionnels de $|\Delta MH|$ de 1 et 1,5.
   • Pour le DIF Non Uniforme : De nouveaux seuils sont proposés pour le Crossing SIBTEST, la Régression Logistique ($\Delta R^2$) et les mesures basées sur l'aire, avec des restrictions spécifiques sur les tailles d'échantillon.
2. Mesures d'Aire Standardisées : Les auteurs introduisent $SA^{STD}$ et $UA^{STD}$, qui mettent à l'échelle l'aire entre les ICC par le paramètre de discrimination de l'item ($a_i$). Cela permet aux mesures basées sur l'aire d'être directement comparables aux métriques basées sur le rapport des cotes et fournit une taille d'effet invariante par l'échelle.
3. Restrictions d'Usage : L'étude identifie les limitations spécifiques des mesures existantes et recommande des restrictions d'usage :
   • Le $|\hat{\beta}$ du SIBTEST et les mesures basées sur l'aire devraient être restreints à des tailles d'échantillon $N \ge 500$ (uniforme) ou $N \ge 1 000$ (non uniforme) en raison de l'instabilité dans les petits échantillons.
   • Les mesures reposant sur des hypothèses de distribution (par exemple, $LR-P-DIF$, $WUA$) sont déconseillées lorsque la distribution des capacités dévie du modèle supposé.
4. Validation Empirique : Les directives proposées ont été testées sur deux ensembles de données réels : l'étude Health Behaviour in School-aged Children (HBSC) (grand échantillon, $N \approx 180 000$) et le jeu de données du Medical School Admission Test in Biology (MSATB) (échantillon plus petit, $N \approx 1 400$).

Résultats

• Incohérence des Directives Actuelles : La simulation a révélé que les valeurs de coupure existantes mènent souvent à des classifications incohérentes. Par exemple, $\Delta R^2$ sous-estimait fréquemment l'ampleur du DIF, classant des items comme « négligeables » alors que d'autres mesures indiquaient « modérée » ou « grande ». Inversement, les métriques de p-valeur comme $LR-P-DIF$ montraient une haute sensibilité à la taille de l'échantillon et aux décalages de la distribution des capacités.
• Performance des Nouvelles Directives : Les nouvelles valeurs de coupure proposées ont considérablement amélioré la précision de la classification. Pour le DIF uniforme, le taux de classification correcte pour $\Delta R^2$ est passé de 27,41 % (en utilisant les anciens seuils) à 63,12 % (en utilisant les nouveaux seuils). Les mesures d'aire standardisées ($UA^{STD}$) ont montré un fort accord avec les mesures basées sur le rapport des cotes ($|\Delta MH|$, $\Delta LR$), atteignant plus de 60 % d'accord global.
• Effets de la Taille de l'Échantillon : Les petites tailles d'échantillon ($N \le 200$) ont entraîné une variance élevée et des corrélations faibles entre les mesures de taille d'effet, validant la recommandation de restreindre certaines méthodes à des échantillons plus larges.
• Application aux Données Réelles : Dans l'ensemble de données HBSC, les nouvelles directives ont résolu les conflits où différentes méthodes suggéraient des classifications contradictoires (par exemple, un item classé comme « modéré » par une mesure et « négligeable » par une autre). Dans l'ensemble de données MSATB, les nouveaux seuils ont fourni des conclusions plus cohérentes concernant l'ampleur du DIF pour les items signalés par différentes méthodes.

Signification et Revendications
Les auteurs affirment que ce travail comble une lacune de recherche critique en fournissant des directives de classification dérivées analytiquement et validées par simulation pour les mesures de taille d'effet DIF basées sur l'aire, lesquelles manquaient auparavant de seuils standardisés. En liant ces mesures à la métrique de Mantel-Haenszel largement acceptée, l'étude offre un « cadre unifié » qui améliore l'interprétabilité et la comparabilité des résultats de DIF entre les méthodes traditionnelles et basées sur des modèles.

L'article souligne que, bien qu'un alignement complet de toutes les mesures ne soit pas atteignable en raison de la nature approximative des relations modélisées, le cadre proposé réduit l'ambiguïté dans les décisions de signalement d'items. Les auteurs notent modestement que leurs directives sont principalement validées pour les modèles 2PL et les items dichotomiques ; leur applicabilité aux modèles 3PL/4PL ou aux items polytomes nécessite des investigations supplémentaires. Néanmoins, l'étude fait progresser la standardisation de l'analyse du DIF, offrant aux chercheurs une base plus transparente et fiable pour évaluer la signification pratique du biais d'item.