Cohen's f or Mean Standardized Differences? Assessing Covariate Balance with Multivalued Treatments

Résumé Technique : Évaluation de l'équilibre des covariables avec des traitements multivalents

Énoncé du problème
Dans la recherche sur l'efficacité comparative impliquant des traitements multivalents ($k \ge 3$ groupes), il n'existe pas de norme omnibus établie pour évaluer l'équilibre des covariables. La pratique courante consiste à calculer les différences moyennes standardisées (SMD) par paires pour toutes les combinaisons de groupes et à rapporter soit la moyenne, soit le maximum de ces valeurs. Bien qu'efficace pour la sélection de modèles, cette agrégation manque de lien théorique direct avec le $d$ de Cohen (la norme pour les comparaisons à deux groupes) et n'offre aucun moyen fondé pour étendre le seuil établi d'« imbalance négligeable » (par exemple, $|SMD| < 0,1$) à$k > 2$ groupes. De plus, ces métriques de SMD agrégées n'ont pas été formellement comparées à des généralisations alternatives de la taille d'effet, telles que le $f$ de Cohen, concernant leur capacité à prédire le biais de l'effet de traitement en aval.

Méthodologie
Le document propose et évalue le $f$ de Cohen comme statistique d'équilibre omnibus pour les traitements multivalents, en l'étendant à des modèles arbitraires pondérés et ajustés sur les covariables.

1. Cadre statistique :

   • $f$ de Cohen : Défini comme la racine carrée de la moyenne pondérée des carrés des écarts de chaque groupe par rapport à la moyenne globale : $f = \sqrt{\sum w_j d_j^2}$, où $w_j$ sont les poids des groupes et $d_j$ les écarts standardisés.
   • Mise en œuvre : L'auteur étend le calcul de $f$ au-delà de l'ANOVA simple à un facteur pour les modèles ajustés (par exemple, la pondération par score de propension généralisé) en utilisant la commande Stata esizereg. Cela permet de dériver $f$ à partir de marges prédictives ajustées plutôt que des moyennes d'échantillons brutes, garantissant ainsi la validité sous ajustement de covariables et de pondération.
   • Décomposition : La méthode fournit une décomposition par niveau ($d_j$) et des comparaisons par paires ($d_{jj'}$) pour identifier les sources spécifiques de déséquilibre.
   • Relation théorique : L'auteur établit une relation mathématique exacte montrant que $f$ est une fonction quadratique pondée par la taille des groupes des SMD par paires, tandis que la valeur absolue de la moyenne des SMD ($|d|$) est une moyenne linéaire non pondérée. Il démontre que sous une condition de poids de groupe égaux, le rapport $f/|d|$ possède une valeur minimale spécifique déterminée par $k$ et l'espacement des moyennes de groupe.

2. Étude de simulation :

   • Conception : Une étude de simulation a été menée avec $k \in \{3, 4, 6\}$ groupes de traitement et des tailles d'échantillon $N \in \{200, 500, 2000, 10000\}$.
   • Conditions : Les données ont été générées sous diverses intensités de confusion ($\gamma$) et scénarios d'équilibre (égaux ou inégaux). Les scores de propension ont été estimés sous des modèles correctement spécifiés et mal spécifiés (omission d'un terme d'interaction).
   • Validation : La performance du $f$ de Cohen a été comparée à la moyenne absolue des SMD ($|d|$) et au maximum absolu des SMD ($|d|_{max}$) en corrélant ces statistiques avec le biais réel des estimations de l'effet de traitement en aval.
   • Robustesse : Un second scénario a testé un modèle de résultat non linéaire/avec interaction pour s'assurer que les résultats n'étaient pas des artefacts d'une structure de résultat linéaire.

Résultats clés

1. Suivi du biais : Le $f$ de Cohen suit le biais d'estimation en aval de manière comparable à la moyenne absolue des SMD ($|d|$). Dans l'analyse globale, la corrélation entre $f$ et le biais était de $r = 0,93$, presque identique à $|d|$ ($r = 0,94$). Les deux ont surpassé le maximum absolu des SMD ($|d|_{max}$), qui présentait la corrélation la plus faible ($r \approx 0,92$). Ce classement s'est maintenu dans les bras avec modèles correctement spécifiés, mal spécifiés et non pondérés, ainsi que dans le scénario de résultat non linéaire.
2. Écart d'échelle : $f$ et $|d|$ ne sont pas numériquement comparables. Le rapport $f/|d|$ est systématiquement inférieur à 1 et dépend du nombre de groupes ($k$) et de l'équilibre de la taille des groupes. Par exemple, pour $k=3$, le rapport est d'environ 0,63, passant à 0,77 pour $k=6$. Par conséquent, les seuils conventionnels de SMD (par exemple, 0,1) ne peuvent pas être appliqués directement à $f$.
3. Sensibilité à la pondération : La relation entre $f$ et $|d|$ est influencée par la taille des groupes. Parce que $f$ pondère les écarts par la taille du groupe ($w_j$), le déséquilibre dans les grands groupes contribue davantage à la statistique omnibus que le déséquilibre dans les petits groupes. Inversement, $|d|$ traite toutes les paires de manière égale.
4. Robustesse : La performance comparative de $f$ et $|d|$ est restée stable même lorsque le modèle de résultat incluait des termes non linéaires et des interactions non capturés par les diagnostics d'équilibre des premiers moments.

Signification et recommandations
Le document conclut que le $f$ de Cohen est une statistique omnibus théoriquement fondée et valide pour évaluer l'équilibre des covariables dans les traitements multivalents, offrant une généralisation directe du cadre du $d$ à deux groupes.

• Normes de rapport : L'auteur recommande de rapporter $f$ aux côtés de ses décompositions par niveau et par paires. Se fier uniquement au $f$ omnibus peut masquer un déséquilibre sévère dans des paires spécifiques, particulièrement si ce déséquilibre survient dans de petits groupes où la pondération par la taille de $f$ en atténue la contribution.
• Seuils : Les chercheurs ne doivent pas appliquer directement les seuils de SMD standards (ex. 0,1) à $f$. Comme l'échelle diffère systématiquement, les investigateurs doivent dériver leurs propres seuils d'équilibre basés sur la relation spécifique entre $f$ et le biais dans leur protocole d'étude, plutôt que d'importer des seuils calibrés pour les SMD par paires.
• Choix du diagnostic : Bien que $f$ et $|d|$ performent de manière similaire pour suivre le biais, ils offrent des perspectives différentes. $f$ est sensible au profil global de déséquilibre pondéré par la taille du groupe, tandis que $|d|$ fournit une moyenne non pondérée. $|d|_{max}$ est le moins fiable pour suivre le biais global en raison d'une variance d'échantillonnage plus élevée, bien qu'il reste le détecteur le plus direct d'une seule paire de cas extrêmes.

L'étude souligne que si $f$ fournit un résumé unifié de la taille de l'effet pour l'équilibre, le choix du diagnostic doit être transparent, et l'importance substantielle des contrastes de traitement (par exemple, les bras de traitement rares) doit guider la décision de prioriser les métriques pondérées par la taille ou non pondérées.