Balancing Covariates in Survey Experiments

Résumé technique : Équilibrage des covariables dans les expériences par sondage

Énoncé du problème
Les expériences par sondage sont largement considérées comme la référence pour estimer les effets de traitement dans des populations cibles, en combinant un échantillonnage aléatoire et une affectation aléatoire du traitement. Bien que l'échantillonnage aléatoire simple et la randomisation complète équilibrent les covariables en moyenne, les échantillons finis présentent souvent un déséquilibre des covariables. Ce déséquilibre se produit à la fois entre les unités échantillonnées et la population cible (phase d'échantillonnage) et entre les groupes de traitement et de contrôle (phase d'affectation). De tels déséquilibres peuvent entraîner un biais conditionnel et une variabilité accrue des estimations de l'effet de traitement. Bien que la stratification soit une technique standard pour améliorer la représentativité et l'efficacité, et que l'échantillonnage rejetif ou la rerandomisation soient utilisés pour équilibrer les covariables, la littérature existante n'a pas pleinement exploré la théorie asymptotique basée sur le plan d'expérience pour combiner ces méthodes dans un cadre général d'expérience par sondage, en particulier lorsqu'on permet un nombre de strates divergent et des fractions d'échantillonnage tendant vers zéro.

Méthodologie
Les auteurs proposent un plan d'expérience d'échantillonnage rejetif stratifié et de rerandomisation (SRSRR). Cette approche en deux étapes intègre trois mécanismes distincts :

1. Stratification : La population est partitionnée en strates basées sur des covariables prédictives.
2. Échantillonnage rejetif stratifié : Lors de la phase d'échantillonnage, les unités sont tirées par échantillonnage aléatoire stratifié. Cependant, les échantillons sont rejetés si la distance de Mahalanobis entre la moyenne pondérée de l'échantillon des covariables pré-échantillonnage ($W$) et la moyenne de la population dépasse un seuil préspécifié ($a_S$). Cela garantit que l'échantillon est représentatif de la population concernant $W$.
3. Rerandomisation stratifiée : Lors de la phase d'affectation du traitement, les unités échantillonnées sont affectées au traitement ou au contrôle par randomisation stratifiée. Les affectations sont rejetées si la distance de Mahalanobis entre les moyennes des covariables de la phase d'affectation ($X$) des groupes de traitement et de contrôle dépasse un seuil ($a_T$).

L'article développe une théorie asymptotique basée sur le plan d'expérience pour l'estimateur de la différence des moyennes stratifiée ($\hat{\tau}$) sous ce plan. Le cadre permet un régime asymptotique général où le nombre de strates ($K_N$) et les tailles de strate ($N_{[k]}$) peuvent diverger, et où la fraction d'échantillonnage ($f = n/N$) peut tendre vers zéro. Les auteurs emploient une technique de couplage de Hájek pour réduire l'estimateur à une somme de variables aléatoires indépendantes, traitant ainsi l'aléa conjoint de l'échantillonnage et de l'affectation du traitement.

De plus, les auteurs proposent une méthode d'ajustement par covariables lors de la phase d'analyse. Cet estimateur ajusté linéairement ($\hat{\tau}_{adj}$) utilise des covariables supplémentaires collectées lors de la phase d'analyse ($E$ pour la population et $C$ pour l'échantillon) pour réduire davantage le déséquilibre résiduel.

Contributions clés

1. Théorie asymptotique basée sur le plan d'expérience pour la randomisation stratifiée : L'article établit que, sous un échantillonnage et une affectation aléatoires stratifiés, l'estimateur de la différence des moyennes stratifiée est consistant et asymptotiquement normal. Il dérive la variance asymptotique et fournit des conditions pour des proportions d'échantillonnage et de traitement spécifiques aux strates optimales afin de minimiser cette variance.
2. Théorie asymptotique pour le SRSRR : Les auteurs dérivent la distribution limite de $\hat{\tau}$ sous le plan SRSRR. Contrairement aux plans standards, cette distribution limite n'est pas normale ; elle est montrée comme étant une convolution d'une distribution normale et de deux distributions normales tronquées. Cette distribution est plus concentrée autour de la vraie moyenne de l'effet de traitement que celle des plans stratifiés standards.
3. Paramètres de plan optimal : L'article fournit des résultats théoriques pour déterminer les proportions d'échantillonnage ($f_{[k]}$) et les proportions de traitement ($e_{[k]1}$) spécifiques aux strates afin de minimiser la variance asymptotique, avec et sans ajustement par covariables.
4. Ajustement par covariables : L'étude démontre qu'un estimateur ajusté linéairement utilisant des covariables de la phase d'analyse est asymptotiquement plus efficace que l'estimateur non ajusté sous les plans stratifiés standards et SRSRR. Elle fournit des estimateurs de variance conservateurs et des intervalles de confiance valides pour ces estimateurs ajustés.

Résultats

• Constatations théoriques :
  • La variance asymptotique de l'estimateur SRSRR est strictement inférieure à celle de l'expérience par sondage randomisée stratifiée (SRSE), la réduction dépendant des carrés des corrélations multiples entre l'estimateur de l'effet de traitement et les déséquilibres de covariables ($R^2_W$ et $R^2_X$).
  • La distribution limite de $\sqrt{n}(\hat{\tau} - \tau)$ sous SRSRR est une convolution d'une variable normale et de deux variables normales tronquées, qui sont plus concentrées en zéro que les variables normales correspondantes.
  • L'estimateur ajusté par covariables proposé ($\hat{\tau}_{adj}$) atteint la plus petite variance asymptotique parmi la classe des estimateurs ajustés linéairement.
• Études numériques :
  • Des simulations dans divers scénarios (petites strates, grandes strates et mixtes) confirment que le SRSRR réduit significativement l'écart-type et l'erreur quadratique moyenne (RMSE) par rapport aux plans complètement randomisés et stratifiés standards.
  • Dans des expériences sur des données synthétiques, la combinaison de la stratification, de l'échantillonnage rejetif et de la rerandomisation a réduit l'écart-type d'environ 30,6 % par rapport à une base complètement randomisée.
  • L'ajustement par régression a fourni des gains d'efficacité supplémentaires, réduisant les écarts-types de 21 % à 49 % par rapport aux estimateurs non ajustés.
  • L'analyse de données réelles utilisant l'Étude électorale coopérative du Congrès (CCES) a corroboré ces résultats, montrant que le SRSRR et l'ajustement par covariables conduisent à des intervalles de confiance plus courts et à une efficacité améliorée par rapport aux approches non stratifiées ou non ajustées.

Importance
L'article affirme que le plan SRSRR proposé et les méthodes d'analyse associées offrent un cadre robuste pour améliorer la précision des estimations d'effets de traitement dans les expériences par sondage. En traitant explicitement le déséquilibre des covariables aux phases d'échantillonnage et d'affectation, la méthode améliore la représentativité de l'échantillon et l'équilibre entre les groupes de traitement. Le développement d'une théorie asymptotique basée sur le plan d'expérience qui accommodate des strates divergentes et des fractions d'échantillonnage tendant vers zéro étend l'applicabilité de ces méthodes à un large éventail de contextes pratiques de sondage. Les auteurs soulignent que leur approche est purement basée sur le plan d'expérience, ce qui signifie que la validité des estimations et des procédures d'inférence ne dépend pas de la spécification correcte d'un modèle de résultat sous-jacent. Le flux de travail proposé en étapes — stratification, suivie d'échantillonnage rejetif et de rerandomisation, et enfin d'ajustement par régression — est présenté comme une stratégie pratique pour maximiser l'efficacité de l'estimation.