📈 economics

Randomization Tests in Randomized Saturation Designs

Cet article développe des tests de randomisation valides pour les échantillons finis et justifiés asymptotiquement pour diverses hypothèses nulles concernant les effets de débordement dans les plans de saturation randomisés, incluant les hypothèses au niveau individuel, de moyenne et de monotonicité, et démontre leur utilité pratique à travers des simulations et une application réelle.

Auteurs originaux : Jizhou Liu, Azeem M. Shaikh, Liang Zhong

Publié 2026-07-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jizhou Liu, Azeem M. Shaikh, Liang Zhong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer si une nouvelle méthode d'enseignement fonctionne. Mais il y a un imprévu : vous ne pouvez pas simplement tester cette méthode sur des élèves isolés. Si l'élève A apprend la méthode, il peut aider l'élève B à l'apprendre aussi, même si l'élève B n'a pas été officiellement assigné à la méthode. C'est ce qu'on appelle un effet de débordement (ou effet de contagion).

Pour étudier cela, les chercheurs utilisent un Plan de Saturation Randomisé. Voyez cela comme une expérience dans un district scolaire :

Les Clusters : Au lieu de tester les élèves un par un, vous testez des classes entières (des clusters).
La Saturation : Vous assignez différentes « densités » de la nouvelle méthode aux classes.
- La classe A reçoit 0 % d'élèves utilisant la méthode.
- La classe B reçoit 33 % d'élèves l'utilisant.
- La classe C reçoit 66 %.
- La classe D reçoit 100 %.
L'Objectif : Vous voulez voir si les élèves qui n'ont pas utilisé la méthode ont tout de même mieux appris simplement parce que leurs camarades de classe l'ont fait.

Le Problème :
Habituellement, les statisticiens utilisent de grandes formules mathématiques complexes pour deviner si ces résultats sont réels ou dus à la chance. Mais ces expériences comportent souvent très peu de classes (peut-être seulement 10 ou 20). Lorsque vous avez un groupe aussi restreint, ces grandes formules s'effondrent souvent et donnent de mauvaises réponses. De plus, les classes sont souvent de tailles différentes, ce qui rend les mathématiques encore plus désordonnées.

La Solution : Le Jeu du « Et si ? » (Tests de Randomisation)
Les auteurs de cet article proposent une façon plus intelligente de jouer au jeu du « Et si ? ». Au lieu de deviner avec des formules, ils simulent des milliers de réalités alternatives basées uniquement sur les règles de l'expérience.

Voici comment ils procèdent, décomposé selon les trois outils principaux qu'ils ont inventés :

1. Le Filtre de l'« Unité Focale » (Pour des comparaisons spécifiques)

Imaginez que vous vouliez comparer la classe à 33 % contre la classe à 0 %.

L'Astuce : Vous ne regardez pas chaque élève de la salle. Vous choisissez quelques élèves « focaux » spécifiques qui n'ont pas utilisé la méthode dans les deux classes.
Le Jeu : Vous prétendez échanger les étiquettes des classes. Vous imaginez : « Et si la Classe A était en fait la salle à 0 % et la Classe B la salle à 33 % ? »
Le Résultat : Comme vous n'avez regardé que les élèves qui n'ont pas utilisé la méthode, et que vous connaissez les règles du jeu, vous pouvez calculer exactement la probabilité que les résultats observés soient dus au pur hasard. Cela donne une réponse parfaitement exacte pour les petits groupes, peu importe l'étrangeté des données.

2. Le Score « Étudiantisé » (Pour les effets moyens)

Parfois, vous ne vous souciez pas de savoir si chaque élève est affecté ; vous voulez simplement savoir si l'élève moyen de la classe à 33 % a mieux réussi que l'élève moyen de la classe à 0 %.

Le Défi : L'astuce mathématique « parfaite » ci-dessus ne fonctionne pas pour les moyennes car le jeu du « Et si ? » devient complexe lorsqu'on ne s'intéresse qu'à la moyenne.
La Correction : Les auteurs ont créé une « fiche de score » spéciale (une statistique étudiantisée) qui ajuste la mesure en fonction de la variation naturelle des données.
Le Résultat : Bien que ce ne soit pas une réponse « parfaite » pour un groupe minuscule, cela devient extrêmement précis à mesure que vous ajoutez des classes. Cela comble le fossé entre les mathématiques « parfaites » des petits groupes et les mathématiques « approximatives » des grands groupes.

3. Le Test de « Monotonie » (Pour les niveaux multiples)

Et si vous avez quatre niveaux (0 %, 33 %, 66 %, 100 %) et que vous voulez savoir : « L'effet se renforce-t-il à mesure que nous ajoutons des élèves utilisant la méthode ? »

L'Ancienne Méthode : Vous devriez effectuer trois tests distincts (0 vs 33, 33 vs 66, 66 vs 100) et espérer qu'ils concordent tous. C'est comme vérifier si une échelle est droite en mesurant chaque barreau séparément ; cela expose à des erreurs.
La Nouvelle Méthode : Les auteurs ont construit un « Test de Monotonie Globale ». Il examine l'échelle entière d'un seul coup. Il demande : « Existe-t-il un moyen quelconque de réorganiser ces classes qui ferait que les résultats ressemblent à une ligne droite ascendante ? »
Le Résultat : Il donne une réponse unique, parfaitement exacte, pour l'ensemble de la tendance, sans avoir besoin de réaliser plusieurs tests séparés.

Test en conditions réelles : L'Expérience de Zomba

Pour prouver l'efficacité de leurs méthodes, les auteurs ont appliqué leurs travaux à une expérience réelle au Malawi appelée le Programme de Transfert de Fonds de Zomba.

La Configuration : Ils ont observé des écoles où des pourcentages différents de filles recevaient de l'argent pour rester à l'école.
La Question : Les filles qui n'étaient pas proposées de recevoir cet argent ont-elles tout de même bénéficié (ou souffert) de la présence de leurs camarades ?
Le Résultat : Ils ont appliqué leurs nouveaux tests. Les résultats ont montré que, pour les questions spécifiques posées, les données ne fournissaient pas de preuves solides que les effets de débordement étaient survenus de la manière dont ils les avaient hypothétisés. Crucialement, ils ont démontré que leurs nouvelles méthodes pouvaient gérer les données désordonnées de cette expérience réelle bien mieux que les anciennes méthodes.

La Grande Conclusion

Cet article est comme si l'on offrait aux chercheurs une boîte à outils plus fiable pour étudier comment les individus s'influencent mutuellement au sein de groupes.

Si vous avez un petit groupe, ils vous donnent une méthode qui est exacte (sans supposition).
Si vous vous intéressez aux moyennes, ils vous donnent une méthode qui devient plus précise à mesure que vous obtenez des données.
Si vous avez de nombreux niveaux de traitement, ils vous donnent un moyen de tester tout le schéma d'un coup.

Ils n'ont pas inventé de nouveaux médicaments ou de nouvelles méthodes d'enseignement ; ils ont inventé une meilleure façon de mesurer si ces choses fonctionnent lorsque les individus s'influencent les uns les autres.

Résumé technique : Tests de randomisation dans les plans de saturation randomisée

Énoncé du problème

Les plans de saturation randomisée sont un outil principal pour estimer les effets de débordement (spillover effects) dans les populations groupées. Dans ces plans, les grappes (clusters) sont d'abord assignées à différents niveaux de saturation de traitement (la proportion d'unités traitées au sein d'une grappe), puis les unités sont ensuite randomisées au sein des grappes sous condition de la saturation assignée. Bien que ces plans permettent de séparer efficacement les effets propres de l'intensité du traitement par les pairs, l'inférence statistique valide demeure un défi.

Deux obstacles majeurs entravent l'inférence dans ce contexte :

Petites tailles d'échantillon : Le nombre de grappes est souvent trop faible pour justifier des approximations de grande taille, et les tailles de grappes sont fréquemment hétérogènes. Cela nécessite des méthodes exactes de taille finie plutôt que des approximations de normalité asymptotique.
Netteté partielle (Partial Sharpness) : De nombreuses hypothèses d'intérêt concernant les effets de débordement (par exemple, absence de débordement, débordement borné ou débordement moyen) ne sont que partiellement nettes. Elles restreignent les résultats potentiels sous des conditions d'exposition spécifiques mais n'imputent pas l'intégralité du calendrier des résultats potentiels manquants sur l'ensemble de l'espace d'assignation. Par conséquent, les tests de randomisation naïfs qui rééchantillonnent le vecteur d'assignation complet ne parviennent pas à générer des distributions de référence valides.

La littérature existante s'est largement concentrée sur l'estimation en grands échantillons ou sur les tests de randomisation conditionnels sous des hypothèses nettes (sharp nulls). Il existe une lacune dans le développement de tests de randomisation valides en taille finie pour les hypothèses nues partielles, bornées et de faible moyenne dans les plans de multi-saturation.

Méthodologie

L'article développe une suite de tests de randomisation adaptés à la structure des plans de saturation randomisée sous l'hypothèse d'une interférence partielle homogène (où les résultats dépendent uniquement du statut de traitement propre et du nombre de pairs traités dans la grappe). La méthodologie est divisée en trois composantes principales selon la nature de l'hypothèse nulle et le nombre de niveaux de saturation.

1. Tests conditionnels pour deux niveaux de saturation

Pour une paire fixe de niveaux de saturation $s$ et $s'$ , les auteurs proposent un cadre de randomisation conditionnelle qui conditionne sur des « unités focales ».

Sélection des unités focales : À partir des grappes où la saturation observée est soit $s$ , soit $s'$ , un nombre fixe d'unités non traitées est échantillonné. Ces unités servent de base de comparaison.
Distribution de re-étiquetage : Le test génère une distribution de référence en permutant les étiquettes de saturation ( $s$ et $s'$ ) entre les grappes sélectionnées tout en maintenant les unités focales et leurs résultats observés fixes. Cela réduit le problème à un problème de re-étiquetage au niveau de la grappe.
Statistiques spécifiques à l'hypothèse nulle :
- Hypothèse nulle partiellement nette ( $H_{0,PS}$ ) : Suppose que $Y_i(0, s) = Y_i(0, s')$ pour toutes les unités. Sous cette hypothèse, les résultats focaux sont invariants au re-étiquetage, permettant à toute statistique focale (par exemple, la différence de moyennes) de produire un test valide en taille finie.
- Hypothèse nulle bornée ( $H_{\delta,B}$ ) : Suppose que $Y_i(0, s) - Y_i(0, s') \leq \delta$ . Le test utilise la frontière d'égalité ( $=\delta$ ) comme une imputation « la moins favorable ». En décalant les résultats observés de $\delta$ , le test construit une statistique conservatrice qui maintient la validité en taille finie pour l'hypothèse d'inégalité.

2. Tests asymptotiques pour les hypothèses de faible moyenne

Pour les hypothèses concernant les effets de débordement moyens (par exemple, les débordements moyens par unité ou par grappe), l'hypothèse nulle ne détermine pas les résultats potentiels manquants, rendant impossibles les tests de randomisation conditionnels exacts en taille finie.

Approche : Les auteurs utilisent la même distribution de re-étiquetage conditionnel mais l'associent à une statistique studentisée (utilisant des estimateurs de variance de Neyman).
Validité : Bien que la distribution conditionnelle ne soit pas une distribution nulle exacte en taille finie, les auteurs prouvent que la statistique de re-étiquetage studentisée fournit une inférence asymptotiquement valide sous des conditions de régularité (par exemple, des fractions de conception stables et des moments bornés). Cela fait le pont entre la perspective de test de randomisation fisherienne et l'inférence de grande taille de Neyman.

3. Tests inconditionnels pour la monotonicité globale

Pour les plans comportant plusieurs niveaux de saturation ordonnés, l'article traite l'hypothèse nulle globale de monotonicité des résultats non traités par rapport au niveau de saturation.

Imputation par paire : Au lieu de décomposer le problème en contrastes par paires (ce qui nécessite des corrections pour tests multiples), les auteurs développent un test de randomisation inconditionnel basé sur l'imputation par paire (PIRT).
Mécanisme : Le test compare l'assignation observée à toutes les autres assignations réalisables dans le support du plan. Il utilise une statistique qui est « imputable par paire », ce qui signifie qu'elle dépend uniquement des unités qui ne sont pas traitées sous l'assignation observée et sous l'assignation de référence, et dont les expositions se situent dans l'ensemble ordonné couvert par l'hypothèse nulle.
Validité : Cette construction produit un test de randomisation inconditionnel valide en taille finie pour la monotonie globale, évitant ainsi le besoin de combiner les p-valeurs de contrastes locaux.

Principaux résultats

L'article établit les résultats théoriques suivants :

Validité en taille finie (Conditionnelle) : Pour les hypothèses nettes partielles et bornées impliquant deux niveaux de saturation, les tests de randomisation conditionnels proposés (Procédure 3.1) contrôlent exactement le taux d'erreur de Type I en taille finie, conditionnellement au ensemble focal sélectionné.
Validité asymptotique (Hypothèses faibles) : Pour les hypothèses de faible moyenne, le test de randomisation conditionnel studentisé contrôle la taille asymptotique, fournissant une inférence valide même lorsque l'hypothèse nulle n'est pas nette.
Validité en taille finie (Monotonicité globale) : Le test de randomisation PIRT (Procédure 5.1) pour l'hypothèse de monotonie globale est prouvé comme étant valide en taille finie de manière inconditionnelle. Le test est conservateur mais cible directement la forme globale de la réponse de débordement.
Performance empirique : Des simulations calibrées sur l'expérience de transfert de fonds de Zomba démontrent que :
- Le CRT conditionnel pour les hypothèses bornées maintient une taille proche des niveaux nominaux (taille moyenne ~0,051) et offre une meilleure puissance que les références basées sur la régression dans les petits échantillons.
- Le PIRT de monotonité globale est plus conservateur que la combinaison de tests par paires adjacentes via Bonferroni, mais offre une puissance supérieure pour détecter les violations importantes de la monotonicité, particulièrement à mesure que le nombre de niveaux de saturation augmente.

Signification et contributions

L'article apporte trois contributions principales à la littérature sur l'inférence causale sous interférence :

Extension des tests de randomisation conditionnels : Il étend le cadre de la randomisation conditionnelle (précédemment appliqué aux conceptions à premier stade binaires avec des unités traitées uniques) aux plans de multi-saturation avec plusieurs unités traitées par grappe. Cela répond aux espaces d'assignation plus complexes et aux problèmes d'imputation partielle courants dans les applications empiriques.
Inférence pour les hypothèses faibles : Il offre une voie pour l'inférence basée sur la randomisation sur les hypothèses de faible moyenne de débordement. En combinant le re-étiquetage conditionnel avec la studentisation, l'article relie le test exact fisherien à l'inférence asymptotique de Neyman, permettant aux chercheurs de tester des effets moyens scientifiquement significatifs même lorsque la validité exacte en taille finie est inatteignable.
Test de la monotonicité globale : Il va au-delà des hypothèses d'égalité pour tester des restrictions bornées et monotones. Le développement du PIRT pour la monotonicité globale permet aux chercheurs de tester la forme entière de la réponse de débordement dans un seul cadre, plutôt que de s'appuyer sur des comparaisons par paires locales. Ceci est particulièrement pertinent pour les applications où la direction des débordements (par exemple, croissante ou décroissante) est la question principale.

Les auteurs soulignent que l'idée centrale est la séparation de l'étape de conditionnement (sélection des unités imputables) de la statistique (adaptée à l'hypothèse spécifique). Cette approche modulaire permet une inférence valide à travers un spectre d'hypothèses, allant des effets individuels nets aux effets moyens faibles et à la monotonicité globale, dans le contexte exigeant des plans de saturation randomisée.