📈 economics

When and How to Pilot: Design Rules for Two-Wave Experiments

Cet article propose une règle de Regret Minimax Conditionnel (CMR) pour les expériences à deux vagues qui équilibre de manière optimale la robustesse de l'assignation équilibrée avec l'efficacité de l'allocation de Neyman en minimisant le regret dans le pire des cas sur un ensemble de confiance à échantillon fini, évitant ainsi les pertes de précision sévères des méthodes adaptatives dans les petits pilotes tout en capturant leurs gains dans les plus grands.

Auteurs originaux : Juan C. Yamin

Publié 2026-07-21

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juan C. Yamin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais que vous disposez d'un stock limité d'indices. Vous voulez savoir quel suspect est coupable, mais vous ne savez pas qui cache le plus de secrets. Dans le monde de la science, les chercheurs mènent des « expériences » pour trouver des réponses, comme tester si un nouveau médicament fonctionne ou si une nouvelle méthode d'enseignement aide les élèves à apprendre. Pour ce faire, ils divisent les gens en deux groupes : un groupe de « traitement » qui reçoit la nouveauté, et un groupe de « contrôle » qui ne reçoit rien (ou l'ancienne méthode). Le but est de comparer les deux groupes pour voir la différence.

Mais voici la partie délicate : tout le monde ne réagit pas de la même manière. Certaines personnes sont très constantes ; d'autres sont totalement imprévisibles. Si le groupe de « traitement » est rempli de personnes imprévisibles, vous devez en tester davantage pour obtenir une réponse claire. Si le groupe de « contrôle » est rempli de loupés, vous avez besoin de plus de personnes dans ce groupe. La grande question est : comment savoir quel groupe est le groupe des « loupés » avant de commencer votre véritable enquête ?

Les scientifiques effectuent souvent un petit test « pilote » au préalable — un avant-goût de la vraie chose — pour obtenir un indice. Cela crée un dilemme. Si vous faites trop confiance au pilote, vous pourriez être trompé par un coup de chance (comme lancer une pièce deux fois et obtenir deux fois face, pensant que la pièce est truquée). Si vous ignorez complètement le pilote, vous pourriez manquer une occasion d'obtenir une réponse beaucoup plus précise. Ce document traite de la recherche de l'équilibre parfait entre être trop prudent et être trop téméraire lorsque l'on utilise ces petits indices pilotes pour concevoir une grande expérience.

Le grand équilibre de l'expérience

Imaginez que vous êtes un chef préparant un banquet massif pour 1 000 invités. Vous avez deux plats principaux : un curry épicé et un ragoût doux. Vous voulez savoir lequel les gens préfèrent. Mais vous savez aussi que certaines personnes sont des mangeurs très difficiles (leur goût varie énormément), tandis que d'autres sont très constantes. Si vous servez le curry épicé à un groupe de mangeurs difficiles, vous devrez en servir à beaucoup d'entre eux pour déterminer l'opinion moyenne. Si vous servez le ragoût doux à un groupe de mangeurs constants, vous n'avez pas besoin d'autant de personnes.

Le plan « parfait » serait de servir le curry à 800 personnes et le ragoût à 200, si le curry est le plat des mangeurs difficiles. C'est ce qu'on appelle l'allocation de Neyman (nommée d'après un statisticien qui l'a conçue il y a des décennies). C'est la façon la plus efficace d'obtenir une réponse.

Mais voici le piège : vous ne savez pas encore qui sont les mangeurs difficiles ! Vous devez décider de la répartition avant que le banquet ne commence.

Alors, vous décidez de cuisiner d'abord un petit repas « pilote ». Vous invitez 30 personnes à goûter les plats. Crucialement, chaque personne ne goûte qu'un seul plat. Certains reçoivent le curry, d'autres le ragoût. En fonction de la réaction de ces groupes spécifiques, vous planifiez le grand banquet.

Les anciennes méthodes :

Le Chef qui « ne veut pas faire de vagues » : Ce chef ignore entièrement le pilote. Il divise simplement les 1 000 invités en 50/50. C'est sûr. Peu importe ce qui arrive, il ne manquera pas accidentellement de curry pour les mangeurs difficiles. Mais il pourrait manquer l'occasion d'obtenir une réponse super précise si le pilote avait montré une grande différence.
Le Chef qui « fait confiance au pilote » : Ce chef regarde les 30 dégustateurs du pilote et dit : « Hé, le groupe du curry était super imprévisible ! Je vais servir le curry à 900 personnes ! » Mais et si les 30 dégustateurs du pilote avaient juste passé une mauvaise journée ? Et si le curry était en fait très bien, mais que le groupe pilote était juste bruyant ? Ce chef pourrait se retrouver à servir le curry à 900 personnes alors qu'il n'en avait besoin que pour 200, gaspillant ainsi des ressources et obtenant une réponse moins bonne que s'il avait simplement réparti les parts équitablement. Dans le pire des cas, si le groupe pilote pour un plat était parfaitement calme (tout le monde l'aimait exactement de la même façon), ce chef pourrait décider de ne servir ce plat à personne, se retrouvant sans aucune donnée.

La nouvelle solution : La règle du « Regret Minimax Conditionnel » (CMR)
L'auteur de ce document propose une nouvelle façon de penser cela. Il appelle cela la règle du Regret Minimax Conditionnel (CMR).

Voyez le CMR comme un chef très intelligent et légèrement paranoïaque qui utilise les données du pilote pour tracer une « zone de sécurité » au lieu d'une simple supposition.

Au lieu de dire : « Le curry est définitivement imprévisible », le chef dit : « D'après ces 30 personnes, le curry pourrait être imprévisible, mais il pourrait aussi être calme. Voici une gamme de possibilités. »
Si les données du pilote sont faibles (seulement 30 personnes), la « zone de sécurité » est immense. Le chef réalise : « Je ne peux pas encore en être sûr », et il reste proche de la répartition sûre de 50/50.
Si les données du pilote sont fortes (500 personnes), la « zone de sécurité » rétrécit. Le chef peut maintenant dire : « D'accord, je suis assez sûr que le curry est le loupé », et il déplace la répartition vers le groupe du curry.

La magie du CMR est qu'il ne bouge jamais trop loin à moins que les preuves ne soient assez solides pour écarter les scénarios de « malchance ». Il est accompagné d'un certificat — une petite note qui dit : « Même si je me trompe, voici le pire scénario possible, et ce n'est pas si grave. »

Ce que le document a découvert

Le document ne se contente pas de parler de cela ; il le prouve par les mathématiques et le teste avec des simulations utilisant des données réelles issues d'expériences célèbres (comme des études sur le déparasitage des enfants en Afrique ou le test de CV pour la discrimination à l'embauche).

Les résultats :

Le Chef qui « fait confiance au pilote » (Neyman réalisable) est dangereux avec de petits pilotes. Lorsque le pilote est petit (comme 30 personnes), cette méthode commet souvent de grosses erreurs. Dans les simulations, elle a parfois rendu l'expérience si inefficace qu'il revenait à ce que les chercheurs aient jeté la moitié de leurs données. Dans certains cas, elle a même tenté d'assigner zéro personne à un groupe qui avait réellement besoin d'être testé, ce qui est un désastre.
Le Chef qui « ne veut pas faire de vagues » est sûr, mais manque des opportunités. Il ne commet jamais de grosse erreur, mais il ne profite jamais de l'extrême précision qu'un bon pilote pourrait offrir.
Le Chef CMR est le juste milieu (le "Goldilocks"). Quand le pilote est petit, le CMR reste proche de la répartition sûre de 50/50, évitant les désastres majeurs du chef qui « fait confiance au pilote ». Mais à mesure que le pilote s'agrandit et que les données deviennent plus claires, le CMR bascule progressivement vers la répartition parfaite, capturant presque tous les avantages de la méthode « faire confiance au pilote », sans les risques.

Dans les simulations, quand le pilote était petit (30 personnes), la méthode « Faire confiance au pilote » échouait parfois complètement (perte infinie), tandis que le CMR restait sûr. À mesure que le pilote passait à 500 personnes, le CMR rattrapait son retard et performait presque aussi bien que la méthode parfaite, mais avec la garantie qu'il ne s'effondrerait pas si le pilote n'était qu'un coup de chance.

Pourquoi c'est important

Ce document résout un problème très spécifique et agaçant auquel les scientifiques sont confrontés chaque jour : À quel point dois-je faire confiance à mon petit essai préalable ?

La réponse est : Faites-lui confiance juste assez pour avancer, mais pas tant que vous ne tombiez pas dans un précipice.

Le document démontre que vous n'avez pas à choisir entre être un lâche (ignorer le pilote) ou un joueur (parier tout sur le pilote). Vous pouvez utiliser une règle qui dit : « Je vais déplacer mon plan exactement autant que les preuves me permettent d'être certain que je ne commets pas d'erreur. » Cela transforme l'incertitude effrayante des petites données en une étape de progression gérable et sûre.

Les auteurs ont testé cela avec quatre scénarios différents du monde réel, et dans chaque cas, leur nouvelle règle a protégé les chercheurs contre les pires erreurs tout en leur permettant d'obtenir les meilleures réponses lorsque les données étaient bonnes. C'est comme avoir une ceinture de sécurité qui ne se serre que lorsque vous rencontrez réellement un choc, vous gardant en sécurité sans rendre le trajet inconfortable.

Résumé Technique : Règles de Conception pour les Expériences à Deux Vagues

Énoncé du Problème
Le document traite de la conception d'expériences à deux vagues où une étude pilote informe la probabilité d'assignation du traitement ( $\pi$ ) pour une vague principale ultérieure. L'objectif est de minimiser la variance de l'estimateur de l'Effet Moyen du Traitement (ATE). Bien que l'assignation optimale soit connue sous la forme de l'allocation de Neyman — qui assigne plus d'observations au bras présentant la variance de résultat la plus élevée — cette allocation nécessite la connaissance des vraies variances des potentiels résultats ( $\sigma^2_1, \sigma^2_0$ ), lesquelles sont inconnues lors de la phase de conception.

La tension centrale réside dans la manière d'utiliser les estimations pilotes bruitées. Deux approches canoniques représentent les extrêmes :

Assignation Équilibrée : Ignore le pilote et assigne $\pi = 1/2$ . C'est l'approche optimale en termes de risque minimax (la plus sûre contre les distributions les plus défavorables), mais elle ne parvient pas à s'adapter aux preuves indiquant qu'un bras est plus bruité, renonçant ainsi à des gains de précision potentiels.
Allocation de Neyman Faisable (FNA) : Injecte directement les variances d'échantillon du pilote dans la formule de Neyman. Bien qu'asymptotiquement efficace, elle est fragile en échantillon fini. Si un pilote produit une variance d'échantillon nulle ou proche de zéro (un cas fréquent avec de petits échantillons ou des résultats binaires), la FNA peut assigner une probabilité nulle ou négligeable à un bras possédant une variance réelle positive, entraînant des pertes de précision infinies ou arbitrairement grandes.

Le document formalise cela comme un problème de décision statistique en échantillon fini : quelle autorité les preuves bruitées du pilote doivent-elles avoir sur la conception de la vague principale ?

Méthodologie : Regret Minimax Conditionnel (CMR)
L'auteur propose la règle du Regret Minmax Conditionnel (CMR), qui déplace le focus de la décision théorique de l'utilité : de la minimisation du risque dans le pire des cas sur l'ensemble de la classe de modèles vers la minimisation du regret dans le pire des cas sur un ensemble de confiance à échantillon fini dérivé du pilote réalisé.

La procédure fonctionne comme suit :

Construction de l'Ensemble de Confiance : Après l'observation du pilote, l'expérimentateur construit un rectangle de confiance conjoint $\hat{\Theta}_\alpha(\omega)$ pour la paire de variances $(\sigma^2_1, \sigma^2_0)$ . Ce rectangle est formé en combinant des bornes de Bernstein empiriques unilatérales pour l'écart-type de chaque bras, garantissant que la paire de variances réelle se situe dans le rectangle avec une probabilité d'au moins $1-\alpha$ .
Optimisation : La règle CMR sélectionne la probabilité d'assignation $p^{CMR}$ qui minimise le pire regret sur ce rectangle de confiance spécifique :
$p^{CMR}(\omega) \in \arg\min_{p \in (0,1)} \sup_{\theta \in \hat{\Theta}_\alpha(\omega)} r(p, \theta)$
où $r(p, \theta)$ est le regret par rapport à l'allocation de Neyman infaisable.
Solution à Forme Fermée : Pour les traitements binaires, la solution est à forme fermée. La règle applique la formule de Neyman aux points médians des intervalles de confiance des écarts-types. Si le rectangle de confiance est large (peu informatif), les points médians convergent, et la règle revient par défaut à l'équilibre. À mesure que le rectangle se contracte (informatif), la règle se rapproche de l'allocation de Neymax réelle.
Certification : Parallèlement à l'assignation, la règle rapporte un « certificat » ( $U^{CMR}$ ), qui est le pire regret sur l'ensemble de confiance. Cela fournit une borne sur la perte de précision encourue par la conception choisie.

Contributions Clés et Résultats

Sécurité en Échantillon Fini : Contrairement à la FNA, la CMR n'assigne jamais une probabilité nulle à un bras, à moins que l'ensemble de confiance n'exclue explicitement une variance positive pour ce bras (ce qui, sous la construction proposée, nécessite des preuves fortes). La règle est garantie d'avoir un regret non pire que l'assignation équilibrée sans pilote (au plus 1/4 de l'échelle de variance) avec une probabilité de $1-\alpha$ .
Efficacité Asymptotique : À mesure que la taille du pilote augmente, le rectangle de confiance s'effondre vers les vraies variances. La règle CMR converge vers l'allocation de Neyman infaisable au taux standard d'inverse racine carrée ( $O_p(M^{-1/2})$ ). Par conséquent, le regret réalisé et le certificat diminuent au taux inverse du pilote ( $O_p(M^{-1})$ ).
Taux de Regret Minimax : Le document établit que le pire espoir de regret de la CMR correspond à la borne inférieure théorique du regret minimax (à une constante près) pour toute règle basée sur le pilote. Ainsi, la CMR atteint le meilleur taux de performance du pire cas possible sans nécessiter la solution computationnellement complexe du problème minimax ex-ante exact.
Extensions : Le cadre s'étend naturellement aux :
- Conceptions multi-bras : Où un contrôle partagé est comparé à $K$ traitements.
- Conceptions stratifiées : Où le pilote informe à la fois les marges d'échantillonnage des strates et les probabilités d'assignation intra-strate.
- Résultats Binaires : Utilisant l'inversion exacte de la distribution binomiale repliée pour resserrer les ensembles de confiance pour les petits pilotes.

Preuves de Simulation
Des simulations calibrées utilisant des données de quatre expériences de terrain (Miguel & Kremer, 2004 ; Bertrand & Mullainathan, 2004 ; Thornton, 2008 ; Abel et al., 2020) démontrent les implications pratiques :

Échec de la FNA : À des tailles de pilote réalistes (ex: $M=30$ ), la FNA subit des pertes d'efficacité infinies ou très importantes dans plusieurs conceptions en raison de défaillances aux limites (assignation d'une probabilité nulle à un bras à variance positive).
Performance de la CMR : La CMR reste à l'équilibre jusqu'à ce que les données du pilote soient suffisamment informatives pour exclure les configurations les plus défavorables. Une fois informative, elle capture la majeure partie des gains de précision réalisables.
Compromis : Dans les conceptions à deux bras où le gain potentiel de l'adaptation est faible (souvent <1 %), la CMR agit comme une « assurance » contre le revers illimité de la FNA, sans coût réel en termes de potentiel de gain. Dans les conceptions multi-bras et stratifiées, où les gains potentiels sont plus importants et où la FNA est plus fragile, la discipline de la CMR produit des bénéfices nets significatifs.

Signification et Revendications
Le document affirme fournir un modèle pour intégrer l'incertitude statistique directement dans la conception expérimentale. Il soutient que le choix entre ignorer le pilote (équilibre) et lui faire confiance aveuglément (FNA) est un faux dilemme. La règle CMR permet à la conception de bouger « exactement aussi loin que les preuves du pilote le justifient, et pas plus loin ».

La signification réside dans trois caractéristiques :

Opérabilité : Elle fournit une règle calculable et à forme fermée pour les échantillons finis, contrairement à la solution exacte du regret minimax qui est généralement intraitable.
Certification : Elle associe la décision de conception à une garantie de l'échantillon fini (le certificat) sur la perte de précision, une caractéristique absente des approches de type « plug-in » standard.
Robustesse : Elle résout la tension entre la sécurité en échantillon fini et l'efficacité asymptotique, atteignant le taux de regret minimax sans nécessiter de grands pilotes pour fonctionner en toute sécurité.

L'auteur conclut que pour les pilotes de taille typique exécutés en pratique, la CMR offre un moyen fondé de la manière d'adapter les conceptions tout en protégeant contre les pertes de précision sévères associées aux estimations de variance bruitées.

Le grand équilibre de l'expérience

Ce que le document a découvert

Pourquoi c'est important

Articles similaires