📊 statistics

Design Stability in Adaptive Experiments: Implications for Treatment Effect Estimation

Cet article propose une analyse asymptotique des estimateurs IPW et AIPW pour l'estimation de l'effet moyen du traitement dans des expériences adaptatives séquentielles, en établissant des théorèmes de la limite centrale sous une condition de stabilité de la conception et en démontrant leur applicabilité à des designs comme ceux de Wei et Efron.

Auteurs originaux : Saikat Sengupta, Koulik Khamaru, Suvrojit Ghosh, Tirthankar Dasgupta

Publié 2026-04-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Saikat Sengupta, Koulik Khamaru, Suvrojit Ghosh, Tirthankar Dasgupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎯 Le Problème : L'Art de l'Équilibre dans une Expérience

Imaginez que vous êtes un chef cuisinier qui teste deux nouvelles recettes de gâteau (la Recette A et la Recette B) sur 1000 clients. Votre but est de savoir laquelle est vraiment meilleure en moyenne.

Dans le monde idéal (les anciennes méthodes), vous feriez un tirage au sort strict : vous donneriez la Recette A à 500 personnes et la Recette B aux 500 autres, au hasard pur. C'est simple, mais parfois, ce n'est pas très "éthique" ou efficace. Si vous voyez que la Recette A plaît beaucoup aux premiers clients, vous pourriez vouloir en donner un peu plus aux suivants pour ne pas faire perdre de temps aux clients avec une mauvaise recette. C'est ce qu'on appelle un design adaptatif : on ajuste les probabilités en cours de route selon ce qu'on observe.

Le problème : Quand on change les règles du jeu en cours de route (on donne plus de Recette A parce qu'elle semble bonne), les calculs statistiques habituels deviennent faux. On risque de se tromper sur la vraie différence entre les deux recettes, soit en surestimant, soit en sous-estimant l'effet. C'est comme essayer de peser un objet avec une balance qui change de poids elle-même selon ce qu'on y pose.

💡 La Solution : La "Stabilité du Design"

Les auteurs de ce papier (Saikat Sengupta et ses collègues) ont inventé une nouvelle règle du jeu pour que les calculs restent justes, même si on adapte l'expérience. Ils appellent cela la "Stabilité du Design".

Imaginez que vous lancez une pièce de monnaie pour décider quelle recette donner.

Stabilité Forte (La pièce équilibrée) : Même si vous ajustez le jeu, à la longue, la pièce finit par se comporter comme une pièce parfaitement équilibrée (50/50). C'est le cas du "Jeu de la pièce adaptative de Wei".
Stabilité Faible (La pièce qui oscille mais se stabilise en moyenne) : La pièce peut être très biaisée à certains moments (70% de Recette A, 30% de Recette B), mais si vous regardez la moyenne sur toute l'année, elle se stabilise autour d'une valeur fixe. C'est le cas du "Jeu de la pièce biaisée d'Efron".

L'idée clé est que, même si le jeu change à chaque instant, il ne doit pas devenir chaotique. Il doit avoir un comportement prévisible à long terme pour que les mathématiques puissent fonctionner.

🛠️ Les Outils : Deux Façons de Calculer

Pour mesurer la différence entre les recettes, les auteurs proposent deux outils (des estimateurs) :

L'outil IPW (Le "Poids Inversé") :
- L'analogie : Imaginez que vous donnez un "poids" à chaque client. Si un client a reçu la Recette A alors que c'était très rare (probabilité faible), son avis compte énormément (son poids est lourd). Si c'était très courant, son avis compte moins.
- Le problème : Si la probabilité devient très petite (ex: 1%), le poids devient gigantesque, et un seul client peut fausser tout le résultat. C'est comme essayer de soulever un éléphant avec un seul doigt : ça tremble beaucoup (variance élevée).
L'outil AIPW (Le "Poids Inversé Amélioré") :
- L'analogie : C'est la version "Pro" du précédent. Au lieu de juste compter les avis, on utilise aussi ce qu'on sait déjà pour faire une prédiction. C'est comme avoir un assistant qui dit : "Attends, ce client a l'air d'aimer les gâteaux sucrés, donc même s'il a eu la Recette A rare, on peut ajuster son avis en fonction de son profil".
- Le résultat : Cet outil est beaucoup plus stable et précis, surtout quand les probabilités changent beaucoup. Il réduit le "bruit" dans les données.

📊 Les Résultats : Pourquoi c'est important ?

Les auteurs ont prouvé mathématiquement que :

Si votre expérience respecte la Stabilité du Design (forte ou faible), vous pouvez utiliser ces outils pour obtenir des résultats fiables.
Ils ont créé des formules pour calculer la marge d'erreur (l'intervalle de confiance). C'est crucial : cela vous dit "Je suis sûr à 95% que la Recette A est meilleure de 2 à 5 points".
Même si on ne connaît pas parfaitement la vérité (on ne voit jamais les deux versions du gâteau pour le même client), leurs méthodes garantissent que la marge d'erreur ne sera pas sous-estimée. C'est une sécurité : on risque de dire "c'est peut-être ça" un peu plus souvent que nécessaire, mais on ne dira jamais "c'est sûr" alors que ce ne l'est pas.

🏁 En Résumé

Ce papier est comme un manuel de survie pour les expérimentateurs modernes.

Dans le passé, on disait : "Ne changez jamais les règles en cours de route, ou vos résultats seront faux."
Aujourd'hui, grâce à ce papier, on peut dire : "Vous pouvez adapter vos expériences (donner plus de traitement aux patients qui en ont besoin, ajuster les publicités en ligne, etc.), tant que vous gardez une certaine stabilité dans la façon dont vous choisissez les participants. Si vous suivez nos nouvelles règles (Stabilité du Design) et utilisez nos nouveaux outils (AIPW), vos conclusions seront scientifiquement valides."

C'est une avancée majeure pour la médecine, l'économie et le marketing, où les expériences ne sont plus statiques, mais vivantes et adaptatives.

1. Problématique et Contexte

L'estimation de l'effet moyen du traitement (ATE, Average Treatment Effect) est fondamentale en inférence causale. Traditionnellement, les méthodes supposent des designs de randomisation complètement aléatoire avec des unités indépendantes et identiquement distribuées (i.i.d.) et des probabilités d'attribution fixes.

Cependant, de nombreuses applications modernes (essais cliniques adaptatifs, tests A/B en ligne, évaluations de politiques) utilisent des mécanismes d'attribution de traitement séquentiels et adaptatifs. Dans ces scénarios, la probabilité d'assigner un traitement à une unité $i$ dépend de l'historique des assignations précédentes et des résultats observés. Cela crée des dépendances complexes entre les unités, rendant les estimateurs classiques (comme la différence de moyennes) potentiellement biaisés ou inefficaces, et invalidant les résultats asymptotiques standards basés sur l'i.i.d.

L'objectif de cet article est de développer un cadre théorique rigoureux pour l'estimation et l'inférence de l'ATE dans des populations finies sous des designs séquentiels adaptatifs, sans supposer de modèle probabiliste pour les résultats potentiels (approche basée sur le design).

2. Méthodologie et Cadre Théorique

Les auteurs adoptent le cadre des résultats potentiels (Neyman-Rubin) dans une population finie de taille $N$ .

Données : Pour chaque unité $i$ , on observe $Y_i = K_i Y_i(1) + (1-K_i)Y_i(0)$ , où $K_i$ est l'indicateur de traitement.
Mécanisme d'attribution : Séquentiel, où $P(K_i=1 | \mathcal{F}_{i-1}) = p_i$ . La probabilité $p_i$ est une fonction mesurable de l'historique $\mathcal{F}_{i-1}$ (assignations et résultats passés).

Pour analyser le comportement asymptotique des estimateurs, les auteurs introduisent un concept clé : la Stabilité du Design (Design Stability). Ils distinguent deux niveaux :

Stabilité Forte (Strong Design Stability) : Les probabilités d'inclusion $p_i$ $p_{i}$ convergent elles-mêmes vers une constante non aléatoire $p^* \in (0,1)$ $p^{*} \in (0, 1)$ .
- Exemple : Le design de la pièce adaptative de Wei.
Stabilité Faible (Weak Design Stability) : Les probabilités $p_i$ $p_{i}$ ne convergent pas nécessairement, mais les moyennes empiriques des scores de propension inverses convergent vers des constantes non aléatoires :
$\frac{1}{N}\sum_{i=1}^N \frac{1}{p_i} \xrightarrow{P} \frac{1}{p^*_1} \quad \text{et} \quad \frac{1}{N}\sum_{i=1}^N \frac{1}{1-p_i} \xrightarrow{P} \frac{1}{p^*_2}$
- Exemple : Le design de la pièce biaisée d'Efron.

Estimateurs Proposés :
Les auteurs analysent deux estimateurs pour l'ATE ( $\bar{\tau}$ ) :

IPW (Inverse Propensity Weighted) : Un estimateur de type Horvitz-Thompson.
AIPW (Augmented IPW) : Une version augmentée, adaptée au cadre de population finie et sans modèle de résultats, utilisant des prédictions séquentielles des résultats potentiels manquants.

3. Contributions Clés

Théorèmes de la Limite Centrale (CLT) :
Les auteurs établissent la normalité asymptotique des estimateurs IPW et AIPW sous les conditions de stabilité forte et faible. Ils dérivent des expressions explicites pour les variances asymptotiques ( $V_{IPW}$ et $V_{AIPW}$ ), qui dépendent des moments des résultats potentiels et des limites des probabilités d'attribution.
Estimation Conservatrice de la Variance :
Un défi majeur en inférence causale est l'impossibilité d'observer simultanément les deux résultats potentiels ( $Y_i(0)$ et $Y_i(1)$ ) pour une même unité, ce qui empêche l'estimation directe de la covariance.
- Les auteurs proposent des estimateurs de variance conservateurs basés sur l'inégalité de Cauchy-Schwarz pour borner le terme de covariance.
- Ces estimateurs sont asymptotiquement biaisés positivement (surestiment la variance), garantissant ainsi une couverture des intervalles de confiance au moins égale au niveau nominal ( $1-\alpha$ ).
- La consistance (absence de biais) est rétablie sous des hypothèses d'homogénéité des effets du traitement (additivité ou additivité log-scale).
Efficacité Supérieure de l'AIPW :
L'article démontre théoriquement que l'estimateur AIPW est plus efficace (variance asymptotique plus faible) que l'estimateur IPW dans ce cadre adaptatif. De plus, les simulations montrent que l'AIPW offre une meilleure stabilité et des intervalles de confiance plus courts, même lorsque les hypothèses d'homogénéité ne sont pas parfaitement vérifiées.
Application à des Designs Classiques :
Le cadre est appliqué à deux designs historiques :
- Wei's Adaptive Coin Design : Prouvé comme étant fortement stable.
- Efron's Biased Coin Design : Prouvé comme étant faiblement stable (les probabilités oscillent, mais les moyennes inverses convergent).

4. Résultats Principaux

Convergence : Sous les hypothèses de stabilité (forte ou faible) et de régularité (bornitude des résultats, positivité des probabilités), les estimateurs $\sqrt{N}(\hat{\tau} - \bar{\tau})$ convergent en loi vers une distribution normale centrée.
Intervals de Confiance : Des intervalles de confiance asymptotiquement valides peuvent être construits en utilisant les estimateurs de variance conservateurs.
- Si les résultats potentiels satisfont l'additivité log-scale (pour IPW) ou l'homogénéité généralisée (pour AIPW), la couverture est exacte.
- Sinon, la couverture est conservatrice (supérieure au niveau nominal).
Simulations : Les études de simulation sur les designs de Wei et d'Efron confirment que :
- Les estimateurs sont non biaisés.
- Les intervalles de confiance basés sur AIPW sont plus courts que ceux basés sur IPW tout en maintenant une couverture adéquate.
- L'AIPW est particulièrement robuste dans les scénarios non additifs.

5. Signification et Impact

Cet article comble un vide méthodologique important en fournissant une théorie d'inférence rigoureuse pour les essais adaptatifs en population finie, un domaine où les approches traditionnelles échouent souvent.

Pratique : Il rassure les praticiens (cliniciens, économistes, spécialistes du marketing) que les mécanismes d'attribution adaptative, de plus en plus courants pour des raisons éthiques ou d'efficacité, peuvent être analysés statistiquement sans recourir à des modèles de résultats potentiellement erronés.
Théorique : L'introduction de la notion de "stabilité du design" offre un outil conceptuel pour classifier et analyser la convergence des mécanismes d'assignation séquentiels au-delà des simples designs i.i.d.
Innovation : La proposition d'estimateurs de variance conservateurs spécifiques aux designs adaptatifs permet la construction d'intervalles de confiance valides là où les méthodes standard échoueraient.

En résumé, ce travail unifie et étend la théorie de l'inférence causale pour s'adapter aux réalités dynamiques des expériences modernes, en démontrant que la stabilité structurelle du design d'assignation est la condition sine qua non pour une estimation fiable de l'effet causal.