📈 economics

Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities

Cet article propose une méthode d'inférence auto-normalisée basée sur la théorie des martingales pour les expériences adaptatives, garantissant une validité asymptotique des intervalles de confiance pour l'effet moyen du traitement à un horizon fixe, même lorsque les probabilités d'attribution varient de manière imprévisible et que la variance n'est pas stabilisée.

Auteurs originaux : Gabriel Saco

Publié 2026-02-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gabriel Saco

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Une Course où les Règles Changent en Cours de Route

Imaginez que vous organisez une expérience pour tester deux médicaments (le "traitement A" et le "traitement B") sur des milliers de patients.

Dans le monde classique : Vous décidez au début que 50 % des gens recevront A et 50 % recevront B, et cela reste fixe jusqu'à la fin. À la fin, vous faites un calcul simple pour voir quel médicament est le meilleur. C'est comme courir sur un terrain plat et connu.
Dans le monde moderne (Adaptatif) : Vous voulez être plus intelligent. Si le médicament A semble fonctionner mieux au fur et à mesure que les données arrivent, vous commencez à l'administrer à plus de gens. Si B semble mieux, vous en donnez plus à B. C'est comme un coureur qui ajuste sa vitesse et sa trajectoire en fonction de la météo qui change chaque seconde.

Le problème : À la fin de l'expérience, vous devez dire : "Voici la différence réelle entre les deux médicaments, avec une marge d'erreur précise". Mais comme vous avez changé les règles (les probabilités d'attribution) en cours de route, les méthodes statistiques classiques (les "règles de calcul" habituelles) deviennent fausses. Elles pensent que le terrain est plat, alors qu'il est en fait vallonné et imprévisible. Cela peut vous donner un résultat qui semble juste en moyenne, mais qui est totalement faux si on regarde la situation réelle qui s'est produite.

La Solution : Le "Journal de Bord" et le "Compteur de Pas"

L'auteur, Gabriel Saco, propose une nouvelle façon de faire le calcul à la fin de la course. Il utilise deux ingrédients magiques :

Le Journal de Bord Impeccable (La "Propension Exécutée") :
Imaginez que le directeur de la course note exactement quelle était la probabilité de donner le médicament A à chaque personne, au moment précis où il a pris la décision. Même si cette probabilité changeait toutes les 5 minutes, elle est écrite dans un journal officiel.
- L'analogie : C'est comme si chaque coureur avait un GPS qui enregistre non seulement où il est allé, mais aussi pourquoi il a pris telle ou telle direction à chaque seconde. Sans ce journal, on ne peut pas faire le calcul.
Le Compteur de Pas Réel (La "Variation Quadratique Réalisée") :
Les méthodes classiques essaient de prédire à l'avance à quel point la course va être difficile (la variance). Mais ici, la difficulté change tout le temps !
L'auteur dit : "Oubliez la prédiction. Regardez simplement ce qui s'est réellement passé".
- L'analogie : Au lieu de dire "En moyenne, ce parcours fait 10 km", le nouveau compteur dit : "Regardez, ce coureur a fait exactement 12,4 km parce qu'il a dû faire des détours". On utilise la distance réelle parcourue pour calculer la vitesse, pas la distance théorique.

La Magie Mathématique : La "Marche de Martingale"

Le papier utilise un concept mathématique appelé "Martingale". Imaginez un marcheur ivre qui fait des pas aléatoires.

Si vous essayez de prédire où il sera dans 10 minutes en supposant qu'il marche toujours droit, vous vous tromperez.
Mais si vous regardez ses pas un par un, en sachant exactement où il était à l'instant précédent, vous pouvez dire : "À chaque pas, il a eu une chance égale d'aller à gauche ou à droite (selon les règles du moment)".

L'auteur montre que si vous notez bien les règles du moment (le journal) et que vous ne regardez pas le futur pour décider des règles du présent (pas de triche), alors la somme de tous ces pas forme une "marche parfaite". Même si la route est chaotique, la statistique finale (le résultat du médicament) se comporte de manière très prévisible et fiable, comme une cloche de Gauss (la courbe en forme de cloche classique).

Pourquoi c'est important pour tout le monde ?

Pas besoin de "stabiliser" le chaos : Avant, pour faire ces calculs, il fallait forcer les règles à devenir stables (comme interdire de changer de médicament trop souvent). Ici, on peut laisser le système être aussi chaotique et adaptatif qu'on veut. On s'adapte au chaos au lieu de le combattre.
Pas de triche (Pas de "regarder dans le futur") : Pour que ça marche, il faut une règle stricte : quand on analyse le patient numéro 100, on ne peut utiliser que les données des patients 1 à 99. Si on utilise l'info du patient 100 pour décider des règles du patient 100, tout s'effondre. C'est comme jouer aux échecs sans regarder les coups de l'adversaire avant de faire le vôtre.
Fiabilité : Le papier prouve mathématiquement que cette méthode donne le bon résultat 95% du temps (le standard scientifique), même dans des situations où les anciennes méthodes échouaient.

En résumé

Ce papier dit aux scientifiques et aux ingénieurs de plateformes (comme Amazon, Google, ou les hôpitaux) :

"Vous pouvez continuer à ajuster vos expériences en temps réel pour être plus efficaces. Vous n'avez pas besoin de figer vos règles. Mais vous devez noter scrupuleusement chaque décision prise à chaque instant et ne jamais regarder le futur pour prendre vos décisions. Si vous faites ça, nous avons la formule magique pour calculer le résultat final avec une précision parfaite, même si le chemin a été très sinueux."

C'est une méthode qui transforme le chaos d'une expérience adaptative en une statistique fiable, grâce à un bon journal de bord et une discipline de calcul rigoureuse.

1. Problématique et Contexte

Les expériences randomisées adaptatives (comme les essais cliniques adaptatifs, les bandits contextuels ou les tests A/B à grande échelle sur les plateformes) ajustent les probabilités d'attribution des traitements ( $\pi_t$ ) au fur et à mesure que les données s'accumulent, afin d'équilibrer l'apprentissage et le déploiement.

Cependant, la plupart des plateformes exigent toujours un rapport final standard à un horizon temporel prédéfini (fin de l'étude) pour estimer l'effet moyen du traitement (ATE, $\theta_0$ ). Le défi majeur réside dans la calibration des intervalles de confiance (inférence de type Wald) dans ce contexte :

Sous une attribution adaptative, le processus de propension $\{\pi_t\}$ dépend des données.
Par conséquent, la variation quadratique prévisible des incréments de score (utilisés dans les estimateurs AIPW/DML) peut rester aléatoire d'une réplication à l'autre et ne pas converger vers une limite de variance déterministe unique.
Les méthodes classiques de Wald, qui normalisent par une variance asymptotique déterministe, peuvent être miscalibrées conditionnellement au régime de variance réalisé, même si leur couverture marginale semble correcte.

2. Méthodologie Proposée

L'auteur propose une approche d'inférence auto-normalisée (self-normalized) basée sur la théorie des martingales, sans nécessiter de stabilisation des propensions ni de convergence vers une variance déterministe.

Hypothèses et Conditions d'Audit

L'approche repose sur un "contrat de données" auditable comprenant deux conditions techniques strictes :

Journalisation des propensions exécutées (Logged Propensities) : La plateforme doit enregistrer la probabilité exacte $\pi_t$ utilisée pour randomiser chaque unité $t$ . Cette probabilité doit être mesurable par rapport à l'information pré-traitement ( $\mathcal{G}_t$ ).
Construction prévisible des nuisances (Predictable Nuisance Fitting) : Les modèles de régression (nuisances) utilisés pour calculer le score AIPW/DML de l'unité $t$ doivent être construits uniquement à partir des données passées ( $\mathcal{F}_{t-1}$ ). Cela exclut toute utilisation de données contemporaines ou futures ("peeking").

Estimation et Statistique

Estimateur : Utilisation de l'estimateur AIPW (Augmented Inverse Propensity Weighted) ou DML (Double Machine Learning) standard, mais avec des propensions journalisées et des nuisances prévisibles (via un forward cross-fitting).
Structure de Martingale : Sous ces conditions, les incréments centrés du score forment une séquence exacte de différences de martingales (MDS).
Normalisation : Au lieu d'utiliser une variance théorique fixe, la statistique de Student est normalisée par la variation quadratique réalisée ( $Q_T$ ), estimée par la variance empirique des scores ( $\hat{V}$ ).

3. Contributions Clés

Scoring de Martingale Auditable : Formalisation d'un contrat de journalisation et de prévisibilité qui garantit que les scores centrés AIPW/DML forment une MDS exacte (Lemme 5.3). Cela remplace la logique d'indépendance par blocs (typique du DML i.i.d.) par une unbiasedness conditionnelle exacte donnée le passé.
Inférence Wald Auto-Normalisée à Horizon Fixe : Preuve que la statistique de Student, normalisée par la variation quadratique réalisée, converge vers une loi normale standard $N(0,1)$ à l'horizon prédéfini, même en l'absence de limite de variance déterministe (Théorème 5.14).
Faisabilité de la Studentisation : Démonstration que la variance d'échantillon standard (plug-in) utilisée en pratique est un estimateur cohérent de la variation quadratique réalisée, rendant l'intervalle de confiance réalisable (Proposition 4.11).
Benchmark Oracle et Effet des Nuisances : Décomposition du second moment conditionnel montrant que l'erreur de régression (nuisance) ajoute un terme d'augmentation non négatif à la variance. L'apprentissage des nuisances améliore la précision (réduit la longueur de l'intervalle) mais n'est pas nécessaire pour la validité de la couverture.

4. Résultats Principaux

Théorème 5.14 : Sous des hypothèses standard (SUTVA, randomisation séquentielle, chevauchement exécuté, moments finis), la statistique $\frac{\sqrt{n_{eff}}(\hat{\theta} - \theta_0)}{\hat{V}^{1/2}}$ converge en loi vers $N(0,1)$ .
Robustesse aux Régimes de Variance : Contrairement aux méthodes basées sur la stabilisation, cette approche reste valide lorsque les propensions oscillent ou convergent vers des limites aléatoires (ex: Design A dans la simulation).
Échec des Méthodes Classiques : Les simulations montrent que les intervalles de Wald utilisant une variance fixe (même moyenne) peuvent être sévèrement sous- ou sur-estimés conditionnellement au régime de variance réalisé (ex: couverture de 89% au lieu de 95% dans un régime à forte variance).
Importance de la Prévisibilité : L'utilisation de modèles de nuisance "fuites" (utilisant des données futures ou contemporaines) brise la structure de martingale et entraîne une sous-couverture significative, confirmant la nécessité critique de l'hypothèse de prévisibilité.
Impact de la Journalisation : L'utilisation de propensions supposées (ex: 0.5) au lieu des propensions exécutées réellement journalisées conduit à des biais catastrophiques et à une couverture nulle.

5. Signification et Implications

Cet article fournit une solution pratique et rigoureuse pour l'analyse finale des expériences adaptatives modernes :

Pas besoin de stabilisation : Il élimine le besoin de concevoir des politiques d'attribution complexes pour forcer la variance à se stabiliser, permettant une exploration plus libre.
Contrôle de la Qualité des Données : Il met l'accent sur l'importance critique de l'intégrité des logs (journalisation des probabilités réelles) et de la rigueur dans l'entraînement des modèles (pas de fuite de données).
Limites : Les résultats sont strictement à horizon fixe. Ils ne garantissent pas la validité en cas d'arrêt optionnel (optional stopping) ou de surveillance continue. Pour ces cas, des méthodes de séquences de confiance (time-uniform) restent nécessaires.

En résumé, l'article démontre que l'inférence causale fiable dans des environnements adaptatifs dynamiques est possible en exploitant la structure de martingale inhérente aux données journalisées correctement, en remplaçant la normalisation par une variance théorique par une normalisation par la variance réalisée.