📈 economics

Randomization Tests in Switchback Experiments

Cet article propose un cadre de tests de randomisation offrant des valeurs p valides en échantillon fini et sans hypothèse paramétrique pour les expériences de type « switchback », en s'appuyant sur des conditions primitives de non-anticipation et d'horizon de retombée fini pour gérer les dépendances temporelles et les interférences.

Auteurs originaux : Jizhou Liu, Liang Zhong

Publié 2026-02-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jizhou Liu, Liang Zhong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Tester un nouveau plat dans un restaurant bondé

Imaginez que vous êtes le chef d'un grand restaurant (une plateforme comme Uber, Airbnb ou Amazon). Vous voulez tester un nouveau plat (le traitement) pour voir s'il plaît aux clients et augmente les ventes.

Dans un monde idéal, vous donneriez le nouveau plat à la moitié des clients et l'ancien à l'autre moitié, au hasard. C'est facile à analyser.

Mais dans la réalité, c'est impossible :

Les clients interagissent : Si un client commande le nouveau plat, cela peut changer l'ambiance du restaurant pour les autres (embouteillages en cuisine, attente plus longue).
On ne peut pas tout mesurer individuellement : Parfois, on ne voit que le chiffre global de ventes par heure, pas par client.
Le temps joue un rôle : Les clients de midi ne sont pas les mêmes que ceux de minuit. Et si vous changez le menu, les effets peuvent durer plusieurs heures (un client qui a mangé trop le midi est moins affamé le soir).

C'est là que les expériences "Switchback" (ou "va-et-vient") entrent en jeu. Au lieu de changer le menu pour chaque client, vous changez le menu pour tout le restaurant toutes les heures : 1 heure "Nouveau Plat", 1 heure "Ancien Plat", 1 heure "Nouveau", etc.

Le Défi : La mémoire du restaurant

Le problème avec cette méthode, c'est la mémoire (ou l'effet de retard).

Si vous servez le "Nouveau Plat" à 12h00, l'effet sur les ventes à 13h00 est clair.
Mais qu'en est-il à 14h00 ? Est-ce encore à cause du plat de 12h00 ? Ou est-ce juste parce qu'il y a plus de monde à 14h00 (saisonnalité) ?
De plus, les clients pourraient anticiper : "Ah, c'est l'heure du nouveau plat, je vais commander maintenant !" (ce qu'on appelle l'anticipation).

Les méthodes statistiques classiques échouent souvent ici car elles supposent que tout est "propre" et indépendant, ce qui n'est pas le cas dans un restaurant bruyant et dynamique.

La Solution : Le Test de "Ré-arrangement" (Randomization Test)

Les auteurs (Jizhou Liu et Liang Zhong) proposent une nouvelle façon de faire, basée sur une idée simple mais puissante : au lieu de faire des hypothèses mathématiques complexes sur la nature du bruit, regardons simplement ce qui se serait passé si nous avions changé l'ordre des événements.

Imaginez que vous avez filmé une journée de test. Maintenant, vous voulez savoir : "Si j'avais inversé les heures de 'Nouveau' et 'Ancien' dans cette journée, aurais-je obtenu un résultat différent ?"

Pour que ce test fonctionne, ils utilisent deux astuces de génie :

1. La "Zone de Sécurité" (Les Sections)

Puisque le nouveau plat a un effet qui dure un peu (disons 30 minutes), on ne peut pas comparer n'importe quelle heure.

L'analogie : Imaginez que vous divisez la journée en gros blocs (matin, midi, après-midi). À l'intérieur d'un bloc, vous laissez le menu changer plusieurs fois. Mais pour analyser les résultats, vous ne regardez que le milieu de chaque bloc, loin des bords où les effets se mélangent.
Ils appellent cela des "Sections". Ils ne comparent que les moments où le menu est stable depuis assez longtemps pour que l'effet du changement précédent ait disparu. C'est comme attendre que la poussière retombe avant de compter les dégâts.

2. Le Test de "Mémoire" et "Anticipation"

Le papier propose aussi des outils pour vérifier deux choses cruciales :

La durée de la mémoire : "Combien de temps l'effet du nouveau plat dure-t-il vraiment ?" Ils ont créé un test qui dit : "Si on suppose que l'effet ne dure que 1 heure, est-ce que nos données collent ? Si non, essayons 2 heures..." C'est comme ajuster la focale d'une caméra jusqu'à ce que l'image soit nette.
L'anticipation : "Est-ce que les clients changent leur comportement avant que le changement n'arrive ?" Ils utilisent une astuce où ils regardent si les ventes changent juste avant l'heure prévue du changement de menu. Si oui, c'est que les clients devinent le futur !

Pourquoi c'est génial ?

Pas de suppositions farfelues : La plupart des méthodes disent : "Supposons que les erreurs suivent une courbe en cloche parfaite". Ces auteurs disent : "Peu importe la forme du bruit, tant que nous connaissons le plan de l'expérience, nous pouvons calculer la probabilité exacte que le résultat soit dû au hasard." C'est comme jouer aux dés : on n'a pas besoin de connaître la physique du dé, juste de savoir qu'il est équilibré.
Valide même avec peu de données : Souvent, les entreprises ne peuvent pas attendre des mois pour avoir assez de données. Cette méthode fonctionne bien même avec des échantillons petits (quelques jours seulement).
Robuste aux chocs : Si un jour il y a une tempête ou une panne de courant (des données "extrêmes" ou "lourdes"), les méthodes classiques s'effondrent. Celle-ci reste solide.

En résumé

Ce papier donne aux entreprises un kit de survie statistique pour tester des changements dans des environnements complexes et changeants.

Au lieu de dire "J'espère que ma formule mathématique est juste", ils disent : "Regardons toutes les façons possibles où nous aurions pu organiser notre journée, et voyons si notre résultat actuel est vraiment spécial."

C'est une approche honnête, rigoureuse et pratique, qui permet de prendre des décisions rapides (comme lancer un nouveau produit) sans avoir peur de se tromper à cause du bruit de fond ou de la mémoire des événements passés.

Résumé Technique : Tests de Randomisation dans les Expériences de Switchback

1. Problématique et Contexte

Les expériences de type switchback (alternance temporelle entre traitement et contrôle) sont devenues la norme pour l'évaluation causale dans les plateformes en ligne (marchés, publicité, transport) où la randomisation au niveau de l'unité individuelle est impossible ou où les interférences entre utilisateurs sont inévitables.

Cependant, l'inférence dans ces contextes temporels se heurte à plusieurs défis majeurs :

Dépendance temporelle et saisonnalité : Les résultats présentent des corrélations sérielles et des schémas saisonniers, rendant les approximations asymptotiques (basées sur la loi normale) peu fiables sur des horizons d'expérimentation réalistes et courts.
Interférences temporelles : Les effets de traitement peuvent persister (effets de portage ou carryover) ou être anticipés par les utilisateurs (effets d'anticipation).
Limites des tests standards : Les tests de randomisation de Fisher classiques (FRT) supposent souvent une hypothèse nulle « précise » (sharp null) qui permet d'imputer tous les résultats potentiels manquants. En présence d'interférences temporelles, cette hypothèse est souvent non valide, rendant les tests de Fisher naïfs non fiables (biaisés ou conservateurs).
Besoin de validité en échantillon fini : Les équipes produit prennent des décisions rapidement avec des échantillons modestes, nécessitant des méthodes valides sans hypothèses paramétriques fortes.

2. Méthodologie Proposée

Les auteurs développent un cadre de tests de randomisation conditionnelle (CRT - Conditional Randomization Tests) qui fournit des valeurs-p valides en échantillon fini et sans distribution, en se basant uniquement sur le mécanisme d'attribution connu.

Hypothèses Fondamentales :
Le cadre repose sur deux conditions primitives concernant les résultats potentiels :

Non-anticipation : Les résultats à l'instant $t$ ne dépendent pas des affectations futures ( $t+1, \dots, T$ ).
Horizon de portage fini ( $m$ ) : Les résultats à l'instant $t$ ne dépendent que des $m+1$ affectations récentes ( $w_{t-m}, \dots, w_t$ ).

Stratégie de Construction des Tests :

Regroupement en « Sections » : Les auteurs définissent des « sections » temporelles prédéterminées (regroupant des blocs de conception consécutifs) qui sont constantes sous l'affectation observée.
Conditionnement : Le test conditionne sur l'événement où ces sections sont constantes. Cela permet d'isoler des périodes « focales » où les résultats ne sont pas contaminés par des effets de portage provenant de l'extérieur de la section.
Imputabilité : Sous l'hypothèse nulle et les conditions ci-dessus, les résultats potentiels sur les périodes focales peuvent être imputés (calculés) pour toutes les affectations dans l'espace conditionnel restreint, rendant le test valide.

Trois Types de Tests Développés :

Test de l'effet total du traitement : Pour tester l'hypothèse nulle d'absence d'effet global ( $H_0^{tot}$ ), en utilisant un CRT conditionnel sur les sections constantes.
Diagnostic de l'horizon de portage ( $m$ ) : Une procédure séquentielle pour tester l'hypothèse que les effets de portage s'annulent après $m$ périodes. Elle utilise un dispositif de « holdout alterné » (sections paires pour les résultats, sections impaires pour les étiquettes aléatoires) et contrôle le taux d'erreur familiale (FWER) grâce à la structure emboîtée des hypothèses.
Test de non-anticipation : Adaptation du test PIRT (Pairwise Imputation-based Randomization Test) de Zhong (2024) pour détecter la dépendance aux affectations futures, en utilisant des « temps imputables » où les préfixes des affectations coïncident.

Inférence pour les Hypothèses Faibles (Weak Null) :
Pour tester des effets moyens nuls (plutôt que l'absence totale d'effet), les auteurs introduisent des CRTs studentisés. Ces tests sont asymptotiquement valides sous des conditions de stabilisation et de moments, permettant de gérer la saisonnalité intra-session (ex: effets jour de la semaine).

3. Résultats Clés et Contributions

Contributions Théoriques :

Validité en échantillon fini : Contrairement aux approches asymptotiques existantes (ex: Bojinov et al., 2023), les méthodes proposées offrent une validité exacte en échantillon fini pour les hypothèses ciblées, sans hypothèse paramétrique sur le processus de bruit.
Gestion des interférences : Le cadre résout le problème de l'imputabilité dans les expériences temporelles en utilisant un conditionnement intelligent sur des blocs de conception fusionnés.
Approximations de Puissance : Les auteurs dérivent des approximations analytiques de la puissance sous un modèle de super-population avec des effets à retard distribué et un bruit AR(1). Ces formules clarifient comment la longueur des blocs, la période de « burn-in » (mise à l'écart) et le regroupement des sections influencent le rapport signal/bruit.

Résultats des Simulations :

Contrôle de la taille (Size Control) : Le CRT proposé maintient un contrôle précis de la taille du test (taux d'erreur de type I) même sous des chocs à queue lourde (distribution $t$ de Student) et des dépendances temporelles fortes.
Comparaison avec les alternatives :
- Les tests de Fisher naïfs (sous une hypothèse nulle précise mal spécifiée) montrent un rejet excessif (over-rejection) sous des distributions à queue lourde.
- Les tests asymptotiques de Horvitz-Thompson sont souvent conservateurs sur des horizons réalistes.
- Le CRT proposé offre une puissance compétitive, surpassant les alternatives corrigées pour la taille dans les scénarios à bruit non gaussien.
Efficacité des diagnostics : Les tests pour la détection de la longueur de portage et de la non-anticipation contrôlent correctement la taille et démontrent une puissance significative croissante avec la magnitude de l'effet et la taille de l'échantillon.

4. Signification et Implications

Pratique Opérationnelle : Ce travail fournit aux équipes de science des données des outils robustes pour prendre des décisions rapides dans des environnements complexes (interférences, données agrégées) sans attendre des échantillons massifs pour que les approximations asymptotiques fonctionnent.
Robustesse aux Données Réelles : La capacité à gérer les chocs à queue lourde et la saisonnalité rend cette méthode supérieure aux approches classiques dans les contextes de plateformes réelles (e-commerce, publicité).
Extensibilité : Le cadre s'étend naturellement à d'autres designs expérimentaux temporels, y compris les designs croisés (crossover) et les expériences de séries temporelles, offrant une approche unifiée pour l'inférence causale exacte dans des structures temporelles.
Guidage de la Conception : Les approximations de puissance aident les praticiens à optimiser les paramètres de conception (longueur des blocs, durée de burn-in, probabilités d'affectation) pour maximiser la sensibilité de l'expérience avant même son lancement.

En résumé, cet article établit un nouveau standard pour l'inférence causale dans les expériences de switchback, remplaçant les approximations asymptotiques fragiles par des tests de randomisation exacts, robustes et adaptés aux contraintes opérationnelles réelles.