📊 statistics

Power-Optimal Covariate Adjustment for Switchback Experiments

Cet article propose une méthodologie CUPAC optimale en termes de puissance pour les expériences de type « switchback » avec des tailles de grappes inégales, qui améliore la puissance statistique en équilibrant spécifiquement la prédiction du bruit entre et au sein des unités de randomisation, plutôt que de viser simplement la précision prédictive globale.

Auteurs originaux : Sergei Pankratev

Publié 2026-09-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sergei Pankratev

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde des plateformes en ligne, où des millions de transactions se produisent chaque heure, les entreprises s'appuient sur des expérimentations pour décider si une nouvelle fonctionnalité fonctionne réellement. Imaginez une application de livraison de nourriture testant une nouvelle façon d'orienter les chauffeurs. Pour savoir si ce changement est bénéfique, l'entreprise ne peut pas simplement l'essayer sur la moitié de ses utilisateurs et ignorer l'autre moitié ; les utilisateurs sont trop interconnectés, et le moment de leurs commandes est crucial. Au lieu de cela, les chercheurs utilisent une méthode appelée expérimentation par « switchback ». Dans cette configuration, l'ensemble du système bascule entre l'ancienne et la nouvelle méthode par de courtes séquences, comme le faisceau d'un phare balayant l'eau. Toutes les heures, ou toutes les quelques minutes, l'ensemble du réseau passe à la nouvelle méthode, puis revient à l'ancienne. Cela crée une série de blocs temporels où l'ensemble du système est traité comme une seule unité.

L'objectif de ces expérimentations est de mesurer la différence de résultats, comme le temps de livraison des repas, avec autant de précision que possible. Pour extraire un signal clair du bruit, les scientifiques des données utilisent souvent une technique appelée ajustement par covariables. Considérez cela comme l'utilisation d'une prévision météorologique pour prédire la température d'aujourd'hui. Si vous connaissez la température d'hier et la saison, vous pouvez prédire la température d'aujourd'hui bien mieux qu'en faisant simplement des suppositions. Dans une expérience, les scientifiques utilisent des données antérieures au début du test pour prédire ce qui se serait passé sans la nouvelle fonctionnalité. En comparant les résultats réels à ces prédictions, ils peuvent éliminer les fluctuations aléatoires et observer le véritable effet du changement. Ce processus est une pratique standard, mais il suppose que chaque donnée est d'égale importance.

Une nouvelle étude de Sergei Pankratev, de chez DoorDash, remet en question cette supposition pour les expérimentations par switchback. La recherche révèle que dans ce type spécifique de tests, la méthode standard consistant à utiliser les données passées pour nettoyer les résultats passe réellement à côté de l'essentiel. Dans une expérimentation par switchback, les données arrivent par blocs : un groupe spécifique de chauffeurs et de clients pendant une heure précise. Ces blocs, ou cellules, varient considérablement de taille. Certaines heures sont très occupées avec des milliers de commandes ; d'autres sont calmes avec seulement quelques-unes. La méthode standard traite chaque commande individuelle comme un point de donnée égal, tentant de prédire le résultat pour chaque commande individuelle. Cependant, comme l'expérience fait basculer l'ensemble du système à la fois, la véritable source d'incertitude n'est pas la commande individuelle, mais les différences entre ces blocs temporels. La méthode standard consacre ses efforts à essayer de prédire le bruit des commandes individuelles, que le design de l'expérience neutralise déjà par la moyenne, tout en ignorant les variations plus importantes entre les blocs de temps qui déterminent réellement si l'expérience réussit ou échoue.

Pankratev a développé une nouvelle approche qui corrige ce désalignement. Au lieu d'entraîner le modèle de prédiction pour qu'il soit précis pour chaque commande, la nouvelle méthode l'entraîne pour qu'il soit précis pour le résultat moyen de chaque bloc temporel. Elle force l'ordinateur à prêter attention à la vue d'ensemble : comment le système se comporte lors d'une heure de pointe par rapport à une heure creuse. L'étude montre que ce changement de focalisation n'est pas qu'un simple ajustement mineur ; c'est un repondération fondamentale de ce que le modèle apprend. Les chercheurs ont découvert que dans les situations où les commandes individuelles sont hautement imprévisibles, la méthode standard échoue à réduire l'incertitude de l'expérience. Elle laisse les résultats flous et rend difficile la distinction entre un effet réel et un hasard. La nouvelle méthode, en revanche, aiguise la focalisation sur les blocs temporels, réduisant considérablement l'incertitude et rendant l'expérience beaucoup plus puissante.

Pour prouver cela, les chercheurs ont mené des milliers d'expérimentations simulées sur ordinateur. Ils ont créé un monde numérique avec 200 localisations différentes et 24 heures d'activité, générant 4 800 blocs temporels distincts. Dans ces simulations, ils ont testé deux façons différentes d'entraîner le modèle de prédiction. Un groupe utilisait la méthode traditionnelle, qui traite chaque commande de manière égale. L'autre groupe utilisait la nouvelle méthode, qui donne la priorité à la précision des moyennes par blocs temporels. Ils ont également varié la complexité des modèles informatiques, en créant des modèles simples avec peu de points de décision et des modèles complexes avec beaucoup de points de décision. Les résultats étaient clairs et cohérents. Lorsque les commandes individuelles étaient chaotiques et imprévisibles, la méthode traditionnelle peinait. Même lorsque les chercheurs rendaient les modèles informatiques beaucoup plus vastes et puissants, la méthode traditionnelle ne s'améliorait pas beaucoup. C'était comme donner un meilleur télescope à quelqu'un qui regarde la mauvaise partie du ciel ; la puissance supplémentaire était gaspillée car la cible était mal alignée.

La nouvelle méthode, cependant, a prospéré dans ces conditions chaotuses. En se concentrant sur les blocs temporels, le modèle a appris à prédire les oscillations du système qui comptent le plus. À mesure que les modèles devenaient plus vastes, la nouvelle méthode devenait encore plus efficace, réduisant progressivement l'incertitude de l'expérience. L'étude a montré que cette amélioration se traduisait directement par une plus grande probabilité de détecter un effet réel. Dans les scénarios les plus difficiles, là où le bruit était le plus élevé, la nouvelle méthode a augmenté la puissance statistique de l'expérience de 26 à 35 points de pourcentage par rapport à l'ancienne méthode. Cela signifie qu'avec la même quantité de données, une entreprise pourrait être beaucoup plus confiante dans ses résultats, ou pourrait atteindre la même confiance avec beaucoup moins d'heures de test.

La recherche a également abordé une seconde partie du processus : la manière dont les chiffres finaux sont calculés une fois l'expérience terminée. L'étude a révélé que l'utilisation de la nouvelle méthode d'entraînement ne suffit pas en soi. Si le modèle est entraîné pour se concentrer sur les blocs temporels, mais que le calcul final traite toujours chaque commande comme égale, les bénéfices sont perdus. Les chercheurs ont montré que l'étape de calcul doit également être ajustée pour correspondre à l'entraînement. Lorsque l'entraînement et le calcul sont tous deux alignés pour se concentrer sur les blocs temporels, l'expérience atteint son plein potentiel. S'ils sont décalés, les gains disparaissent. Cet alignement en deux étapes garantit que l'effort investi dans l'entraînement du modèle est pleinement réalisé dans la réponse finale.

Les conclusions suggèrent que pour les entreprises menant ces types d'expérimentations, la manière de préparer leurs données est tout aussi importante que le design de l'expérience lui-même. L'étude ne prétend pas que l'ancienne méthode est inutile ; dans les situations où le système est très stable et les blocs temporels similaires, l'ancienne méthode fonctionne très bien. Mais dans le monde réel et désordonné des plateformes en ligne, où certaines heures sont bondées et d'autres vides, l'ancienne méthode laisse beaucoup de valeur sur la table. La nouvelle approche offre un moyen d'extraire plus de clarté à partir des mêmes données, transformant un signal bruyant en une réponse claire. C'est un rappel que, en science, les outils que nous utilisons pour mesurer le monde doivent être accordés à la nature spécifique du monde que nous mesurons. En repondérant la focalisation de l'individu vers le groupe, les chercheurs ont fourni une lentille plus précise pour voir comment les changements affectent réellement les systèmes sur lesquels nous comptons chaque jour.

Résumé Technique : Ajustement de Covariables Optimal pour la Puissance dans les Expériences de Type Switchback

Énoncé du Problème

Dans les expérimentations en ligne, les plans de type switchback assignent le traitement à des clusters spatiaux croisés avec des fenêtres temporelles (cellules) plutôt qu'à des unités individuelles. Bien que les techniques standard de réduction de la variance comme CUPED (Control Using Pre-Experiment Data) et CUPAC (Control Using Prediction As Covariate) soient efficaces dans les tests A/B classiques où la randomisation et l'analyse se produisent au même niveau d'unité, elles sont sous-optimales dans les expériences de type switchback.

Le problème central provient de la taille inégale des clusters et de la structure hiérarchique des données. Dans les switchbacks, la variance de l'estimateur de l'effet de traitement est dominée par la variation entre les cellules (variation entre les unités de randomisation) plutôt que par le bruit idiosyncrasique intra-cellulaire. Les modèles CUPAC standards sont entraînés pour minimiser l'erreur quadratique moyenne (MSE) au niveau de l'unité. Comme la MSE au niveau de l'unité pondère implicitement de manière égale les erreurs intra-cellulaires et entre les cellules, le modèle alloue sa capacité finie à la réduction du bruit intra-cellulaire — une variation que le plan expérimental élimine naturellement par moyennage — tout en négligeant le signal entre les cellules qui régit réellement la puissance statistique. De plus, le coefficient d'ajustement standard lors de l'analyse est généralement estimé via les moindres carrés ordinaires (OLS) au niveau de l'unité, ce qui reproduit ce désalignement en sous-pondérant la relation entre les cellules.

Méthodologie

L'article propose un cadre unifié pour un CUPAC Optimal pour la Puissance qui aligne à la fois l'objectif d'entraînement de la covariable et l'ajustement lors de l'analyse avec la décomposition spécifique de la variance du switchback.

1. Cadre Théorique et Décomposition de la Variance

L'auteur formalise le résultat $y_{b,i}$ pour l'unité $i$ dans la cellule $b$ comme un modèle multiniveau contenant des effets de niveau macro (cluster spatial, fenêtre temporelle et interactions) ainsi qu'un bruit résiduel idiosyncrasique. Il dérive une décomposition exacte de la variance de l'estimateur de l'effet de traitement :
$\text{Var}(\hat{\tau}) \approx \frac{4}{JH} \left[ \frac{S_{res}}{\bar{n}} + S_{macro} \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \right]$
Où :

$\bar{n}$ est la densité moyenne des cellules.
$cv^2$ est le carré du coefficient de variation des tailles de cellules.
$S_{res}$ et $S_{macro}$ représentent respectivement les parts de la variance intra et entre les cellules.

Le terme $1 + \bar{n}(1 + cv^2)$ agit comme un facteur de pénalité qui gonfle le poids de la variance entre les cellules par rapport à la variance intra-cellulaire. Dans les contextes typiques à grande échelle, ce facteur peut être des centaines de fois supérieur à 1, ce qui signifie que les erreurs entre les cellules sont bien plus coûteuses pour la puissance que les erreurs intra-cellulaires.

2. Fonction de Perte Optimale pour la Puissance

Pour minimiser la variance de l'estimateur, la covariable de contrôle $g$ doit être entraînée pour minimiser une somme pondérée spécifique des erreurs de prédiction plutôt qu'une MSE standard au niveau de l'unité. L'auteur définit la Perte Optimale pour la Puissance ( $L_{power}$ ) :
$L_{power}(g) = \frac{1}{\bar{n}} \text{MSE}_{within}(g) + \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \text{MSE}_{macro}(g)$
Cette fonction de perte surpondère explicitement l'erreur de prédiction macro (entre les cellules) par le facteur $1 + \bar{n}(1 + cv^2)$ . Cela force le modèle à prioriser l'apprentissage du signal qui varie entre les unités de randomisation, composante qui détermine la puissance statistique.

3. Coefficient Apparié lors de l'Analyse

L'article démontre que l'entraînement avec $L_{power}$ est insuffisant si le coefficient d'ajustement $\theta$ lors de l'analyse est estimé à l'aide d'un OLS standard au niveau de l'unité. Le coefficient optimal $\theta^*$ doit également être estimé à l'aide d'une fonction de perte qui correspond aux poids d'entraînement. L'auteur montre que le coefficient OLS standard au niveau de l'unité sous-pondère la covariance entre les cellules par le même facteur $1 + \bar{n}(1 + cv^2)$ , annulant ainsi les gains de l'entraînement optimisé. La solution proposée consiste à estimer $\theta$ en utilisant la même perte composite utilisée pour l'entraînement.

Contributions Clés

Identification du Désalignement : L'article identifie que les flux de travail CUPAC standards sont mal alignés avec les conceptions de type switchback car ils traitent les erreurs intra et entre cellules comme étant d'égale importance, alors que le design rend les erreurs entre cellules des ordres de grandeur plus critiques pour la puissance.
Dérivation de la Perte Optimale pour la Puissance : L'auteur dérive une perte d'entraînement en forme close ( $L_{power}$ ) qui est une fonction affine de la variance de l'estimateur. Minimiser cette perte réduit directement une borne supérieure de la variance réalisée de l'estimateur.
Alignement en Deux Étapes : Le travail établit que tant l'étape d'entraînement (fonction de perte) que l'étape d'analyse (estimation du coefficient) doivent être repondérées par le même facteur spécifique au design pour atteindre une puissance maximale.
Limites Théoriques : L'article prouve que la minimisation de $L_{power}$ fournit une borne supérieure étroite sur la variance de l'estimateur, même lorsque le coefficient d'analyse est ré-optimisé, à condition que la covariable soit calibrée.

Résultats de Simulation

L'auteur valide le cadre à l'aide d'une simulation de Monte Carlo utilisant des arbres boostés par gradient (LightGBM) à travers diverses capacités de modèle (nombre de feuilles) et régimes de variance ( $S_{macro}$ ).

Dépendance au Régime de Variance : Lorsque le bruit intra-cellulaire domine ( $S_{macro} = 0,15$ ), la MSE standard au niveau de l'unité performe mal (erreur relative standard $\approx 0,85$ ), tandis que la perte optimale pour la puissance couplée au coefficient apparié atteint une erreur relative standard de $\approx 0,51$ . Lorsque la variation entre les cellules est élevée ( $S_{macro} = 0,50$ ), l'écart se réduit, mais la méthode optimale reste supérieure.
Capacité du Modèle : Augmenter la taille du modèle (de 4 à 255 feuilles) ne compense pas un objectif d'entraînement mal aligné. Un modèle entraîné sur la MSE au niveau de l'unité échoue à améliorer sa corrélation entre les cellules ( $\rho_m$ ), quelle que soit sa taille, car le critère de division gourmand (greedy splitting) priorise la réduction de la variance intra-cellulaire. À l'inverse, la perte optimale pour la puissance utilise efficacement l'augmentation de capacité pour améliorer $\rho_m$ .
Appariement du Coefficient : Le bénéfice du coefficient apparié ( $\theta^*$ ) est plus prononcé lorsque la capacité du modèle est limitée. À mesure que les modèles croissent et s'adaptent bien aux deux niveaux, la différence entre les coefficients unitaires et appariés diminue.

Signification et Revendications

L'article affirme que le cadre proposé constitue une solution théoriquement fondée et implémentable pour maximiser la puissance statistique dans les expériences de type switchback sans nécessiter de modifications du design expérimental lui-même.

Praticité : La méthode nécessite uniquement le calcul de deux constantes de design ( $\bar{n}$ et $cv^2$ ) à partir de la distribution de la taille des cellules pour repondérer la perte d'entraînement et le coefficient d'analyse.
Efficacité : Elle permet aux praticiens d'extraire la puissance maximale de leurs données existantes, particulièrement pour les métriques présentant un bruit intra-cellulaire élevé et une forte densité de cellules, là où les méthodes standards sont les plus inefficaces.
Robustesse : L'approche est robuste à la composition inconnue de la variance ; la méthode optimale pour la puissance performe de manière cohérente à travers différents régimes de variance, là où les méthodes standards se dégradent significativement lorsque le bruit intra-cellulaire domine.

L'auteur conclut que cet alignement est nécessaire car le "standard par défaut" de la MSE au niveau de l'unité est fondamentalement incompatible avec la structure de variance des expériences groupées par fenêtres temporelles. En repondérant l'objectif d'apprentissage pour qu'il corresponde à la décomposition de la variance du design, la méthode garantit que la capacité du modèle est investie dans le signal qui conduit réellement à la puissance statistique.