📊 statistics

Power-Optimal Covariate Adjustment for Switchback Experiments

Dit artikel stelt een op vermogen optimaal gerichte CUPAC-methodologie voor switchback-experimenten met ongelijke clustergroottes voor, die de statistische kracht verbetert door specifiek het voorspellen van ruis tussen en binnen randomisatie-eenheden te balanceren, in plaats van enkel te richten op de algehele voorspellende nauwkeurigheid.

Oorspronkelijke auteurs: Sergei Pankratev

Gepubliceerd 2026-09-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sergei Pankratev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van online platforms, waar miljoenen transacties elke uur plaatsvinden, vertrouwen bedrijven op experimenten om te beslissen of een nieuwe functie daadwerkelijk werkt. Stel je voor dat een app voor voedselbezorging een nieuwe manier test om chauffeurs te routeren. Om te weten of de verandering helpt, kan het bedrijf niet simpelweg de helft van zijn gebruikers de nieuwe manier laten proberen en de andere helft negeren; de gebruikers zijn te nauw met elkaar verbonden en de timing van hun bestellingen is van belang. In plaats daarvan gebruiken onderzoekers een methie die een switchback-experiment wordt genoemd. In deze opstelling schakelt het hele systeem in korte bursts tussen de oude manier en de nieuwe manier, als een vuurtorenstraal die over het water veegt. Elke uur, of elke paar minuten, klapt het hele netwerk om naar de nieuwe methode, en klapt dan weer terug naar de oude. Dit creëert een reeks tijdsblokken waarin het hele systeem als een enkele eenheid wordt behandeld.

Het doel van deze experimenten is om het verschil in uitkomsten, zoals hoe lang het duurt om eten te bezorgen, met zoveel mogelijk precisie te meten. Om een duidelijk signaal uit de ruis te halen, gebruiken datawetenschappers vaak een techniek genaamd covariaat-adjustering. Denk hierbij aan het gebruik van een weersvoorspelling om de temperatuur van vandaag te voorspellen. Als je weet wat de temperatuur gisteren was en in welk seizoen we zitten, kun je de temperatuur van vandaag veel beter voorspellen dan wanneer je slechts zou gokken. In een experiment gebruiken wetenschappers gegevens van vóór de start van de test om te voorspellen wat er zou zijn gebeurd zonder de nieuwe functie. Door de werkelijke resultaten te vergelijken met deze voorspellingen, kunnen ze de willekeurige fluctuaties weghalen en het ware effect van de verandering zien. Dit proces is standaardpraktijk, maar het gaat ervan uit dat elk datapunt even belangrijk is.

Een nieuw onderzoek door Sergei Pankratev bij DoorDash daagt deze aanname voor switchback-experimenten uit. Het onderzoek onthult dat in deze specifieke soorten tests de standaardmanier om historische gegevens te gebruiken om resultaten op te schonen, eigenlijk het belangrijkste deel van het verhaal mist. In een switchback-experiment komt de data binnen in brokken: een specifieke groep chauffeurs en klanten tijdens een specifiek uur. Deze brokken, of cellen, variëren enorm in grootte. Sommige uren zijn druk met duizenden bestellingen; andere zijn rustig met slechts enkelen. De standaardmethode behandelt elke individuele bestelling als een gelijkwaardig datapunt, waarbij geprobeerd wordt de uitkomst voor elke individuele bestelling te voorspellen. Omdat het experiment echter het hele systeem in één keer omklapt, is de werkelijke bron van onzekerheid niet de individuele bestelling, maar de verschillen tussen deze tijdsblokken. De standaardmethode verspilt haar energie aan het voorspellen van de ruis van individuele bestellingen, die het experimentontwerp al gemiddeld wegfiltert, terwijl ze de grotere schommelingen tussen de tijdsblokken negeert die er daadwerkelijk over gaan of het experiment slaagt of faalt.

Pankratev heeft een nieuwe aanpak ontwikkeld die deze mismatch oplost. In plaats van het voorspellingsmodel te trainen om accuraat te zijn voor elke individuele bestelling, traint de nieuwe methode het model om accuraat te zijn voor de gemiddelde uitkomst van elk tijdsblok. Het dwingt de computer om aandacht te besteden aan het grote plaatje: hoe het systeem zich gedraagt tijdens een druk uur versus een rustig uur. De studie laat zien dat deze verschuiving in focus niet slechts een kleine aanpassing is; het is een fundamentele herweging van wat het model leert. De onderzoekers ontdekten dat in situaties waar de individuele bestellingen zeer onvoorspelbaar zijn, de standaardmethode er niet in slaagt de onzekerheid van het experiment te verminderen. Het laat de resultaten wazig achter en maakt het moeilijk om te bepalen of een verandering echt is. De nieuwe methode daarentegen verscherpt de focus op de tijdsblokken, wat de onzekerheid aanzienlijk vermindert en het experiment veel krachtiger maakt.

Om dit te bewijzen, voerden de onderzoekers duizenden gesimuleerde experimenten uit op een computer. Ze creëerden een digitale wereld met 200 verschillende locaties en 24 uur aan activiteit, wat 4.800 afzonderlijke tijdsblokken genereerde. In deze simulaties testten ze twee verschillende manieren om het voorspellingsmodel te trainen. Eén groep gebruikte de traditionele methode, die elke bestelling als gelijk behandelt. De andere groep gebruikte de nieuwe methode, die prioriteit geeft aan de nauwkeurigheid van de gemiddelden per tijdsblok. Ze varieerden ook de complexiteit van de computermodellen, door ze simpel te maken met weinig beslissingspunten en complex met veel. De resultaten waren duidelijk en consistent. Wanneer de individuele bestellingen chaotisch en onvoorspelbaar waren, had de traditionele methode moeite. Zelfs toen de onderzoekers de computermodellen veel groter en krachtiger maakten, werd de traditionele methode niet veel beter. Het was alsof je een betere telescoop geeft aan iemand die naar het verkeerde deel van de hemel kijkt; de extra kracht werd verspild omdat het doelwit niet was uitgelijnd.

De nieuwe methode gedijde echter juist in deze chaotische omstandigheden. Door zich te concentreren op de tijdsblokken, leerde het model de schommelingen in het systeem te voorspellen die er het meest toe doen. Naarmate de modellen groter werden, werd de nieuwe methode zelfs effectiever, waardoor de onzekerheid van het experiment gestaag afnam. De studie toonde aan dat deze verbetering zich direct vertaalde in een hogere kans om een echt effect te detecteren. In de moeilijkste scenario's, waar de ruis het hoogst was, verhoogde de nieuwe methode de statistische kracht van het experiment met 26 tot 35 procentpunten vergeleken met de oude methode. Dit betekent dat een bedrijf met dezelfde hoeveelheid data veel zekerder kan zijn van zijn resultaten, of hetzelfde vertrouwen kan bereiken met aanzienlijk minder uren aan testen.

Het onderzoek richtte zich ook op een tweede deel van het proces: hoe de definitieve cijfers worden berekend nadat het experiment is voltooid. De studie toonde aan dat het gebruik van de nieuwe trainingsmethode op zichzelf niet voldoende is. Als het model getraind is om zich op tijdsblokken te concentreren, maar de uiteindelijke berekening nog steeds elke bestelling als gelijk behandelt, gaan de voordelen verloren. De onderzoekers toonden aan dat de berekeningsstap ook moet worden aangepast om overeen te komen met de training. Wanneer zowel de training als de berekening zijn afgestemd op de focus op de tijdsblokken, bereikt het experiment zijn volledige potentieel. Als ze niet overeenstemmen, verdwijnen de winsten. Deze tweestaps-afstemming zorgt ervoor dat de inspanning die in het trainen van het model is gestoken, volledig wordt gerealiseerd in het uiteindelijke antwoord.

De bevindingen suggereren dat voor bedrijven die dit soort experimenten uitvoeren, de manier waarop zij hun data voorbereiden even belangrijk is als het experimentontwerp zelf. De studie beweert niet dat de oude methode nutteloos is; in situaties waarin het systeem zeer stabiel is en de tijdsblokken vergelijkbaar zijn, werkt de oude methode prima. Maar in de rommelige, echte wereld van online platforms, waar sommige uren vol gepakt zijn en andere leeg, laat de oude methode veel waarde liggen. De nieuwe aanpak biedt een manier om meer helderheid uit dezelfde data te halen, door een ruisig signaal om te zetten in een duidelijk antwoord. Het is een herinnering aan het feit dat in de wetenschap de instrumenten die we gebruiken om de wereld te meten, afgestemd moeten zijn op de specifieke aard van de wereld die we meten. Door de focus te herwegen van het individu naar de groep, hebben de onderzoekers een preciezere lens geboden om te zien hoe veranderingen de systemen die we dagelijks gebruiken werkelijk beïnvloeden.

Technische Samenvatting: Kracht-Optimale Covariaat-Aanpassing voor Switchback-Experimenten

Probleemstelling

In online experimentatie wijzen switchback-designs behandelingen toe aan ruimtelijke clusters die gekruist worden met tijdsvensters (cellen), in plaats van aan individuele eenheden. Hoewel standaard technieken voor variantiereductie zoals CUPED (Control Using Pre-Experiment Data) en CUPAC (Control Using Prediction As Covariate) effectief zijn in standaard A/B-tests waar randomisatie en analyse op hetzelfde eenheidsniveau plaatsvinden, zijn ze suboptimaal in switchback-experimenten.

Het kernprobleem ontstaat door ongelijke celgroottes en de hiërarchische structuur van de data. In switchbacks wordt de variantie van de behandelings-effectschatter gedomineerd door de variatie tussen cellen (variatie tussen randomisatie-eenheden), in plaats van door de idiosyncratische ruis binnen cellen. Standaard CUPAC-modellen worden getraind om de Mean Squared Error (MSE) op eenheidsniveau te minimaliseren. Omdat MSE op eenheidsniveau de fouten binnen en tussen cellen impliciet even zwaar weegt, wijst het model zijn beperkte capaciteit toe aan het verminderen van ruis binnen cellen—variatie die het experimentele ontwerp van nature weg-gemiddeld—terwijl het de tussen-cel-signalen verwaarloost die de statistische kracht (power) daadwerkelijk bepalen. Bovendien wordt de standaard aanpassingscoëfficiënt tijdens de analyse doorgaans geschat via gewone kleinste kwadraten (OLS) op eenheidsniveau, wat deze mismatch herhaalt door de relatie tussen cellen onder te wegen.

Methodologie

Het paper stelt een verenigd kader voor Kracht-Optimale CUPAC voor dat zowel de trainingsdoelstelling van de covariaat als de aanpassing tijdens de analyse afstemt op de specifieke variantie-decompositie van de switchback-schatter.

1. Theoretisch Kader en Variantie-Decompositie

De auteur formaliseert de uitkomst $y_{b,i}$ voor eenheid $i$ in cel $b$ als een multilevel model dat macro-niveau effecten (ruimtelijke cluster, tijdsvenster en interacties) en idiosyncratische residu-ruis bevat. De auteur leidt een exacte decompositie af van de variantie van de behandelings-effectschatter:
$\text{Var}(\hat{\tau}) \approx \frac{4}{JH} \left[ \frac{S_{res}}{\bar{n}} + S_{macro} \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \right]$
Waar:

$\bar{n}$ de gemiddelde cel-densiteit is.
$cv^2$ de gekwadrateerde variatiecoëfficiënt van de celgroottes is.
$S_{res}$ en $S_{macro}$ respectievelijk de aandelen van de variantie binnen en tussen cellen vertegenwoordigen.

De term $1 + \bar{n}(1 + cv^2)$ fungeert als een straffactor die het gewicht van de variantie tussen cellen relatief aan de variantie binnen cellen opblaast. In typische grootschalige omgevingen kan deze factor honderden malen groter zijn dan 1, wat betekent dat fouten tussen cellen vele malen kostbaarder zijn voor de statistische kracht dan fouten binnen cellen.

2. Kracht-Optimale Trainingsverliesfunctie

Om de variantie van de schatter te minimaliseren, moet de controle-variabele $g$ worden getraind om een specifieke gewogen som van voorspellingsfouten te minimaliseren, in plaats van de standaard MSE op eenheidsniveau. De auteur definieert de Kracht-Optimale Verliesfunctie ( $L_{power}$ ):
$L_{power}(g) = \frac{1}{\bar{n}} \text{MSE}_{within}(g) + \left( \frac{1}{\bar{n}} + 1 + cv^2 \right) \text{MSE}_{macro}(g)$
Deze verliesfunctie weegt de voorspellingsfout op macro-niveau (tussen cellen) expliciet zwaarder door de factor $1 + \bar{n}(1 + cv^2)$ . Dit dwingt het model om prioriteit te geven aan het leren van het signaal dat varieert over de randomisatie-eenheden, wat de component is die de statistische kracht bepaalt.

3. Gematched Analyse-Coëfficiënt

Het paper toont aan dat trainen met $L_{power}$ onvoldoende is als de aanpassingscoëfficiënt $\theta$ tijdens de analyse wordt geschat met standaard eenheids-OLS. De optimale coëfficiënt $\theta^*$ moet ook worden geschat met een verliesfunctie die overeenkomt met de trainingsgewichten. De auteur laat zien dat de standaard eenheids-OLS coëfficiënt de covariantie tussen cellen met dezelfde factor $1 + \bar{n}(1 + cv^2)$ onderweegt, waardoor de winst van de geoptimaliseerde training effectief wordt tenietgedaan. De voorgestelde oplossing is om $\theta$ te schatten met dezelfde samengestelde verliesfunctie die voor de training wordt gebruikt.

Belangrijkste Bijdragen

Identificatie van Misalignment: Het paper identificeert dat standaard CUPAC-workflows niet goed zijn afgestemd op switchback-designs omdat ze fouten binnen en tussen cellen als even belangrijk behandelen, terwijl het ontwerp de variantie tussen cellen vele malen kritieker maakt voor de statistische kracht.
Afleiding van Kracht-Optimale Verliesfunctie: De auteur leidt een gesloten vorm van de trainingsverliesfunctie ( $L_{power}$ ) af die een affiene functionaal is van de variantie van de schatter. Het minimaliseren van deze verliesfunctie minimaliseert direct een bovengrens op de gerealiseerde variantie van de schatter.
Twee-fasen Afstemming: Het werk stelt vast dat zowel de trainingsfase (verliesfunctie) als de analysefase (coëfficiënt-schatting) opnieuw gewogen moeten worden door dezelfde design-specifieke factor om maximale kracht te bereiken.
Theoretische Grenzen: Het paper bewijst dat het minimaliseren van $L_{power}$ een nauwe bovengrens biedt op de variantie van de schatter, zelfs wanneer de analyse-coëfficiënt opnieuw wordt geoptimaliseerd, mits de covariaat gekalibreerd is.

Simulatie-Resultaten

De auteur valideert het kader met behulp van een Monte Carlo-simulatie met gradient-boosted trees (LightGBM) over variërende modelcapaciteiten (aantal bladeren) en variantie-regimes ( $S_{macro}$ ).

Afhankelijkheid van het Variantie-Regime: Wanneer de ruis binnen cellen domineert ( $S_{macro} = 0.15$ ), presteert standaard eenheids-MSE slecht (relatieve standaardfout $\approx 0.85$ ), terwijl de kracht-optimale verliesfunctie in combinatie met de gematched coëfficiënt een relatieve standaardfout van $\approx 0.51$ bereikt. Wanneer de variatie tussen cellen hoog is ( $S_{macro} = 0.50$ ), wordt het gat kleiner, maar blijft de optimale methode superieur.
Modelcapaciteit: Het vergroten van de modelgrootte (van 4 naar 255 bladeren) compenseert niet voor een misaligned trainingsdoelstelling. Een model getraind op eenheids-MSE faalt in het verbeteren van de correlatie tussen cellen ( $\rho_m$ ), ongeacht de grootte, omdat het hongerige splitsingscriterium (greedy splitting criterion) prioriteit geeft aan het verminderen van de variantie binnen cellen. Daarentegen gebruikt de kracht-optimale verliesfunctie de toegenomen capaciteit effectief om $\rho_m$ te verbeteren.
Coëfficiënt Matching: Het voordeel van de gematched coëfficiënt ( $\theta^*$ ) is het meest uitgesproken wanneer de modelcapaciteit beperkt is. Naarmate modellen groter worden en beide niveaus goed passen, neemt het verschil tussen eenheids- en gematched coëfficiënten af.

Betekenis en Claims

Het paper claimt dat het voorgestelde kader een theoretisch gefundeerde, implementeerbare oplossing biedt om de statistische kracht in switchback-experimenten te maximaliseren zonder de experimentele opzet zelf te hoeven wijzigen.

Praktische Bruikbaarheid: De methode vereist slechts de berekening van twee design-constanten ( $\bar{n}$ en $cv^2$ ) uit de cel-grootte distributie om de trainingsverliesfunctie en de analyse-coëfficiënt te herwegen.
Efficiëntie: Het stelt gebruikers in staat om maximale kracht te extraheren uit bestaande data, met name voor metrieken met hoge ruis binnen cellen en een hoge cel-densiteit, waar standaardmethoden het meest inefficiënt zijn.
Robuustheid: De aanpak is robuust tegen de onbekende compositie van variantie; de kracht-optimale methode presteert consistent goed over verschillende variantie-regimes, terwijl standaardmethoden significant verslechteren wanneer de ruis binnen cellen domineert.

De auteur concludeert dat deze afstemming noodzakelijk is omdat de "standaard default" van eenheids-MSE fundamenteel incompatibel is met de variantiestructuur van geclusterde, tijdsvenster-gebaseerde experimenten. Door de leerdoelstelling te herwegen om overeen te komen met de variantie-decompositie van het design, zorgt de methode ervoor dat de modelcapaciteit wordt ingezet op het signaal dat daadwerkelijk de statistische kracht drijft.