Prior-Free Sample Size Design for Test-and-Roll Experiments

Technische Samenvatting: Prior-vrije Steekproefgrootte-ontwerp voor Test-en-Roll-experimenten

Probleemformulering
Dit artikel behandelt het probleem van het ontwerpen van de steekproefgrootte voor "test-en-roll"-experimenten die worden uitgevoerd binnen een eindige populatie van grootte $N$. In deze setting voert een besluitnemer eerst een gerandomiseerd gecontroleerd experiment (RCT) uit op een subset van $m$ eenheden (waarvan $m/2$ is toegewezen aan de behandeling en $m/2$ aan de controlegroep). Op basis van de waargenomen uitkomsten wijst de besluitnemer de resterende $N-m$ eenheden toe aan de behandelingsarm die in het experiment beter presteerde.

Het doel is om de verwachte totale welvaart over de gehele populatie te maximaliseren, $E[\sum_{i=1}^N Y_i]$. Dit creëert een fundamentele afweging tussen exploratie en exploitatie:

1. Exploratiekosten: Het vergroten van $m$ verbetert de nauwkeurigheid bij het identificeren van de superieure behandeling, maar legt welvaartverliezen op aan de experimentele eenheden, aangezien de helft ex post onvermijdelijk wordt toegewezen aan de inferieure behandeling.
2. Exploitatierisico: Het verkleinen van $m$ vermindert het directe welvaartverlies op experimentele eenheden, maar verhoogt het risico op een foutieve roll-out beslissing, waardoor de inferieure behandeling wordt toegewezen aan de grotere resterende populatie ($N-m$).

De centrale uitdaging is dat de ware behandelingseffecten ex ante onbekend zijn. Het artikel zoekt een ontwerpregel die prior-vrij is, en zo de gevoeligheid voor subjectieve Bayesiaanse priors of willekeurige hyperparameters vermijdt die bestaande welvaartsgebaseerde benaderingen kenmerken.

Methodologie en Kritiek op Bestaande Criteria
De auteurs analyseren eerst het standaard Absolute Minimax Regret-criterium, dat de steekproefgrootte $m$ selecteert om het worst-case regret te minimaliseren ten opzichte van een orakel dat de ware behandelingseffecten kent.

• Beperking: Het artikel toont aan dat dit criterium leidt tot onwaarschijnlijk kleine experimentele steekproefgroottes (bijvoorbeeld $m/N \approx 2,3\%$ voor $N=10.000$).
• Mechanisme van Falen: De worst-case adversary in het absolute minimax-raamwerk concentreert zich op parameterwaarden die het absolute behandelingseffect maximaliseren ($|\tau|$). In dergelijke extreme gevallen domineert de exploratiekosten ($m/2 \cdot |\tau|$) de regretfunctie, waardoor het criterium exploratie overmatig bestraft en de steekproefgrootte onderdrukt tot bijna nul.

Om dit op te lossen, stellen de auteurs de Worst-case Marginal Benefit (WMB)-regel voor.

• Kernconcept: In plaats van het totale worst-case regret te minimaliseren, evalueert de WMB-regel de afweging aan de margin. Het vergelijkt het worst-case marginale voordeel van het toevoegen van nog één gepaarde eenheid aan het experiment met de bijbehorende marginale exploratiekosten.
• Stopregel: Experimentatie gaat door zolang het worst-case marginale voordeel van een extra paar de marginale kosten overtreft. De optimale steekproefgrootte $\hat{m}_{WMB}$ is de kleinste even $m$ waarbij de verhouding van het worst-case marginale voordeel $\eta(m, \mu_1, \mu_0)$ daalt tot of onder de 1.
• Definitie:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  waarbij $\eta$ de reductie in verwachte roll-outfouten (gespaarde eenheden) per eenheid toegevoegde exploratiekosten meet.

Belangrijkste Resultaten

1. De Benchmark van de Derde:
   Het artikel vestigt een eenvoudige, prior-vrije benchmark voor de optimale steekproefgrootte:
   $$\hat{m} \approx \frac{N}{3}$$
   Dit resultaat geldt onder twee verschillende voorwaarden:

   • Bernoulli-uitkomsten: Via een Gaussische benadering levert het WMB-criterium $\hat{m} \approx N/3$ op. De auteurs tonen rigoureus aan dat het exacte Bernoulli-probleem vereist dat een "pathologie van zeldzame randgebeurtenissen" wordt uitgesloten (waarbij één arm een variantie van nul heeft en de ander een successkans van de orde $O(1/N)$ die verdwijnt). In dit pathologische geval nadert de optimale steekproefgrootte $N/2$. Echter, voor regelmatige interne toestanden (waarbij behandelingseffecten niet-gedegenereerd zijn), lokaliseren de minst gunstige parameters zich nabij de diagonaal ($\mu_1 \approx \mu_0$), en wordt de Gaussische benadering geldig, wat leidt tot de $N/3$-regel.
   • Gaussische uitkomsten (Bekende variantie): Voor uitkomsten die een Gaussische verdeling volgen met een bekende gemeenschappelijke variantie, ontstaat de $N/3$-benchmark exact, zonder asymptotische benadering of de noodzaak om randgevallen uit te sluiten. De continue relaxatie van de marginale verhoudingsfunctie levert een gesloten-oplossing op waarbij het worst-case marginale voordeel $\leq 1$ is dan en slechts dan als $m \geq N/3$.

2. Gedrag van de Adversary:
   Onder de WMB-regel gedraagt de worst-case adversary zich anders dan onder absolute minimax regret. In plaats van extreme behandelingseffecten te kiezen om het totale regret te maximaliseren, kiest de adversary parameterwaarden die het marginale voordeel van voortgezette experimentatie maximaliseren. In het interne regime concentreren deze minst gunstige toestanden zich nabij de diagonaal ($\mu_1 \approx \mu_0$), waar het onderscheid tussen behandelingen het moeilijkst is.

3. Numerieke Validatie:
   Numerieke studies bevestigen dat voor kleine $N$, randeffecten de steekproefgrootte kunnen duwen naar $N/2$. Naarmate $N$ toeneemt, bewegen de minst gunstige parameters zich weg van de rand, en stabiliseert de optimale steekproefgrootte zich nabij $N/3$.

Betekenis en Bijdrage
Het artikel claimt een praktisch toepasbare, prior-vrije leidraad te bieden voor welvaartsgebaseerd steekproefgrootte-ontwerp.

• Praktijktoepasbaarheid: De resulterende regel ($m \approx N/3$) hangt alleen af van de totale populatiegrootte $N$. Het vereist niet dat de besluitnemer subjectieve priors, prior-varianties of andere afstemmingsparameters specificeert, wat in de praktijk vaak moeilijk te rechtvaardigen is.
• Theoretische Robuustheid: Door over te stappen van een minimalisatie van totaal-regret naar een analyse van marginale voordelen, vermijdt het artikel de "overbestraffing" van exploratie die inherent is aan standaard minimax regret-criteria.
• Welvaartsfocus: In tegenstelling tot conventionele power-analyse (die Type I/II-fouten controleert voor hypothese-toetsing), optimaliseert deze benadering direct het welvaartsdoel van de eindige populatie, en weegt expliciet de kosten van experimentatie af tegen het risico van een suboptimale roll-out.

De auteurs concluderen dat de WMB-regel een robuuste oplossing biedt voor de afweging tussen exploratie en exploitatie in test-en-roll-experimenten met een eindige populatie, en een duidelijke, theoretisch onderbouwde stopregel biedt die onafhankelijk is van subjectieve prior-convicties.