Prior-Free Sample Size Design for Test-and-Roll Experiments

Technische Zusammenfassung: Prior-freies Stichprobenumfangs-Design für Test-and-Roll-Experimente

Problemformulierung
Dieser Beitrag adressiert das Problem des Stichprobenumfangs-Designs für "Test-and-Roll"-Experimente, die innerhalb einer endlichen Population der Größe $N$ durchgeführt werden. In diesem Setting führt ein Entscheidungsträger zunächst einen randomisierten kontrollierten Versuch (RCT) an einer Teilmenge von $m$ Einheiten durch (wobei $m/2$ der Behandlungsgruppe und $m/2$ der Kontrollgruppe zugewiesen werden). Basierend auf den beobachteten Ergebnissen weist der Entscheidungsträger die verbleibenden $N-m$ Einheiten dem Behandlungsarm zu, der im Experiment besser abgeschnitten hat.

Das Ziel besteht darin, den erwarteten Gesamtnutzen über die gesamte Population zu maximieren, $E[\sum_{i=1}^N Y_i]$. Dies erzeugt einen fundamentalen Trade-off zwischen Exploration und Nutzung:

1. Explorationskosten: Eine Erhöhung von $m$ verbessert die Genauigkeit der Identifizierung der überlegenen Behandlung, führt jedoch zu Wohlfahrtsverlusten bei den experimentellen Einheiten, da ex post unvermeidlich die Hälfte der Einheiten der unterlegenen Behandlung zugewiesen wird.
2. Nutzungsrisiko: Eine Verringerung von $m$ reduziert den unmittelbaren Wohlfahrtsverlust bei den experimentellen Einheiten, erhöht jedoch das Risiko einer fehlerhaften Rollout-Entscheidung, wodurch die unterlegene Behandlung der größeren verbleibenden Population ($N-m$) zugewiesen wird.

Die zentrale Herausforderung besteht darin, dass die wahren Behandlungseffekte ex ante unbekannt sind. Der Beitrag sucht nach einer Designregel, die prior-frei ist und die Empfindlichkeit gegenüber subjektiven bayesschen Priors oder willkürlichen Hyperparametern vermeidet, die bestehende wohlfahrtsbasierte Ansätze kennzeichnet.

Methodik und Kritik bestehender Kriterien
Die Autoren analysieren zunächst das Standardkriterium des absoluten Minimax-Regrets, das den Stichprobenumfang $m$ auswählt, um das Worst-Case-Regret relativ zu einem Orakel zu minimieren, das die wahren Behandlungseffekte kennt.

• Einschränkung: Der Beitrag zeigt, dass dieses Kriterium zu unplausibel kleinen experimentellen Stichprobenumfängen führt (z. B. $m/N \approx 2,3\%$ für $N=10.000$).
• Mechanismus des Versagens: Der Worst-Case-Gegner im Rahmen des absoluten Minimax-Regrets konzentriert sich auf Parameterwerte, die den absoluten Behandlungseffekt ($|\tau|$) maximieren. In solchen extremen Fällen dominiert die Explorationskosten ($m/2 \cdot |\tau|$) die Regret-Funktion, wodurch das Kriterium die Exploration übermäßig bestraft und den Stichprobenumfang auf nahezu Null drückt.

Um dies zu lösen, schlagen die Autoren die Worst-case Marginal Benefit (WMB)-Regel vor.

• Kernkonzept: Anstatt das gesamte Worst-Case-Regret zu minimieren, bewertet die WMB-Regel den Trade-off am Rand. Sie vergleicht den Worst-Case-Marginalnutzen des Hinzufügens eines weiteren gepaarten Paares zum Experiment mit den entsprechenden marginalen Explorationskosten.
• Stop-Regel: Die Experimentation wird fortgesetzt, solange der Worst-Case-Marginalnutzen eines zusätzlichen Paares die marginalen Kosten übersteigt. Der optimale Stichprobenumfang $\hat{m}_{WMB}$ ist das kleinste gerade $m$, bei dem das Worst-Case-Marginalnutzenverhältnis $\eta(m, \mu_1, \mu_0)$ auf 1 oder darunter fällt.
• Definition:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  wobei $\eta$ die Reduktion der erwarteten Rollout-Fehler (gerettete Einheiten) pro Einheit hinzugefügter Explorationskosten misst.

Hauptergebnisse

1. Der Drittel-Regel-Benchmark:
   Der Beitrag etabliert einen einfachen, prior-freien Benchmark für den optimalen Stichprobenumfang:
   $$\hat{m} \approx \frac{N}{3}$$
   Dieses Ergebnis gilt unter zwei unterschiedlichen Bedingungen:

   • Bernoulli-Ergebnisse: Durch eine Gauß-Approximation liefert das WMB-Kriterium $\hat{m} \approx N/3$. Die Autoren zeigen rigoros, dass das exakte Bernoulli-Problem den Ausschluss einer "Grenz-seltenen-Ereignis-Pathologie" erfordert (wobei ein Arm eine Varianz von Null hat und der andere eine verschwindende Erfolgswahrscheinlichkeit der Ordnung $O(1/N)$ aufweist). In diesem pathologischen Fall nähert sich der optimale Stichprobenumfang $N/2$. Für reguläre innere Zustände (wo Behandlungseffekte nicht entartet sind) lokalisieren sich die am wenigsten günstigen Parameter jedoch nahe der Diagonalen ($\mu_1 \approx \mu_0$), und die Gauß-Approximation wird gültig, was zur Regel $N/3$ führt.
   • Gauß-Ergebnisse (bekannte Varianz): Für Ergebnisse, die einer Gauß-Verteilung mit bekannter gemeinsamer Varianz folgen, ergibt sich der $N/3$-Benchmark exakt, ohne asymptotische Approximation oder die Notwendigkeit, Grenzfälle auszuschließen. Die kontinuierliche Relaxation der Marginalquotientenfunktion liefert eine geschlossene Lösung, bei der der Worst-Case-Marginalnutzen genau dann $\leq 1$ ist, wenn $m \geq N/3$.

2. Verhalten des Gegners:
   Unter der WMB-Regel verhält sich der Worst-Case-Gegner anders als beim absoluten Minimax-Regret. Anstatt extreme Behandlungseffekte zu wählen, um das Gesamtregret zu maximieren, wählt der Gegner Parameterwerte, die den marginalen Nutzen der fortgesetzten Experimentation maximieren. Im inneren Regime konzentrieren sich diese am wenigsten günstigen Zustände nahe der Diagonalen ($\mu_1 \approx \mu_0$), wo die Unterscheidung zwischen Behandlungen am schwierigsten ist.

3. Numerische Validierung:
   Numerische Studien bestätigen, dass für kleine $N$ Grenzeffekte den Stichprobenumfang in Richtung $N/2$ drängen können. Mit zunehmendem $N$ entfernen sich die am wenigsten günstigen Parameter vom Rand, und der optimale Stichprobenumfang stabilisiert sich in der Nähe von $N/3$.

Bedeutung und Beitrag
Der Beitrag beansprucht, einen praktisch umsetzbaren, prior-freien Leitfaden für das wohlfahrtsbasierte Stichprobenumfangs-Design bereitzustellen.

• Praktikabilität: Die resultierende Regel ($m \approx N/3$) hängt nur von der Gesamtpopulationsgröße $N$ ab. Sie erfordert nicht, dass der Entscheidungsträger subjektive Priors, Prior-Varianzen oder andere Abstimmungsparameter spezifiziert, die in der Praxis oft schwer zu rechtfertigen sind.
• Theoretische Robustheit: Durch den Wechsel von einer Minimierung des Gesamtregrets zu einer Analyse des Marginalnutzens vermeidet der Beitrag die inhärente "Überbestrafung" der Exploration in Standard-Minimax-Regret-Kriterien.
• Fokus auf Wohlfahrt: Im Gegensatz zur konventionellen Power-Analyse (die Typ-I/II-Fehler für Hypothesentests kontrolliert), optimiert dieser Ansatz direkt das Wohlfahrtsziel der endlichen Population und balanciert explizit die Kosten der Experimentation gegen das Risiko eines suboptimalen Rollouts aus.

Die Autoren schließen, dass die WMB-Regel eine robuste Lösung für den Trade-off zwischen Exploration und Nutzung in Test-and-Roll-Experimenten mit endlicher Population bietet und eine klare, theoretisch fundierte Stop-Regel liefert, die unabhängig von subjektiven Prior-Überzeugungen ist.