📈 economics

When and How to Pilot: Design Rules for Two-Wave Experiments

Dieses Paper schlägt eine Conditional Minimax Regret (CMR)-Regel für Zwei-Wellen-Experimente vor, die die Robustheit der ausgewogenen Zuweisung optimal mit der Effizienz der Neyman-Allokation ausbalanciert, indem sie den Worst-Case-Regret über einem endlichen Konfidenzintervall minimiert und dadurch die gravierenden Präzisionsverluste adaptiver Methoden bei kleinen Pilotstudien vermeidet, während sie deren Gewinne bei großen Studien einfängt.

Ursprüngliche Autoren: Juan C. Yamin

Veröffentlicht 2026-07-21

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Juan C. Yamin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Sie verfügen nur über einen begrenzten Vorrat an Hinweisen. Sie möchten wissen, welcher Verdächtige schuldig ist, aber Sie wissen nicht, wer die meisten Geheimnisse verbirgt. In der Welt der Wissenschaft führen Forscher „Experimente“ durch, um Antworten zu finden, wie etwa beim Testen, ob ein neues Medikament wirkt oder ob eine neue Lehrmethode Schülern beim Lernen hilft. Um dies zu erreichen, teilen sie Menschen in zwei Gruppen auf: eine „Behandlungsgruppe“, die das Neue erhält, und eine „Kontrollgruppe“, die nichts (oder das Alte) erhält. Das Ziel besteht darin, die beiden Gruppen zu vergleichen, um den Unterschied zu sehen.

Aber hier liegt der knifflige Teil: Nicht jeder reagiert auf die gleiche Weise. Manche Menschen sind sehr beständig; andere sind völlig unberechenbar. Wenn die „Behandlungsgruppe“ voller unberechenbarer Menschen ist, müssen Sie mehr von ihnen testen, um eine klare Antwort zu erhalten. Wenn die „Kontrollgruppe“ voller Wildcards ist, benötigen Sie auch von ihr mehr. Die große Frage ist: Wie wissen Sie vor Beginn Ihrer eigentlichen Untersuchung, welche Gruppe die „Wildcard“-Gruppe ist?

Wissenschaftler führen oft zuerst einen kleinen „Pilot“-Test durch – einen kleinen Vorgeschmack auf das eigentliche Ding –, um einen Hinweis zu erhalten. Dies erzeugt jedoch ein Dilemma. Wenn Sie dem Piloten zu sehr vertrauen, könnten Sie von einem Zufall getäuscht werden (wie wenn man eine Münze zweimal wirft, zweimal Kopf erhält und dann glaubt, die Münze sei manipuliert). Wenn Sie den Piloten hingegen völlig ignorieren, verpassen Sie vielleicht die Chance auf ein wesentlich präziseres Ergebnis. Bei dieser Arbeit geht es darum, das perfekte Gleichgewicht zwischen zu vorsichtig und zu leichtsinnig zu finden, wenn man diese winzigen Pilot-Hinweise für das Design eines großen Experiments nutzt.

Das große Experiment-Balancing-Spiel

Stellen Sie sich vor, Sie sind ein Koch, der ein riesiges Bankett für 1.000 Gäste vorbereitet. Sie haben zwei Hauptgerichte: ein scharfes Curry und einen milden Eintopf. Sie wollen wissen, welches die Leute lieber mögen. Aber Sie wissen auch, dass manche Menschen sehr wählerische Esser sind (ihr Geschmack variiert stark), während andere sehr beständig sind. Wenn Sie das scharfe Curry einer Gruppe von wählerischen Essern servieren, müssen Sie es vielen von ihnen servieren, um die durchschnittliche Meinung herauszufinden. Wenn Sie den milden Eintopf einer Gruppe von beständigen Essern servieren, brauchen Sie nicht so viele.

Der „perfekte“ Plan wäre, das Curry zu 800 Personen und den Eintopf zu 200 Personen zu servieren, falls das Curry das Gericht für die wählerischen Esser ist. Dies wird als Neyman-Allokation bezeichnet (benannt nach einem Statistiker, der dies vor Jahrzehnten herausgefunden hat). Es ist der effizienteste Weg, um eine Antwort zu erhalten.

Aber der Haken ist: Sie wissen noch nicht, wer die wählerischen Esser sind! Sie müssen die Aufteilung festlegen, bevor das Bankett beginnt.

Also entscheiden Sie sich, zuerst eine winzige „Pilot“-Mahlzeit zuzubereiten. Sie laden 30 Personen ein, die Gerichte zu probieren. Entscheidend ist, dass jede Person nur ein Gericht probieren darf. Einige bekommen das Curry, andere den Eintopf. Basierend darauf, wie diese spezifischen Gruppen reagiert haben, planen Sie das große Bankett.

Die alten Wege:

Der „Nicht-Aufsehen-Erregen“-Koch: Dieser Koch ignoriet den Piloten vollständig. Er teilt die 1.000 Gäste einfach 50/50 auf. Das ist sicher. Egal was passiert, er wird nicht versehentlich das Curry für die wählerischen Esser ausgehen lassen. Aber er könnte die Chance auf ein superpräzises Ergebnis verpassen, falls der Pilot tatsächlich einen großen Unterschied aufgezeigt hätte.
Der „Vertraue-dem-Piloten“-Koch: Dieser Koch schaut sich die 30 Pilot-Tester an und sagt: „Hey, die Curry-Gruppe war super unberechenbar! Ich werde Curry an 900 Leute servieren!“ Aber was, wenn die 30 Pilot-Tester einfach nur einen schlechten Tag hatten? Was, wenn das Curry eigentlich völlig in Ordnung ist, aber die Pilot-Gruppe einfach nur „laut“ bzw. unruhig war? Dieser Koch könnte am Ende 900 Leute mit Curry bedienen, obwohl er nur 200 gebraucht hätte, wodurch Ressourcen verschwendet werden und das Ergebnis schlechter ausfällt. Im schlimmsten Fall, wenn die Pilot-Gruppe für ein Gericht vollkommen ruhig war (jeder mochte es exakt gleich), könnte dieser Koch entscheiden, null Menschen dieses Gericht zu servieren, und damit gar keine Daten mehr zu haben.

Die neue Lösung: Die „Conditional Minimax Regret“ (CMR)-Regel
Der Autor dieser Arbeit, Juan Yamin, schlägt einen neuen Denkansatz vor. Er nennt ihn die Conditional Minimax Regret (CMR) Regel.

Betrachten Sie CMR als einen sehr klugen, leicht paranoiden Koch, der die Pilot-Daten nutzt, um statt einer einzelnen Vermutung eine „Sicherheitszone“ zu zeichnen.

Anstatt zu sagen: „Das Curry ist definitiv unberechenbar“, sagt der Koch: „Basierend auf diesen 30 Personen könnte das Curry unberechenbar sein, aber es könnte auch ruhig sein. Hier ist ein Bereich an Möglichkeiten.“
Wenn die Pilot-Daten schwach sind (nur 30 Personen), ist die „Sicherheitszone“ riesig. Der Koch erkennt: „Ich kann mir noch nicht sicher sein“, und hält sich nah an die sichere 50/50-Aufteilung.
Wenn die Pilot-Daten stark sind (500 Personen), schrumpft die „Sicherheitszone“. Der Koch kann nun sagen: „Okay, ich bin mir ziemlich sicher, dass das Curry die Wildcard ist“, und er verschiebt die Aufteilung in Richtung der Curry-Gruppe.

Die Magie von CMR besteht darin, dass es sich niemals zu weit bewegt, es sei denn, die Beweise sind stark genug, um die „Pechvogel-Szenarien“ auszuschließen. Es kommt mit einem Zertifikat – einem kleinen Zettel, der besagt: „Selbst wenn ich falsch liege, ist dies das Worst-Case-Szenario, und es ist nicht allzu schlimm.“

Was die Arbeit herausfand

Die Arbeit beschränkt sich nicht nur auf Theorie; sie beweist dies mit Mathematik und testet es mit Simulationen unter Verwendung realer Daten aus berühmten vergangenen Experimenten (wie Studien zur Entwurmung von Kindern in Afrika oder Tests von Lebensläufen auf Diskriminierung bei der Jobsuche).

Die Ergebnisse:

Der „Vertraue-dem-Piloten“-Koch (Feasible Neyman) ist gefährlich bei kleinen Piloten. Wenn der Pilot klein ist (wie 30 Personen), macht diese Methode oft riesige Fehler. In den Simulationen führte dies manchmal dazu, dass das Experiment so ineffizient war, als hätten die Forscher die Hälfte ihrer Daten weggeworfen. In einigen Fällen versuchte er sogar, null Personen einer Gruppe zuzuweisen, die eigentlich getestet werden müsste, was eine Katastrophe ist.
Der „Nicht-Aufsehen-Erregen“-Koch ist sicher, lässt aber Chancen liegen. Er macht niemals große Fehler, aber er gewinnt auch nie die zusätzliche Präzision, die ein guter Pilot bieten könnte.
Der CMR-Koch ist der Goldlöckchen-Typ. Wenn der Pilot klein ist, bleibt CMR nahe an der sicheren 50/50-Aufteilung und vermeidet die riesigen Katastrophen des „Vertraue-dem-Piloten“-Kochs. Aber wenn der Pilot größer wird (500 Personen) und die Daten klarer werden, nähert sich CMR smoothly der perfekten Aufteilung an und nutzt fast alle Vorteile der „Vertraue-dem-Piloten“-Methode, ohne deren Risiken zu tragen.

In den Simulationen, als der Pilot klein war (30 Personen), scheiterte die „Vertraue-dem-Piloten“-Methode manchmal völlig (infinitärer Verlust), während CMR sicher blieb. Als der Pilot auf 500 Personen anwuchs, holte CMR auf und performte fast so gut wie die perfekte Methode, jedoch mit der Garantie, nicht abzustürzen, falls der Pilot nur ein Zufall war.

Warum es wichtig ist

Diese Arbeit löst ein ganz spezifisches, nerviges Problem, mit dem Wissenschaftler jeden Tag konfrontiert sind: Wie sehr sollte ich meinen kleinen Testlauf vertrauen?

Die Antwort lautet: Vertraue ihm gerade genug, um dich zu bewegen, aber nicht so sehr, dass du von einer Klippe fällst.

Die Arbeit zeigt, dass man sich nicht zwischen einem Feigling (den Piloten ignorieren) und einem Glücksritter (alles auf den Piloten setzen) entscheiden muss. Man kann eine Regel nutzen, die besagt: „Ich werde meinen Plan genau so weit anpassen, wie die Beweise es zulassen, um sicher zu sein, dass ich keinen Fehler mache.“ Sie verwandelt die beängstigende Unsicherheit kleiner Datenmengen in einen handhabbaren, sicheren Schritt nach vorn.

Die Autoren haben dies mit vier verschiedenen realen Szenarien getestet, und in jedem Fall hat ihre neue Regel die Forscher vor den schlimmsten Fehlern geschützt und ihnen gleichzeitig ermöglicht, die besten Antworten zu erhalten, wenn die Daten gut waren. Es ist wie ein Sicherheitsgurt, der sich nur dann strafft, wenn man tatsächlich auf einen Schlagloch stößt – er hält einen sicher, ohne die Fahrt unangenehm zu machen.

Technische Zusammenfassung: Designregeln für Zwei-Wellen-Experimente

Problemstellung
Die Arbeit befasst sich mit dem Design von Zwei-Wellen-Experimenten, bei denen eine Pilotstudie die Zuweisungswahrscheinlichkeit ( $\pi$ ) für eine nachfolgende Hauptwelle informiert. Das Ziel ist es, die Varianz des Schätzers des durchschnittlichen Behandlungseffekts (Average Treatment Effect, ATE) zu minimieren. Da die optimale Zuweisung bekannt als Neyman-Allokation ist – welche mehr Beobachtungen dem Arm mit der höheren Ergebnisvarianz zuweist – erfordert diese Allokation Kenntnis der wahren potenziellen Ergebnisvarianzen ( $\sigma^2_1, \sigma^2_0$ ), die zum Zeitpunkt des Designs unbekannt sind.

Die zentrale Spannung liegt in der Frage, wie man verrauschte Pilot-Schätzungen nutzen kann. Zwei kanonische Ansätze repräsentieren die Extreme:

Ausgewogene Zuweisung (Balanced Assignment): Ignoriert den Piloten und weist $\pi = 1/2$ zu. Dies ist minimax-risiko-optimal (am sichersten gegen Worst-Case-Verteilungen), versäumt es jedoch, auf Hinweise zu reagieren, dass ein Arm verrauschter ist, und verzichtet damit auf potenzielle Präzisionsgewinne.
Machbare Neyman-Allokation (Feasible Neyman Allocation, FNA): Setzt die Stichprobenvarianzen der Pilotstudie direkt in die Neyman-Formel ein. Während sie asymptotisch effizient ist, erweist sie sich in endlichen Stichproben als fragil. Wenn ein Pilot eine Null- oder eine nahe Null liegende Stichprobenvarianz liefert (ein häufiges Vorkommnis bei kleinen Stichproben oder binären Ergebnissen), kann die FNA eine Wahrscheinlichkeit von Null oder eine vernachlässigbare Wahrscheinlichkeit für einen Arm zuweisen, der eine positive wahre Varianz besitzt, was zu unendlichen oder willkürlich großen Präzisionsverlusten führt.

Dies wird in der Arbeit als statistisches Entscheidungsproblem für endliche Stichproben formalisiert: Wie viel Autorität sollte verrauschte Evidenz aus der Pilotstudie über das Design der Hauptwelle haben?

Methodik: Bedingte Minimax-Regret (Conditional Minimax Regret, CMR)
Der Autor schlägt die Conditional Minimax Regret (CMR)-Regel vor, die den entscheidungstheoretischen Fokus von der Minimierung des Worst-Case-Risikos über die gesamte Modellklasse zur Minimierung des Worst-Case-Regrets über ein endliches Konfidenzintervall verschiebt, das aus der realisierten Pilotstudie abgeleitet wurde.

Das Verfahren funktioniert wie folgt:

Konstruktion des Konfidenzintervalls: Nach Beobachtung des Piloten konstruiert der Experimentator ein gemeinsames Konfidenz-Rechteck $\hat{\Theta}_\alpha(\omega)$ für das Varianzpaar $(\sigma^2_1, \sigma^2_0)$ . Dieses Rechteck wird durch die Kombination von einseitigen empirischen Bernstein-Schranken für die Standardabweichung jedes Arms gebildet, wodurch sichergestellt wird, dass das wahre Varianzpaar mit einer Wahrscheinlichkeit von mindestens $1-\alpha$ innerhalb des Rechtecks liegt.
Optimierung: Die CMR-Regel wählt die Zuweisungswahrscheinlichkeit $p^{CMR}$ , die den Worst-Case-Regret über dieses spezifische Konfidenz-Rechteck minimiert:
$p^{CMR}(\omega) \in \arg\min_{p \in (0,1)} \sup_{\theta \in \hat{\Theta}_\alpha(\omega)} r(p, \theta)$
wobei $r(p, \theta)$ der Regret im Verhältnis zur nicht-machbaren Neyman-Allokation ist.
Geschlossene Lösung: Für binäre Behandlungen ist die Lösung in geschlossener Form verfügbar. Die Regel wendet die Neyman-Formel auf die Mittelpunkte der Standardabweichungs-Konfidenzintervalle an. Wenn das Konfidenz-Rechteck breit (uninformativ) ist, konvergieren die Mittelpunkte, und die Regel fällt auf eine ausgewogene Zuweisung zurück. Wenn sich das Rechteck zusammenzieht (informativ), bewegt sie sich in Richtung der wahren Neyman-Allokation.
Zertifizierung: Zusammen mit der Zuweisung berichtet die Regel ein „Zertifikat“ ( $U^{CMR}$ ), welches den Worst-Case-Regret über dem Konfidenzbereich angibt. Dies liefert eine Schranke für den Präzisionsverlust in endlichen Stichproben, der durch das gewählte Design verursacht wird.

Wesentliche Beiträge und Ergebnisse

Sicherheit in endlichen Stichproben: Im Gegensatz zur FNA weist die CMR niemals eine Wahrscheinlichkeit von Null zu einem Arm zu, es sei denn, das Konfidenzintervall schließt eine positive Varianz für diesen Arm explizit aus (was unter der vorgeschlagenen Konstruktion eine starke Evidenz erfordert). Die Regel garantiert einen Regret, der nicht schlechter als der der no-pilot-basierten ausgewogenen Zuweisung ist (höchstens 1/4 der Varianzskala) mit einer Wahrscheinlichkeit von $1-\alpha$ .
Asymptotische Effizienz: Wenn die Größe der Pilotstudie wächst, kollabiert das Konfidenz-Rechteck zu den wahren Varianzen. Die CMR-Regel konvergiert gegen die nicht-machbare Neyman-Allokation mit der Standard-Invers-Quadratwurzel-Rate ( $O_p(M^{-1/2})$ ). Folglich schrumpfen der realisierte Regret und das Zertifikat mit der inversen Pilot-Rate ( $O_p(M^{-1})$ ).
Minimax-Regret-Rate: Die Arbeit etabliert, dass der Worst-Case-erwartete Regret der CMR die theoretische Minimax-Regret-Untergrenze (bis auf Konstanten) für jede Pilot-basierte Regel erreicht. Somit erzielt CMR die bestmögliche Worst-Case-Performance-Rate, ohne die rechnerisch schwer fassbare exakte ex-ante Minimax-Lösung zu benötigen.
Erweiterungen: Das Framework lässt sich natürlich erweitern auf:
- Mehr-Arm-Designs: Wo eine gemeinsame Kontrollgruppe gegen $K$ Behandlungen verglichen wird.
- Stratifizierte Designs: Wo die Pilotstudie sowohl die Stichprobenmargen der Schichten als auch die innerhalb der Schichten liegenden Zuweisungswahrscheinlichkeiten informiert.
- Binäre Ergebnisse: Verwendung der exakten Invertierung der gefalteten Binomialverteilung, um die Konfidenzintervalle für kleine Piloten zu straffen.

Simulationsbelege
Kalibrierte Simulationen unter Verwendung von Daten aus vier Feldexperimenten (Miguel & Kremer, 2004; Bertrand & Mullainathan, 2004; Thornton, 2008; Abel et al., 2020) demonstrieren die praktischen Auswirkungen:

FNA-Versagen: Bei realistischen Pilotgrößen (z. B. $M=30$ ) erleidet die FNA in mehreren Designs aufgrund von Randfehlern (Zuweisung einer Wahrscheinlichkeit von Null an einen Arm mit positiver Varianz) unendliche oder sehr große Effizienzverluste.
CMR-Leistung: Die CMR bleibt bei der ausgewogenen Zuweisung, bis die Pilotdaten ausreichend informativ sind, um die Worst-Case-Konfigurationen auszuschließen. Sobald sie informativ sind, erfasst sie den Großteil der erzielbaren Präzisionsgewinne.
Abwägungen: In Zwei-Arm-Designs, in denen der potenzielle Gewinn durch Adaptation gering ist (oft <1%), fungiert die CMR als „Versicherung“ gegen den unbegrenzten Nachteil der FNA bei praktisch keinem Verlust an der Oberseite. In Multi-Arm- und stratifizierten Designs, in denen die potenziellen Gewinne größer und die FNA fragiler sind, liefert die Disziplin der CMR signifikante Nettovorteile.

Bedeutung und Ansprüche
Die Arbeit behauptet, eine Vorlage für die Integration statistischer Unsicherheit direkt in das experimentelle Design zu liefern. Sie argumentiert, dass die Wahl zwischen dem Ignorieren des Piloten (Balance) und dem blinden Vertrauen auf ihn (FNA) eine falsche Dichotomie ist. Die CMR-Regel ermöglicht es, das Design „genau so weit zu bewegen, wie die Evidenz der Pilotstudie es rechtfertigt, und nicht weiter“.

Die Bedeutung liegt in drei Merkmalen:

Operabilität: Sie bietet eine berechenbare, in geschlossener Form vorliegende Regel für endliche Stichproben, im Gegensatz zur exakten Minimax-Regret-Lösung, die im Allgemeinen schwer fassbar ist.
Zertifizierung: Sie koppelt die Designentscheidung mit einer Garantie (dem Zertifikat) auf den Präzisionsverlust in endlichen Stichproben, ein Merkmal, das in Standard-Plug-in-Ansätzen fehlt.
Robustheit: Sie löst das Spannungsverhältnis zwischen Sicherheit in endlichen Stichproben und asymptotischer Effizienz, indem sie die Minimax-Regret-Rate erreicht, ohne große Piloten zu benötigen, um sicher zu funktionieren.

Der Autor kommt zu dem Schluss, dass die CMR für die in der Praxis üblichen kleinen Piloten eine fundierte Möglichkeit bietet, Designs anzupassen und gleichzeitig vor den schweren Präzisionsverlusten zu schützen, die mit verrauschten Varianzschätzungen einhergehen.

Das große Experiment-Balancing-Spiel

Was die Arbeit herausfand

Warum es wichtig ist

Mehr davon