📈 economics

When and How to Pilot: Design Rules for Two-Wave Experiments

Dit artikel stelt een Conditional Minimax Regret (CMR)-regel voor voor experimenten in twee golven die de robuustheid van gebalanceerde toewijzing optimaal afweegt tegen de efficiëntie van Neyman-allocatie door het slechtste scenario van spijt te minimaliseren over een eindige-steekproef betrouwbaarheidsinterval, waardoor de ernstige precisieverliezen van adaptieve methoden bij kleine pilots worden vermeden terwijl de winsten ervan bij grote pilots worden benut.

Oorspronkelijke auteurs: Juan C. Yamin

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juan C. Yamin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt een beperkte voorraad aan aanwijzingen. Je wilt weten welke verdachte schuldig is, maar je weet niet wie de meeste geheimen verbergt. In de wereld van de wetenschap voeren onderzoekers "experimenten" uit om antwoorden te vinden, zoals het testen of een nieuw medicijn werkt of dat een nieuwe onderwijsmethode studenten helpt leren. Om dit te doen, verdelen ze mensen in twee groepen: een "behandelgroep" die het nieuwe ding krijgt, en een "controlegroep" die niets krijgt (of het oude ding). Het doel is om de twee groepen te vergelijken om het verschil te zien.

Maar hier komt het lastige deel bij: niet iedereen reageert op dezelfde manier. Sommige mensen zijn heel consistent; anderen zijn alle kanten op. Als de "behandelgroep" vol zit met onvoorspelbare mensen, moet je meer van hen testen om een duidelijk antwoord te krijgen. Als de "controlegroep" vol zit met wildcards, heb je meer van hen nodig. De grote vraag is: hoe weet je welke groep de "wildcard"-groep is voordat je aan je hoofdonderzoek begint?

Wetenschappers voeren vaak eerst een kleine "pilot"-test uit — een kleine voorproever van het echte werk — om een hint te krijgen. Dit creëert echter een dilemma. Als je de pilot te veel vertrouwt, kun je in de strik lopen (zoals twee keer een munt opgooien en twee keer kop krijgen, en dan denken dat de munt vals is). Als je de pilot volledig negeert, mis je misschien een kans op een veel scherper antwoord. Dit artikel gaat over het vinden van de perfecte balans tussen te voorzichtig zijn en te roekeloos zijn wanneer je die kleine pilot-hints gebruikt om een groot experiment te ontwerpen.

De Grote Balansact van het Experiment

Stel je voor dat je een chef-kok bent die een enorm banket bereidt voor 1.000 gasten. Je hebt twee hoofdgerechten: een pittige curry en een milde stoofpot. Je wilt weten welke mensen de voorkeur geven. Maar je weet ook dat sommige mensen zeer kieskeurige eters zijn (hun smaak varieert enorm), terwijl anderen heel consistent zijn. Als je de pittige curry serveert aan een groep kieskeurige eters, moet je de curry aan veel van hen serveren om de gemiddelde mening te achterhalen. Als je de milde stoofpot serveert aan een groep consistente eters, heb je niet zoveel mensen nodig.

Het "perfecte" plan zou zijn om de curry aan 800 mensen te serveren en de stoofpot aan 200, als de curry het gerecht is met de kieskeurige eters. Dit wordt de Neyman-allocatie genoemd (vernoemd naar een statisticus die dit decennia geleden bedacht heeft). Het is de meest efficiënte manier om een antwoord te krijgen.

Maar hier is de crux: je weet nog niet wie de kieskeurige eters zijn! Je moet de verdeling beslissen voordat het banket begint.

Dus besluit je eerst een kleine "pilot"-maaltijd te bereiden. Je nodigt 30 mensen uit om de gerechten te proeven. Cruciaal is dat elke persoon slechts één gerecht mag proeven. Sommigen krijgen de curry, en anderen krijgen de stoofpot. Op basis van hoe die specifieke groepen reageerden, plan je het grote banket.

De Oude Manieren:

De Chef die de boel niet wil verstoren: Deze chef negeert de pilot volledig. Hij verdeelt de 1.000 gasten gewoon 50/50. Het is veilig. Wat er ook gebeurt, hij zal niet per ongeluk te weinig curry hebben voor de kieskeurige eters. Maar hij kan een kans missen op een super-precies antwoord als de pilot daadwerkelijk een groot verschil liet zien.
De Chef die de Pilot vertrouwt: Deze chef kijkt naar de 30 pilot-proevers en zegt: "Hé, de curry-groep was super onvoorspelbaar! Ik serveer curry aan 900 mensen!" Maar wat als die 30 pilot-proevers toevallig een slechte dag hadden? Wat als de curry eigenlijk prima is, maar de pilot-groep gewoon erg chaotisch was? Deze chef kan eindigen met het serveren van curry aan 900 mensen, terwijl hij er slechts 200 nodig had, waardoor hij middelen verspilt en een slechter antwoord krijgt dan wanneer hij de verdeling simpelweg gelijkmatig had gehouden. In het ergste geval, als de pilot-groep voor één gerecht perfect kalm was (iedereen vond het precies hetzelfde), kan deze chef besluiten om nul mensen dat gerecht te serveren, waardoor hij helemaal geen data heeft.

De Nieuwe Oplossing: De "Conditional Minimax Regret" (CMR) Regel
De auteur van dit artikel, Juan Yamin, stelt een nieuwe manier van denken voor. Hij noemt dit de Conditional Minimax Regret (CMR) regel.

Zie CMR als een zeer slimme, licht paranoïde chef die de pilot-data gebruikt om een "veiligheidszone" te tekenen in plaats van een enkele gok.

In plaats van te zeggen: "De curry is definitief onvoorspelbaar," zegt de chef: "Op basis van deze 30 mensen zou de curry onvoorspelbaar kunnen zijn, maar het zou ook kalm kunnen zijn. Hier is een reeks mogelijkheden."
Als de pilot-data zwak is (slechts 30 mensen), is de "veiligheidszone" enorm groot. De chef realiseert zich: "Ik kan het nog niet zeker weten," en houdt vast aan de veilige 50/50-verdeling.
Als de pilot-data sterk is (500 mensen), krimpt de "veiligheidszone". De chef kan nu zeggen: "Oké, ik ben vrij zeker dat de curry de wild card is," en hij verschuift de verdeling richting de curry-groep.

De magie van CMR is dat het nooit te ver beweegt, tenzij het bewijs sterk genoeg is om de "pechscenario's" uit te sluiten. Het komt met een certificaat — een klein briefje dat zegt: "Zelfs als ik het mis heb, is dit het slechtst denkbare scenario, en dat is niet zo erg."

Wat het Papier Vond

Het papier praat niet alleen over dit onderwerp; het bewijst het met wiskunde en test het met simulaties met echte data uit beroemde eerdere experimenten (zoals studies naar het ontwormen van kinderen in Afrika of het testen van cv's op discriminatie bij banen).

De Resultaten:

De "Vertrouw de Pilot"-Chef (Feasible Neyman) is gevaarlijk met kleine pilots. Wanneer de pilot klein is (zoals 30 mensen), maakt deze methode vaak grote fouten. In de simulaties zorgde deze methode er soms voor dat het experiment zo inefficiënt was dat het was alsof de onderzoekers de helft van hun data hadden weggegooid. In sommige gevallen probeerde het zelfs nul mensen aan een groep toe te wijzen die eigenlijk getest moest worden, wat een ramp is.
De "Niet de Boel Verstoren"-Chef is veilig maar mist kansen. Hij maakt nooit een grote fout, maar hij krijgt ook nooit de extra precisie die een goede pilot had kunnen bieden.
De CMR-Chef is de Goldilocks. Wanneer de pilot klein is (30 mensen), blijft CMR dicht bij de veilige 50/50-verdeling en vermijdt de enorme rampen van de "Vertrouw de Pilot"-chef. Maar naarmate de pilot groter wordt (500 mensen) en de data duidelijker wordt, verschuift CMR soepel naar de perfecte verdeling, waarbij hij bijna alle voordelen van de "Vertrouw de Pilot"-methode vangt zonder de risico's.

In de simulaties, wanneer de pilot klein was (30 mensen), faalde de "Vertrouw de Pilot"-methode soms volledig (oneindig verlies), terwijl CMR veilig bleef. Naarmate de pilot groeide naar 500 mensen, haalde CMR in en presteerde bijna net zo goed als de perfecte methode, maar met de garantie dat het niet zou crashen en doorbranden als de pilot slechts een toevalstreffer was.

Waarom het Er Toe Doet

Dit artikel lost een specifiek, irritant probleem op waar wetenschappers elke dag mee te maken krijgen: Hoeveel moet ik mijn kleine testronde vertrouwen?

Het antwoord is: Vertrouw het net genoeg om te bewegen, maar niet zo veel dat je van een klif valt.

Het papier laat zien dat je niet hoeft te kiezen tussen een lafaard zijn (de pilot negeren) of een gokker zijn (alles op de pilot wedden). Je kunt een regel gebruiken die zegt: "Ik zal mijn plan precies zo ver aanpassen als het bewijs mij toestaat om er zeker van te zijn dat ik geen fout maak." Het zet de angstaanjagende onzekerheid van kleine data om in een beheersbare, veilige stap voorwaarts.

De auteurs hebben dit getest met vier verschillende real-world scenario's, en in elk geval beschermde hun nieuwe regel de onderzoekers tegen de ergste fouten, terwijl ze nog steeds de beste antwoorden konden krijgen wanneer de data goed was. Het is als een autogordel die alleen strakker wordt als je daadwerkelijk een hobbel raakt, waardoor je veilig blijft zonder dat de rit oncomfortabel wordt.

Technische Samenvatting: Ontwerpregels voor twee-golf experimenten

Probleemstelling
Het artikel behandelt het ontwerp van twee-golf experimenten waarbij een pilot-studie de toewijzingskans ( $\pi$ ) voor een daaropvolgende hoofd-golf informeert. Het doel is om de variantie van de Average Treatment Effect (ATE) schatter te minimaliseren. Hoewel de optimale toewijzing bekend is als de Neyman-allocatie — die meer observaties toewijst aan de arm met een hogere uitkomstvariantie — vereist deze allocatie kennis van de ware potentiële uitkomstvarianties ( $\sigma^2_1, \sigma^2_0$ ), die op het moment van ontwerp nog onbekend zijn.

De centrale spanning ligt in de vraag hoe men ruisgevoelige pilot-schattingen kan benutten. Twee canonieke benaderingen vertegenwoordigen de extremen:

Gebalanceerde Toewijzing: Negeert de pilot en wijst $\pi = 1/2$ toe. Dit is minimax-risico optimaal (veilig tegen de slechtste scenario's) maar slaagt er niet in te adapteren aan bewijs dat één arm ruisgevoeliger is, waardoor potentiële winsten in precisie worden misgelopen.
Feasible Neyman Allocation (FNA): Gebruikt de pilot-steekproefvarianties direct in de Neyman-formule. Hoewel asymptotisch efficiënt, is dit kwetsbaar in eindige steekproeven. Als een pilot een nul of een bijna-nul steekproefvariantie oplevert (een veelvoorkomend verschijnsel bij kleine steekproeven of binaire uitkomsten), kan FNA een toewijzingskans van nul of een verwaarloosbare kans aan een arm toewijzen die een positieve ware variantie heeft, wat leidt tot oneindige of willekeurig grote precisieverliezen.

Dit wordt geformaliseerd als een statistisch beslissingsprobleem voor eindige steekproeven: hoeveel autoriteit moet het ruisgevoelige pilot-bewijs hebben over het ontwerp van de hoofd-golf?

Methodologie: Conditional Minimax Regret (CMR)
De auteur stelt de Conditional Minimax Regret (CMR) regel voor, die de focus van de besluitvorming verschuift van het minimaliseren van het slechtste geval-risico over de gehele modelklasse naar het minimaliseren van het slechtste geval-regret over een confidence set voor eindige steekproeven afgeleid van de gerealiseerde pilot.

De procedure werkt als volgt:

Constructie van de Confidence Set: Na het observeren van de pilot construeert de experimentator een gezamenlijk confidence rectangle $\hat{\Theta}_\alpha(\omega)$ voor het variantiepaar $(\sigma^2_1, \sigma^2_0)$ . Dit rectangle wordt gevormd door eenzijdige empirische Bernstein-bounds voor de standaarddeviatie van elke arm te combineren, waarbij wordt gegarandeerd dat het ware variantiepaar binnen het rectangle ligt met een waarschijnlijkheid van ten minste $1-\alpha$ .
Optimalisatie: De CMR-regel selecteert de toewijzingskans $p^{CMR}$ die het slechtste geval-regret minimaliseert over dit specifieke confidence rectangle:
$p^{CMR}(\omega) \in \arg\min_{p \in (0,1)} \sup_{\theta \in \hat{\Theta}_\alpha(\omega)} r(p, \theta)$
waarbij $r(p, \theta)$ het regret is ten opzichte van de infeasible Neyman-allocatie.
Closed-Form Oplossing: Voor binaire behandelingen is de oplossing in gesloten vorm beschikbaar. De regel past de Neyman-formule toe op de middelpunten van de standaarddeviatie confidence intervals. Als het confidence rectangle breed is (oninformatief), convergeren de middelpunten en keert de regel terug naar balans. Naarmate het rectangle krimpt (informatief), beweegt de regel richting de ware Neyman-allocatie.
Certificering: Naast de toewijzing rapporteert de regel een "certificaat" ( $U^{CMR}$ ), wat het slechtste geval-regret is over de confidence set. Dit biedt een grens voor eindige steekproeven op het precisieverlies dat wordt veroorzaakt door het gekozen ontwerp.

Belangrijkste Bijdragen en Resultaten

Veiligheid in Eindige Steekproeven: In tegenstelling tot FNA wijst CMR nooit een kans van nul toe aan een arm, tenzij de confidence set expliciet een positieve variantie voor die arm uitsluit (wat, onder de voorgestelde constructie, sterke bewijslast vereist). De regel garandeert een regret die niet slechter is dan de no-pilot gebalanceerde toewijzing (maximaal 1/4 van de variantieschaal) met een waarschijnlijkheid van $1-\alpha$ .
Asymptotische Efficiëntie: Naarmate de omvang van de pilot groeit, convergeert het confidence rectangle naar de ware varianties. De CMR-regel convergeert naar de infeasible Neyman-allocatie met de standaard inverse-square-root rate ( $O_p(M^{-1/2})$ ). Bijgevolg krimpen het gerealiseerde regret en het certificaat met de inverse-pilot rate ( $O_p(M^{-1})$ ).
Minimax Regret Rate: Het artikel stelt vast dat het slechtste geval verwachte regret van CMR overeenkomt met de theoretische minimax-regret ondergrens (tot aan constanten) voor elke pilot-gebaseerde regel. CMR bereikt dus de best mogendele worst-case performance rate zonder de computationeel onhandelbare oplossing van het exacte ex-ante minimax probleem te vereisen.
Extensies: Het framework breidt zich natuurlijk uit naar:
- Multi-arm ontwerpen: Waarbij een gedeelde controle wordt vergeleken met $K$ behandelingen.
- Gestreifieerde ontwerpen: Waarbij de pilot zowel de stratum sampling margins als de binnen-stratum toewijzingskansen informeert.
- Binaire Uitkomsten: Het gebruik van exacte inversie van de gefold-binomiale distributie om de confidence sets voor kleine pilots aan te scherpen.

Simulatiebewijs
Gecalibreerde simulaties met data uit vier veldexperimenten (Miguel & Kremer, 2004; Bertrand & Mullainathan, 2004; Thornton, 2008; Abel et al., 2020) demonstreren de praktische implicaties:

FNA Falen: Bij realistische pilot-omvang (bijv. $M=30$ ), lijdt FNA in verschillende ontwerpen aan oneindige of zeer grote efficiëntieverliezen door boundary failures (het toewijzen van een kans van nul aan een arm met een positieve variantie).
CMR Prestaties: CMR blijft bij balans totdat de pilot-data voldoende informatief is om de slechtste geval-configuraties uit te sluiten. Zodra het informatief is, vangt het het grootste deel van de haalbare precisiewinsten op.
Trade-offs: In twee-arm ontwerpen waar de potentiële winst van adaptatie klein is (vaak <1%), fungeert CMR als "verzekering" tegen de onbegrensde neerwaartse risico's van FNA, tegen nagenoeg geen kosten voor de opwaartse zijde. In multi-arm en gestratifieerde ontwerpen, waar de potentiële winsten groter zijn en FNA kwetsbaarder, levert de discipline van CMR significante netto voordelen op.

Betekenis en Claims
Het artikel claimt een blauwdruk te bieden voor het integreren van statistische onzekerheid direct in het experimentele ontwerp. Het betoogt dat de keuze tussen het negeren van de pilot (balans) en het blind vertrouwen op de pilot (FNA) een valse dichotomie is. De CMR-regel maakt het mogelijk om het ontwerp "precies zo ver te laten bewegen als het bewijs van de pilot rechtvaardigt en niet verder."

De betekenis ligt in drie kenmerken:

Operationeel: Het biedt een berekenbare, closed-form regel voor eindige steekproeven, in tegenstelling tot de exacte minimax-regret oplossing die over het algemeen onhandelbaar is.
Certificering: Het koppelt de ontwerpbeslissing aan een garantie voor eindige steekproeven (het certificaat) op het precisieverlies, een kenmerk dat ontbreekt in standaard plug-in benaderingen.
Robuustheid: Het lost de spanning op tussen veiligheid in eindige steekproeven en asymptotische efficiëntie, waarbij de minimax-regret rate wordt bereikt zonder dat grote pilots nodig zijn om te functioneren.

De auteur concludeert dat voor de in de praktijk gebruikelijke kleine pilots, CMR een principiële manier biedt om ontwerpen te adapteren terwijl men beschermd blijft tegen de ernstige precisieverliezen die gepaard gaan met ruisgevoelige variantieschattingen.

De Grote Balansact van het Experiment

Wat het Papier Vond

Waarom het Er Toe Doet

Meer zoals dit