📈 economics

Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

Dit artikel stelt een verenigd kader voor het ontwerpen van kostenbeperkte experimenten die gecombineerd kunnen worden met potentieel bevooroordeelde observationele gegevens door een minimax proportioneel-regret criterium te hanteren om de bias-variantie afweging te optimaliseren zonder dat vooraf gespecificeerde bias-grenzen vereist zijn.

Oorspronkelijke auteurs: Aristotelis Epanomeritakis, Davide Viviano

Gepubliceerd 2026-07-20

📖 7 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Aristotelis Epanomeritakis, Davide Viviano

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Dilemma van de Grote Detective: Wanneer Aanwijzingen Liegen

Stel je voor dat je een detective bent die een enorme mysteries probeert op te lossen: hoe een nieuw beleid, zoals het geven van geld aan arme gezinnen, de economie van een heel land zal veranderen. Je hebt twee soorten aanwijzingen. Het eerste type komt uit een "Randomized Controlled Trial" (RCT). Dit is als een perfect gecontroleerd wetenschappelijk experiment waarbij je een kleine groep mensen een specifieke behandeling geeft en kijkt wat er gebeurt in een laboratorium. Deze aanwijzingen zijn goud waard omdat ze betrouwbaar zijn; je weet precies wat de oorzaak van het resultaat is. Maar er is een addertje onder het gras: deze experimenten zijn duur en vinden meestal plaats in zeer specifieke, kleine dorpjes. Ze vertellen je wat er in dat ene dorp gebeurt, maar ze kunnen je niet vertellen wat er gebeurt als je het programma landelijk uitrolt, waarbij prijzen veranderen en mensen op complexe manieren reageren.

Het tweede type aanwijzing komt uit "Observationele Evidentie". Dit is als het lezen van oude dossierstukken of nieuwsberichten over wat er elders is gebeurd. Deze aanwijzingen zijn goedkoop en beslaan grote gebieden, maar ze zijn rommelig. Misschien waren de mensen in die oude rapporten anders, of was er misschien iets anders aan de hand waardoor de resultaten er anders uitzagen dan ze in werkelijkheid waren. Het grote probleem voor wetenschappers is: hoe combineer je deze twee soorten aanwijzingen? Je wilt de betrouwbaarheid van het experiment én het brede perspectief van de oude rapporten, maar je weet niet hoeveel de oude rapporten liegen. Als je de oude rapporten te veel vertrouwt, kan je hele theorie instorten. Als je ze negeert, verspil je een hoop nuttige informatie. Dit artikel gaat over het bouwen van een betere kaart voor detectives, zodat zij precies kunnen beslissen hoeveel van hun budget ze moeten uitgeven aan het dure experiment versus hoeveel ze moeten vertrouwen op de rommelige oude dossiers.

De Oplossing van het Papier: Het "Spijt"-Kompas

Dit artikel, getiteld "Learning What to Learn", stelt een nieuwe manier voor om experimenten te ontwerpen wanneer je verse, dure data moet mengen met oude, potentieel bevooroordeelde data. De auteurs, Aristotelis Epanomeritakis en Davide Viviano, stellen dat de oude manier van doen — het proberen te minimaliseren van de "ruis" of variantie in je resultaten — gevaarlijk is als je de mogelijkheid negeert dat je oude data bevooroordeeld is. In plaats daarvan introduceren ze een nieuw kompas genaamd Minimax Proportional Regret.

Beschouw "Spijt" (Regret) als het gevoel dat je krijgt als je terugkijkt en wenst dat je een andere keuze had gemaakt. In dit artikel stellen de auteurs zich een superintelligente "Oracle" voor (een magisch wezen) die precies weet hoeveel bias er in de oude data zit. De Oracle kiest het perfecte experiment en de perfecte manier om de data te mengen om het beste antwoord te krijgen. Omdat echte onderzoekers geen magische Oracle hebben, kunnen ze de exacte mate van bias niet kennen. Daarom vragen de auteurs: "Wat als we een ontwerp kiezen dat ons zo min mogelijk spijt bezorgt, zelfs in het slechtste scenario?"

Het artikel concludeert dat de beste strategie niet simpelweg is om het experiment te kiezen dat de meest precieze cijfers oplevert. In plaats daarvan is het de opdracht om een "sweet spot" te vinden waar je twee dingen in evenwicht houdt:

Variantie-spijt (Variance Regret): Hoe "ruizig" of wankel je resultaten zijn omdat je niet genoeg data hebt verzameld.
Bias-spijt (Bias Regret): Hoe fout je resultaten zouden kunnen zijn omdat je een bevooroordeeld oud rapport te veel hebt vertrouwd.

De auteurs laten zien dat het optimale ontwerp een ontwerp is waarbij deze twee soorten spijt gelijk worden gemaakt. Het is als een koorddanser: als je te ver doorslaat naar het minimaliseren van ruis (het verzamken van enorme hoeveelheden experimentele data), kun je van de klif van bias vallen (het vertrouwen op een leugen). Als je te ver doorslaat naar het minimaliseren van bias (het negeren van de ruizige data), kun je van de klif van variantie vallen (je cijfers zijn te wankel om bruikbaar te zijn). Het artikel bewijst wiskundig dat het beste ontwerp degene is waarbij je even bang bent voor beide kliffen.

Hoe het werkt in de echte wereld

Om te bewijzen dat hun idee werkt, testten de auteurs het met een praktijkvoorbeeld: een regering in Kenia die wil weten hoe contante overdrachten de schoolbezoeken beïnvloeden. Ze hadden wat oude data van een beroemd programma in Mexico (PROGRESA) die misschien niet perfect van toepassing is op Kenia. Ze moesten beslissen of ze een nieuw experiment moesten uitvoeren om het directe effect van contant geld te meten, het effect van inkomen, of het effect van lonen.

Met behulp van hun nieuwe "Spijt"-methode ontdekten ze dat de standaardmanier van doen (genaamd "Neyman allocation") al hun geld zou hebben uitgegeven aan de experimenten met contante overdrachten, omdat die de schoonste cijfers opleverden. Dit negeerde echter het risico dat de oude Mexicaanse data bevoordeeld was. De nieuwe methode suggereerde een ander pad: het adviseerde om een werkprogramma-experiment uit te voeren bij elke overwogen steekproefomvang, in plaats van de experimenten met contante overdrachten. De standaardmethoden schakelden pas bij zeer grote steekproefomvang over naar het werkprogramma, maar de nieuwe methode gaf er direct prioriteit aan om het risico op bias te vermijden.

In hun simulaties toonden de auteurs aan dat de oude methoden er geweldig uit zouden zien als de oude data perfect was, maar dat ze volledig in elkaar zouden storten als de data zelfs maar een klein beetje fout was. De nieuwe "Regret-optimale" methode bleef stabiel. Het accepteerde een kleine toename in de "ruis" van de resultaten om een enorme vermindering van het risico op fouten te verkrijgen. Bijvoorbeeld, bij een steekproefomvang van 3.700 mensen (typisch voor dit soort studies), hadden de oude methoden een "spijt"-score van meer dan 4 of 5, wat betekent dat ze ver van het best mogelijke antwoord af waren. De nieuwe methode hield de score rond de 1,3, wat betekent dat het veel dichter bij de waarheid lag, zelfs als de oude data bevooroordeeld was.

Wat het papier wel en niet zegt

Het artikel is heel duidelijk over wat het wel en niet doet. Het beweert niet dat we moeten stoppen met experimenten doen of dat we moeten stoppen met het gebruik van oude data. Het zegt ook niet dat we magisch kunnen weten hoe bevooroordeeld de oude data is. Sterker nog, dat is juist het hele punt: we weten het niet.

De auteurs argumenteren expliciet tegen het idee om alleen maar te proberen de experimentele cijfers zo precies mogelijk te maken (variantie minimaliseren) zonder rekening te houden met bias. Ze laten zien dat je dan misschien een zeer precies antwoord krijgt op de verkeerde vraag. Ze argumenteren ook tegen het zo bang zijn voor bias dat je de oude data geheel negeert; dat verspilt middelen en levert wankele resultaten op.

De bevindingen zijn gebaseerd op wiskundige bewijzen en computersimulaties. De auteurs laten zien dat hun methode werkt voor een brede klasse van veelvoorkomende statistische instrumenten (zoals GMM en minimum distance estimators) en zelfs voor scenario's waarin een "Bayesiaans publiek" (een groep mensen met verschillende overtuigingen) probeert de data te interpreteren. Ze bewijzen dat hun "Spijt"-benadering een robuuste manier is om met het onbekende om te gaan. Ze beweren niet dat ze elk mogelijk probleem in de economie hebben opgelost, maar ze bieden een specifiek, wiskundig onderbouwd hulpmiddel voor het zeer veelvoorkomende probleem van het mengen van schone experimenten met rommelige real-world data.

De Kernboodschap

Uiteindelijk geeft dit artikel onderzoekers een nieuw regelboek voor het uitgeven van hun beperkte budgetten. Het vertelt hen: "Zoek niet alleen naar de glimmendste, meest precieze data. Zoek naar het ontwerp dat je veilig houdt voor de grootste fouten, zelfs als je niet precies weet wat die fouten zijn." Het is een les in nederigheid: door toe te geven dat we niet alles over het verleden weten, kunnen we betere experimenten voor de toekomst ontwerpen. Het resultaat is een eerlijkere, betrouwbaardere manier om grote beleidsvragen te beantwoorden, waardoor wordt gewaarborgd dat wanneer overheden geld uitgeven aan programma's, ze die beslissingen baseren op een fundament dat zowel precies als veerkrachtig is.

Technische Samenvatting: Leren wat te leren: Experimenteel ontwerp bij het combineren van experimentele met observationele bewijslast

Probleemstelling
Gerandomiseerde gecontroleerde onderzoeken (RCT's) bieden intern valide schattingen van behandelingseffecten, maar zijn vaak beperkt door kosten en haalbaarheid, waardoor ze beperkt blijven tot specifieke locaties, kleine populaties of gedeeltelijke evenwichtsmechanismen. Bijgevolg combineren onderzoekers regelmatig experimentele schattingen met extern bewijs — zoals reduced-form of structurele schattingen uit observationele data of experimenten in andere contexten — om bredere beleidsvragen te beantwoorden die betrekking hebben op algemene evenwichtseffecten (GE) of externe validiteit.

De centrale uitdaging die in dit artikel wordt aangepakt, is het ontwerp van experimenten in deze gecombineerde setting. Specifiek: hoe moet een onderzoeker kiezen welk experiment(en) uitgevoerd moet worden en hoe de steekproefomvang moet worden toegewezen onder budgetbeperkingen wanneer de externe bewijslast kan lijden aan onbekende biases (bijv. door confounding of een gebrek aan externe validiteit)? De traditionele literatuur over experimenteel ontwerp gaat er vaak van uit dat alle parameters binnen het experiment geïdentificeerd zijn of richt zich op vaste ontwerpen, waardoor er een methodologische kloof ontstaat voor het optimaliseren van de keuze van een experiment wanneer men vertrouwt op potentieel bevooroordeelde externe data.

Methodologie en Raamwerk
De auteurs ontwikkelen een verenigd raamwerk voor experimenteel ontwerp dat experimentele en observationele bewijslast integreert. De opzet omvat:

Doel-estimand: Een beleidsrelevante grootheid $\tau(\theta)$ , waarbij $\theta$ een vector van onbekende parameters is en $\tau$ een bekende gladde functie.
Databronnen:
- Observationele Schattingen ( $S_{obs}$ ): Een set schattingen die bevooroordeeld kunnen zijn door een onbekende vector $b$ . Deze dienen als baseline, maar zijn niet gegarandeerd onbevooroordeeld.
- Experimentele Schattingen ( $S_{exp}$ ): Een set onbevooroordeelde momenten verkregen uit haalbare experimenten $E$ , die een deelverzameling van de parameters in $\theta$ identificeren.
Estimatoren: De auteurs richten zich op (asymptotisch) lineaire estimatoren, zoals de Generalized Method of Moments (GMM) of minimumafstand-estimatoren, die een lineaire representatie in de momenten toestaan.

Doelfunctie: Minimax Proportionele Spijt
Omdat de bias $b$ vooraf onbekend is, is het direct minimaliseren van de Mean Squared Error (MSE) onhaalbaar zonder een limiet op de bias te specificeren. De auteurs stellen een minimax proportionele-spijt-criterium voor.

De Oracle: Een oracle die de ware omvang van de observationele bias ( $B$ ) kent en zowel het optimale ontwerp als de optimale estimator kiest om de MSE te minimaliseren.
De Spijt (Regret): De prestaties van een kandidaat-ontwerp worden gemeten als de ratio van de slechtste MSE tot de MSE van de oracle, gemaximaliseerd over alle mogelijke bias-omvang $B \geq 0$ .
$R(E, \Sigma, W) \equiv \sup_{B \geq 0} \frac{\sup_{b \in \mathcal{B}(B)} \text{MSE}_b(E, \Sigma, W)}{\text{MSE}^*(B)}$
Kerninzicht: Voor lineaire estimatoren vereenvoudigt deze proportionele spijt tot het maximum van twee genormaliseerde componenten:
1. Variantie-spijt: De ratio van de variantie van het ontwerp tot de minimale haalbare variantie ( $\alpha / \alpha^*$ ).
2. Bias-spijt: De ratio van de slechtste gekwadrateerde bias veroorzaakt door het ontwerp tot de minimale haalbare slechtste bias ( $\beta / \beta^*$ ).
  $R = \max \left\{ \frac{\alpha}{\alpha^*}, \frac{\beta}{\beta^*} \right\}$

Deze formulering levert een transparante bias-variantie afweging op. Het optimale ontwerp egaliseert de genormaliseerde variantie- en bias-spijt, waardoor onderzoekers geen harde grens op de bias hoeven te specificeren.

Belangrijkste Bijdragen en Resultaten

Nieuwe Karakterisering van Spijt: Het artikel biedt een nieuwe karakterisering die aantoont dat voor lineaire estimatoren de slechtste proportionele spijt een quasi-convexe functie is van de bias-radius. Dit maakt het mogelijk om het optimalisatieprobleem efficiënt op te lossen als een convex probleem (voor vaste ontwerpen) of een mixed-integer convex programma (bij het kiezen tussen discrete experimenten). Dit staat in contrast met niet-lineaire estimatoren onder vaste ontwerpen, waarbij optimalisatie vaak vereist dat er over worst-case priors wordt opgelost en waar quasi-convexiteit ontbreekt.
"Bias-bewuste" Neyman-allocatie: De optimale oplossing generaliseert de standaard Neyman-allocatie. Terwijl standaard Neyman-allocatie de variantie minimaliseert, past de voorgestelde "bias-bewuste" allocatie de steekproefomvang en experimentselectie aan op basis van de gevoeligheid van de doel-estimand voor potentiële biases. Als bias domineert, geeft het ontwerp prioriteit aan parameters met een hoge gevoeligheid; als variantie domineert, investeert het in het verminderen van de steekproefruis.
Uitbreiding naar een Bayesiaans Publiek: Het raamwerk wordt uitgebreid naar situaties waarin onderzoekers statistieken rapporteren aan een Bayesiaans publiek dat zijn eigen priors bijwerkt. De auteurs laten zien dat de voor lineaire estimatoren afgeleide lineaire-spijt-oplossing dient als een geldige surrogaat-doelstelling (bovengrens) voor de spijt van het publiek onder Gaussische priors, wat robuustheidsgaranties biedt zelfs wanneer het publiek niet-lineaire update-regels gebruikt.
Equivalentie met Betrouwbaarheidsinterval-ontwerp: De auteurs demonstreren dat het minimaliseren van proportionele spijt op basis van de lengte van het betrouwbaarheidsinterval hetzelfde optimale ontwerp en dezelfde estimator oplevert als het minimaliseren van MSE-gebaseerde spijt, wat de robuustheid van de aanpak versterkt.
Empirische Illustratie: Het raamwerk wordt toegepast op een programma voor contante overdrachten in Kenia, waarbij nieuwe experimentele bewijslast wordt gecombineerd met externe data van het Progresa-programma in Mexico.
- Opzet: Het doel is om algemene evenwichtseffecten te schatten (onderwijsreacties op inkomen, toelagen en lonen).
- Vergelijking: Het op spijt geoptimaliseerde ontwerp wordt vergeleken met standaard variantie-minimaliserende (Neyman) ontwerpen.
- Bevindingen: Het op spijt geoptimaliseerde ontwerp selecteert een werkprogramma (loonshock) boven contante overdrachten bij typische steekproefomvang, terwijl standaard ontwerpen de voorkeur geven aan contante overdrachten. Het op spijt geoptimaliseerde ontwerp vermindert de bias-spijt (gevoeligheid voor misspecificatie) aanzienlijk met slechts een bescheiden kost in variantie-spijt. Het behoudt een lage algehele spijt over een breed scala aan bias-omvang, terwijl standaard ontwerpen lijden onder hoge spijt wanneer de externe validiteit in het gedrang komt.

Betekenis en Claims
Het artikel claimt een praktisch, transparant en computationeel hanteerbaar raamwerk te bieden voor het ontwerpen van experimenten wanneer volledige identificatie zonder externe data onmogelijk is.

Praktische bruikbaarheid: De methode berust enkel op informatie die doorgaans beschikbaar is voor conventionele machtsberekeningen (variantie-covariantie matrices en gevoeligheidsgradiënten) en vereist niet dat onderzoekers een willekeurige bias-grens specificeren.
Robuustheid: Door te optimaliseren tegen een oracle die de bias kent, beschermt de aanpak tegen worst-case misspecificatie terwijl de precisie van externe data nog steeds wordt benut.
Besluitvormingstheoretische Fundering: Het werk verbindt experimenteel ontwerp met een langdurige besluitvormingstheoretische traditie, en biedt een oplossing die de balans tussen bias en variantie vindt op een manier die standaard minimax of additieve spijt-criteria (die vaak bias lexicografisch prioriteren) niet doen.

De auteurs positioneren dit als een noodzakelijke evolutie in het experimenteel ontwerp voor de economie, waar het extrapoleren van kleinschalige proeven naar grootschalige beleidsvragen gebruikelijk is maar ook gepaard gaat met onzekerheid over de externe validiteit. Het raamwerk stelt onderzoekers in staat om expliciet de afweging te kwantificeren en te beheren tussen het leren over specifieke mechanismen via experimenten versus het vertrouwen op potentieel bevooroordeelde maar precieze externe schattingen.