📈 economics

Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

Dieses Papier schlägt ein einheitliches Framework für das Design kostenbeschränkter Experimente vor, die mit potenziell verzerrten Beobachtungsdaten kombiniert werden, indem ein Minimax-Proportional-Regret-Kriterium angewendet wird, um den Bias-Variance-Trade-off zu optimieren, ohne dass vorab spezifizierte Bias-Grenzen erforderlich sind.

Ursprüngliche Autoren: Aristotelis Epanomeritakis, Davide Viviano

Veröffentlicht 2026-07-20

📖 7 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Aristotelis Epanomeritakis, Davide Viviano

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Dilemma des großen Detektivs: Wenn Hinweise lügen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein riesiges Rätsel zu lösen: wie eine neue politische Maßnahme, wie etwa die Geldleistung an arme Familien, die gesamte Wirtschaft eines Landes verändern wird. Sie haben zwei Arten von Hinweisen. Die erste Art stammt aus einer „Randomisierten Kontrollstudie“ (RCT). Dies ist wie ein perfekt kontrolliertes wissenschaftliches Experiment, bei dem Sie einer kleinen Gruppe von Menschen eine spezifische Behandlung geben und beobachten, was passiert – quasi in einem Labor. Diese Hinweise sind Gold wert, weil sie vertrauenswürdig sind; Sie wissen genau, was das Ergebnis verursacht hat. Aber es gibt einen Haken: Diese Experimente sind teuer und finden meist nur in winzigen, spezifischen Städten statt. Sie sagen Ihnen, was in diesem einen Dorf passiert, aber sie können Ihnen nicht sagen, was passiert, wenn Sie das Programm auf das ganze Land ausrollen, wo sich Preise ändern und Menschen auf komplexe Weise reagieren.

Die zweite Art von Hinweis stammt aus „Beobachtungsdaten“. Dies ist wie das Lesen alter Fallakten oder Nachrichtenberichte über das, was an anderen Orten geschehen ist. Diese Hinweise sind günstig und decken riesige Gebiete ab, aber sie sind unordentlich. Vielleicht waren die Menschen in jenen alten Berichten anders, oder es war etwas anderes im Spiel, das die Ergebnisse anders aussehen ließ, als sie eigentlich waren. Das große Problem für Wissenschaftler ist: Wie mischt man diese zwei Arten von Hinweisen? Man möchte die Vertrauenswürdigkeit des Experiments und die Gesamtperspektive der alten Berichte, aber man weiß nicht, wie sehr die alten Berichte lügen. Wenn man den alten Berichten zu viel vertraut, könnte die gesamte Theorie zusammenbrechen. Wenn man sie ignoriert, verschwendet man eine Menge nützlicher Informationen. In dieser Arbeit geht es darum, eine bessere Landkarte für Detektive zu bauen, um genau zu entscheiden, wie viel ihres Budgets sie für das teure Experiment ausgeben und wie viel sie sich auf die unordentlichen alten Akten verlassen sollen.

Die Lösung des Papers: Der „Reue“-Kompass

Dieses Paper mit dem Titel „Learning What to Learn“ schlägt einen neuen Weg vor, um Experimente zu entwerfen, wenn man frische, teure Daten mit alten, potenziell verzerrten Daten mischen muss. Die Autoren, Aristotelis Epanomeritakis und Davide Viviano, argumentieren, dass die bisherige Vorgehensweise – der Versuch, das „Rauschen“ oder die Varianz in den Ergebnissen zu minimieren – gefährlich ist, wenn man die Möglichkeit ignoriert, dass die alten Daten verzerrt sind. Stattdessen führen sie einen neuen Kompass namens Minimax Proportional Regret (proportionale Reue-Minimierung) ein.

Stellen Sie sich „Reue“ (Regret) als das Gefühl vor, das man hat, wenn man zurückblickt und sich wünscht, man hätte eine andere Entscheidung getroffen. In diesem Paper stellen sich die Autoren einen superintelligenten „Orakel“ (ein magisches Wesen) vor, das genau weiß, wie groß die Verzerrung in den alten Daten ist. Das Orakel wählt das perfekte Experiment und die perfekte Art der Datenmischung, um das beste Ergebnis zu erzielen. Da echte Forscher kein magisches Orakel besitzen, können sie die genaue Verzerrung nicht kennen. Daher fragen die Autoren: „Was wäre, wenn wir ein Design wählen, das unsere Reue über unsere Wahl selbst im schlimmsten Fall so gering wie möglich hält?“

Das Paper findet heraus, dass die beste Strategie nicht einfach darin besteht, das Experiment zu wählen, das die präzisesten Zahlen liefert. Stattdessen geht es darum, einen „Sweet Spot“ zu finden, an dem man zwei Dinge ausbalanciert:

Varianz-Reue (Variance Regret): Wie „verrauscht“ oder instabil die Ergebnisse sind, weil man nicht genügend Daten gesammelt hat.
Bias-Reue (Bias Regret): Wie falsch die Ergebnisse sein könnten, weil man einem verzerrten alten Bericht zu sehr vertraut hat.

Die Autoren zeigen, dass das optimale Design eines ist, bei dem diese beiden Arten von Reue angeglichen werden. Es ist wie beim Seiltänzer: Wenn man sich zu sehr in Richtung der Minimierung des Rauschens lehnt (große Mengen an experimentellen Daten sammeln), könnte man am Abgrund der Verzerrung (dem Vertrauen in eine Lüge) abstürzen. Wenn man sich zu sehr in Richtung der Minimierung der Verzerrung lehnt (die unordentlichen alten Daten zu ignorieren), könnte man am Abgrund der Varianz (zu instabile Zahlen) abstürzen. Das Paper beweist mathematisch, dass das beste Design jenes ist, bei dem man sich vor beiden Klippen gleichermaßen fürchtet.

Wie es in der realen Welt funktioniert

Um ihre Idee zu beweisen, testeten die Autoren sie mit einem realen Beispiel: einer Regierung in Kenia, die wissen möchte, wie sich Geldtransfers auf die Schulbesuchrate auswirken. Sie hatten einige alte Daten aus einem berühmten Programm in Mexiko (PROGRESA), die in Kenia möglicherweise nicht perfekt anwendbar sind. Sie mussten entscheiden, ob sie ein neues Experiment durchführen sollten, um die direkte Auswirkung von Bargeld, die Auswirkung von Einkommen oder die Auswirkung von Löhnen zu messen.

Mit ihrer neuen „Reue“-Methode fanden sie heraus, dass die Standardmethode (genannt „Neyman-Allokation“) ihr gesamtes Geld für die Bargeldtransfer-Experimente ausgegeben hätte, da diese die saubersten Zahlen liefern. Dies ignorierte jedoch das Risiko, dass die alten mexikanischen Daten verzerrt waren. Die neue Methode schlug einen anderen Weg vor: Sie empfahl, ein Programm zur Arbeitsbeschaffung (Job Program) zu experimentieren, bei jeder betrachteten Stichprobengröße, anstatt die Bargeldtransfer-Experimente durchzuführen. Die Standardmethoden wechselten erst bei sehr großen Stichprobenmengen zum Arbeitsbeschaffungsprogramm, aber die neue Methode priorisierte dies sofort, um das Risiko der Verzerrung zu vermeiden.

In ihren Simulationen zeigten die Autoren, dass die alten Methoden zwar großartig aussehen würden, wenn die alten Daten perfekt wären, aber sie brachen zusammen, wenn die Daten auch nur leicht falsch waren. Das neue „Reue-optimale“ Design blieb stabil. Es akzeptierte eine leichte Zunahme des „Rauschens“ der Ergebnisse, um einen massiven Rückgang des Risikos, falsch zu liegen, zu gewinnen. Beispielsweise hatten die alten Methoden bei einer Stichprobengröße von 3.700 Personen (typisch für diese Art von Studien) einen „Reue-Score“ von über 4 oder 5, was bedeutete, dass sie weit von der bestmöglichen Antwort entfernt waren. Die neue Methode hielt den Reue-Score bei etwa 1,3, was bedeutete, dass sie viel näher an der Wahrheit lag, selbst wenn die alten Daten verzerrt waren.

Was das Paper sagt und was es nicht sagt

Das Paper ist sehr klar darüber, was es tut und was es nicht tut. Es behauptet nicht, dass wir aufhören sollten, Experimente durchzuführen, oder dass wir aufhören sollten, alte Daten zu nutzen. Es sagt auch nicht, dass wir magisch wissen können, wie verzerrt die alten Daten sind. Tatsächlich ist genau das der Punkt: Wir wissen es nicht.

Die Autoren argumentieren explizit gegen die Idee, lediglich zu versuchen, die experimentellen Zahlen so präzise wie möglich zu machen (Varianz zu minimieren), ohne über die Verzerrung nachzudenken. Sie zeigen, dass man am Ende eine sehr präzise Antwort auf die falsche Frage erhalten könnte. Sie argumentieren auch dagegen, so viel Angst vor Verzerrungen zu haben, dass man die alten Daten völlig ignoriert; das verschwendet Ressourcen und führt zu instabilen Ergebnissen.

Die Ergebnisse basieren auf mathematischen Beweisen und Computersimulationen. Die Autoren zeigen, dass ihre Methode für eine breite Klasse gängiger statistischer Werkzeuge (wie GMM und Minimum-Distance-Schätzer) funktioniert und sogar für Szenarien, in denen ein „Bayesianisches Publikum“ (eine Gruppe mit unterschiedlichen Überzeugungen) versucht, die Daten zu interpretieren. Sie beweisen, dass ihr „Reue“-Ansatz ein robuster Weg ist, um mit dem Unbekannten umzugehen. Sie behaupten nicht, alle möglichen Probleme der Wirtschaftswissenschaften gelöst zu haben, aber sie bieten ein spezifisches, mathematisch fundiertes Werkzeug für das sehr verbreitete Problem, saubere Experimente mit unordentlichen Realdaten zu mischen.

Das Fazzeit

Letztendlich gibt dieses Paper den Forschern ein neues Regelwerk für die Verwendung ihrer begrenzten Budgets. Es sagt ihnen: „Suchen Sie nicht nur nach den glänzendsten, präzisesten Daten. Suchen Sie nach dem Design, das Sie vor den größten Fehlern schützt, selbst wenn Sie nicht genau wissen, was diese Fehler sind.“ Es ist eine Lektion in Demut: Indem wir zugeben, dass wir nicht alles über die Vergangenheit wissen, können wir bessere Experimente für die Zukunft entwerfen. Das Ergebnis ist eine ehrlichere, zuverlässigere Art, große politische Fragen zu beantworten, und stellt sicher, dass Regierungen, wenn sie entscheiden, Geld für Programme auszugeben, dies auf einem Fundament treffen, das sowohl präzise als auch belastbar ist.

Technisches Resümee: Lernen, was man lernen soll: Experimentelles Design bei der Kombination von experimentellen und observationalen Evidenzen

Problemstellung
Randomisierte kontrollierte Studien (RCTs) liefern intern valide Schätzungen von Behandlungseffekten, sind jedoch oft durch Kosten und Durchführbarkeit eingeschränkt, was sie auf spezifische Standorte, kleine Populationen oder partielle Gleichgewichtsmechanismen begrenzt. Infolgedessen kombinieren Forscher häufig experimentelle Schätzungen mit externer Evidenz – wie etwa reduzierten Form- oder strukturellen Schätzungen aus observationalen Daten oder Experimenten in anderen Kontexten –, um breitere politische Fragen zu beantworten, die allgemeine Gleichgewichtseffekte (GE-Effekte) oder externe Validität betreffen.

Die zentrale Herausforderung, die in diesem Paper adressiert wird, ist das Design von Experimenten in diesem kombinierten Setting. Speziell: Wie sollte ein Forscher entscheiden, welches Experiment(e) durchgeführt werden soll und wie die Stichprobengrößen unter Budgetbeschränkungen zu allokieren sind, wenn die externe Evidenz unter unbekannten Verzerrungen (z. B. durch Confounding oder mangelnde externe Validität) leiden kann. Die traditionelle Literatur zum experimentellen Design geht oft davon aus, dass alle Parameter innerhalb des Experiments identifiziert sind, oder konzentriert sich auf feste Designs, wodurch eine methodische Lücke bei der Optimierung der Wahl eines Experiments entsteht, wenn man sich auf potenziell verzerrte externe Daten verlassen muss.

Methodik und Rahmenwerk
Die Autoren entwickeln ein einheitliches Framework für das experimentelle Design, das experimentelle und observationale Evidenz integriert. Das Setup umfasst:

Ziel-Estimand: Ein politisch relevantes Objekt $\tau(\theta)$ , wobei $\theta$ ein Vektor unbekannter Parameter ist und $\tau$ eine bekannte glatte Funktion darstellt.
Datenquellen:
- Observationale Schätzungen ( $S_{obs}$ ): Ein Satz von Schätzungen, die durch einen unbekannten Vektor $b$ verzerrt sein können. Diese dienen als Baseline, sind aber nicht garantiert erwartungsrichtig.
- Experimentelle Schätzungen ( $S_{exp}$ ): Ein Satz von erwartungsrichtigen Momenten aus durchführbaren Experimenten $E$ , die eine Teilmenge der Parameter in $\theta$ identifizieren.
Schätzer: Die Autoren konzentrieren sich auf (asymptotisch) lineare Schätzer, wie etwa die verallgemeinerte Momentenmethode (GMM) oder Minimum-Distanz-Schätzer, die eine lineare Repräsentation in den Momenten besitzen.

Zielfunktion: Minimax Proportional Regret (Proportionale Regret-Minimierung)
Da der Bias $b$ ex-ante unbekannt ist, ist die direkte Minimierung des mittleren quadratischen Fehlers (MSE) ohne Spezifikation einer Bias-Obergrenze nicht durchführbar. Die Autoren schlagen ein Minimax-Proportional-Regret-Kriterium vor.

Der Oracle: Ein Oracle, das das wahre Ausmaß des observationalen Bias ( $B$ ) kennt und sowohl das optimale Design als auch den optimalen Schätzer wählt, um den MSE zu minimieren.
Der Regret (Reue): Die Performance eines Kandidaten-Designs wird durch das Verhältnis seines Worst-Case-MSE zu dem MSE des Oracles gemessen, maximiert über alle möglichen Bias-Größen $B \geq 0$ .
$R(E, \Sigma, W) \equiv \sup_{B \geq 0} \frac{\sup_{b \in \mathcal{B}(B)} \text{MSE}_b(E, \Sigma, W)}{\text{MSE}^*(B)}$
Zentrale Erkenntnis: Für lineare Schätzer vereinfacht sich dieser proportionale Regret zu dem Maximum zweier normalisierter Komponenten:
1. Varianz-Regret: Das Verhältnis der Varianz des Designs zur minimal erreichbaren Varianz ( $\alpha / \alpha^*$ ).
2. Bias-Regret: Das Verhältnis des Worst-Case-quadratischen Bias, der durch das Design induziert wird, zum minimal erreichbaren Worst-Case-Bias ( $\beta / \beta^*$ ).
  $R = \max \left\{ \frac{\alpha}{\alpha^*}, \frac{\beta}{\beta^*} \right\}$

Diese Formulierung liefert einen transparenten Bias-Varianz-Trade-off. Das optimale Design gleicht den normalisierten Varianz- und Bias-Regret an und vermeidet so die Notwendigkeit für Forscher, eine harte Grenze für den Bias zu spezifizieren.

Wesentliche Beiträge und Ergebnisse

Neuartige Charakterisierung von Regret: Das Paper liefert eine neuartige Charakterisierung, die zeigt, dass der Worst-Case-proportionale Regret für lineare Schätzer eine quasi-konvexe Funktion des Bias-Radius ist. Dies ermöglicht es, das Optimierungsproblem effizient als konvexes Problem (für feste Designs) oder als Mixed-Integer-Konvexes Programm (beim Wählen zwischen diskreten Experimenten) zu lösen. Dies steht im Gegensatz zu nicht-linearen Schätzern unter festen Designs, bei denen die Optimierung oft die Lösung über Worst-Case-Priors erfordert und keine Quasi-Konvexität aufweist.
"Bias-Aware" Neyman-Allokation: Die optimale Lösung generalisiert die Standard-Neyman-Allokation. Während die Standard-Neyman-Allokation die Varianz minimiert, passt die vorgeschlagene "Bias-Aware"-Allokation die Stichprobengrößen und die Experimentauswahl basierend auf der Sensitivität des Ziel-Estimands gegenüber potenziellen Verzerrungen an. Wenn der Bias dominiert, priorisiert das Design Parameter mit hoher Sensitivität; wenn die Varianz dominiert, investiert es in die Reduzierung des Stichprobenrauschens.
Erweiterung auf ein Bayesianisches Publikum: Das Framework wird auf Settings erweitert, in denen Forscher Statistiken an ein Bayesianisches Publikum melden, das seine eigenen Priors aktualisiert. Die Autoren zeigen, dass die für feste Schätzer abgeleitete Linear-Regret-Lösung als gültiges Surrogat-Ziel (obere Schranke) für den Regret des Publikums unter Gaußschen Priors dient und Robustheitsgarantien bietet, selbst wenn das Publikum nicht-lineare Aktualisierungsregeln verwendet.
Äquivalenz zum Konfidenzintervall-Design: Die Autoren demonstrieren, dass die Minimierung des proportionalen Regrets basierend auf der Länge des Konfidenzintervalls dasselbe optimale Design und denselben Schätzer liefert wie die Minimierung des MSE-basierten Regrets, was die Robustheit des Ansatzes untermauert.
Empirische Illustration: Das Framework wird auf ein Cash-Transfer-Programm in Kenia angewendet, das neue experimentelle Evidenz mit externen Daten aus dem Progresa-Programm in Mexiko kombiniert.
- Setup: Das Ziel ist die Schätzung allgemeiner Gleichgewichtseffekte (Schulbildung als Reaktion auf Einkommen, Stipendien und Löhne).
- Vergleich: Das Regret-optimale Design wird mit Standard-Neyman-Designs (Varianz-minimierend) verglichen.
- Ergebnisse: Das Regret-optimale Design wählt ein Beschäftigungsprogramm (Lohnschock) gegenüber Cash-Transfers bei typischen Stichprobengrößen, während Standard-Designs Cash-Transfers bevorzugen. Das Regret-optimale Design reduziert den Bias-Regret (Sensitivität gegenüber Fehlspezifikation) signifikant bei nur moderater Kostensteigerung beim Varianz-Regret. Es hält einen niedrigen Gesamt-Regret über ein breites Spektrum von Bias-Größen aufrecht, während Standard-Designs einen hohen Regret erleiden, wenn die externe Validität beeinträchtigt ist.

Bedeutung und Ansprüche
Das Paper beansprucht, ein praktisches, transparentes und computational leicht handhabbares Framework für das Design von Experimenten bereitzustellen, wenn eine vollständige Identifikation ohne externe Daten unmöglich ist.

Praktikabilität: Die Methode stützt sich nur auf Informationen, die typischerweise für konventionelle Power-Analysen (Varianz-Kovarianz-Matrizen und Sensitivitätsgradienten) verfügbar sind, und erfordert nicht, dass Forscher willkürliche Bias-Grenzen spezifizieren.
Robustheit: Durch die Optimierung gegen ein Oracle, das den Bias kennt, schützt der Ansatz vor Worst-Case-Fehlspezifikationen und nutzt dennoch die Präzision externer Daten.
Entscheidungstheoretische Fundierung: Die Arbeit verbindet das experimentelle Design mit einer langjährigen Entscheidungstradition und bietet eine Lösung, die Bias und Varianz in einer Weise ausbalanciert, wie es Standard-Minimax- oder additive Regret-Kriterien (die Bias oft leksikographisch priorisieren) nicht tun.

Die Autoren positionieren dies als eine notwendige Evolution des experimentellen Designs in der Ökonomie, in der die Extrapolation von kleinteiligen Versuchen auf groß angelegte politische Fragen üblich ist, aber mit Unsicherheiten hinsichtlich der externen Validität behaftet ist. Das Framework ermöglicht es Forschern, den Trade-off zwischen dem Erlernen spezifischer Mechanismen experimentell versus dem Vertrauen auf potenziell verzerrte, aber präzise externe Schätzungen explizit zu quantifizieren und zu steuern.