Better Measurement or Larger Samples? Data Collection for Policy Learning with Unobserved Heterogeneity

Diese Arbeit untersucht, wie Entscheidungsträger durch die Optimierung von Datenerhebungsstrategien – insbesondere durch den Abwägung zwischen verbesserter Messgenauigkeit latenter Merkmale und größeren Stichproben – die Wohlfahrt von Politiken unter Berücksichtigung unbeobachteter Heterogenität maximieren können.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Bürgermeister, der ein Budget hat, um armen Unternehmern Geld zu geben. Ihr Ziel ist es, das Geld genau dort auszugeben, wo es den größten wirtschaftlichen Erfolg bringt.

Das ist die Grundidee hinter diesem Papier. Der Autor, Giacomo Opocher, stellt uns eine schwierige Frage: Sollten wir mehr Geld in eine bessere Diagnose stecken oder mehr Leute testen?

Hier ist die Geschichte in einfachen Worten, mit ein paar anschaulichen Vergleichen:

1. Das Problem: Der unsichtbare Faktor

Stellen Sie sich vor, Sie wollen wissen, welche Unternehmer erfolgreich sein werden. Sie können offensichtliche Dinge sehen: Wie alt sind sie? Wie viel Schulbildung haben sie? (Das nennen die Forscher „beobachtbare Merkmale").

Aber es gibt einen unsichtbaren Faktor: Unternehmerisches Geschick oder Motivation. Das kann man nicht direkt sehen. Man muss es schätzen, zum Beispiel indem man Nachbarn fragt: „Wer von euch ist der beste Geschäftsmann?"

Das Problem ist: Diese Schätzung ist nie perfekt. Es ist wie ein unscharfes Foto. Manchmal sieht man den Unternehmer klar, manchmal ist das Bild verschwommen.

2. Die große Entscheidung: Besseres Foto oder mehr Leute?

Jetzt haben Sie ein festes Budget. Sie stehen vor einer Wahl:

• Option A (Mehr Leute): Sie nehmen das Geld, um 1.000 Unternehmer zu befragen, aber Sie fragen nur einen Nachbarn pro Unternehmer. Das Bild ist unscharf, aber Sie haben viele Daten.
• Option B (Besseres Foto): Sie nehmen das Geld, um nur 200 Unternehmer zu befragen, aber Sie fragen fünf Nachbarn pro Unternehmer und bilden einen Durchschnitt. Das Bild ist sehr scharf, aber Sie haben nur wenige Daten.

Die Frage des Papiers lautet: Was bringt mehr Wohlfahrt (mehr Erfolg für die Gemeinschaft)?

3. Die Entdeckung: Es kommt auf die „Unschärfe" an

Der Autor hat mathematisch bewiesen, dass es keine pauschale Antwort gibt. Es hängt davon ab, wie wichtig der unsichtbare Faktor ist und wie teuer es ist, ihn besser zu messen.

• Wenn das unsichtbare Talent extrem wichtig ist (wie bei einem Genie, das man unbedingt finden muss) und die Messung nicht zu teuer ist, lohnt es sich, weniger Leute zu testen, aber genauer zu messen.
• Wenn das unsichtbare Talent nur eine kleine Rolle spielt oder die Messung sehr teuer ist, ist es besser, mehr Leute zu testen und sich auf die offensichtlichen Merkmale (Alter, Bildung) zu verlassen.

Die Metapher:
Stellen Sie sich vor, Sie suchen nach einem Nadel im Heuhaufen.

• Wenn Sie nur einen kleinen Haufen haben, aber eine Super-Lupe (gute Messung), finden Sie die Nadel sicher.
• Wenn Sie einen riesigen Haufen haben, aber nur eine schlechte Lupe (schlechte Messung), suchen Sie vielleicht lange, aber verpassen die Nadel trotzdem.
• Der Autor sagt: „Schauen Sie erst, wie groß der Haufen ist und wie wichtig die Nadel ist. Dann entscheiden Sie, ob Sie die Lupe kaufen oder den Haufen vergrößern."

4. Der praktische Test: Ein Experiment in Indien

Um das zu beweisen, hat der Autor ein reales Experiment aus Indien (von anderen Forschern) analysiert. Dort wurden Kleinstunternehmer mit Geld unterstützt. Die Forscher nutzten „Community Rankings" (Nachbarn bewerteten sich gegenseitig), um das unternehmerische Geschick zu messen.

Die Ergebnisse waren überraschend und lehrreich:

1. Die Messung lohnt sich immer: Selbst bei kleinem Budget war es besser, die Nachbarn zu befragen (die „unscharfe" Messung zu verbessern), als das Geld nur für mehr Teilnehmer auszugeben. Das unternehmerische Geschick war so wichtig, dass man es nicht ignorieren durfte.
2. Die Goldilocks-Zone (Nicht zu viel, nicht zu wenig): Bei sehr kleinem Budget war es am besten, nur zwei Nachbarn pro Unternehmer zu fragen und dafür mehr Teilnehmer zu haben. Bei größerem Budget konnte man sich vier oder fünf Nachbarn pro Teilnehmer leisten, was noch besser war.
3. Das Risiko: Wenn man die Messung ignoriert und nur auf Alter und Bildung schaut, ist die Wahrscheinlichkeit hoch, dass man das Geld an die falschen Leute gibt und niemandem hilft. Mit der „Nachbarn-Methode" halbierte sich dieses Risiko.

5. Fazit für die Praxis

Die Botschaft für Politiker und Entscheidungsträger ist einfach:

Bevor Sie ein Programm starten, müssen Sie nicht nur entscheiden, wer Geld bekommt, sondern auch wie Sie Informationen sammeln.

• Wenn Sie versuchen, etwas Unsichtbares (wie Talent oder Motivation) zu finden, ist es oft besser, weniger Leute genauer zu untersuchen, als viele Leute oberflächlich zu behandeln.
• Aber: Wenn das Budget sehr knapp ist, müssen Sie abwägen. Manchmal ist ein „ganz okayes" Bild von vielen Leuten besser als ein „perfektes" Bild von nur wenigen.

Zusammengefasst:
Es geht nicht darum, entweder „mehr Daten" oder „bessere Daten" zu wollen. Es geht darum, das perfekte Gleichgewicht zu finden, damit das Geld dort ankommt, wo es den größten Unterschied macht. Der Autor hat eine Formel entwickelt, die genau sagt, wie dieses Gleichgewicht aussieht – je nachdem, wie teuer die Messung ist und wie wichtig das unsichtbare Talent ist.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert ein zentrales Dilemma in der Politikgestaltung (Policy Learning): Wie sollten Ressourcen in der Datenerhebung allokiert werden, wenn die Reaktion auf Behandlungen (Treatment Effects) von unbeobachteten Heterogenitäten (z. B. Motivation, angeborene Fähigkeiten, unternehmerisches Geschick) abhängt?

Policymaker stehen vor zwei konkurrierenden Zielen unter einem begrenzten Budget:

1. Präzision erhöhen: Die Messung oder Schätzung der latenten Merkmale (z. B. durch wiederholte Messungen, detailliertere Surveys oder komplexere Modelle) verbessern, um den Messfehler zu reduzieren.
2. Stichprobengröße erhöhen: Die Anzahl der Beobachtungen (Sample Size) vergrößern, um die statistische Unsicherheit bei der Schätzung der optimalen Zuweisungsregel zu verringern.

Die zentrale Frage lautet: Unter welchen Bedingungen ist es vorteilhaft, eine noisy Proxy-Variable für latente Merkmale in die Politikregel einzubeziehen, und wie sollte das Budget optimal zwischen der Verbesserung der Proxy-Präzision und der Vergrößerung der Stichprobe aufgeteilt werden?

2. Methodik und Theoretischer Rahmen

A. Definitionen und Regret-Metrik

Der Autor definiert drei Klassen von Politikregeln:

• Covariate-Based (CB): Regeln, die nur auf beobachtbaren Kovariaten $X$ basieren.
• $\hat{a}$-Augmented ($\hat{a}$-CB): Regeln, die beobachtbare Kovariaten $X$ und eine Schätzung/Proxy $\hat{A}$ des latenten Merkmals $A$ nutzen.
• Oracle: Eine ideale Regel, die das wahre latente Merkmal $A$ kennt.

Neuerung in der Regret-Definition:
Im Gegensatz zur Literatur, die Regret oft innerhalb einer Klasse definiert (Vergleich mit dem besten Regler innerhalb derselben Klasse), definiert Opocher Regret als den erwarteten Wohlfahrtsverlust einer geschätzten Regel im Vergleich zu einem Oracle, das das wahre latente Merkmal $A$ beobachtet.
$$R(\hat{G}) := E_P [W(G^*_{\theta}(X, A)) - W(\hat{G}(Z))]$$
Dies ermöglicht einen fairen Vergleich zwischen CB- und $\hat{a}$-CB-Regeln auf einer gemeinsamen Benchmark.

B. Herleitung von Regret-Schranken (Regret Bounds)

Der Autor leitet rate-sharp (asymptotisch scharfe) Regret-Schranken für beide Regelklassen ab:

1. Für CB-Regeln (Theorem 1 & 2):
   Der Regret besteht aus einem statistischen Fehlerterm (abnehmend mit $1/\sqrt{n}$) und einem Approximationsfehlerterm, der durch die unbeobachtete Heterogenität $\bar{\sigma}_{\tau|x}$ (die Varianz der Behandlungseffekte, die durch $X$ nicht erklärt wird) verursacht wird.
   $$\text{Regret}_{CB} \sim O\left(\sqrt{\frac{v_x}{n}}\right) + \bar{\sigma}_{\tau|x}$$

2. Für $\hat{a}$-Augmented Regeln (Theorem 3 & 4):
   Der Regret besteht aus dem statistischen Fehler (abhängig von der VC-Dimension der erweiterten Klasse $v_{x,\hat{a}}$) und einem irreduziblen Fehlerterm, der proportional zum Root-Mean-Square-Error (rMSE) des Proxies $\hat{A}$ ist.
   $$\text{Regret}_{\hat{a}CB} \sim O\left(\sqrt{\frac{v_{x,\hat{a}}}{n}}\right) + C \cdot \text{rMSE}(\hat{A})$$

Ergebnis: Die Einbeziehung des Proxies verbessert die Worst-Case-Performance nur dann, wenn die durch den Proxy erklärte Varianz der Behandlungseffekte die Summe aus (i) dem zusätzlichen Messfehler des Proxies und (ii) dem Anstieg der Komplexität des Politikraums übersteigt.

C. Optimale Datenerhebungsplanung (Data Collection Design)

Das Problem wird als Minimierungsproblem des Worst-Case-Regrets unter einer Budgetbeschränkung $B_0$ formuliert:
$$\min_{t, n} \{ \text{Regret}(t, n) \} \quad \text{s.t.} \quad c_t(t) + c_n(n) \leq B_0$$
Dabei ist $t$ ein Informationsindex (z. B. Anzahl der Messungen für den Proxy), der den rMSE bestimmt ($h(t)$), und $n$ die Stichprobengröße.

Unter Annahme linearer Kosten und einer spezifischen Zerfallsfunktion für den Messfehler (rMSE $\propto 1/\sqrt{t}$) leitet der Autor eine minimax optimale Allokation ab (Proposition 1). Das Ergebnis zeigt eine „Corner-versus-Interior"-Struktur:

• Wenn die unbeobachtete Heterogenität gering ist oder die Messung zu teuer ist, ist es optimal, $t=0$ zu setzen und das gesamte Budget in $n$ zu investieren.
• Wenn die Heterogenität hoch ist, wird das Budget aufgeteilt. Das optimale Verhältnis von Stichprobengröße zu Informationsniveau ($q = n/t$) hängt von der Komplexität der Regel, der Skalierung des Messfehlers und den relativen Kosten ab.

3. Empirische Anwendung

Das Paper wendet die theoretischen Verfahren auf die Studie von Hussam et al. (2022) an, die eine Randomized Controlled Trial (RCT) in ländlichem Indien untersuchte, um Cash-Transfers an Mikro-Unternehmer zu vergeben.

• Proxy: „Community Rankings" – Unternehmer bewerten sich gegenseitig in Bezug auf unternehmerische Fähigkeiten.
• Datenstruktur: Da der Proxy aus dem Durchschnitt von bis zu 5 verschiedenen Bewertenden besteht, kann die Präzision variiert werden, indem man die Anzahl der Bewertenden ($t$) reduziert.

Durchgeführte Analysen:

1. Ranking von Politikregeln: Durch Sample-Splitting wird gezeigt, dass Regeln, die Community Rankings einbeziehen ($\hat{a}$-CB), die Wohlfahrt im Vergleich zu reinen Kovariaten-Regeln (CB) um ca. 4–5 % steigern und die Wahrscheinlichkeit von Wohlfahrtsverlusten (Harm Rate) halbieren.
2. Nachweis des Zerfalls: Es wird empirisch bestätigt, dass der Wohlfahrtsgewinn mit sinkender Anzahl an Bewertenden (höherem Messfehler) abnimmt, was die theoretische Vorhersage aus Theorem 3 stützt.
3. Optimale Budgetallokation: Unter simulierten Budgetbeschränkungen wird die optimale Kombination aus Stichprobengröße und Anzahl der Messungen ermittelt.

Ergebnisse der Anwendung:

• Selbst bei sehr begrenzten Budgets ist es nie optimal, die Heterogenität zu ignorieren ($t^* \geq 2$).
• Bei niedrigen Budgets ist es optimal, weniger Messungen ($t=2$) durchzuführen und dafür die Stichprobengröße zu maximieren.
• Bei höheren Budgets steigt die optimale Anzahl der Messungen ($t=4$), bis die Stichprobengröße einen Sättigungspunkt erreicht.

4. Wichtige Beiträge

1. Theoretische Innovation: Einführung einer neuen Regret-Definition, die als Benchmark ein Oracle mit Kenntnis der latenten Variablen verwendet. Dies ermöglicht den ersten rigorosen Vergleich zwischen Regeln mit und ohne unbeobachtete Heterogenität.
2. Rate-Sharp Bounds: Herleitung scharfer Regret-Schranken, die explizit den Trade-off zwischen Messfehler und Stichprobengröße quantifizieren.
3. Data Collection Design: Das Paper ist eines der ersten, das das Problem der Datenerhebung (wie viel in Messung vs. wie viel in Stichprobengröße investieren) im Kontext von Policy Learning mit unbeobachteter Heterogenität formalisiert und eine minimax optimale Lösung liefert.
4. Praktische Verfahren: Entwicklung von Sample-Splitting-Prozeduren, die empirischen Forschern erlauben, ohne reinen Minimax-Ansatz zu arbeiten, um die Rangfolge von Regeln und die optimale Budgetallokation in konkreten Studien zu schätzen.

5. Signifikanz und Implikationen

Die Arbeit liefert einen entscheidenden Rahmen für die Gestaltung von Experimenten und Beobachtungsstudien in der Entwicklungsökonomie und darüber hinaus. Sie zeigt, dass die bloße Verfügbarkeit von Daten über unbeobachtete Merkmale nicht ausreicht; die Präzision dieser Messungen ist kritisch.

Die Kernaussage für Policymaker lautet:

• Ignorieren unbeobachteter Heterogenität ist oft suboptimal, selbst wenn die Messung teuer ist.
• Es gibt einen kritischen Schwellenwert: Wenn die Heterogenität groß genug ist, lohnt sich die Investition in präzisere Messungen (z. B. wiederholte Befragungen, längere Panels), auch wenn dies die effektive Stichprobengröße für die Politikschätzung reduziert.
• Die optimale Strategie ist nicht statisch, sondern hängt vom verfügbaren Budget und den relativen Kosten der Datenerhebung ab.

Zusammenfassend verbindet das Paper fortgeschrittene statistische Lerntheorie (Regret Bounds, VC-Dimension) mit praktischem Experimentaldesign, um evidenzbasierte Entscheidungen über die Struktur von Datenerhebungen zu treffen.