Technisches Resümee: Programmbewertung mit fernerkundlich erfassten Ergebnissen

1. Problemstellung

Die traditionelle Programmbewertung stützt sich häufig auf umfragebasierte Ergebnisse, die kostspielig, schwer skalierbar und manchmal unpraktikabel in der Datenerhebung sind. Forscher nutzen zunehmend fernerkundlich erfasste Variablen (z. B. Satellitenbilder, Mobilfunkaktivität, Nachtlichter) als kostengünstige, skalierbare Proxys für ökonomische Ergebnisse. Diese Variablen sind jedoch unvollkommene Messungen.

Die zentrale adressierte Herausforderung ist die kausale Inferenz in Szenarien, in denen:

1. Experimentelle Stichprobe: Enthält eine randomisierte Zuweisung der Behandlung ($D$) und fernerkundlich erfasste Variablen ($R$), aber das wahre ökonomische Ergebnis ($Y$) aufgrund von Kosten oder logistischen Einschränkungen fehlt.
2. Beobachtungsstichprobe: Verknüpft das Ergebnis ($Y$) mit der fernerkundlich erfassten Variable ($R$), weist jedoch keine randomisierte Behandlungszuweisung auf (die Behandlung kann fehlen, deterministisch sein oder konfundiert sein).

Bestehende Methoden scheitern in diesem Kontext oft. Gängige Zwei-Schritt-Ansätze (das Trainieren eines Prädiktors auf der Beobachtungsstichprobe und dessen Anwendung auf die experimentelle Stichprobe) leiden unter Attenuationsbias (Abschwächungseffekt), wenn die fernerkundlich erfasste Variable eine Post-Outcome-Variable ist (d. h. $Y$ verursacht $R$, nicht umgekehrt). Ähnlich verhält es sich mit Methoden der Prediction-Powered Inference (PPI), die oft gemeinsame Beobachtungen von Behandlung, Ergebnis und Proxy in beiden Behandlungsarmen erfordern, was häufig nicht gegeben ist, oder die Stabilitätsannahmen bezüglich des Ergebnismechanismus voraussetzen, die über verschiedene Populationen hinweg nicht haltbar sein können.

2. Methodik und Identifizierungsannahmen

Die Autoren schlagen ein Framework vor, das den durchschnittlichen Behandlungseffekt (Average Treatment Effect, ATE) nichtparametrisch identifiziert, indem experimentelle und Beobachtungsdaten unter spezifischen Stabilitätsannahmen kombiniert werden.

2.1 Kausale Struktur

Das Framework modelliert die fernerkundlich erfasste Variable $R$ als Post-Outcome: Die Variation im ökonomischen Ergebnis $Y$ verursacht die Variation in $R$.

• Experimentelle Stichprobe ($S=e$): Beobachtet $(X, D, R)$. $Y$ ist nicht beobachtbar.
• Beobachtungsstichprobe ($S=o$): Beobachtet $(X, Y, R)$. $D$ ist möglicherweise nicht beobachtbar oder konfundiert.

2.2 Zentrale Annahmen

1. Experimentelle Unkonfundiertheit: Die Standard-Randomisierungsannahmen gelten in der experimentellen Stichprobe ($D \perp \{Y(0), Y(1)\} | X, S=e$).
2. Stabilität der fernerkundlich erfassten Variable (Die Kernannahme): Die bedingte Verteilung der fernerkundlich erfassten Variable gegeben das Ergebnis und die Behandlung ist über Stichproben hinweg stabil:
   $$f(R | X, D, Y, S=e) = f(R | X, D, Y, S=o)$$
   Dies impliziert, dass der Erfassungsmechanismus (z. B. die Physik der Art und Weise, wie Satellitenbilder Pflanzenverbrennung erfassen) invariant ist, selbst wenn der Ergebnismechanismus (wie die Behandlung $Y$ beeinflusst) oder der Behandlungsmechanismus zwischen den Stichproben variiert.
3. Vollständigkeitsbedingungen:
   • Vollständige Beobachtungsfälle: Wenn $D$ in der Beobachtungsstichprobe beobachtet wird und variiert, sind keine weiteren Annahmen erforderlich.
   • Unvollständige Beobachtungsfälle: Wenn $D$ in der Beobachtungsstichprobe fehlt oder deterministisch ist, ist eine zusätzliche Annahme des keinen direkten Effekts erforderlich: $D \perp R | X, Y$. Das bedeutet, die Behandlung beeinflusst die fernerkundlich erfasste Variable nur über ihren Effekt auf das Ergebnis.

2.3 Identifizierungsstrategie

Der Behandlungseffekt wird über eine bedingte Momentbeschränkung identifiziert. Die Autoren leiten eine Formel ab, bei der die fernerkundlich erfasste Variable die experimentelle Behandlungsvariation mit der Beobachtungs-Ergebnisvariation verknüpft.

Für ein diskretes Ergebnis $Y \in \{y_1, \dots, y_K\}$ wird der bedingte Behandlungseffekt-Vektor $\theta(X)$ wie folgt identifiziert:
$$E[\Delta_e(X) - \Delta_o(X)^\top \theta(X) \mid X, R] = 0$$
Wobei:

• $\Delta_e(X)$ die Behandlungsvariation in der experimentellen Stichprobe zusammenfasst.
• $\Delta_o(X)$ die Ergebnisvariation in der Beobachtungsstichprobe zusammenfasst.

Dies ermöglicht die Identifizierung ohne Spezifikation der funktionalen Form der Beziehung zwischen $R$ und $Y$. Das Framework unterstützt beliebige Repräsentationen $H(X, R)$ der fernerkundlich erfassten Variable, sofern diese eine Rangbedingung (Relevanz) erfüllen.

3. Schätzung und Inferenz

3.1 Robustheit gegenüber Fehlspezifikation

Die Autoren entwickeln einen Schätzalgorithmus (Algorithmus 1) unter Verwendung von Sample Splitting und Cross-Fitting. Ein wesentlicher theoretischer Beitrag ist, dass eine valide $n^{-1/2}$-Inferenz möglich ist, ohne dass Konvergenzraten-Bedingungen für die Machine-Learning-Modelle erforderlich sind, die Ergebnisse, Behandlungen oder Stichprobenindikatoren vorhersagen.

• Der Schätzer bleibt valide, selbst wenn die Prädiktoren (z. B. tiefe neuronale Netze) fehl spezifiziert sind oder keine Konvergenzraten aufweisen.
• Diese Robustheit resultiert aus der Neyman-Orthogonalität der Momentbeschränkung.

3.2 Effizienz und optimale Instrumente

Um die Effizienz zu verbessern, verknüpfen die Autoren das Problem mit der Theorie der optimalen Instrumente (Chamberlain, 1987; Newey, 1993). Die semiparametrisch effiziente Repräsentation $H^*(R)$ beinhaltet die Vorhersage von:

1. Dem Ergebnis $Y$ (aus der Beobachtungsstichprobe).
2. Der Behandlung $D$ (aus der experimentellen Stichprobe).
3. Dem Stichprobenindikator $S$ (aus den gepoolten Daten).
   Die Nutzung dieser Vorhersagen ermöglicht eine Dimensionsreduktion der hochdimensionalen Variable $R$, während die kausale Information erhalten bleibt.

3.3 Diagnosetests

Das Framework bietet zwei Diagnosetests:

1. Schwacher-Instrumente-Test: Prüft, ob die fernerkundlich erfasste Variable ausreichend informativ über die Ergebnisvariation ist (analog zu schwachen Instrumenten in der IV-Schätzung).
2. Überidentifizierende Beschränkungen (J-Test): Wenn unterschiedliche Repräsentationen $H(R)$ und $H'(R)$ signifikant unterschiedliche Schätzungen des Behandlungseffekts liefern, deutet dies auf eine Verletzung der Stabilitäts- oder der Annahme des "keinen direkten Effekts" hin.

4. Empirische Ergebnisse und Anwendungen

Die Arbeit validiert die Methode durch kalibrierte Simulationen und reale Anwendungen:

4.1 Simulationen

• Bias: Der Standard-Zwei-Schritt-Ansatz zeigt einen großen Attenuationsbias (Unterschätzung der Effekte), während die vorgeschlagene Methode annähernd unvoreingenommen ist.
• Coverage (Abdeckung): Konfidenzintervalle der vorgeschlagenen Methode erreichen eine nominale Abdeckung (ca. 95 %), während die Zwei-Schritt-Methode massiv unterdeckt (in einigen Szenarien nur 0–25 %).

4.2 Anwendung 1: Smartcards und Dorfarmut (Indien)

• Kontext: Evaluierung der Auswirkungen von biometrischen Zahlungssystemen auf die Dorfarmut.
• Setup: Die experimentelle Stichprobe enthält Behandlung und Satellitendaten; die Validierungsstichprobe (nicht-zufällig) enthält Ergebnisse und Satellitendaten; die Beobachtungsstichprobe enthält Ergebnisse und Satellitendaten.
• Ergebnis: Die vorgeschlagene Methode liefert Schätzungen, die nahe am "Oracle"-Differenzmittelwert (unter Verwendung der vollständigen Ergebnisdaten) liegen, obwohl nur für eine Teilmenge von Dörfern Ergebnisdaten verwendet wurden. Dies demonstriert das Potenzial zur Reduktion von Umfragekosten.

4.3 Anwendung 2: Zahlungen für Ökosystemdienstleistungen und Ernteverbrennung (Indien)

• Kontext: Evaluierung von Anreizen zur Reduzierung der Ernteverbrennung mittels Satellitenbildern.
• Setup: Es sind keine experimentellen Ergebnisse verfügbar; nur eine Beobachtungsstichprobe verknüpft Satellitendaten mit der Bodenwahrheit (Ground Truth).
• Ergebnis: Die gängige Zwei-Schritt-Methode unterschätzte den Behandlungseffekt um 47 %. Die vorgeschlagene Methode identifizierte einen signifikant größeren Effekt (14,1 % Reduktion der Verbrennung gegenüber 7,5 % durch die Zwei-Schritt-Methode) und korrigierte damit den inhärenten Attenuationsbias der Post-Outcome-Surrogatmessung.

5. Zentrale Beiträge und Bedeutung

1. Neue Identifizierungsstrategie: Die Arbeit liefert die erste nichtparametrische Identifizierungsformel für Behandlungseffekte, die experimentelle und Beobachtungsdaten kombiniert, wenn der Proxy eine Post-Outcome-Variable ist, wobei sie auf der Stabilität des Erfassungsmechanismus statt des Ergebnismechanismus beruht.
2. Korrektur gängiger Biases: Sie zeigt formal auf, dass die weit verbreitete "Zwei-Schritt"-Vorhersagemethode in Post-Outcome-Settings einem Attenuationsbias unterliegt, was erklärt, warum viele bestehende Studien Interventionen möglicherweise unterberichten.
3. Robuste Inferenz: Sie etabliert, dass eine valide Inferenz auch mit komplexen, potenziell fehl spezifizierten Machine-Learning-Modellen möglich ist, wodurch die Notwendigkeit strenger Konvergenzraten-Bedingungen entfällt, die oft bei Double Machine Learning erforderlich sind.
4. Praktische Diagnostik: Sie führt testbare überidentifizierende Beschränkungen ein, um die Kernannahmen zu validieren, was es Forschern ermöglicht, Verletzungen der Stabilität mittels verschiedener Repräsentationen der Fernerkundungsdaten zu prüfen.
5. Effizienzgewinne: Durch die Nutzung optimaler Instrumente, die zusätzlich zu Ergebnissen auch die Behandlung und den Stichprobenindikator vorhersagen, erreicht die Methode eine höhere Präzision als Standardansätze.

Das Paper kommt zu dem Schluss, dass fernerkundlich erfasste Variablen zwar unvollkommen sind, aber rigoros für die kausale Inferenz genutzt werden können, sofern die Stabilität der Fernerkundungstechnologie plausibel ist. Dieses Framework ermöglicht es Forschern, die Kosten für Erhebungen erheblich zu senken und gleichzeitig die statistische Validität zu wahren, insbesondere in der Umwelt- und Entwicklungsökonomie.