Assessing Sensitivity to IV Exclusion and Exogeneity without First Stage Monotonicity

Dieses Papier entwickelt neue Sensitivitätsanalysen für die Exklusions- und Exogenitätsannahmen in Instrumentenvariablenstudien, die beliebige Heterogenität der Behandlungseffekte zulassen und keine Monotonie im ersten Stadium voraussetzen, indem sie identifizierbare Mengen als Lösungen linearer Programme charakterisieren.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden will, ob ein bestimmter Verdächtiger (eine Behandlung) wirklich für ein Verbrechen (ein Ergebnis) verantwortlich ist. In der Welt der Wirtschaftswissenschaften nennen wir das eine Instrumentalvariablen-Analyse.

Das Problem ist: Oft gibt es unsichtbare Faktoren, die sowohl den Verdächtigen als auch das Verbrechen beeinflussen. Um das herauszufinden, nutzen Forscher ein „Werkzeug" – eine Instrumentalvariable. Ein klassisches Beispiel aus dem Papier: Der Wetterbericht.

Die Idee ist: Wenn es regnet, gehen weniger Leute ins Kino (das Instrument beeinflusst die Behandlung). Wenn weniger Leute ins Kino gehen, hat das einen Effekt auf die Besucherzahlen im nächsten Wochenende (das Ergebnis). Wenn das Wetter zufällig ist, können wir daraus schließen, dass die Besucherzahlen im ersten Wochenende die im zweiten beeinflussen (Peer-Effekte).

Aber hier liegt das Problem:
Was, wenn das Wetter gar nicht so zufällig ist? Was, wenn Regentage auch bedeuten, dass die Leute schlechte Laune haben und das Kino meiden, unabhängig davon, wie gut der Film ist? Oder was, wenn das Wetter direkt beeinflusst, wie gut der Film in den sozialen Medien besprochen wird?

In der Wissenschaft nennt man das Verletzung der Exklusion (das Instrument wirkt direkt auf das Ergebnis) oder Verletzung der Exogenität (das Instrument ist nicht zufällig).

Das neue Werkzeug des Papiers: Ein „Sensitivitäts-Messgerät"

Bisher mussten Forscher entweder blind vertrauen („Das Wetter ist perfekt zufällig!") oder die ganze Analyse verwerfen, wenn sie Zweifel hatten.

Die Autoren dieses Papiers (Diegert, Masten, Poirier) haben ein neues Messgerät entwickelt. Stellen Sie sich das wie einen Dimmer-Schalter für Licht vor.

1. Der Dimmer (Der Sensitivitäts-Parameter):

   • Auf 0 steht der Schalter: „Ich vertraue dem Wetter zu 100 %. Es ist perfekt zufällig."
   • Auf 1 steht der Schalter: „Ich vertraue dem Wetter gar nicht. Es könnte alles beeinflussen."
   • Die Autoren erlauben Ihnen, den Schalter langsam von 0 auf 1 zu drehen.

2. Die Magie:
   Anstatt zu sagen „Es ist wahr" oder „Es ist falsch", sagen sie: „Schauen wir mal, was passiert, wenn wir das Wetter nur zu 95 % für perfekt halten."

   • Wenn das Ergebnis (z. B. „Peer-Effekte existieren") auch dann noch gilt, wenn Sie den Schalter ein kleines Stück drehen, dann ist Ihre Schlussfolgerung robust.
   • Wenn das Ergebnis sofort kippt, sobald Sie den Schalter um 1 % bewegen, dann war Ihre ursprüngliche Schlussfolgerung sehr fragil (wie ein Kartenhaus).

Die zwei großen Hürden, die sie überwinden

Das Besondere an diesem Papier ist, dass sie zwei alte, sture Regeln aufgeben, die viele andere Forscher noch nutzen:

1. Kein „Monotonie"-Zwang:
   Früher musste man glauben: „Wenn das Wetter schlechter wird, gehen immer weniger Leute ins Kino." Das ist wie eine Einbahnstraße.
   Die Autoren sagen: „Nein, das muss nicht so sein! Vielleicht gehen bei leichtem Regen sogar mehr Leute ins Kino, weil sie sich vor dem Sturm fürchten, aber bei starkem Sturm bleiben sie zu Hause." Sie erlauben also chaotische, nicht-lineare Reaktionen. Das macht die Analyse viel realistischer.

2. Kein „Alles-oder-Nichts"-Denken:
   Früher musste man entscheiden: „Entweder das Wetter ist perfekt zufällig ODER wir wissen nichts."
   Die Autoren sagen: „Wir können dazwischen liegen." Sie berechnen einen Bereich möglicher Wahrheiten. Je mehr Sie das Instrument infrage stellen, desto größer wird dieser Bereich.

Die praktische Anwendung: Kinobesucher und Wetter

Die Autoren haben ihr neues Messgerät auf eine echte Studie angewandt: Gehen Freunde ins Kino, weil andere Freunde dort waren?

• Die alte Studie (Gilchrist & Sands, 2016): Sagte „Ja!", basierend auf dem Wetter als Instrument.
• Die neue Analyse:
  • Wenn wir dem Wetter zu 100 % vertrauen: Ja, es gibt einen Effekt.
  • ABER: Sobald wir dem Wetter nur eine winzige Ungenauigkeit zugestehen (z. B. dass Regentage vielleicht doch mit schlechter Laune zusammenhängen), verschwindet der Effekt fast sofort. Der Bereich möglicher Ergebnisse wird so breit, dass er auch „Null Effekt" einschließt.

Die Metapher:
Stellen Sie sich vor, Sie bauen ein Haus auf einem Fundament aus Sand. Wenn Sie das Haus nur auf den Sand stellen (perfekte Annahme), sieht es stabil aus. Aber die Autoren dieses Papiers sagen: „Stellen Sie sich vor, der Sand ist ein bisschen nass (kleine Verletzung der Annahme). Oh, das Haus wackelt sofort!"

Fazit für den Alltag

Dieses Papier ist wie ein Realitäts-Check für Wissenschaftler.

Es sagt uns: „Vertraue nicht einfach blind auf deine Werkzeuge. Teste, wie stark deine Schlussfolgerungen sind, wenn du annimmst, dass dein Werkzeug nicht perfekt ist."

• Für Forscher: Es gibt ihnen eine Methode, um ehrlich zu sagen: „Mein Ergebnis hält nur, wenn das Instrument fast perfekt ist."
• Für uns alle: Es lehrt uns, skeptischer zu sein. Wenn eine Studie sagt „A verursacht B", sollten wir fragen: „Wie stark muss die Annahme sein, damit das stimmt? Hält das auch, wenn die Annahme nur zu 90 % stimmt?"

Kurz gesagt: Sie haben eine neue Art von Wahrheits-Filter entwickelt, der uns hilft zu erkennen, welche wissenschaftlichen Erkenntnisse fest im Boden verankert sind und welche nur auf wackeligen Beinen stehen.

Technische Zusammenfassung

1. Problemstellung und Motivation

Instrumentenvariablen (IV)-Analysen basieren traditionell auf drei Kernannahmen:

1. Exklusion (Exclusion): Das Instrument hat keinen direkten Effekt auf das Ergebnis.
2. Exogenität (Exogeneity): Das Instrument ist zufällig zugewiesen (unabhängig von potenziellen Ergebnissen).
3. Monotonie im ersten Stadium (First Stage Monotonicity): Der Effekt des Instruments auf die Behandlung hat immer das gleiche Vorzeichen (z. B. in der LATE-Logik von Imbens und Angrist, 1994).

In vielen empirischen Anwendungen sind diese Annahmen schwer zu rechtfertigen. Insbesondere die Monotonieannahme ist in Designs mit vielen Behandlungswerten oder in „Judge IV"-Designs (z. B. Richter-IV) oft nicht haltbar. Zudem werden IV-Instrumente (wie Wetterdaten) zunehmend auf ihre Validität bezüglich Exklusion und Exogenität hinterfragt.

Das Paper adressiert das Problem der Empfindlichkeitsanalyse (Sensitivity Analysis): Wie robust sind die geschätzten Behandlungseffekte gegenüber Verletzungen der Exklusions- und Exogenitätsannahmen, wenn keine Monotonieannahme im ersten Stadium getroffen wird und Behandlungseffekte beliebig heterogen sein können?

2. Methodischer Ansatz

Die Autoren entwickeln einen neuen Rahmen für die partielle Identifikation (Partial Identification), der keine Monotonie voraussetzt und sowohl diskrete als auch kontinuierliche Ergebnisvariablen abdeckt.

A. Das Sensitivitätsmodell

Statt die Annahmen strikt als wahr oder falsch zu betrachten, führen die Autoren eine unifizierende Klasse kontinuierlicher Relaxierungen ein. Diese Modelle werden durch einen skalaren, einheitenfreien Sensitivitätsparameter $\theta \in [0, 1]$ indiziert:

• $\theta = 0$: Vollständige Exklusion und Exogenität (Baseline-Modell).
• $\theta = 1$: Keine Annahmen über die Abhängigkeit zwischen Instrument und potenziellen Ergebnissen (Manski-Grenzen).
• $0 < \theta < 1$: Partielle Gültigkeit der Annahmen.

Das Paper integriert bekannte Ansätze als Spezialfälle dieses Rahmens:

1. Marginal Sensitivity Model (MSM) nach Tan (2006): Begrenzt das Verhältnis der bedingten zu den unbedingten Odds.
2. c-Abhängigkeit (c-dependence) nach Masten und Poirier (2018): Begrenzt die maximale Differenz zwischen bedingter und unbedingter Wahrscheinlichkeit.
3. Kolmogorov-Smirnov (KS) / Supremums-Distanz: Begrenzt den maximalen Abstand zwischen Verteilungsfunktionen oder Dichten.

B. Diskrete Ergebnisse (Binary Outcomes)

Für diskrete Ergebnisse (z. B. binär) wird gezeigt, dass die identifizierten Mengen für die bedingten Wahrscheinlichkeiten potenzieller Ergebnisse als Schnittmenge zweier konvexer Mengen charakterisiert werden können:

1. Die Menge der mit den beobachteten Daten konsistenten Wahrscheinlichkeiten (basierend auf Manski, 1990).
2. Die Menge der Wahrscheinlichkeiten, die die Sensitivitätsbedingung für ein gegebenes $\theta$ erfüllen.

Da diese Mengen durch lineare Ungleichungen definiert sind, können die identifizierten Mengen für lineare Funktionale (wie ATE, ATT, QTE) als Lösungen von Linearprogrammen (LP) berechnet werden.

C. Kontinuierliche Ergebnisse (Continuous Outcomes)

Für kontinuierliche Ergebnisse wird das Problem als unendlichdimensionales Optimierungsproblem formuliert, da die Verteilung durch Dichtefunktionen beschrieben wird.

• Die identifizierten Mengen für Dichten und deren Funktionale werden ebenfalls als Lösungen von unendlichdimensionalen Linearprogrammen charakterisiert.
• Um dies rechnerisch handhabbar zu machen, schlagen die Autoren eine Sieb-Approximation (Sieve-based approach) vor. Sie approximieren die Dichtefunktionen mittels Bernstein-Polynome und diskretisieren die Constraints auf einem Gitter. Dies wandelt das unendlichdimensionale Problem in ein endliches Linearprogramm um, das mit Standardsoftware lösbar ist.

D. Fälschungsgrenzen (Falsification)

Das Paper leitet eine Fälschungsgrenze (Falsification Frontier) ab: den kleinsten Wert $\underline{\theta}$, bei dem die identifizierten Mengen nicht leer sind. Liegt der gewählte Sensitivitätsparameter unter diesem Wert, ist das Basismodell durch die Daten widerlegt (falsifiziert).

3. Wichtige Beiträge

1. Verzicht auf Monotonie: Im Gegensatz zu vielen früheren Arbeiten (z. B. LATE-Ansätze) werden keine Monotoniebedingungen im ersten Stadium gefordert. Dies macht die Methode auf breitere empirische Settings anwendbar.
2. Unifizierender Rahmen: Die Autoren bieten einen allgemeinen Rahmen, der verschiedene existierende Sensitivitätsmodelle (MSM, c-dependence, KS) als Spezialfälle umfasst und deren theoretische Eigenschaften (Stetigkeit, Monotonie) unter einem Dach vereint.
3. Rechenbarkeit bei kontinuierlichen Daten: Ein wesentlicher technischer Fortschritt ist die Entwicklung einer effizienten Methode zur Approximation unendlichdimensionaler Linearprogramme für kontinuierliche Ergebnisvariablen mittels Sieb-Methoden.
4. Theoretische Eigenschaften: Es wird bewiesen, dass die identifizierten Mengen und die daraus resultierenden Schranken für Behandlungseffekte stetig und monoton in Bezug auf den Sensitivitätsparameter $\theta$ sind.

4. Empirische Anwendung und Ergebnisse

Die Methode wird auf die Studie von Gilchrist und Sands (2016) angewendet, die Peer-Effekte im Kinobesuch untersucht. Als Instrument dient das Wetter (als exogener Schock für den Kinobesuch am Eröffnungswochenende).

• Hintergrund: Wetter wird oft als Instrument verwendet, aber es gibt Bedenken bezüglich der Exklusion (z. B. soziales Lernen über Filmqualität oder dynamisches Verhalten der Studios).
• Diskretes Ergebnis: Unter der Annahme vollständiger Exogenität ($\theta=0$) zeigt sich ein positiver Peer-Effekt (ATE > 0).
• Sensitivitätsanalyse: Sobald die Exogenitätsannahme jedoch leicht relaxiert wird (z. B. durch c-dependence mit $c \approx 0.015$), schließt die identifizierten Menge für den ATE den Wert Null ein. Das bedeutet, die Schlussfolgerung eines positiven Peer-Effekts ist hochgradig sensitiv gegenüber kleinen Verletzungen der Exogenität.
• Kontinuierliches Ergebnis (Quantile Treatment Effects): Bei der Analyse der Verteilungseffekte zeigt sich, dass die Schranken für die unteren Quantile (z. B. 10. und 25. Perzentil) unter Exogenität negativ und signifikant sind. Bei höheren Quantilen sind die Schranken jedoch sehr breit und beinhalten Null, was auf eine geringere Informationskraft der Daten für den oberen Teil der Verteilung unter den gegebenen Annahmen hinweist.

5. Signifikanz und Fazit

Das Paper liefert ein leistungsfähiges Werkzeug für Ökonomen und angewandte Forscher, um die Robustheit von IV-Ergebnissen transparent zu bewerten.

• Praktischer Nutzen: Forscher können „Sensitivitätsplots" erstellen, die zeigen, wie stark die Annahmen verletzt sein müssten, bevor die Schlussfolgerungen (z. B. ein signifikanter Behandlungseffekt) ungültig werden.
• Theoretische Tiefe: Die Arbeit verbindet partielle Identifikation, Sensitivitätsanalyse und rechnerische Methoden (Linear Programming) auf eine Weise, die keine restriktiven Annahmen über die Struktur der Behandlungseffekte erfordert.
• Implikation: Die Anwendung auf die Kinostudie demonstriert, dass viele in der Literatur als robust geltende IV-Ergebnisse möglicherweise fragiler sind als angenommen, sobald realistische, kleine Abweichungen von der Exogenität zugelassen werden.

Zusammenfassend bietet das Paper eine rigorose, aber anwendbare Methodik, um die Unsicherheit in IV-Schätzungen zu quantifizieren, ohne auf die oft unrealistische Monotonieannahme zurückzugreifen.