Bias-robust causal inference for panel data

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: „Hat diese neue politische Maßnahme das Leben der Menschen tatsächlich verändert?“ In der realen Welt führen wir selten perfekte Experimente durch, bei denen wir einen Schalter umlegen und zufällig einige Menschen der Maßnahme aussetzen, während andere sie nicht erhalten. Stattdessen müssen wir uns mit den chaotischen, beobachteten Daten begnügen, die uns bereits vorliegen. Um herauszufinden, was ohne die Maßnahme passiert wäre (das „Kontrafaktische“), bauen Statistiker Modelle – wie digitale Zeitmaschinen –, die versuchen, die Zukunft basierend auf der Vergangenheit vorherzusagen. Sie nutzen oft komplexe Mathematik, um verborgene Muster zu finden, wie etwa einen gemeinsamen „Trend“ oder „Faktor“, der alle betrifft, und nutzen diese Muster dann, um zu schätzen, wie die behandelte Gruppe ausgesehen hätte, wenn sie nie behandelt worden wäre. Das Problem ist, dass diese Zeitmaschinen nicht perfekt sind. Wenn das Modell ein verborgenes Muster übersieht oder einen falschen Trend errät, ist die Vorhersage falsch. Traditionelle Methoden verhalten sich oft so, als wären sie sich ihrer Vorhersage zu 100 % sicher, und ignorieren dabei die Tatsache, dass ihre „Zeitmaschine“ vielleicht leicht defekt ist, was zu Schlussfolgerungen führt, die zwar sicher aussehen, aber eigentlich wackelig sind.

Dieses Paper stellt eine neue, vorsichtigere Art dieser Detektivarbeit vor, speziell für Daten, die viele verschiedene Personen oder Orte über die Zeit verfolgen (Paneldaten). Der Autor, Angelos Alexopoulos, argumentiert, dass wir, anstatt vorzugein, unsere Vorhersagen seien perfekt, die Unsicherheit direkt in unsere endgültige Antwort einbauen sollten. Denken Sie an eine Wettervorhersage: Anstatt nur zu sagen: „Es wird um 14 Uhr regnen“, sagt eine bias-robuste Methode: „Es wird um 14 Uhr regnen, aber wenn unser Modell danebenliegt, könnte der Regen auch schon um 13:30 oder erst um 14:30 Uhr beginnen.“ Das Paper entwickelt eine Methode, die die Vorhersage anpasst, indem sie die „übrigen“ Fehler in den Daten betrachtet und ein Sicherheitsnetz (ein breiteres Intervall) erstellt, das garantiert, dass die wahre Antwort darin enthalten ist, selbst wenn das Modell nicht perfekt ist.

Die Zeitmaschine und das Sicherheitsnetz

Das Paper befasst sich mit einem spezifischen Problem in der Ökonomie und den Sozialwissenschaften: Wie man die Wirkung einer politischen Maßnahme misst, wenn man kein kontrolliertes Experiment durchführen kann. Der Standardansatz, wie die Methode der „Generalized Synthetic Control“ (GSC), ist wie der Versuch, das Outfit eines Prominenten nachzustellen, indem man Kleidungsstücke von einer Gruppe normaler Menschen zusammennäht. Es funktioniert gut, wenn der Prominente und die normalen Leute einen sehr ähnlichen zugrunde liegenden Stil (Faktoren) haben. Aber wenn das Modell den Stil falsch einschätzt – zum Beispiel, wenn es einen subtilen Trend übersieht, dem nur der Prominente folgt –, sieht das „zusammengenähte“ Outfit falsch aus, und der geschätzte Effekt der Maßnahme ist verzerrt. Schlimmer noch: Traditionelle Methoden berechnen ihr „Vertrauen“ so, als wäre das Zusammennähen perfekt gewesen, und ignorieren dabei, dass das Muster vielleicht falsch ist.

Der Autor schlägt eine „bias-robuste“ Methode vor. Stellen Sie sich vor, Sie versuchen, das Gewicht einer Geheimnis-Box zu erraten. Sie haben eine Waage, die vielleicht leicht ungenau ist. Anstatt nur den Wert abzulesen und zu sagen: „Sie wiegt 10 Pfund“, sagen Sie: „Sie wiegt 10 Pfund, aber meine Waage könnte um bis zu 2 Pfund danebenliegen, also liegt das wahre Gewicht irgendwo zwischen 8 und 12 Pfund.“ Die neue Methode macht genau das für politische Effekte. Sie nimmt die Standardvorhersage, prüft, wie sehr das Modell sich irren könnte (den „kontrafaktischen Fehler“), und fügt dann eine „Sicherheitsmarge“ zum Endergebnis hinzu. Sie nutzt einen mathematischen Trick namens „Minimax-Optimierung“, was wie ein Spiel ist, bei dem man versucht, die beste Schätzung zu finden, die selbst im Worst-Case-Szenario der Fehlbarkeit des Modells noch funktioniert.

Was die Simulationen zeigten

Um diese Idee zu testen, führte der Autor Computersimulationen durch – er erschuf fiktive Welten, in denen die wahre Antwort bekanntlich Null war (was bedeutete, dass die Maßnahme nichts bewirkt hat). In diesen Simulationen erwies sich die neue Methode als zuverlässiger Detektiv. Wenn die Standardmethode der „Generalized Synthetic Control“ versuchte, den Effekt zu schätzen, war sie oft maßlos selbstbewusst, aber völlig falsch; sie verfehlte die wahre Antwort (Null) fast jedes Mal, besonders wenn das Modell nicht genügend „Faktoren“ hatte, um die Daten zu beschreiben. In einem Szenario, in dem das Modell einen Schlüsseltrend übersah, waren die Konfidenzintervalle der Standardmethode so eng, dass sie die Wahrheit zu 100 % verfehlten.

Im Gegensatz dazu waren die Intervalle der neuen Methode breiter, aber sie erfassten immer die wahre Antwort. Es war wie ein Fischernetz, das größer und schwerer war, aber niemals den Fisch entkommen ließ. Das Paper stellt fest, dass dies mit einem Preis verbunden ist: Die Intervalle sind breiter, was bedeutet, dass die Schätzung weniger präzise ist. Der Autor argumentiert jedoch, dass es viel besser ist, etwas weniger präzise, aber tatsächlich korrekt zu sein, als sehr präzise, aber falsch zu sein. In den Simulationen behielt die neue Methode eine Erfolgsquote von 100 % bei, der Erfolg der Standardmethode hingegen sank auf nahezu Null, wenn das Modell auch nur leicht unvollkommen war.

Der Realwelt-Test: Wählerregistrierung am Wahltag

Der Autor wandte diese Methode dann auf einen realen Fall an: die Auswirkung der Wählerregistrierung am Wahltag (Election Day Registration, EDR) auf die Wahlbeteiligung. Frühere Studien unter Verwendung der Standardmethode schätzten, dass EDR die Beteiligung um etwa 4,9 Prozentpunkte steigerte. Als der Autor die neue, bias-robuste Methode anwandte, blieb die Schätzung sehr ähnlich (etwa 4,99 Punkte), aber das „Sicherheitsnetz“ war viel breiter.

Der interessanteste Teil dieses Realwelt-Tests war die Prüfung, wie viel Fehler die Methode tolerieren könnte, bevor sich die Schlussfolgerung ändert. Der Autor fand heraus, dass die Schlussfolgerung (dass EDR die Wahlbeteiligung erhöht) weiterhin gültig blieb, selbst wenn der Vorhersagefehler des Modells fast doppelt so groß war wie die typischen Fehler in „Placebo“-Tests (fiktive Experimente, bei denen die Maßnahme keinen Effekt haben sollte). Wenn der Fehler jedoch zu gewaltig wurde – speziell, wenn das Modell um eine massive Menge danebenlag –, würde sich die Schlussfolgerung umkehren. Das Paper hebt hervor, dass während die Standardmethode einen engen Bereich liefert, der beeindruckend wirkt, die neue Methode zugibt: „Wir sind ziemlich sicher, dass der Effekt positiv ist, aber wir müssen der Möglichkeit Raum geben, dass unser Modell etwas danebenliegt.“

Das Fazit

Dieses Paper behauptet nicht, ein Zaubermittel gefunden zu haben, das alle Modelle perfekt macht. Stattdessen bietet es eine ehrlichere Art, Ergebnisse zu berichten. Es legt nahe, dass wir, wenn wir komplexe Modelle verwenden, um zu erraten, was passiert wäre, explizit die Möglichkeit berücksichtigen sollten, dass unsere Vermutung falsch ist. Die neue Methode tauscht ein Stück Präzision gegen viel Zuverlässigkeit ein. Sie sagt uns, dass wir zwar den exakten kontrafaktischen Fehler nicht kennen können, aber eine Grenze setzen können, wie groß dieser Fehler sein darf, und dennoch der Schlussfolgerung vertrauen können. Letztendlich argumentiert das Paper, dass es die einzige Möglichkeit ist, wirklich zu wissen, ob eine politische Maßnahme funktioniert hat, anstatt nur vorzugein, unsere Zeitmaschine sei makellos.