📈 economics

Valid Inference when Testing Violations of Parallel Trends for Difference-in-Differences

Dieser Artikel schlägt einfache Vorabtests und entsprechende Konfidenzintervalle vor, die eine gültige statistische Inferenz für Difference-in-Differences-Schätzer sicherstellen, indem sie die Verzerrungs- und Abdeckungsprobleme bestehender Methoden überwinden und sich auf eine „bedingte Extrapolationsannahme" stützen, um Verletzungen des Trends vor der Behandlung mit Verletzungen nach der Behandlung zu verknüpfen.

Ursprüngliche Autoren: Jonas M. Mikhaeil, Christopher Harshaw

Veröffentlicht 2026-05-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jonas M. Mikhaeil, Christopher Harshaw

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem der „parallelen Trends"

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden soll, ob ein neues Medikament (die Behandlung) Kopfschmerzen heilt. Sie haben zwei Gruppen von Menschen:

Die behandelte Gruppe: Sie nehmen das Medikament.
Die Kontrollgruppe: Sie nehmen ein Zuckerpillen.

Um zu wissen, ob das Medikament gewirkt hat, müssen Sie wissen, was mit der behandelten Gruppe passiert wäre, wenn sie das Medikament nicht genommen hätten. Da Sie die Zukunft oder ein „alternatives Universum" nicht sehen können, treffen Sie eine Annahme: Die Annahme paralleler Trends.

Die Annahme: Sie gehen davon aus, dass sich die Kopfschmerzen der behandelten Gruppe ohne das Medikament genau im selben Tempo verbessert (oder verschlechtert) hätten wie die Kopfschmerzen der Kontrollgruppe. Wenn ihre Linien auf einem Graphen vor der Behandlung parallel verliefen, gehen Sie davon aus, dass sie auch danach parallel geblieben wären.

Das Problem: Die „Vorab-Test"-Falle

In der realen Welt schauen sich Forscher oft die Daten vor der Verabreichung des Medikaments an, um zu sehen, ob die beiden Gruppen tatsächlich parallel liefen.

Wenn die Linien parallel aussehen: „Toll! Die Annahme gilt. Berechnen wir den Effekt."
Wenn die Linien wackelig aussehen: „Oh je. Die Annahme könnte gebrochen sein. Vielleicht sollten wir den Ergebnissen nicht trauen."

Der Haken: Eine jüngere Welle von Forschung hat gezeigt, dass dieses „Vorab-Checken" und das anschließende Entscheiden, ob Ergebnisse berichtet werden sollen, ein statistisches Durcheinander erzeugt. Es ist wie ein Schiedsrichter, der einem Spieler nur dann weiterspielen lässt, wenn er so aussieht, als würde er nicht betrügen, der dann aber eine kaputte Stoppuhr verwendet, um das Rennen zu messen. Die Endergebnisse werden verzerrt, die Konfidenzintervalle (die Fehlermarge) werden zu klein, und Sie könnten denken, Sie hätten eine Heilung gefunden, obwohl Sie es nicht getan haben.

Die Lösung: Ein neues Regelbuch

Die Autoren dieses Papiers schlagen einen neuen Weg vor, um mit diesem „Vorab-Check" umzugehen, damit die Mathematik korrekt funktioniert. Sie führen ein Konzept namens Annahme der bedingten Extrapolation ein.

Die Analogie: Der Wettervorhersager

Stellen Sie sich vor, Sie sind ein Wettervorhersager, der vorhersagen soll, ob es morgen regnen wird (die Post-Behandlungs-Periode). Sie schauen sich das Wetter heute und gestern an (die Pre-Behandlungs-Periode).

Der alte Weg (klassischer DID): Sie gehen davon aus, dass es morgen nicht regnen wird, wenn es gestern nicht geregnet hat. Sie prüfen nicht, ob der Wind seltsam weht.
Der „schlechte" Vorab-Test-Weg: Sie prüfen den Wind. Wenn er ruhig aussieht, sagen Sie Regen voraus. Wenn er stürmisch aussieht, hören Sie auf. Aber Ihr Vorhersagewerkzeug funktioniert nicht, wenn Sie es nur an ruhigen Tagen verwenden.
Der neue Weg der Autoren: Sie sagen: „Wir haben eine Regel: Wenn der Wind heute ruhig genug ist (unter einem bestimmten Schwellenwert), gehen wir davon aus, dass der Wind morgen nicht stärker sein wird als heute."

Dies ist die Annahme der bedingten Extrapolation. Sie verspricht nicht, dass es morgen ruhig sein wird; sie verspricht nur, dass wenn heute ruhig genug ist, um einen Test zu bestehen, dann morgen kein Orkan sein wird.

Wie es in der Praxis funktioniert

1. Der „Schweregrad-Test" (Der Torwächter)
Bevor irgendeine Mathematik durchgeführt wird, führt der Forscher einen einfachen Test durch, um zu messen, wie „wackelig" die Linien vor der Behandlung waren.

Sie berechnen einen „Schweregrad-Score" des Wackelns.
Sie vergleichen diesen Score mit einem vorab festgelegten Schwellenwert (nennen wir ihn „Akzeptable Wackel-Grenze").
Wenn der Score unter der Grenze liegt: Der Test besteht. Der Forscher darf fortfahren.
Wenn der Score über der Grenze liegt: Der Test scheitert. Der Forscher muss aufhören und sagen: „Wir können dieser Methode nicht trauen, weil die Gruppen von Anfang an zu unterschiedlich waren."

2. Das „wackelige" Konfidenzintervall
Wenn der Test besteht, berechnet der Forscher den Effekt der Behandlung. Aber hier kommt der clevere Teil: Sie zeichnen nicht einfach eine winzige, präzise Linie um ihre Antwort.

Sie zeichnen ein breiteres Konfidenzintervall (eine größere Fehlermarge).
Warum? Weil sie wissen, dass es einiges Wackeln gab, auch wenn es klein war. Sie fügen eine „Sicherheitsreserve" zur Mathematik hinzu, um die Möglichkeit zu berücksichtigen, dass das Wackeln morgen etwas schlimmer werden könnte.
Wenn das Wackeln vor der Behandlung winzig war, ist das Intervall schmal (wie bei einem Standardtest).
Wenn das Wackeln vor der Behandlung spürbar war (aber den Test trotzdem bestand), wird das Intervall aus Sicherheitsgründen breiter.

Warum dies besser ist

Das Papier argumentiert, dass diese Methode das Problem der „kaputten Stoppuhr" behebt.

Es räumt Unsicherheit ein: Anstatt so zu tun, als wären die Daten vor der Behandlung perfekt, misst es die Unvollkommenheit und fügt sie zur endgültigen Fehlermarge hinzu.
Es verhindert falsches Vertrauen: Wenn die Gruppen vor der Behandlung zu unterschiedlich waren, stoppt Sie der Test davon, überhaupt eine Behauptung aufzustellen, anstatt Ihnen zu erlauben, eine Behauptung mit einer falsch engen Fehlermarge aufzustellen.
Es formalisiert Intuition: Es verwandelt das „Bauchgefühl", das Forscher haben, wenn sie auf einen Graphen schauen und sagen: „Das sieht okay aus, aber nicht perfekt", in eine strenge mathematische Regel.

Reale Beispiele, die im Papier verwendet wurden

Die Autoren testeten dies an zwei realen Szenarien:

Öffentliche Dienstleistungen in Vietnam: Sie untersuchten, ob die Zentralisierung von Regierungsdienstleistungen Dinge wie Schulen und Wasser verbessert hat.
- Ergebnis: Bei Schulen und Wasser war das „Wackeln" klein genug, um den Test zu bestehen, daher berichteten sie Ergebnisse mit breiteren, sichereren Konfidenzintervallen. Bei landwirtschaftlichen Zentren war das „Wackeln" zu groß, daher lehnten sie es korrekt ab, irgendeine Behauptung aufzustellen.
Gesetze zum Waffenbesitz in Virginia: Sie untersuchten, ob die Erlaubnis für Menschen, Waffen zu tragen, die Kriminalitätsrate verändert hat.
- Ergebnis: Bei den Raten für „Schlägereien" bewegten sich die Gruppen vor der Gesetzesänderung in sehr unterschiedliche Richtungen. Der Test scheiterte, und sie stopten. Bei den Raten für „Mord" waren die Gruppen näher beieinander, daher fuhren sie mit ihren angepassten, breiteren Intervallen fort.

Das Fazit

Dieses Papier bietet einen neuen Werkzeugkasten für Forscher, die die „Difference-in-Differences"-Methode verwenden. Es sagt: „Überprüfen Sie nicht nur, ob Ihre Gruppen parallel aussehen, und ignorieren Sie dann die Überprüfung. Messen Sie stattdessen genau, wie stark sie abweichen, setzen Sie eine harte Grenze für das Akzeptable, und wenn sie bestehen, berichten Sie Ihre Ergebnisse mit einem größeren Sicherheitsabstand, um diese Abweichung zu berücksichtigen."

Dies stellt sicher, dass wir einer Studie glauben können, wenn sie sagt: „Wir haben einen Effekt gefunden", und dass die Mathematik dahinter nicht durch den Akt des Vorab-Überprüfens der Daten gebrochen wurde.

Technische Zusammenfassung: Gültige Inferenz beim Testen von Verletzungen paralleler Trends für Difference-in-Differences

Problemstellung
Das Difference-in-Differences (DID)-Design ist eine primäre Strategie zur Schätzung kausaler Effekte bei Vorliegen unbeobachteter Störfaktoren und stützt sich entscheidend auf die Annahme paralleler Trends. Obwohl diese Annahme für die Nachbehandlungsperiode kontrafaktisch und nicht testbar ist, untersuchen Forscher routinemäßig Vorbehandlungsperioden, um Verletzungen der Trends zu prüfen. Neuere Literatur (z. B. Freyaldenhoven, Hansen und Shapiro, 2019; Roth, 2022) hat jedoch gezeigt, dass die Verwendung konventioneller Vorabtests zur Validierung paralleler Trends zu schweren statistischen Mängeln bei der nachfolgenden Inferenz führt, einschließlich Verzerrung, geringer Teststärke und Unterdeckung von Konfidenzintervallen. Angewandte Forscher stehen vor einem Dilemma: Vorabtests sind intuitiv notwendig, um die Plausibilität des Forschungsdesigns zu beurteilen, doch versagen Standardstatistikmethoden, wenn sie auf die Ergebnisse solcher Tests konditioniert werden.

Methodik
Die Autoren schlagen einen Rahmen vor, der die implizite Logik von Vorabtests durch eine neue Annahme formalisiert und entsprechende Inferenzverfahren ableitet.

Die bedingte Extrapolationsannahme:
Der zentrale theoretische Beitrag ist die „Bedingte Extrapolationsannahme". Im Gegensatz zur klassischen Annahme paralleler Trends (die null Verletzungen postuliert) oder Teilidentifikationsannahmen (die Verletzungen in der Vorbehandlungsperiode als unbedingte Obergrenze für Verletzungen in der Nachbehandlungsperiode annehmen), postuliert diese Annahme eine bedingte Beziehung:
- Wenn die Schwere der Verletzungen paralleler Trends in der Vorbehandlungsperiode ( $S_{pre}$ ) unter einem vorab festgelegten akzeptablen Schwellenwert ( $M$ ) liegt, dann ist die Schwere der Verletzungen in der Nachbehandlungsperiode ( $S_{post}$ ) durch $S_{pre}$ beschränkt (d. h. $S_{post} \leq S_{pre}$ ).
- Wenn $S_{pre} > M$ , ist keine Beschränkung für $S_{post}$ gerechtfertigt, und das DID-Design wird als ungeeignet erachtet.
  Hier wird die Schwere als $L_p$ -Norm iterativer Verletzungen paralleler Trends ( $R(t)$ ) gemessen.
Vorabtest:
Die Autoren schlagen einen einfachen Vorabtest vor, um festzustellen, ob die Extrapolationsbedingung erfüllt ist ( $S_{pre} \leq M$ ). Die Teststatistik ist die geschätzte Schwere der Verletzungen in der Vorbehandlungsperiode ( $\hat{S}_{pre}$ ). Der Test lehnt die Extrapolationsbedingung ab, wenn $\hat{S}_{pre} \geq M$ .
- Asymptotische Konsistenz: Es wird gezeigt, dass der Test unter einer „Trennungsbedingung" asymptotisch konsistent ist. Konkret: Wenn die wahre $S_{pre}$ von dem Schwellenwert $M$ durch eine Folge $s_n$ getrennt ist, wobei $s_n = \omega(n^{-1/2})$ , verschwinden sowohl Fehler 1. Art als auch Fehler 2. Art, wenn die Stichprobengröße $n \to \infty$ geht. Dies unterscheidet sich von konventionellem Hypothesentesten, das darauf abzielt, den Fehler 2. Art bei einem festen Fehler 1. Art zu minimieren; stattdessen priorisiert dieser Test die Konsistenz in gut getrennten Regimen.
Bedingt gültige Konfidenzintervalle:
Wenn der Vorabtest besteht (d. h. die Extrapolationsbedingung als wahr erklärt wird), konstruieren die Autoren Konfidenzintervalle für den durchschnittlichen Behandlungseffekt auf die Behandelten (ATT).
- Struktur: Das Intervall ist um den Standard-DID-Schätzer ( $\hat{\tau}_{DD}$ $\overset{τ}{^}_{D D}$ ) zentriert, wird jedoch aufgeweitet, um potenzielle Verzerrungen zu berücksichtigen. Die Breite umfasst zwei Komponenten:
  1. Ein Verzerrungsterm: $\kappa \cdot \hat{S}_{pre}$ , wobei $\kappa$ eine Konstante ist, die sich aus der Länge der Nachbehandlungsperiode und der Wahl der $p$ -Norm ergibt. Dieser Term stellt die scharfe Obergrenze der Verzerrung dar, die aus Proposition 3.1 abgeleitet wird.
  2. Ein Term für statistische Schwankungen: $f(\alpha, \hat{\Sigma}) / \sqrt{n}$ , der die gemeinsame Unsicherheit des DID-Schätzers und der Schätzung der Schwere berücksichtigt.
- Gültigkeit: Satz 5.1 stellt fest, dass diese Intervalle eine nominale Abdeckung ( $1-\alpha$ ) bedingt auf das Ereignis erreichen, dass der Vorabtest besteht, sofern der datengenerierende Prozess die Trennungsbedingung erfüllt.

Hauptergebnisse

Konsistenz: Der vorgeschlagene Vorabtest ist asymptotisch konsistent für die Trennung von Hypothesen, bei denen die Schwere der Verletzungen in der Vorbehandlungsperiode hinreichend weit vom Schwellenwert $M$ entfernt ist.
Bedingte Abdeckung: Die vorgeschlagenen Konfidenzintervalle bieten eine gültige Abdeckung, bedingt darauf, dass der Test bestanden wurde. Dies löst die Probleme der Unterdeckung, die mit konventionellen Methoden verbunden sind, die auf das Bestehen standardmäßiger Vorabtests konditionieren.
Verhalten der Intervallbreite: Die Breite der Konfidenzintervalle skaliert als $\max(S_{pre}, n^{-1/2})$ $max (S_{p r e}, n^{- 1/2})$ .
- Wenn Verletzungen in der Vorbehandlungsperiode „vorhanden, aber vernachlässigbar" sind (Ordnung $n^{-1/2}$ ), konvergiert die Intervallbreite mit der Standardparameterrate ( $n^{-1/2}$ ).
- Wenn Verletzungen nicht vernachlässigbar sind (Ordnung $O(1)$ ), bleibt die Intervallbreite konstant und spiegelt die anhaltende Verzerrungsgrenze wider.
Wahrscheinlichkeit einer gültigen Berichterstattung: Satz 5.2 zeigt, dass die gemeinsame Wahrscheinlichkeit, dass der Test bestanden wird und das Intervall den wahren Effekt enthält (gültige Berichterstattung), unter der gut getrennten Nullhypothese ebenfalls auf das nominale Niveau konvergiert.

Empirische Veranschaulichungen
Die Autoren validieren ihre Methoden mithilfe von:

Synthetischen Simulationen: Diese zeigen, dass die bedingte Abdeckung ihrer Intervalle auf dem nominalen Niveau liegt, wenn die Extrapolationsbedingung erfüllt ist, wohingegen konventionelle Intervalle unterdecken. Die Simulationen zeigen zudem, wie die Intervallbreite mit der Anzahl der Vorbehandlungsperioden ( $T_{pre}$ ) und dem Schweregradparameter ( $p$ ) skaliert.
Daten zur Rezentralisierung in Vietnam: Eine Neubearbeitung von Malesky, Nguyen und Tran (2014). Der Vorabtest lehnt die Extrapolationsbedingung korrekt für Ergebnisse mit schweren Verletzungen paralleler Trends in der Vorbehandlungsperiode ab (landwirtschaftliche Zentren), wodurch eine ungültige Inferenz verhindert wird, während er für Ergebnisse mit geringfügigen Verletzungen breitere, gültige Intervalle liefert.
Gesetze zum Waffenrecht (Virginia/Maryland): Eine halb-synthetische Veranschaulichung, die iterative gegen Gesamtsverletzungen vergleicht. Die Ergebnisse unterstreichen, dass die Wahl des Verletzungsmetriks (iterativ $R(t)$ vs. insgesamt $\Delta(t)$ ) und des Schwellenwerts $M$ erheblich beeinflussen, ob die Extrapolationsbedingung akzeptiert wird und wie breit das resultierende Intervall ist.

Bedeutung und Behauptungen
Der Artikel behauptet, die erste formale Annahme (Bedingte Extrapolation) zu liefern, die Vorabtests erforderlich macht, und bietet damit eine theoretische Rechtfertigung für eine gängige empirische Praxis, die zuvor gezeigt hat, dass sie die Standardinferenz zerstört.

Formalisierung: Sie formalisiert die implizite Annahme, die Forscher treffen, wenn sie entscheiden, erst nach dem Sehen „akzeptabler" Trends in der Vorbehandlungsperiode mit der DID-Analyse fortzufahren.
Abhilfe: Sie bietet eine praktische Lösung für das „Vorabtest-Paradoxon", indem sie Inferenzverfahren bereitstellt, die nach der Konditionierung auf das Testergebnis gültig bleiben, sofern die Trennungsbedingung erfüllt ist.
Bescheidenheit: Die Autoren räumen ein, dass die Bedingte Extrapolationsannahme, ähnlich wie die Annahme paralleler Trends selbst, kontrafaktisch und nicht testbar ist. Sie beanspruchen nicht, die Annahme zu verifizieren, sondern vielmehr einen Rahmen bereitzustellen, in dem, falls die Annahme gilt und die Verletzungen in der Vorbehandlungsperiode hinreichend klein sind (vom Schwellenwert getrennt), eine gültige Inferenz möglich ist. Sie weisen darauf hin, dass ihre Ergebnisse auf der Trennungsbedingung beruhen, was bedeutet, dass für Fälle, in denen Verletzungen willkürlich nahe am Schwellenwert $M$ liegen, keine Inferenz garantiert ist.

Der Artikel schließt mit dem Vorschlag, dass zukünftige Arbeiten diese Verfahren auf Designs mit gestaffelter Einführung und alternative Identifikationsstrategien ausweiten könnten, betont jedoch, dass der aktuelle Beitrag eine Formalisierung der Logik zugrunde liegender Vorabtests in DID-Designs mit blockweiser Einführung darstellt.