Is Inference Conditional on Not Rejecting a Pre-test Less Reliable than Unconditional Inference?

Die Studie zeigt, dass die Inferenz nach einem nicht abgelehnten Vorabtest unter bestimmten Bedingungen zwar oft konservativ, aber dennoch gültig bleibt, selbst wenn der Schätzer und der Test asymptotisch abhängig sind, und dass die bedingte Abdeckung in manchen Fällen sogar größer sein kann als die unbedingte.

Das Wesentliche

Die große Frage: Ist das „Vor-Checken" vor dem Urteil schädlich?

Stellen Sie sich vor, Sie sind ein Richter in einem Gerichtssaal. Ihr Job ist es, zu entscheiden, ob ein Angeklagter schuldig ist (oder in der Statistik: ob ein bestimmter Effekt existiert). Aber bevor Sie das Urteil fällen, wollen Sie sicher sein, dass die Beweise, die Sie verwenden, überhaupt gültig sind.

In der wissenschaftlichen Welt (besonders in der Ökonomie) machen Forscher genau das Gleiche. Bevor sie den „Effekt" einer Behandlung (z. B. einer neuen Medizin oder eines Gesetzes) berechnen, führen sie einen Vor-Test durch. Sie prüfen: „Sind die Gruppen vergleichbar? Gibt es keine versteckten Trends?"

Das Dilemma:
Wenn dieser Vor-Test schlecht läuft (z. B. die Gruppen sind nicht vergleichbar), werfen die Forscher die Ergebnisse oft weg. Wenn der Test gut läuft, veröffentlichen sie das Ergebnis.
Die große Frage dieser Studie lautet: Macht dieses „Vor-Checken" die eigentliche Schlussfolgerung unzuverlässig? Viele Experten dachten bisher: „Ja, das verzerrt alles!"

Die Autoren sagen jedoch: Nein, nicht unbedingt. Tatsächlich ist es oft sogar sicherer, als man denkt.

---

Die Analogie: Der Wetterbericht und der Picknick-Plan

Um das zu verstehen, nutzen wir eine Analogie:

1. Der Zielparameter (β): Sie wollen wissen, ob ein Picknick heute ein Erfolg wird (wie viele Leute kommen).
2. Der Schätzer (bβ): Ihr Modell, das basierend auf historischen Daten vorhersagt, wie viele Leute kommen.
3. Der Vor-Test (bθ): Sie schauen auf den Himmel, um zu prüfen, ob die Wettervorhersage (die Annahme, dass das Wetter stabil ist) stimmt.
   • Wenn der Himmel grau ist (Vor-Test wird abgelehnt), sagen Sie: „Kein Picknick!" und veröffentlichen kein Ergebnis.
   • Wenn der Himmel blau ist (Vor-Test besteht), sagen Sie: „Hier ist meine Vorhersage!"

Die Angst:
Kritiker sagen: „Wenn Sie nur dann eine Vorhersage machen, wenn der Himmel blau ist, dann ist Ihre Vorhersage für die Leute, die wirklich ankommen, verzerrt! Vielleicht war der Himmel nur zufällig blau, obwohl es regnen würde."

Die Erkenntnis der Autoren:
Die Autoren haben mathematisch bewiesen, dass diese Angst oft unbegründet ist.

1. Wenn die Annahmen stimmen (Der Himmel ist wirklich blau)

Wenn Ihre Grundannahme (dass das Wetter stabil ist) tatsächlich wahr ist, dann ist Ihre Vorhersage immer noch korrekt, auch wenn Sie nur dann sprechen, wenn der Himmel blau ist.

• Das Ergebnis: Ihr Vorhersagebereich (das „Konfidenzintervall") wird vielleicht etwas vorsichtiger (konservativer). Das bedeutet, Sie sind sich vielleicht zu 98 % sicher, dass es trocken bleibt, statt nur zu 95 %. Das ist kein Fehler, sondern eine Sicherheitsmarge. Sie werden den Angeklagten (den Effekt) nicht fälschlicherweise verurteilen.
• Die Metapher: Es ist wie ein Sicherheitsgurt. Wenn Sie ihn nur anlegen, wenn Sie denken, dass die Straße glatt ist, aber die Straße ist wirklich glatt, dann schützen Sie sich trotzdem. Sie fallen nicht öfter hin, nur weil Sie den Gurt nur bei bestimmten Bedingungen angelegt haben.

2. Wenn die Annahmen falsch sind (Der Himmel ist grau, aber Sie denken, er ist blau)

Was passiert, wenn die Grundannahme falsch ist (es gibt einen versteckten Trend), aber Ihr Vor-Test das nicht bemerkt?

• Hier wird es spannend. Die Autoren zeigen, dass unter bestimmten Bedingungen (die in vielen realen Studien wie z. B. bei zufälligen Experimenten oder Instrumentenvariablen vorkommen) die Vorhersage immer noch besser ist, wenn man den Vor-Test macht, als wenn man ihn ignoriert.
• Die Metapher: Stellen Sie sich vor, Sie fahren ein Auto mit einem defekten Tacho. Wenn Sie den Vor-Test machen (Schauen Sie aus dem Fenster), sehen Sie vielleicht, dass die Straße rutschig ist. Wenn Sie trotzdem weiterfahren (weil der Test nicht „rot" leuchtet), sind Sie vielleicht immer noch sicherer als jemand, der blind fährt und denkt, der Tacho sei perfekt. In manchen Fällen hilft das Vor-Checken sogar dabei, die schlimmsten Fehler zu vermeiden, auch wenn es nicht perfekt ist.

---

Die wichtigsten Erkenntnisse einfach erklärt

1. Kein „Unter-Abdecken": Wenn die wissenschaftliche Methode korrekt ist, führt das Vor-Checken niemals dazu, dass Sie zu wenig Sicherheit haben. Im Gegenteil: Sie haben oft mehr Sicherheit als gedacht. Es ist wie ein Sicherheitsnetz, das sich spannt, wenn Sie vorsichtig sind.
2. Wann ist es perfekt? Wenn der Vor-Test und das eigentliche Ergebnis völlig unabhängig voneinander sind (wie zwei separate Würfel), dann ändert das Vor-Checken gar nichts an der Genauigkeit.
3. Wann ist es riskant? Es gibt Szenarien (besonders bei „Difference-in-Differences"-Studien, wo man Trends über die Zeit vergleicht), bei denen die Mathematik komplizierter wird. Aber selbst dort zeigt die Studie, dass das Vor-Checken die Ergebnisse oft nur leicht verschlechtert, aber nicht katastrophal macht.
4. Der „Naive" Ansatz ist okay: Viele Forscher machen einen Fehler: Sie prüfen erst, ob die Daten gut sind, und dann berechnen sie das Ergebnis mit den normalen Formeln, ohne zu sagen „Ich habe ja erst geprüft". Die Autoren sagen: Das ist in Ordnung! Sie müssen die Formel nicht komplizierter machen. Die „naive" Methode funktioniert überraschend gut und ist sogar oft sicherer als die unbedingte Methode.

Fazit für den Alltag

Stellen Sie sich vor, Sie kaufen einen gebrauchten Wagen.

• Der alte Rat: „Prüfe den Motor nicht! Wenn du prüfst und einen Fehler findest, kaufst du ihn nicht. Wenn du ihn kaufst, hast du aber einen verzerrten Wagen, weil du nur die guten ausgewählt hast!"
• Der neue Rat (diese Studie): „Prüfe den Motor! Wenn er gut läuft, ist dein Kauf sicher. Ja, du hast vielleicht nur die Autos gekauft, die gut liefen, aber das bedeutet nicht, dass der Motor plötzlich kaputt geht. Tatsächlich ist es besser, nur Autos zu kaufen, die den Check bestanden haben, als blind zu kaufen. Und selbst wenn der Check nicht perfekt war, hast du durch das Prüfen oft noch mehr Sicherheit als ohne."

Zusammenfassend: Die Autoren trösten die Forscher: „Machen Sie weiter mit Ihren Vor-Tests! Sie machen Ihre Ergebnisse nicht ungültig. Im Gegenteil, sie machen sie oft sogar robuster und vorsichtiger."

Technische Zusammenfassung

1. Problemstellung

In der angewandten Ökonometrie ist es üblich, vor der Schätzung eines Zielparameters (z. B. den Behandlungseffekt) einen Pre-Test (Vorab-Test) durchzuführen, um die Gültigkeit einer identifizierenden Annahme zu überprüfen. Beispiele hierfür sind:

• Difference-in-Differences (DID): Test auf parallele Trends vor der Behandlung.
• Randomized Controlled Trials (RCTs): Balancing-Tests, um sicherzustellen, dass Kovariaten zwischen Behandlungs- und Kontrollgruppe ausgeglichen sind.
• Instrumental Variables (IV) & GMM: Tests auf Exogenität oder Überidentifikation (J-Test).

Das zentrale Problem besteht darin, dass Forscher oft nur dann einen Konfidenzintervall (KI) oder einen Hypothesentest für den Zielparameter berichten, wenn der Pre-Test die Nullhypothese (Gültigkeit der Annahme) nicht ablehnt. Die Literatur hat gezeigt, dass solche sequenziellen Verfahren die Inferenz verzerren können (z. B. durch Unterdeckung von Konfidenzintervallen).

Die Autoren untersuchen die Frage: Ist die bedingte Inferenz (bedingt darauf, dass der Pre-Test nicht abgelehnt wurde) weniger zuverlässig als die unbedingte Inferenz? Insbesondere prüfen sie, ob die bedingte Abdeckungswahrscheinlichkeit (Conditional Coverage, CC) eines naiven Konfidenzintervalls unter der Nullhypothese oder unter lokalen Alternativen niedriger ist als die nominale oder unbedingte Abdeckungswahrscheinlichkeit.

2. Methodik und Modellrahmen

Die Autoren entwickeln ein allgemeines asymptotisches Framework, das vier Hauptbeispiele (DID, AE, RDD, GMM) abdeckt.

• Schätzer: Sei $\hat{\beta}$ ein Schätzer für den Zielparameter $\beta_0$ und $\hat{\theta}$ ein Schätzer für den Testparameter (z. B. Pre-Trends oder Kovariaten-Ungleichgewichte).
• Nullhypothese: Die Spezifikation ist gültig, wenn $(\theta_0, \eta_0) = 0$. Dabei ist $\theta_0$ testbar, während $\eta_0$ (der nicht-testbare Teil der Spezifikation) unter der Nullhypothese ebenfalls null ist.
• Asymptotische Verteilung: Unter Regularitätsbedingungen konvergieren die standardisierten Schätzer jointly zu einer multivariaten Normalverteilung:
  $$\left( \hat{\Sigma}_\beta^{-1/2}(\hat{\beta} - \beta_0), \hat{\Sigma}_\theta^{-1/2}\hat{\theta} \right) \xrightarrow{d} N\left(0, \Sigma\right)$$
  wobei $\Sigma$ die asymptotische Kovarianzmatrix ist, die die Abhängigkeit zwischen dem Ziel-Schätzer und dem Test-Schätzer beschreibt.
• Pre-Test: Der Test basiert auf einer Statistik $T_n(\hat{\theta})$, die konvex und symmetrisch um Null ist (z. B. F-Tests, Sup-Tests, Kolmogorov-Smirnov-Tests). Die Inferenz wird nur durchgeführt, wenn $T_n \leq q_n$ (Nicht-Ablehnung).
• Hauptwerkzeug: Der Beweis stützt sich maßgeblich auf die Gaußsche Korrelationsungleichung (Gaussian Correlation Inequality, Royen, 2014). Diese besagt, dass für einen zentrierten Normalvektor $(Y, X)$ und konvexe, zentralsymmetrische Mengen $C_Y, C_X$ gilt:
  $$P(Y \in C_Y \mid X \in C_X) \geq P(Y \in C_Y)$$

3. Wichtige Beiträge und Ergebnisse

A. Ergebnisse unter der Nullhypothese (Gültige Spezifikation)

Unter der Annahme, dass die Nullhypothese gilt ($\theta_0 = 0$), zeigen die Autoren:

1. Konservative Inferenz: Die bedingte Abdeckungswahrscheinlichkeit (CC) des naiven Konfidenzintervalls ist immer größer oder gleich der nominalen Abdeckungswahrscheinlichkeit (NC).
   $$\lim_{n \to \infty} P(\beta_0 \in CI_{1-\alpha} \mid \text{Pre-Test nicht abgelehnt}) \geq 1 - \alpha$$
   Das bedeutet: Unter der Nullhypothese führt Pre-Testing niemals zu einer Unterdeckung (Under-coverage), sondern höchstens zu einer Überdeckung (Over-coverage). Die Inferenz bleibt also gültig, ist aber oft konservativ.
2. Notwendige und hinreichende Bedingung für exakte Inferenz: Die Gleichheit (d.h. keine Konservativität) gilt genau dann, wenn der Ziel-Schätzer $\hat{\beta}$ und der Test-Schätzer $\hat{\theta}$ asymptotisch unabhängig sind ($\Sigma_{12} = 0$).
   • Dies ist ein neues Ergebnis, das zeigt, dass Korrelation zwischen Schätzer und Teststatistik zwingend zu konservativer Inferenz führt.
   • In vielen praktischen Fällen (z. B. DID mit AR(1)-Fehlern) ist $\Sigma_{12} \neq 0$, sodass die Inferenz strikt konservativ ist.
3. Einseitige Tests und unendlich viele Restriktionen: Die Ergebnisse gelten auch für einseitige Konfidenzintervalle und Tests auf unendlich viele Restriktionen (z. B. Kolmogorov-Smirnov-Tests), sofern die Teststatistiken die erforderlichen Konvexitäts- und Symmetriebedingungen erfüllen.

B. Ergebnisse unter der Alternativhypothese (Fehlerhafte Spezifikation)

Wenn die Nullhypothese falsch ist ($\theta_0 \neq 0$), ist der Schätzer $\hat{\beta}$ verzerrt. Die Autoren untersuchen lokale Alternativen, bei denen die Verzerrung mit der Stichprobengröße gegen Null geht.

1. Lokale Alternativen: Wenn $\hat{\beta}$ und $\hat{\theta}$ nicht asymptotisch unabhängig sind, gibt es eine Umgebung um die Nullhypothese, in der die bedingte Abdeckung (CC) immer noch größer ist als die nominale Abdeckung (NC) und auch größer als die unbedingte Abdeckung (UC).
2. Globales Ergebnis: Unter spezifischen Bedingungen (insbesondere wenn die standardisierte Verzerrung von $\hat{\beta}$ gleich der standardisierten Verzerrung von $\hat{\theta}$ multipliziert mit ihrer Korrelation ist: $\mu_1 = \Sigma_{12}\mu_2$), gilt:
   $$CC \geq UC$$
   für alle Werte der lokalen Alternativen. Das bedeutet, dass Pre-Testing in diesem Szenario die Abdeckungswahrscheinlichkeit im Vergleich zur unbedingten Inferenz sogar verbessern kann, da es verzerrte Schätzungen filtert.
3. Anwendung auf DID vs. RCT/IV:
   • In RCTs und IV-Studien erfüllen die Bedingungen oft $\mu_1 = \Sigma_{12}\mu_2$, sodass Pre-Testing die Inferenz schützen kann.
   • In DID-Studien (mit differentiellen Trends und stationären Fehlern) gilt diese Bedingung oft nicht. Hier kann die CC unter die UC fallen.
   • Numerische Simulationen zeigen jedoch, dass die CC selbst bei Verletzungen der Bedingung $\mu_1 = \Sigma_{12}\mu_2$ oft noch höher ist als die UC, solange die Verzerrung aus nicht-getesteten Variablen nicht zu dominant ist.

C. Empirische Kalibrierung (DID-Studien)

Die Autoren kalibrieren ihre Simulationen an 12 realen DID-Studien aus der Meta-Analyse von Roth (2022).

• Ergebnis: Unter der Annahme differentieller linearer Trends liegen sowohl die unbedingte (UC) als auch die bedingte (CC) Abdeckung weit unter dem nominalen Niveau von 95 % (Durchschnitt UC: 81 %, CC: 79,2 %).
• Vergleich: Trotz der niedrigen absoluten Werte ist die CC nur geringfügig niedriger als die UC (Durchschnittsverhältnis CC/UC $\approx$ 0,975). In den meisten Fällen reduziert das Pre-Testing die Abdeckung nur minimal.
• Fazit: Auch wenn die absolute Zuverlässigkeit unter Verletzung der Annahmen leidet, ist der "Kostenaufwand" des Pre-Testing (die zusätzliche Verzerrung durch die Bedingung) oft gering.

4. Bedeutung und Implikationen

1. Verteidigung von Pre-Tests: Das Paper widerlegt die pauschale Annahme, dass Pre-Tests die Inferenz zwangsläufig ruinieren. Unter der Nullhypothese ist die naive Inferenz nicht nur gültig, sondern sogar konservativ.
2. Trade-off zwischen Validität und Schutz: Pre-Tests bieten einen gewissen Schutz vor Fehlspezifikation. In vielen Szenarien (besonders RCT/IV) kann die bedingte Inferenz sogar robuster sein als die unbedingte, da sie stark verzerrte Schätzer ausschließt.
3. Praktische Empfehlungen:
   • Forscher sollten sich bewusst sein, dass Pre-Testing zu konservativen Konfidenzintervallen führen kann (breitere Intervalle).
   • In DID-Studien ist die Gefahr einer Unterdeckung unter lokalen Alternativen real, aber der Unterschied zur unbedingten Inferenz ist oft klein.
   • Die Wahl des Tests ist wichtig: Ein einzelner Test auf einen zusammengefassten Index (z. B. ein t-Test auf einen gewichteten Mittelwert der Kovariaten) kann vorteilhafter sein als ein Joint-Test aller Kovariaten, um die Bedingungen für die globale Überlegenheit der CC zu erfüllen.
4. Grenzen: Die Ergebnisse gelten nicht für sequenzielles Pre-Testing (wenn Forscher nach einer Ablehnung weitere Tests durchführen, bis sie eine nicht abgelehnte Spezifikation finden). Dies bleibt ein offenes Feld für zukünftige Forschung.

Zusammenfassend bietet das Paper eine optimistischere Sicht auf Pre-Tests als die bisherige Literatur. Es zeigt, dass die "naive" bedingte Inferenz unter der Nullhypothese sicher ist und unter bestimmten Bedingungen auch unter Alternativen vorteilhaft sein kann, was die weit verbreitete Praxis des Pre-Testing in der angewandten Forschung theoretisch untermauert.