When Can We Trust Cluster-Robust Inference?

Die Arbeit zeigt, dass zwar keine einzelne Methode für cluster-robuste Inferenz in allen Fällen zuverlässig ist, aber durch die Anwendung mehrerer Verfahren zur Bewertung der Zuverlässigkeit für ein spezifisches Modell und einen Datensatz oft vertrauenswürdige Ergebnisse erzielt werden können.

Das Wesentliche

Wenn wir Gruppen haben: Warum Standard-Statistik oft in die Irre führt

Stellen Sie sich vor, Sie wollen herausfinden, ob ein neuer Dünger das Wachstum von Pflanzen verbessert. Sie haben 1000 Pflanzen. Aber warten Sie mal: Diese Pflanzen stehen nicht alle einzeln in einem riesigen Feld. Sie stehen in 12 verschiedenen Töpfen.

In einem Topf stehen 50 Pflanzen, in einem anderen nur 10. Und das Wichtigste: Pflanzen im selben Topf teilen sich die gleiche Erde, das gleiche Licht und das gleiche Gießwasser. Sie sind also nicht unabhängig voneinander. Wenn eine Pflanze im Topf A wächst, wächst wahrscheinlich auch ihre Nachbarin.

In der Statistik nennen wir diese Töpfe Cluster (Gruppen). Die meisten Standard-Statistik-Methoden gehen fälschlicherweise davon aus, dass alle 1000 Pflanzen völlig unabhängig sind. Das führt zu falschen Ergebnissen – so als würden Sie 1000 unabhängige Datenpunkte zählen, obwohl Sie eigentlich nur 12 unabhängige Experimente haben.

Die Lösung heißt Cluster-Robuste Inferenz. Aber wie bei jedem Werkzeug gibt es verschiedene Arten, es zu benutzen, und einige funktionieren besser als andere. James G. MacKinnon erklärt in diesem Papier, wann wir diesen Werkzeugen vertrauen können und wann sie uns in die Irre führen.

---

1. Das Problem: Die Illusion der Unabhängigkeit

Wenn Sie Daten aus Gruppen haben (z. B. Schüler in Klassen, Patienten in Krankenhäusern oder Firmen in Städten), müssen Sie die Statistik anpassen. Wenn Sie das nicht tun, ist es, als würden Sie ein Wetten auf 1000 Münzwürfe abschließen, obwohl Sie nur 12 Münzen haben und jede Münze 50 Mal werfen.

Die Statistik wird dann viel „sicherer" aussehen, als sie ist. Die Fehlermargen (Konfidenzintervalle) werden zu klein, und die Wahrscheinlichkeit, einen Effekt zu finden (P-Wert), wird zu niedrig berechnet. Sie glauben, etwas entdeckt zu haben, obwohl es nur Zufall war.

2. Die Werkzeuge: Wie man die Gruppen zählt

MacKinnon stellt verschiedene Methoden vor, um die Unsicherheit richtig zu berechnen. Man kann sich das wie verschiedene Arten vorstellen, die Stabilität eines Hauses zu prüfen:

• Die einfache Methode (CV1): Das ist der Standard, den die meisten verwenden. Es ist wie ein einfacher Riss in der Wand. Er funktioniert gut, wenn das Haus groß und stabil ist (viele Gruppen). Aber wenn das Haus klein ist (wenige Gruppen) oder die Wände sehr unterschiedlich sind, reißt diese Methode oft durch und gibt falsche Sicherheit.
• Die vorsichtige Methode (CV3 / Jackknife): Stellen Sie sich vor, Sie nehmen nacheinander einen Stein aus dem Mauerwerk und schauen, ob das Haus wackelt. Diese Methode ist etwas konservativer (sie sagt eher „wir sind uns nicht sicher"). Sie ist oft zuverlässiger, besonders wenn es nur wenige Gruppen gibt.
• Die Wild-Bootstraps (WCB): Das ist wie ein simuliertes Chaos-Experiment. Man nimmt die Daten, wirbelt sie in einer bestimmten Weise durcheinander (wie ein Kartenspiel) und schaut, wie oft das Ergebnis zufällig so stark aussieht wie das echte Ergebnis. Es gibt verschiedene Varianten davon (WCR-S, WCU-S), die wie spezialisierte Werkzeuge für schwierige Fälle sind.

3. Die größte Falle: Zu wenige Gruppen

Das Papier warnt vor einem kritischen Punkt: Die Anzahl der Gruppen (Cluster) ist wichtiger als die Anzahl der Personen in den Gruppen.

• Beispiel: Sie haben 1000 Schüler.
  • Szenario A: Sie sind in 100 Klassen verteilt (10 pro Klasse). -> Gut. Viele Gruppen, gute Statistik.
  • Szenario B: Sie sind in 12 Klassen verteilt (80 pro Klasse). -> Problematisch. Nur 12 Gruppen. Selbst wenn Sie 1000 Datenpunkte haben, ist Ihre statistische Basis dünn wie Papier.

Besonders kritisch wird es, wenn eine Gruppe (z. B. eine Klasse) riesig ist und die anderen klein. Dann hat diese eine große Gruppe einen überproportionalen Einfluss auf das Ergebnis. Es ist, als würde ein einziger riesiger Elefant in einem Raum voller Mäuse die Temperatur des Raumes bestimmen.

4. Wie man herausfindet, welchem Ergebnis man trauen kann

Da keine Methode in jeder Situation perfekt ist, schlägt MacKinnon vor, nicht blind auf eine Zahl zu vertrauen, sondern Diagnose-Tests durchzuführen:

1. Der „Placebo"-Test: Stellen Sie sich vor, Sie testen einen neuen Dünger. Aber statt den echten Dünger zu nehmen, mischen Sie zufällig eine Gruppe von Pflanzen aus, die gar keinen Dünger bekommen sollten, und tun so, als wären sie behandelt. Wenn Ihre Statistik dann plötzlich sagt: „Wow, dieser zufällige Dünger wirkt!", dann ist Ihre Methode kaputt. Sie produziert zu viele falsche Alarme.
2. Der „Zielgerichtete" Test: Man simuliert tausende Male Daten, die genau so aussehen wie Ihre echten Daten, aber bei denen man weiß, dass es keinen Effekt gibt. Wenn die Statistik in 95 % der Fälle korrekt sagt „kein Effekt", dann ist sie vertrauenswürdig. Wenn sie in 20 % der Fälle einen Effekt findet, ist sie unzuverlässig.

5. Was wir aus den Beispielen lernen

MacKinnon zeigt zwei echte Beispiele:

• Beispiel 1 (Frauen in der Ökonomie): Hier gab es nur 12 Klassen, und nur 4 davon waren „behandelt". Die Standard-Methoden sagten: „Es gibt einen riesigen Effekt!" Aber die vorsichtigeren Methoden (Wild-Bootstraps) sagten: „Naja, vielleicht, aber wir sind uns nicht sicher." Die Diagnose zeigte, dass die Standardmethode hier zu optimistisch war.
• Beispiel 2 (Schulen in Delhi): Hier gab es 17 Schulen. Die Frage war: Sollen wir nach Schulen oder nach Klassenstufen gruppieren? Die Diagnose zeigte, dass die Gruppierung nach Schulen (weniger Gruppen, aber logisch sinnvoller) verlässlichere Ergebnisse lieferte als die feine Aufteilung nach Klassenstufen, die nur scheinbar mehr Datenpunkte bot.

Das Fazit für den Alltag

Wenn Sie mit gruppierten Daten arbeiten (Schulen, Firmen, Länder, Regionen):

1. Zählen Sie die Gruppen, nicht die Personen. Wenn Sie weniger als 30–40 Gruppen haben, seien Sie skeptisch.
2. Vertrauen Sie nicht blind auf die Standard-Software. Die eingestellten Werte sind oft zu optimistisch.
3. Nutzen Sie die „vorsichtigen" Methoden. Methoden wie der „Cluster-Jackknife" (CV3) oder die „Wild-Cluster-Bootstraps" sind oft sicherer.
4. Machen Sie einen Reality-Check. Wenn verschiedene Methoden zu völlig unterschiedlichen Ergebnissen führen, ist etwas faul. Nutzen Sie Simulationen (wie Placebo-Tests), um zu sehen, welche Methode in Ihrer spezifischen Situation nicht lügt.

Kurz gesagt: Statistik mit Gruppen ist wie das Fahren auf einer kurvigen Straße bei Nebel. Die Standard-Methoden geben Ihnen vielleicht das Gefühl, Sie wären auf einer Autobahn. MacKinnons Papier gibt Ihnen eine bessere Karte und ein besseres Navi, damit Sie nicht in den Abgrund fahren, nur weil die Zahlen auf dem Tacho so schön aussehen.

Technische Zusammenfassung

1. Problemstellung

In der Ökonometrie und vielen anderen Disziplinen ist es Standard, bei Querschnitts- oder Paneldaten cluster-robuste Standardfehler zu verwenden, um Heteroskedastizität und Korrelationen innerhalb von Clustern (z. B. Länder, Schulen, Firmen) zu berücksichtigen. Obwohl die asymptotische Theorie zeigt, dass Inferenzmethoden bei einer unendlichen Anzahl von Clustern ($G \to \infty$) zuverlässig sind, treten in der Praxis oft Probleme auf, wenn $G$ klein ist.

Das Hauptproblem besteht darin, dass keine einzelne Methode in jedem Fall zuverlässige Ergebnisse liefert. Insbesondere bei:

• Kleiner Anzahl von Clustern ($G$).
• Stark heterogenen Cluster-Größen ($N_g$).
• Stark variierenden Hebelwerten (Leverage) der Cluster.
• Kleiner Anzahl behandelter Cluster (bei Treatment-Dummies).

In solchen Fällen können konventionelle Verfahren zu stark verzerrten P-Werten führen (entweder zu starkes Über- oder Unter-Ablehnen der Nullhypothese), was die Validität von Schlussfolgerungen gefährdet.

2. Methodik und theoretischer Rahmen

Der Autor fokussiert sich auf das lineare Regressionsmodell mit einseitigem Clustering. Er vergleicht verschiedene Ansätze zur Schätzung der Varianzmatrix und zur Durchführung von Hypothesentests.

A. Varianzschätzer (CRVEs)

Es werden drei Hauptvarianten der Cluster-Robust Variance Estimators (CRVE) diskutiert:

1. CV1: Der am weitesten verbreitete Schätzer (analog zu HC1). Er basiert auf den empirischen Score-Vektoren. Simulationen zeigen, dass er in kleinen Stichproben oft zu kleine Standardfehler liefert und zu starkes Über-Ablehnen (Over-rejection) verursacht.
2. CV2: Eine Korrektur, die die Residuen skaliert (analog zu HC2). Sie ist bei i.i.d. Störgrößen erwartungstreu, aber in der Praxis oft weniger robust als CV3.
3. CV3 (Cluster-Jackknife): Basierend auf der Jackknife-Methode, bei der schrittweise jeweils ein Cluster weggelassen wird, um Parameter zu schätzen ($\hat{\beta}_{(g)}$). Dieser Schätzer ist tendenziell konservativer (liefert größere Standardfehler) und in Simulationen oft zuverlässiger als CV1.

B. Verteilungsannahmen für Tests

Anstatt der Standard-Normalverteilung wird für die t-Statistiken oft die t-Verteilung mit $G-1$ Freiheitsgraden verwendet. Neuere Ansätze (z. B. Hansen, 2025a,b) schlagen vor, berechnete Freiheitsgrade ($d_j$) und Skalierungsfaktoren ($\gamma_j$) zu verwenden, um die Verzerrung der CVVEs zu korrigieren.

C. Bootstrap-Verfahren

Da analytische Verteilungen oft nur Approximationen sind, werden Bootstrap-Methoden als Alternative vorgeschlagen:

• Pairs Cluster Bootstrap (PCB): Resampling ganzer Cluster. Oft problematisch bei variierenden Cluster-Größen.
• Wild Cluster Bootstrap (WCB): Multiplikation der Score-Vektoren mit zufälligen Gewichten (z. B. Rademacher-Verteilung).
  • WCR-C / WCU-C: Klassische Varianten (restricted/unrestricted).
  • WCR-S / WCU-S: Neuere „Score"-Varianten, die die Score-Vektoren modifizieren, um Verzerrungen durch die OLS-Schätzung zu korrigieren. Diese zeigen in Simulationen oft die beste Performance.

D. Diagnose und Validierung

Um die Zuverlässigkeit für einen spezifischen Datensatz zu prüfen, schlägt MacKinnon vor:

1. Heterogenitäts-Maße: Berechnung des „effektiven Anzahl an Clustern" ($G^*$) und der partiellen Hebelwerte (Partial Leverage). Große Variationen deuten auf Probleme hin.
2. Score-Variance-Tests: Tests zur Überprüfung, ob eine feinere oder gröbere Cluster-Ebene angemessen ist.
3. Zielgerichtete Monte-Carlo-Simulationen: Simulation von Daten basierend auf der tatsächlichen Designmatrix $X$ und verschiedenen Annahmen für die Störgrößen, um die tatsächliche Ablehnungshäufigkeit zu schätzen.
4. Placebo-Regressionen: Ersetzen des interessierenden Regressors durch einen künstlichen Regressor (Placebo), der keine Wirkung haben sollte, um zu prüfen, ob die Inferenzmethode fälschlicherweise Signifikanz findet.

3. Wichtige Beiträge

1. Praktische Leitlinie: Das Paper bietet einen umfassenden Rahmen, wie Forscher in der Praxis entscheiden können, welche Inferenzmethode sie für einen spezifischen Datensatz vertrauen können, anstatt sich blind auf asymptotische Theorien zu verlassen.
2. Überlegenheit von CV3 und WCB: Es wird empirisch und theoretisch untermauert, dass CV3 (Cluster-Jackknife) und Wild Cluster Bootstraps (insbesondere die S-Varianten) CV1 fast immer überlegen sind, insbesondere bei kleinen $G$.
3. Diagnostische Werkzeuge: Die Betonung der Notwendigkeit, vor der Inferenz die Cluster-Heterogenität zu messen und die Anzahl der behandelten vs. unbehandelten Cluster zu prüfen.
4. Validierungsstrategie: Die Empfehlung, bei widersprüchlichen Ergebnissen verschiedene Methoden (Monte-Carlo und Placebo) zu kombinieren. Wenn beide Simulationstypen ähnliche Ergebnisse liefern, ist das Vertrauen in die Schlussfolgerung gerechtfertigt.

4. Ergebnisse aus den empirischen Anwendungen

Der Autor wendet die Methoden auf zwei Fallstudien an:

• Fall 1: Female Role Models in Economics (Porter & Serra, 2020):

  • Nur 12 Cluster, davon nur 4 behandelt.
  • CV1 und Standard-Bootstraps liefern stark verzerrte Ergebnisse (Over-rejection).
  • Die Simulationen zeigen, dass die Daten kaum Intra-Cluster-Korrelation aufweisen.
  • Ergebnis: Methoden, die Clustering ignorieren (HC1) oder robuste Jackknife/Bootstrap-Methoden (WCR-S, Hansen) liefern konsistente, moderate Evidenz für einen Behandlungseffekt. CV1 wäre hier irreführend gewesen.

• Fall 2: Diversity in Elite Delhi Schools (Rao, 2019):

  • Clustering auf Schul-Ebene (17 Cluster) vs. Schul-Klassen-Ebene (68 Cluster).
  • Score-Variance-Tests deuten darauf hin, dass Clustering auf Schul-Ebene angemessener ist, obwohl $G$ kleiner ist.
  • Simulationen zeigen, dass CV3 und CV1 bei Schul-Klassen-Clustering zu Under-rejection bzw. Over-rejection neigen.
  • Ergebnis: Die zuverlässigsten Methoden (WCR-S, WCLR-S, Hansen) bestätigen einen starken positiven Effekt von armen Klassenkameraden auf das Ehrenamt, auch wenn die P-Werte je nach Methode variieren.

5. Signifikanz und Fazit

Das Paper schließt mit der Feststellung, dass es keine universell perfekte Methode für cluster-robuste Inferenz gibt, insbesondere bei kleinen $G$.

• Warnung: Die Kombination aus CV1 und der $t(G-1)$-Verteilung sollte niemals blind vertraut werden, es sei denn, $G$ ist sehr groß und die Cluster sind homogen.
• Empfehlung: Forscher sollten:
  1. Die Anzahl der Cluster und behandelten Cluster zählen.
  2. Heterogenitäts-Diagnosen (Leverage, effektive Clusterzahl) durchführen.
  3. Robustere Methoden wie CV3 (Cluster-Jackknife), Hansens Verfahren (angepasste Freiheitsgrade) oder Wild Cluster Bootstraps (WCR-S/WCU-S) bevorzugen.
  4. Bei Unsicherheit zielgerichtete Monte-Carlo-Simulationen oder Placebo-Regressionen durchführen, um die Zuverlässigkeit der P-Werte für den spezifischen Datensatz zu validieren.

Der Kernbeitrag liegt in der Verschiebung von einer rein theoretischen, asymptotischen Betrachtung hin zu einem diagnostischen und simulationsbasierten Ansatz, der es Praktikern ermöglicht, die Robustheit ihrer Ergebnisse in realen, oft unvollkommenen Datensätzen zu bewerten.