📊 statistics

Fit CATE Once: Model-Assisted Randomization Tests Without Sample Splitting

Dieser Beitrag stellt einen modellgestützten Randomisierungstest-Rahmen vor, der unsigned bedingte durchschnittliche Behandlungseffekte (CATE) aus Residualkovarianzstrukturen schätzt, um die statistische Power und die Entdeckung von Subgruppen in randomisierten Panel-Experimenten zu verbessern, ohne dass eine Aufteilung der Stichprobe erforderlich ist, während gleichzeitig eine gültige Kontrolle des Fehlers 1. Art gewährleistet bleibt.

Ursprüngliche Autoren: Fangnan Zheng, Yao Zhang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fangnan Zheng, Yao Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „Zweiköpfigen Münzwurfs"

Stellen Sie sich vor, Sie sind ein Wissenschaftler, der herausfinden möchte, ob ein neuer Dünger Pflanzen höher wachsen lässt. Sie haben einen Garten mit vielen Pflanzen und entscheiden zufällig, welche Pflanzen den Dünger erhalten und wann. Dies ist ein randomisiertes Experiment.

Normalerweise verwenden Wissenschaftler zwei Hauptwerkzeuge, um diese Daten zu analysieren:

Der „Strenge Buchhalter" (Randomisierungstests): Diese Methode ist unglaublich zuverlässig, da sie nur darauf vertraut, dass Sie eine Münze geworfen haben, um zu entscheiden, wer den Dünger erhält. Sie kümmert sich nicht um den Boden oder das Wetter; sie betrachtet nur die zufällige Zuweisung. Sie ist sicher, aber manchmal nicht sehr empfindlich (sie könnte subtile Effekte übersehen).
Der „Flexible Detektiv" (Behandlungseffekt-Modelle): Diese Methode versucht, ein komplexes Modell zu erstellen, um vorherzusagen, wie der Dünger wirkt. Sie betrachtet den Boden, das Wetter und die Pflanzenart. Sie ist sehr empfindlich und kann komplexe Muster finden, ist aber riskant. Wenn das Modell des Detektivs auch nur geringfügig falsch ist, könnten Ihre Schlussfolgerungen ungültig sein.

Das Dilemma:
Um das Beste aus beiden Welten zu erhalten, möchten Sie normalerweise den „Flexiblen Detektiv" nutzen, um dem „Strenge Buchhalter" zu helfen. Aber es gibt einen Haken: Wenn Sie die tatsächlichen Ergebnisse Ihres Experiments verwenden, um das Modell des Detektivs zu erstellen, brechen Sie die Regeln des „Strenge Buchhalters". Die Mathematik wird durcheinandergebracht, weil das Modell „in die Antwort hineingespäht" hat.

Um dies zu beheben, verwenden traditionelle Methoden Stichprobenaufteilung. Stellen Sie sich vor, Sie haben 100 Pflanzen. Sie geben 50 dem Detektiv, um ein Modell zu erstellen, und werfen dann diese Hälfte weg. Sie verwenden die anderen 50 Pflanzen, um die Hypothese zu testen. Dies hält die Mathematik sicher, aber Sie haben gerade die Hälfte Ihrer Daten weggeworfen, was Ihren Test schwächer macht und die Wahrscheinlichkeit verringert, echte Effekte zu finden.

Die Lösung des Papiers: „Fit CATE Once"

Die Autoren dieses Papiers haben einen klugen Weg gefunden, wie der „Flexible Detektiv" dem „Strenge Buchhalter" helfen kann, ohne Daten wegzuworfen und ohne in die endgültige Antwort hineinzuspähen.

Sie nennen dies „Fit CATE Once". (CATE steht für Conditional Average Treatment Effect – im Wesentlichen: „Wie viel hilft die Behandlung dieser spezifischen Art von Pflanze?").

So funktioniert ihr Zaubertrick, aufgeteilt in drei Schritte:

1. Der „Vorzeichenlose" Schatten (Die Größe)

Stellen Sie sich vor, Sie versuchen, das Gewicht einer mysteriösen Kiste zu erraten. Sie können die Kiste nicht sehen, aber Sie können sie schütteln und zuhören, wie sie klappert.

Die Autoren stellten fest, dass selbst ohne zu wissen, genau welche Pflanzen den Dünger erhalten haben, das Muster des Rauschens in den Daten (wie das Wachstum der Pflanzen im Laufe der Zeit variierte) einen versteckten Hinweis enthält.
Insbesondere betrachten sie die Kovarianz (wie das Wachstum verschiedener Pflanzen zusammenhängt).
Sie können die Größe (Magnitude) des Effekts des Düngers berechnen, indem sie nur diese Muster betrachten. Sie wissen, wie groß der Effekt ist, aber sie wissen nicht, ob er positiv (lässt Pflanzen höher wachsen) oder negativ (lässt Pflanzen kürzer wachsen) ist.
Analogie: Es ist wie das Hören eines Auto-Motors, der sich aufdreht. Sie wissen, dass der Motor leistungsstark ist (die Größe), aber Sie wissen noch nicht, ob das Auto vorwärts oder rückwärts fährt. Dieser Teil ist „zuweisungsunabhängig", was bedeutet, dass er nicht wissen muss, welche Pflanzen tatsächlich den Dünger erhalten haben, um zu funktionieren.

2. Das „Vorzeichen" (Die Richtung)

Jetzt, da sie die Größe des Effekts kennen, müssen sie nur noch die Richtung herausfinden (positiv oder negativ).

Normalerweise erfordert das Herausfinden der Richtung einen Blick auf die tatsächlichen Behandlungszuweisungen, was gegen die Regeln verstößt.
Der Trick: Die Autoren stellten fest, dass das Herausfinden der Richtung viel einfacher ist als das Erstellen des gesamten komplexen Modells.
Sie nehmen ihre „vorzeichenlose" Größen-Schätzung und fragen einfach: „Wenn ich annehme, der Effekt sei positiv, passt er besser zu den Daten? Oder wenn ich annehme, er sei negativ?"
Sie wählen die Richtung aus, die am besten zu den beobachteten Daten passt.
Analogie: Sie haben einen starken Motor (die Größe). Sie müssen nur die Räder überprüfen, um zu sehen, ob das Auto vorwärts oder rückwärts rollt. Sie müssen nicht den ganzen Motor neu bauen, um dies zu tun; Sie brauchen nur einen schnellen Blick.

3. Der Endgültige Test

Jetzt haben sie ein vollständiges Modell: Sie kennen die Größe (aus Schritt 1) und die Richtung (aus Schritt 2).

Sie verwenden dieses Modell, um dem „Strenge Buchhalter" zu helfen, einen Test durchzuführen.
Da das Modell ohne Verwendung der endgültigen Behandlungszuweisungen erstellt wurde (es verwendete nur die „Rauschmuster" und einen einfachen Vorzeichen-Check), bleibt die Mathematik gültig.
Ergebnis: Sie erhalten die Empfindlichkeit eines komplexen Modells mit der Sicherheit eines Randomisierungstests, und sie mussten nicht die Hälfte ihrer Daten wegwerfen.

Warum dies wichtig ist (Die Ergebnisse)

Das Papier testete diese Idee mit Computersimulationen und realen Daten (über die Beschäftigung von Jugendlichen und den Mindestlohn).

Sicherheit: Ihre Methode kontrollierte „Fehler 1. Art" (falsche Alarme) genauso gut wie die strengen, sicheren Methoden. Sie hat nicht geschummelt.
Power: Sie war viel besser darin, echte Effekte zu finden als die alten Methoden.
- Sie schlug den „Strenge Buchhalter" (der kein Modell verwendete).
- Sie schlug die Methode der „Stichprobenaufteilung" (die Daten weggeworfen hat).
Subgruppen: Sie zeigten auch, dass diese Methode helfen kann, spezifische Gruppen von Menschen zu finden (wie „große Landkreise" vs. „kleine Landkreise"), bei denen die Behandlung unterschiedlich wirkt, was eine gezieltere Analyse ermöglicht.

Zusammenfassung in einem Satz

Die Autoren entwickelten eine Methode, um ein komplexes Modell zu nutzen, um die Power eines Randomisierungstests zu steigern, indem sie zunächst die Größe eines Effekts aus Datenmustern berechnen (ohne auf die Behandlung zu schauen) und dann einfach die Richtung erraten, was es ihnen ermöglicht, alle ihre Daten sicher und effektiv zu nutzen.

Technische Zusammenfassung: Fit CATE Once: Modellgestützte Randomisierungstests ohne Stichprobenaufteilung

1. Problemstellung

Randomisierte Panel-Experimente erzeugen Sequenzen von Ergebnissen, die für die Untersuchung dynamischer kausaler Effekte geeignet sind. Während Randomisierungstests eine endliche Stichprobenvalidität bieten, die auf dem bekannten Zuordnungsmechanismus basiert, fehlt es ihnen oft an Power, wenn Behandlungseffekte heterogen sind. Umgekehrt können flexible Modelle für Behandlungseffekte (wie Conditional Average Treatment Effect, kurz CATE-Modelle) komplexe Heterogenität erfassen, erfordern jedoch typischerweise starke Modellannahmen oder eine Stichprobenaufteilung, um die Validität in der Randomisierungsinferenz zu gewährleisten.

Die zentrale Herausforderung besteht im Zielkonflikt beim Aufbau modellgestützter Randomisierungstests:

Validität: Das Störmodell (z. B. ein CATE-Schätzer) muss unabhängig von den realisierten Behandlungszuordnungen ( $A[N]$ ) sein, um sicherzustellen, dass die Randomisierungsverteilung gültig bleibt. Das Anpassen eines Modells an $A[N]$ und dessen Verwendung in der Teststatistik bricht die für gültige p-Werte erforderliche Symmetrie.
Power: Um die Power zu erhöhen, sollte die Teststatistik genaue Schätzungen der Heterogenität der Behandlungseffekte nutzen.
Aktuelle Einschränkungen: Bestehende Lösungen passen das Modell entweder für jede simulierte Zuordnung neu an (rechnerisch prohibitiv) oder verwenden eine Stichprobenaufteilung (was die statistische Power durch Verwerfen von Daten opfert).

Dieser Artikel schlägt eine Methode vor, um CATEs ohne Verwendung der realisierten Zuordnungen zu schätzen, wodurch die Validität ohne den Effizienzverlust einer Stichprobenaufteilung erhalten bleibt.

2. Methodik

Der vorgeschlagene Ansatz, Fit CATE Once, nutzt die Kovarianzstruktur residualisierter Ergebnisse in Panel-Daten, um die Größe der Behandlungseffekte zu schätzen, wobei nur das Vorzeichen noch bestimmt werden muss.

2.1. Setup und Annahmen

Daten: $N$ Einheiten, die über $T$ Zeitperioden beobachtet werden, mit Kovariaten $X_i$ , Ergebnissen $Y_{i,t}$ und einem Behandlungsstartzeitpunkt $A_i$ .
Additives Ergebnis-Modell: Das beobachtete Ergebnis folgt $Y_{i,t} = \mu_{0,t}(X_i) + \sum_{l=0}^{t-1} \mathbb{1}\{A_i = t-l\}\tau_l(X_i) + \epsilon_{i,t}$ .
Keine Antizipation: Eine Behandlung, die nach Zeitpunkt $t$ beginnt, beeinflusst $Y_{i,t}$ nicht.
Residualisierung: Ergebnisse werden residualisiert, indem der bedingte Mittelwert $\mu_t(X_i)$ subtrahiert wird, was Residuen $R_{i,t}$ ergibt.

2.2. Vorzeichen-unabhängige CATE-Schätzung

Die zentrale Erkenntnis ist, dass unter dem additiven Modell die Momente zweiter Ordnung (Kovarianzen) der residualisierten Ergebnisse die Größe der Behandlungseffekte kodieren, unabhängig von den Vorzeichen der realisierten Zuordnungen.

Diagonale Momente (Lag-invariante Effekte): Wenn der Behandlungseffekt über die Lags hinweg konstant ist ( $\tau_l(x) \equiv \tau^*(x)$ ), hängen die Diagonaleinträge der residualen Kovarianzmatrix $\Sigma_R(x)$ von der quadrierten Effektgröße $\tau^{*2}(x)$ und einem bekannten Designfaktor $v_t(x)$ ab. Durch den Vergleich der diagonalen Momente über die Zeit kann die Störvarianz herausdifferenziert werden, wodurch $|\tau^*(x)|$ identifiziert wird.
Off-diagonale Momente (Lag-variable Effekte): Wenn Effekte je nach Lag variieren und die Residualfehler seriell unkorreliert sind (Annahme 4), hängen die off-diagonalen residualen Kovarianzen über quadratische Formen vom CATE-Vektor $\tau(x)$ $τ (x)$ ab: $c(x) = F_x(\tau) = (\tau^\top H_{t,s}(x) \tau)_{(t,s)}$ $c (x) = F_{x} (τ) = (τ^{⊤} H_{t, s} (x) τ)_{(t, s)}$ .
- Dies erzeugt ein Momenten-Matching-Problem, bei dem die off-diagonalen Kovarianzen den Vektor $\tau(x)$ bis auf ein globales Vorzeichen identifizieren.
- Die Autoren schlagen eine konvexe Relaxierung (Schätzung der Matrix vom Rang eins $B = \tau\tau^\top$ mittels semidefiniten Programmierens) und einen nichtlinearen Kleinste-Quadrate-Ansatz (NLS) vor, um den vorzeichen-unabhängigen Schätzer $\hat{\tau}_\pm(x)$ zu lösen.

2.3. Vorzeichen-Orientierung

Da momentenbasierte Schätzer nur die Größe (oder Richtung bis auf ein Vorzeichen) wiederherstellen, ist ein letzter Schritt erforderlich, um das Vorzeichen zu bestimmen.

Zuordnungs-freie Orientierung: Das Vorzeichen wird so gewählt, dass es die beobachtete residualisierte Ergebnis-Trajektorie für jede Einheit am besten anpasst, indem der quadrierte Fehler zwischen den beobachteten Residuen und dem vom vorzeichen-unabhängigen Schätzer vorhergesagten Modell minimiert wird.
Teilweise Zuordnungs-Orientierung: Alternativ kann eine kleine Teilmenge beobachteter Zuordnungen ausschließlich verwendet werden, um das Vorzeichen zu lernen, wobei die Mehrheit der Einheiten für den Randomisierungstest übrig bleibt. Dies ist rechnerisch günstiger als das Neu-Anpassen eines vollständigen CATE-Modells.

2.4. CATE-unterstützter Randomisierungstest

Sobald der vorzeichenbehaftete CATE-Schätzer $\hat{\tau}(X_i)$ ermittelt ist, wird er verwendet, um eine Teststatistik (z. B. ein Likelihood-Ratio-Score oder AIPW-Score) zu konstruieren, die empfindlicher auf heterogene Effekte reagiert.

Validität: Da der CATE-Schätzer aus residualen Kovarianzen abgeleitet wird (die von Kovariaten und Ergebnissen abhängen, aber nicht von der realisierten $A[N]$ ), gilt die bedingte Unabhängigkeitsbedingung $\hat{\eta} \perp A[N] \mid X, Y$ .
Verfahren: Der Test berechnet einen p-Wert, indem er die beobachtete Statistik mit der Verteilung von Statistiken vergleicht, die durch Permutation des Zuordnungsvektors $A[N]$ unter Beibehaltung des Störmodells erzeugt werden.

3. Hauptbeiträge

Zuordnungs-freie CATE-Schätzung: Der Artikel zeigt, dass in Panel-Experimenten die Kovarianzstruktur residualisierter Ergebnisse die Identifizierung von CATE-Größen (und Vektoren bis auf Vorzeichen) ohne Anpassung an realisierte Zuordnungen ermöglicht.
Theoretische Garantien:
- Identifizierbarkeit: Beweis der lokalen und globalen Identifizierbarkeit des vorzeichen-unabhängigen CATE-Vektors bis auf ein globales Vorzeichen unter Rangbedingungen an die Jacobi-Matrix der Momentenabbildung.
- Konsistenz: Nachweis der Konsistenz der konvexen Relaxierung und der NLS-Schätzer für den vorzeichen-unabhängigen CATE, wenn $N \to \infty$ .
Gültige modellgestützte Tests: Es wird gezeigt, dass die Verwendung dieser zuordnungs-freien Schätzer in Randomisierungstests die endliche Stichprobenvalidität (Kontrolle des Fehlers 1. Art) bewahrt, während der mit einer Stichprobenaufteilung verbundene Power-Verlust vermieden wird.
Subgruppen-Entdeckung: Es wird gezeigt, dass zuordnungs-freie CATE-Schätzungen nachträglich verwendet werden können, um heterogene Subgruppen zu entdecken und innerhalb dieser Subgruppen gültige Randomisierungstests durchzuführen.

4. Experimentelle Ergebnisse

Die Autoren bewerten die Methode durch synthetische, semi-synthetische und Konsistenz-Experimente:

Kontrolle des Fehlers 1. Art: Über verschiedene Stichprobengrößen und Lag-Strukturen (lag-invariant und lag-variabel) hinweg kontrolliert der vorgeschlagene CATE-unterstützte Randomisierungstest (RT CATE) den Fehler 1. Art auf dem nominalen Niveau (0,1), vergleichbar mit unadjustierten (RT DM) und kovariaten-adjustierten (RT cDM) Tests.
Power: RT CATE erreicht konsistent eine höhere Power als:
- Unadjustierte Tests (RT DM).
- Kovariaten-adjustierte Tests, die nur Ergebnismittelwerte verwenden (RT cDM).
- Alternativen mit Stichprobenaufteilung (RT SS), die Daten für die Validität opfern.
- Dieser Gewinn ist besonders ausgeprägt, wenn Behandlungseffekte über Einheiten oder Lags hinweg heterogen sind.
Konsistenz: Der vorzeichen-unabhängige Schätzer konvergiert mit zunehmender Stichprobengröße gegen die wahre CATE-Größe (bis auf das Vorzeichen).
Warm-Start: Die Verwendung des vorzeichen-unabhängigen Schätzers als „Warm-Start" ermöglicht eine genaue vorzeichenbehaftete CATE-Schätzung mit deutlich weniger freigelegten Zuordnungen als das Erlernen des vollständigen CATE-Vektors von Grund auf.
Semi-synthetische Validierung: Unter Verwendung eines Datensatzes zur Teenagerbeschäftigung auf Kreisebene (basierend auf Callaway und Sant'Anna, 2021) übertrifft die Methode Standard-Event-Study-Regressions mit Two-Way Fixed Effects (TWFE) sowohl bei der Größenkontrolle (Vermeidung von Überablehnung) als auch bei der Power.
Subgruppen-Analyse: Die Methode stellt erfolgreich schwellenwertbasierte Subgruppen wieder her und unterstützt gültige Inferenz innerhalb dieser entdeckten Gruppen.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass Fit CATE Once die fundamentale Spannung zwischen Validität und Power in modellgestützten Randomisierungstests für Panel-Daten auflöst. Durch die Ausnutzung der Momentenstruktur zweiter Ordnung der Residuen extrahiert die Methode Informationen über Behandlungseffekte, die „zuordnungs-frei" sind, und ermöglicht es Forschern, flexible, hoch-power-Teststatistiken zu verwenden, ohne das Framework der Randomisierungsinferenz zu kompromittieren.

Die Autoren betonen, dass dieser Ansatz nicht auf die untersuchten spezifischen Panel-Designs beschränkt ist, sondern auf eine breitere Klasse von modellgestützten Tests hindeutet, bei denen Residuen nur über Behandlungseffekte von Zuordnungen abhängen. Die Methode wird als praktische Lösung präsentiert, die die rechnerische Last des Neu-Anpassens von Modellen für jede Permutation und die statistische Ineffizienz der Stichprobenaufteilung vermeidet.

Von den Autoren festgestellte Einschränkungen:

Der off-diagonale Schätzer geht von seriell unkorrelierten Residualfehlern aus; korrelierte Fehler würden Behandlungseffekte mit der Fehlerstruktur vermischen.
Der Schritt zur Vorzeichenwiederherstellung hängt vom Signal-Rausch-Verhältnis und dem Zeitpunkt der Behandlung ab; frühe Behandlungsstarts liefern mehr Informationen für die Vorzeichenwiederherstellung als späte Starts.
Die globale Identifizierbarkeit hängt von Rangbedingungen ab, die zwar in Standard-Designs allgemein erfüllt sind, aber in spezifischen entarteten Fällen versagen können.