📊 statistics

Discussion of "Matrix Completion When Missing Is Not at Random and Its Applications in Causal Panel Data Models"

Die Autoren würdigen Choi und Yuan (2025) für ihren innovativen Ansatz zur Matrix-Vervollständigung bei nicht zufällig fehlenden Daten in kausalen Paneldatenmodellen, ordnen diese Methode in das etablierte „Split-Apply-Combine"-Paradigma ein, adressieren die Lücke zwischen Theorie und Praxis und demonstrieren ihre Anwendbarkeit anhand einer Studie zu den Auswirkungen von „Right-to-Carry"-Gesetzen auf die Gewaltkriminalität.

Ursprüngliche Autoren: Eli Ben-Michael, Avi Feller

Veröffentlicht 2026-02-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eli Ben-Michael, Avi Feller

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, unvollständiges Puzzle zu lösen. Das Bild auf dem Puzzle zeigt, wie sich Dinge im Laufe der Zeit verändern – zum Beispiel, wie sich die Kriminalitätsrate in verschiedenen US-Bundesstaaten entwickelt hat.

Das Problem: An vielen Stellen fehlen Puzzleteile. Warum? Weil in manchen Staaten zu bestimmten Zeitpunkten neue Gesetze (wie das Recht, eine Waffe zu tragen) eingeführt wurden. Sobald ein Gesetz da ist, sehen wir nur noch die neue Realität, aber nicht mehr, wie es gewesen wäre, wenn das Gesetz nicht eingeführt worden wäre. In der Statistik nennen wir diese fehlenden Teile „Gegenfakten" (was wäre passiert, wenn...?).

Dieser Text ist eine Diskussion über eine neue Methode, um genau diese fehlenden Teile vorherzusagen, basierend auf einem Papier von Choi und Yuan (CY). Hier ist die Erklärung in einfachen Worten:

1. Die große Idee: Das „Teilen, Anwenden und Zusammenfügen"-Prinzip

Stellen Sie sich vor, Sie wollen herausfinden, ob ein neues Medikament wirkt. Sie haben eine Gruppe von Patienten, die das Medikament nehmen, und eine Gruppe, die es nicht nimmt. Aber die Patienten nehmen das Medikament zu unterschiedlichen Zeitpunkten.

Die Autoren des Originalpapiers schlagen vor, das Puzzle nicht auf einmal zu lösen, sondern es in kleine, handliche Stücke zu zerlegen. Das nennen sie „Split-Apply-Combine" (Teilen, Anwenden, Zusammenfügen):

Teilen (Split): Man schaut sich immer nur eine kleine Gruppe an: Zum Beispiel alle Staaten, die das Gesetz genau im Jahr 2000 eingeführt haben, und vergleicht sie mit den Staaten, die es noch nicht hatten.
Anwenden (Apply): Man benutzt einen cleveren mathematischen Trick (Matrix Completion), um die fehlenden Teile des Puzzles für diese kleine Gruppe zu erraten. Man nutzt dabei die Muster aus den Jahren, in denen noch kein Gesetz galt, um die Zukunft vorherzusagen.
Zusammenfügen (Combine): Am Ende rechnet man alle kleinen Schätzungen zusammen, um ein Gesamtergebnis zu bekommen.

Die Analogie: Es ist wie beim Kochen für eine große Party. Anstatt einen riesigen Topf Suppe zu kochen, bei dem man nie weiß, ob sie überall gleich schmeckt, kochen Sie viele kleine Tassen für einzelne Gäste. Jede Tasse wird perfekt zubereitet, und am Ende mischen Sie sie alle in einen großen Behälter. Das Ergebnis ist oft genauer.

2. Das Problem der „letzten Meile"

Die Autoren loben die neue Methode, warnen aber vor dem sogenannten „letzten Meilen-Problem".

Stellen Sie sich einen Paketdienst vor. Die theoretische Route vom Lagerhaus zum Zielort ist auf dem Papier perfekt. Aber in der Praxis gibt es Schlaglöcher, Staus und falsche Adressen. In der Statistik ist es ähnlich: Eine Methode funktioniert in der Theorie (auf dem Papier) brillant, scheitert aber oft in der echten Welt, weil die Daten nicht perfekt sind.

Die Diskussioner schlagen vor, wie man diese „letzte Meile" überwinden kann:

Wann messen wir? Sollen wir messen, wie sich die Dinge nach dem Kalenderjahr entwickelt haben (z. B. alle Effekte im Jahr 2005), oder nach dem Ereignis (z. B. alle Effekte genau 2 Jahre nach der Gesetzesänderung)? Das zweite ist oft sinnvoller, wie wenn man vergleicht, wie sich ein Schüler 2 Jahre nach dem Start der Schule entwickelt hat, statt alle Schüler zu vergleichen, die zufällig im selben Kalenderjahr eingeschult wurden.
Die Einstellung der Maschine: Die Methode braucht einen „Regler" (einen Parameter), der bestimmt, wie streng die Vorhersage sein soll. Wenn man diesen Regler falsch einstellt, ist das Ergebnis Müll. Man braucht einfache Werkzeuge, um diesen Regler richtig zu justieren.
Der Stresstest: Man muss prüfen, ob die Methode funktioniert, indem man sie auf Daten anwendet, bei denen man weiß, dass sie nicht funktionieren sollten (Placebo-Tests). Wenn die Methode hier Fehler macht, kann man ihr nicht trauen.

3. Der echte Test: Das Beispiel der Waffenrechte

Um zu zeigen, wie wichtig diese Feinheiten sind, wenden die Autoren die Methode auf ein echtes, kontroverses Thema an: Haben Gesetze, die das Tragen von Waffen erleichtern (Right-to-Carry), die Gewaltkriminalität erhöht oder gesenkt?

Das Chaos ohne Vorbehandlung: Als sie die Methode direkt auf die rohen Daten anwendeten, kam ein völlig verrücktes Ergebnis heraus: Die Methode sagte voraus, dass die Kriminalität um 200 % explodiert wäre. Das war offensichtlich falsch und unrealistisch. Die Methode hatte sich in den Daten „verirrt", weil es große, natürliche Unterschiede zwischen den Staaten gab (einige sind einfach krimineller als andere, unabhängig vom Gesetz).
Die Lösung (Vorbehandlung): Die Autoren schlugen vor, die Daten erst einmal „zu säubern". Sie zogen die allgemeinen Unterschiede zwischen den Staaten und die allgemeinen Trends über die Jahre ab (wie wenn man bei einem Foto den Hintergrund unscharf macht, um nur das Gesicht zu sehen).
Das Ergebnis: Nach dieser „Reinigung" passte die neue Methode plötzlich viel besser zu anderen bewährten Methoden. Sie sagte nun einen leichten Rückgang der Kriminalität voraus (oder zumindest keine Explosion), was viel realistischer wirkte.

Fazit

Die Botschaft dieser Diskussion ist: Neue, hochmoderne mathematische Werkzeuge sind toll, aber man muss sie mit gesundem Menschenverstand und Vorsicht einsetzen.

Es reicht nicht, nur den Algorithmus laufen zu lassen. Man muss verstehen, wie die Daten entstanden sind, die Methode an die Realität anpassen (wie das Säubern der Daten) und ständig prüfen, ob das Ergebnis Sinn ergibt. Nur so kann man aus einem komplexen Puzzle ein klares Bild der Wahrheit machen, anstatt nur ein zufälliges Muster zu sehen.

1. Problemstellung und Kontext

Das Papier adressiert die Herausforderung, kausale Effekte in Panel-Daten zu schätzen, wenn die Datenstruktur durch nicht zufällige Fehlendheit (Missing Not At Random, MNAR) gekennzeichnet ist. Dies tritt typischerweise bei gestaffelten Behandlungseinführungen (staggered adoption) auf, bei denen die Behandlung (z. B. eine Politikänderung) zu unterschiedlichen Zeitpunkten für verschiedene Einheiten (z. B. Bundesstaaten) eintritt.

Das Kernproblem: In solchen Szenarien fehlen die kontrafaktischen Ergebnisse ( $Y_{it}(\infty)$ ) für behandelte Einheiten in der Post-Behandlungsperiode systematisch. Herkömmliche Ansätze wie die Zwei-Wege-Fixed-Effects-Regression (TWFE) leiden unter Verzerrungen, wenn Behandlungseffekte heterogen sind (Goodman-Bacon, 2021).
Der Ansatz von CY: Choi und Yuan schlagen vor, Methoden der Matrix-Vervollständigung (Matrix Completion) zu nutzen, um diese fehlenden kontrafaktischen Werte zu imputieren. Die zentrale Erkenntnis ist, dass Matrix-Vervollständigung auch bei strukturierten Fehlendheitsmustern effektiv sein kann, solange die Anzahl der behandelten Beobachtungen im Verhältnis zur Anzahl der Kontrollbeobachtungen klein ist.

2. Methodische Einordnung: Die "Split-Apply-Combine"-Strategie

Ben-Michael und Feller positionieren den CY-Ansatz als eine spezifische Anwendung der "Split-Apply-Combine"-Strategie (Wickham, 2011), die auch modernen Differenz-von-Differenzen (DiD)-Schätzern und Synthetic-Control-Methoden zugrunde liegt.

Split (Aufteilen): Die Daten werden in verarbeitbare Teilmengen zerlegt. CY wählen einen Fokuszeitraum und eine Gruppe von Einheiten mit demselben Behandlungszeitpunkt vor diesem Zeitraum. Die Matrix wird auf die behandelten Einheiten und die noch nicht behandelten Einheiten für die Vor- und Fokuszeitpunkte beschränkt.
Apply (Anwenden): Auf diese Teilmatrix wird eine Matrix-Vervollständigung mit Kernnorm-Regularisierung (Nuclear-Norm Regularization) angewendet, um die fehlenden kontrafaktischen Ergebnisse zu imputieren.
Combine (Zusammenführen): Die geschätzten Behandlungseffekte werden über die behandelten Einheiten gemittelt, um den Gesamteffekt zu erhalten.

Kritische methodische Anmerkung: Die Autoren diskutieren den Unterschied zwischen "Split-Apply-Combine" (Schätzung pro Einheit, dann Mittelung) und "Combine-Apply" (Mittelung der Einheiten vor der Schätzung). Für den Average Treatment Effect on the Treated (ATT) könnte ein "Combine-Apply"-Ansatz effizienter sein, da er die effektive Stichprobengröße erhöht und "Fine Balance" ermöglicht, ähnlich wie bei gewichteten Schätzern.

3. Das "Statistische Last-Mile-Problem"

Ein wesentlicher Teil des Papiers widmet sich der Lücke zwischen theoretischer Konsistenz und praktischer Anwendbarkeit ("Last Mile Problem"). Die Autoren identifizieren vier kritische Herausforderungen für die praktische Umsetzung von CYs Methode:

Kalenderzeit vs. Ereigniszeit: CY schätzen den Effekt in der Kalenderzeit ( $\tau^{cal}_{t_0}$ ), was bei dynamischen Behandlungseffekten schwer zu interpretieren ist, da Einheiten zu unterschiedlichen Behandlungsstadien gemischt werden. Die Autoren plädieren für die Schätzung in der Ereigniszeit ( $\tau^{event}_k$ ), was jedoch in low-rank Matrix-Modellen komplexer ist, da es die Aggregation über verschiedene Kalenderzeiten und Singularwerte erfordert.
Heteroskedastizität: Für die Sozialwissenschaften ist eine robuste Inferenz gegenüber Heteroskedastizität essenziell. CY haben dies für den Fall blockartiger Fehlendheit erweitert, aber eine robuste Varianzschätzung für gestaffelte Adoption ist noch notwendig.
Hyperparameter-Auswahl: Die Wahl des Regularisierungsparameters ist schwierig. Herkömmliche Cross-Validation-Strategien ignorieren oft die Struktur der fehlenden Daten. Die Autoren fordern effiziente, strukturerhaltende Validierungsmethoden.
Diagnostik: Standard-Plots (Event-Study-Plots) reichen oft nicht aus, da sie bei Matrix-Vervollständigung durch Overfitting getäuscht werden können. Als Alternative schlagen die Autoren "In-Time-Placebo"-Checks vor, bei denen fiktive Behandlungszeitpunkte in der Vergangenheit gesetzt werden, um die Glaubwürdigkeit der Annahmen zu testen.

4. Empirische Anwendung: "Right-to-Carry"-Gesetze und Gewaltkriminalität

Um die praktische Relevanz und die Grenzen der Methode zu demonstrieren, wenden die Autoren den CY-Ansatz auf eine bekannte Studie zur Wirkung von "Right-to-Carry" (RTC)-Gesetzen auf Gewaltkriminalität an (Daten: 1977–2014, 50 US-Bundesstaaten).

Datencharakteristik: Das Problem ist typisch für Politikbewertungen: kleine $N$ (ca. 50 Staaten), lange Zeitreihen, stark variierende Behandlungszeitpunkte und schlecht konditionierte Daten (lange "Schwanz" von latenten Faktoren).
Ergebnisse ohne Vorverarbeitung:
- Matrix-Vervollständigung (sowohl auf der gesamten Matrix als auch CYs Ansatz) liefert plausibelkeitsferne Ergebnisse: Sie schätzen einen massiven Anstieg der Gewaltkriminalität um ca. 136–205 Straftaten pro 100.000 Einwohner nach Einführung der Gesetze.
- Im Vergleich dazu liefern Synthetic Control und Gsynth sehr viel kleinere Effekte (ca. 3–11 Straftaten).
- Die Vorbehandlungseffekte (Placebos) liegen nahe bei Null, was auf eine scheinbar gute Modellierung hindeutet, aber nicht vor Overfitting schützt.
Ergebnisse mit Vorverarbeitung (Fixed Effects Residualisierung):
- Wenn man Unit- und Time-Fixed Effects als Vorverarbeitungsschritt entfernt (residualisiert), bevor die Matrix-Vervollständigung angewendet wird, ändern sich die Ergebnisse drastisch.
- Die geschätzten Effekte sinken auf einen moderaten Rückgang der Gewaltkriminalität (ca. 8–10 Straftaten pro 100.000).
- Diese Ergebnisse stimmen nun besser mit anderen Methoden überein und liegen innerhalb der Konfidenzintervalle der Synthetic-Control-Schätzer.

5. Schlussfolgerung und Bedeutung

Das Papier liefert eine kritische, aber konstruktive Bewertung von CYs neuem Ansatz.

Theoretische Bedeutung: Es bestätigt die Machbarkeit von Matrix-Vervollständigung bei MNAR-Daten im Panel-Kontext und integriert sie in das etablierte "Split-Apply-Combine"-Rahmenwerk.
Praktische Warnung: Die empirische Anwendung zeigt, dass Matrix-Vervollständigung allein, ohne Berücksichtigung von Unit- und Time-spezifischen Niveaus (Fixed Effects), zu extrem verzerrten und unrealistischen Ergebnissen führen kann.
Empfehlung: Für die praktische Anwendung in der Politikbewertung ist eine Vorverarbeitung (Residualisierung von Fixed Effects) entscheidend, um die Schätzer stabil zu machen und mit etablierten Methoden wie Synthetic Control vergleichbare Ergebnisse zu erzielen.
Zukunftsausblick: Die Autoren betonen, dass die Überwindung des "Last-Mile-Problems" (robuste Inferenz, bessere Diagnostik, Hyperparameter-Tuning) genauso wichtig ist wie die Entwicklung neuer theoretischer Schätzer.

Zusammenfassend stellt das Papier sicher, dass die vielversprechende Methode der Matrix-Vervollständigung nicht als "Black Box" missverstanden wird, sondern als Teil eines umfassenderen, sorgfältig zu validierenden Analyseprozesses in der kausalen Inferenz.