📊 statistics

Counterfactual Forecasting for Panel Data

Dieses Paper stellt FOCUS vor, eine neuartige Methode zur Prognose kontrafaktischer Ergebnisse in Paneldaten mit fehlenden Einträgen, indem die Matrix-Vervollständigung erweitert wird, um die Zeitreihendynamik latenter Faktoren zu nutzen, wodurch eine überlegene Vorhersagegenauigkeit erzielt und theoretische Garantien für Anwendungen wie Mobile-Health-Studien etabliert werden.

Ursprüngliche Autoren: Navonil Deb, Raaz Dwivedi, Sumanta Basu

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Navonil Deb, Raaz Dwivedi, Sumanta Basu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Trainer, der versucht vorherzusagen, wie Ihr Team in den Spielen der nächsten Woche abschneiden wird. Sie haben eine Tabelle mit Daten zur vergangenen Leistung jedes Spielers, aber es gibt zwei große Probleme:

Fehlende Daten: Einige Spieler haben das Training verpasst oder nahmen an bestimmten Spielen nicht teil, was Lücken in Ihrer Tabelle hinterlässt.
Verborgene Muster: Die Spieler sind nicht einfach nur zufällige Individuen; sie werden von unsichtbaren „Stimmungen“ (wie Ermüdung, Moral oder Wetter) beeinflusst, die sich über die Zeit ändern und jeden unterschiedlich beeinflussen.

Das Paper stellt ein neues Werkzeug namens FOCUS (Forecasting Counterfactuals Under Stochastic Dynamics) vor, um dieses Problem zu lösen. So funktioniert es, unterteilt in einfache Konzepte:

Das Problem: Das „Was wäre wenn“-Ratespiel

In der Wissenschaft und Politik wollen wir oft wissen: „Was wäre passiert, wenn wir statt Y doch X gemacht hätten?“ Dies nennt man ein Kontrafaktum (Counterfactual).

Ein Beispiel: In einer mobilen Gesundheits-App möchten wir vielleicht wissen: „Wenn wir diesem Nutzer um 17:00 Uhr eine Erinnerung zum Gehen geschickt hätten, wie viele Schritte hätte er dann gemacht?“ Aber wir können die Erinnerung nicht senden und gleichzeitig nicht senden. Wir sehen nur, was passiert, wenn wir sie tatsächlich senden. Das „Was wäre wenn“-Szenario (das Kontrafaktum) fehlt uns.

Normalerweise versuchen Statistiker, diese Lücken zu füllen, indem sie nach Mustern in den Daten suchen. Die meisten bestehenden Werkzeuge behandeln die Zeit jedoch wie ein statisches Foto – sie schauen in die Vergangenheit, um die Zukunft zu erraten, ignorieren aber die Tatsache, dass die Zeit fließt. Sie übersehen, dass, wenn ein Nutzer heute müde ist, er morgen wahrscheinlich auch müde sein wird.

Die Lösung: FOCUS

Die Autoren haben FOCUS entwickelt, damit es wie ein detektivischer Zeitreisender agiert. Anstatt die Daten als flaches Gitter zu betrachten, versteht FOCUS, dass die verborgenen „Stimmungen“ (genannt latente Faktoren) wie eine Geschichte wandern und sich entwickeln.

Hier ist der schrittweise Prozess, den FOCUS nutzt:

Die unsichtbaren Fäden finden (Faktor-Schätzung):
Stellen Sie sich die Daten wie einen riesigen Wandteppich mit Löchern vor. FOCUS sucht zuerst nach den sichtbaren Fäden, um das zugrunde liegende Muster des Wandteppichs zu verstehen. Es verwendet eine mathematische Technik (ähnlich dem Finden der Hauptthemen in einem Song), um diese verborgenen „Stimmungen“ selbst dann zu schätzen, wenn Daten fehlen.
Das nächste Kapitel vorhersagen (Zeitreihendynamik):
Dies ist die magische Zutat. Sobald FOCUS weiß, wie die „Stimmungen“ gestern und vorgestern waren, rät es für morgen nicht einfach zufällig. Es nutzt eine Zeitmaschine (speziell ein mathematisches Modell namens VAR), um vorherzusagen, wie sich diese Stimmungen entwickeln werden.

Analogie: Wenn Sie wissen, dass ein Auto mit 60 mph nach Norden fährt, können Sie vorhersagen, wo es in einer Stunde sein wird. Wenn Sie nur ein Foto des Autos betrachten, können Sie das nicht. FOCUS betrachtet die Geschwindigkeit und Richtung des Autos (die Zeitdynamik), um die Zukunft vorherzusagen.

Die Lücken füllen (Vorhersage/Forecasting):
Mit den vorhergesagten „Stimmungen“ für die Zukunft füllt FOCUS die fehlenden Stellen in der Tabelle aus. Es sagt Ihnen: „Basierend auf den verborgenen Mustern und der Art, wie sie sich normalerweise bewegen, wäre die Schrittzahl des Nutzers so ausgefallen, wenn wir ihn angestoßen hätten.“

Warum ist das besser als die alten Methoden?

Das Paper vergleicht FOCUS mit zwei anderen populären Methoden:

mSSA: Diese Methode ist wie ein Maler, der nur auf die Farben auf der Leinwand schaut, aber die Pinselstriche ignoriert. Sie geht davon aus, dass die Muster starr sind und sich nicht zufällig ändern.
SyNBEATS: Dies ist wie ein sehr schwerfälliger, langsamer Roboter, der ein perfektes, vollständiges Foto der Vergangenheit benötigt, um zu funktionieren. Wenn es Löcher in den Daten gibt, hat er Schwierigkeiten.

FOCUS gewinnt, weil:

Es geht mit fehlenden Teilen um: Es kann selbst dann funktionieren, wenn die Daten voller Löcher sind (was im echten Leben oft vorkomt).
Es versteht Zufälligkeit: Es weiß, dass die Zukunft keine perfekte Kopie der Vergangenheit ist; es berücksichtigt das „Rauschen“ und die zufälligen Änderungen der verborgenen Stimmungen.
Es ist schnell: Es läuft viel schneller als der schwere Roboter (SyNBEATS), was es für große Datensätze praktikabel macht.

Realwelt-Test: Die HeartSteps-Studie

Die Autoren testeten FOCUS in einer echten mobilen Gesundheitsstudie namens HeartSteps. In dieser Studie erhielten Nutzer Aufforderungen zum Gehen.

Die Erkenntnis: Die Forscher bemerkten, dass die Aktivität eines Nutzers in einem Zeitfenster (z. B. 16:00 Uhr) stark mit seiner Aktivität im nächsten Zeitfenster (z. B. 17:00 Uhr) verknüpft war. Wenn er um 16:00 Uhr viel gelaufen ist, war er wahrscheinlich um 17:00 Uhr weniger aktiv (vielleicht, weil er müde war).
Das Ergebnis: Da FOCUS dieses „Müdigkeits“-Muster (die Zeitdynamik) verstand, sagte es zukünftige Schrittzahlen viel genauer voraus als die anderen Methoden. Es nutzte erfolgreich die „Geschichte“ des Tages eines Nutzers, um das nächste Kapitel zu erraten.

Das Fazit

FOCUS ist eine neue Art, die Zukunft in Situationen vorherzusagen, in denen Daten unordentlich und unvollständig sind. Indem es verborgene Muster als bewegliche, sich entwickelnde Geschichten statt als statische Bilder behandelt, ermöglicht es uns eine viel klarere Sicht darauf, „was passiert wäre“, wenn wir andere Entscheidungen getroffen hätten. Dies hilft Forschern und politischen Entscheidungsträgern, bessere Entscheidungen auf der Grundlage genauerer Vorhersagen zu treffen.

Technisches Resümee: Kontrafaktische Prognose für Paneldaten

Problemstellung

Die Arbeit befasst sich mit der Herausforderung der Prognose kontrafaktischer Ergebnisse in Paneldaten-Settings, die durch fehlende Einträge und zeitlich abhängige latente Faktoren gekennzeichnet sind. Dieses Szenario ist in der kausalen Inferenz weit verbreitet, insbesondere wenn die prospektive Entscheidungsfindung eine Schätzung unbeobachteter potenzieller Ergebnisse erfordert (z. B. was unter einer noch nicht zugewiesenen Behandlung bei einer Einheit geschehen würde) im Voraus.

Bestehende Methoden für die kausale Inferenz, wie etwa Synthetic Controls, Difference-in-Differences und Matrix Completion, stützen sich typischerweise auf Low-Rank-Annahmen, um die gemeinsame Variation über Einheiten und Zeitpunkte hinweg zu modellieren. Diese Ansätze behandeln latente Faktoren jedoch oft als statisch oder i.i.d. (identisch und unabhängig verteilt), wodurch sie die inhärenten zeitlichen Dynamiken (z. B. autoregressive Strukturen) versäumen, die in vielen realen Prozessen bestehen. Darüber hinaus setzen viele bestehende Prognosemethoden eine begrenzte Fehlstellenrate voraus oder erfordern vollständig beobachtete Prä-Behandlungs-Panels, was sie für die kontrafaktische Schätzung, bei der große Teile der Datenmatrix per Design unbeobachtet sind, ungeeignet macht.

Methodik: FOCUS

Die Autoren schlagen FOCUS (FOrecasting Counterfactuals Under Stochastic dynamics) vor, eine Methode, die darauf abzielt, die traditionelle Matrix Completion zu erweitern, indem sie die Zeitreihendynamik der latenten Faktoren integriert.

Kernalgorithmus

FOCUS operiert in zwei primären Schritten:

Faktorschätzung: Die Methode beschränkt sich auf das beobachtete Panel unter einer spezifischen Behandlungs- (oder Kontroll-) Bedingung und behandelt die unbeobachteten Einträge als fehlend. Sie verwendet einen PCA-Algorithmus (speziell den konsistenten Schätzer von Xiong & Pelger, 2023), um die latenten Faktoren ( $\hat{F}_t$ ) und Ladungen ( $\hat{\Lambda}_i$ ) aus den teilweise beobachteten Daten zu schätzen. Dieser Schritt berücksichtigt allgemeine Beobachtungsmuster, einschließlich "Missing Completely At Random" (MCAR) und Designs mit gestaffelter Einführung (staggered adoption).
Dynamische Prognose: Sobald die Faktoren geschätzt wurden, passt FOCUS ein Zeitreihenmodell (speziell ein Vektor-Autoregressives Modell erster Ordnung, VAR(1)) an die geschätzten Faktoren $\{\hat{F}_t\}$ an. Die Koeffizientenmatrix $\hat{A}$ wird mittels gewöhnlicher kleinster Quadrate (OLS) geschätzt. Die Prognose für den mittleren potenziellen Ausgang am Horizont $h$ für die Einheit $i$ wird dann als Plug-in-Schätzer konstruiert:
$\hat{\theta}_{i, T:T+h} = \hat{\Lambda}_i^\top \hat{A}^h \hat{F}_T$
Dieser Ansatz kombelt effektiv Zeitreihen-Glättungs-/Filtertechniken mit Matrix Completion.

Theoretischer Rahmen

Die Arbeit etabliert theoretische Garantien unter Standard-Regularitätsbedingungen:

Faktormodell: Die latenten Faktoren folgen einem stationären VAR(1)-Prozess ( $F_t = A F_{t-1} + \eta_t$ ) mit $\rho(A) < 1$ .
Rauschen und Ladungen: Es wird angenommen, dass das idiosynkratische Rauschen und die Faktorladungen unabhängig sind und beschränkte Momente besitzen.
Beobachtungsmechanismus: Die Beobachtungsmatrix $W$ ist unabhängig von den Faktoren und dem Rauschen, wobei Bedingungen eine ausreichende Überlappung sicherstellen (z. B. $|Q_{s,t}| \geq Nq$ ).

Zentrale theoretische Ergebnisse:

Fehlergrenzen: Die Autoren leiten eine Fehlergrenze für den Prognose-Schätzer $\hat{\theta}_{i, T:T+h}$ ab, die zeigt, dass dieser mit einer Rate von $O_P(\delta_{NT}^{-1})$ konvergiert, zuzüglich eines Terms, der vom Prognosehorizont $h$ und dem Spektralradius von $A$ abhängt.
Asymptotische Normalität: Unter zusätzlichen Regularitätsbedingungen auf das Beobachtungsmuster ist der Schätzer $\min\{\sqrt{N}, \sqrt{T}\}$ -konsistent und asymptotisch normal.
Konfidenzintervalle: Die Arbeit liefert einen Rahmen zur Konstruktion asymptotisch valider Konfidenzintervalle für die kontrafaktischen Prognosen, indem die asymptotische Varianz geschätzt wird, welche Komponenten aus der Unsicherheit der Faktorschätzung und der Prognoseunsicherheit umfasst.

Zentrale Beiträge

Erste Eintrag-für-Eintrag Out-of-Sample-Prognose: Soweit den Autoren bekannt ist, ist FOCUS die erste Arbeit, die die Eintrag-für-Eintrag-Prognose von Kontrafakten Out-of-Sample in Gegenwart von fehlenden Daten und stochastischen Faktordynamiken adressiert.
Integration von Dynamik und fehlenden Daten: Im Gegensatz zu bisherigen Matrix-Completion-Methoden, die zeitliche Dynamiken ignorieren, oder dynamischen Faktormodellen, die eine begrenzte Fehlstellenrate voraussetzen, handhabt FOCUS explizit ein breites Spektrum an Beobachtungsmustern, während es gleichzeitig stochastische zeitliche Abhängigkeiten (z. B. autoregressive Komponenten) nutzt.
Theoretische Erweiterung: Die Arbeit erweitert die theoretischen Ergebnisse von Xiong & Pelger (2023) von i.i.d.-latenen Faktoren auf zeitlich abhängige Faktoren und verifiziert, dass abhängige Faktorenprozesse die allgemeinen Zentralen Grenzwertsatz-Annahmen (CLT) erfüllen.
Skalierbarkeit: Der Algorithmus ist recheneffizient, wobei die Laufzeit günstig mit der Zeitdimension $T$ skaliert, was ihn für Large- $T$ -Settings geeignet macht.

Empirische Ergebnisse

Die Autoren evaluieren FOCUS gegen zwei Benchmarks: mSSA (Multivariate Singular Spectrum Analysis) und SyNBEATS (eine auf neuronalen Netzen basierende synthetische Kontrollmethode).

Simulationsstudien: Über vier Datengenerierungsprozesse (DGPs) hinweg, die AR(1), ARMA und VARMA Prozesse mit verschiedenen Beobachtungsmustern (MCAR, simultane Einführung) beinhalten, erzielt FOCUS konsistent einen geringeren mittleren quadratischen Prognosefehler (MSFE) als beide Benchmarks. Bemerkenswerterweise zeigt FOCUS schnellere Fehlerminderungsraten bei steigendem $T$ . Es übertrifft die Benchmarks zudem bei Modellmisspezifikation (z. B. wenn die wahren Faktoren ARMA-Prozessen folgen, das Modell aber ein VAR(1) annimmt).
Recheneffizienz: FOCUS läuft schneller als mSSA und wesentlich schneller als SyNBEATS.
Reale Anwendung (HeartSteps): Die Methode wird auf die HeartSteps V1 Mobile-Health-Studie angewendet, an der 37 Nutzer teilnahmen, die Geh-Prompts erhielten. Die Studie verdeutlicht, dass Schrittzahlen negative Korrelationen zwischen aufeinanderfolgenden Entscheidungsintervallen aufweisen. Durch die Erfassung dieser zeitlichen Muster in den latenten Faktoren liefert FOCUS genauere Prognosen zukünftiger Schrittzahlen unter Intervention im Vergleich zu mSSA, wobei sich die Leistungsdifferenz mit zunehmendem Trainingshorizont $T$ vergrößert.

Bedeutung und Ansprüche

Das Paper behauptet, dass FOCUS einen skalierbaren und theoretisch fundierten Rahmen für die prospektive kontrafaktische Evaluierung bietet. Seine primäre Bedeutung liegt in der Überbrückung der Lücke zwischen kausaler Inferenz (Umgang mit fehlenden Kontrafakten) und Zeitreihenprognose (Umgang mit zeitlicher Dynamik).

Die Autoren betonen, dass viele bestehende Methoden entweder auf die Post-Treatment-Schätzung fokussiert sind oder vollständige Prä-Behandlungs-Daten voraussetzen, während FOCUS einzigartig in der Lage ist, zukünftige Ergebnisse unter hypothetischen Interventionen zu prognostizieren, wenn die Daten unvollständig sind. Die Methode ist besonders effektiv, wenn latente Faktoren autoregressive Dynamiken aufweisen, ein häufiges Merkmal in Verhaltens- und Wirtschaftsdaten. Das Paper schließt mit dem Hinweis auf Limitationen, wie etwa die Abhängigkeit von Stationarität, und schlägt zukünftige Richtungen vor, einschließlich nicht-stationärer Settings (z. B. Zustandsraummodelle) und doppelt robuster Schätzer.