Technische Samenvatting: Counterfactual Forecasting voor Paneldata

Probleemstelling

Het artikel behandelt de uitdaging van het voorspellen van counterfactual outcomes (tegenfeitelijke uitkomsten) in paneldata-omgevingen die worden gekenmerkt door ontbrekende gegevens en tijdsafhankelijke latente factoren. Dit scenario komt veel voor in causale inferentie, met name wanneer prospectieve besluitvorming vereist dat ongeobserveerde potentiële uitkomsten (bijv. wat er zou gebeuren met een eenheid onder een nog niet toegewezen behandeling) vooraf worden geschat.

Bestaande methoden voor causale inferentie, zoals Synthetic Controls, Difference-in-Differences en Matrix Completion, vertrouwen doorgaans op low-rank aannames om gedeelde variatie over eenheden en tijd te modelleren. Deze benaderingen behandelen latente factoren echter vaak als statisch of i.i.d., waardoor ze de inherente temporele dynamiek (bijv. autoregressieve structuren) die in veel reële processen aanwezig is, niet benutten. Bovendien gaan veel bestaande voorspellingsmethoden uit van beperkte ontbrekende gegevens of vereisen ze volledig geobserveerde pre-treatment panels, wat ze ongeschikt maakt voor counterfactual schattingen waarbij grote delen van de datamatrix per definitie ongeobserveerd zijn.

Methodologie: FOCUS

De auteurs stellen FOCUS voor (FOrecasting Counterfactuals Under Stochastic dynamics), een methode die is ontworpen om traditionele matrix completion uit te breiden door de tijdreeksdynamiek van de latente factoren te integreren.

Kernalgoritme

FOCUS werkt in twee primaire stappen:

1. Factor Schatting: De methode beperkt de geobserveerde panel onder een specifieke behandelingsconditie (of controlevoorwaarde), waarbij de ongeobserveerde entries als ontbrekend worden behandeld. Het maakt gebruik van een Principal Component Analysis (PCA) algoritme (specifiek de consistente estimator door Xiong & Pelger, 2023) om de latente factoren ($\hat{F}_t$) en loadings ($\hat{\Lambda}_i$) te schatten uit de gedeeltelijk geobserveerde data. Deze stap kan omgaan met algemene observatiepatronen, inclusief Missing Completely At Random (MCAR) en staggered adoption designs.
2. Dynamische Voorspelling: Zodra de factoren zijn geschat, past FOCUS een tijdreeksmodel toe (specifiek een Vector Autoregressive model van orde 1, VAR(1)) op de geschatte factoren $\{\hat{F}_t\}$. De coëfficiëntmatrix $\hat{A}$ wordt geschat via Ordinary Least Squares (OLS). De voorspelling voor de gemiddelde potentiële uitkomst op horizon $h$ voor eenheid $i$ wordt vervolgens geconstrueerd als een plug-in estimator:
   $$\hat{\theta}_{i, T:T+h} = \hat{\Lambda}_i^\top \hat{A}^h \hat{F}_T$$
   Deze aanpak combineert effectief tijdreeks smoothing/filtering technieken met matrix completion.

Theoretisch Kader

Het artikel stelt theoretische garanties vast onder standaard regulariteitsvoorwaarden:

• Factor Model: De latente factoren volgen een stationair VAR(1)-proces ($F_t = A F_{t-1} + \eta_t$) met $\rho(A) < 1$.
• Ruis en Loadings: Er wordt vanuit gegaan dat idiosyncratische ruis en factor loadings onafhankelijk zijn met begrensde momenten.
• Observatiemechanisme: De observatiematrix $W$ is onafhankelijk van de factoren en de ruis, met voorwaarden die voldoende overlap garanderen (bijv. $|Q_{s,t}| \geq Nq$).

Belangrijke Theoretische Resultaten:

• Foutgrenzen: De auteurs leiden een foutgrens af voor de voorspellingsestimator $\hat{\theta}_{i, T:T+h}$, waarbij wordt aangetoond dat deze convergeert met een snelheid van $O_P(\delta_{NT}^{-1})$ plus een term die afhankelijk is van de voorspellingshorizon $h$ en de spectrale radius van $A$.
• Asymptotische Normaliteit: Onder aanvullende regulariteitsvoorwaarden op het observatiepatroon wordt aangetoond dat de estimator $\min\{\sqrt{N}, \sqrt{T}\}$-consistent en asymptotisch normaal is.
• Betrouwbaarheidsintervallen: Het artikel biedt een kader voor het construeren van asymptotisch geldige betrouwbaarheidsintervallen voor de counterfactual voorspellingen door de asymptotische variantie te schatten, die componenten bevat van zowel de onzekerheid in de factor schatting als de voorspellingsonzekerheid.

Belangrijkste Bijdragen

1. Eerste Entry-by-Entry Out-of-Sample Forecasting: Naar weten van de auteurs is FOCUS de eerste methode die entry-by-entry voorspelling van counterfactuals out-of-sample aanpakt in de aanwezigheid van ontbrekende data en stochastische factor dynamiek.
2. Integratie van Dynamiek en Ontbrekende Data: In tegen tegenstelling tot eerdere matrix completion methoden die de temporele dynamiek negeren of dynamische factor modellen die uitgaan van beperkte ontbrekende data, behandelt FOCUS expliciet een breed scala aan observatiepatronen terwijl het gebruikmaakt van stochastische temporele afhankelijkheden (bijv. autoregressieve componenten).
3. Theoretische Uitbreiding: Het werk breidt de theoretische resultaten van Xiong & Pelger (2023) uit van i.i.d. latente factoren naar temporeel afhankelijke factoren, en verifieert dat afhankelijke factorprocessen voldoen aan algemene Central Limit Theorem (CLT) aannames.
4. Schaalbaarheid: Het algoritme is computationeel efficiënt, waarbij de runtime gunstig schaalt naarmate de tijddimensie $T$ toeneemt, wat het geschikt maakt voor large-$T$ settings.

Empirische Resultaten

De auteurs evalueren FOCUS tegen twee benchmarks: mSSA (Multivariate Singular Spectrum Analysis) en SyNBEATS (een op neurale netwerken gebaseerde synthetische controle methode).

• Simulatiestudies: Over vier Data Generating Processes (DGPs) bestaande uit AR(1), ARMA en VARMA processen met diverse observatiepatronen (MCAR, simultane adoptie), behaalt FOCUS consequent een lagere Mean Squared Forecast Error (MSFE) dan beide benchmarks. Met name vertoont FOCUS snellere vervalrates van de fout naarmate $T$ toeneemt. Het presteert ook beter dan de benchmarks onder modelmisspecificatie (bijv. wanneer de ware factoren ARMA-processen volgen maar het model een VAR(1) veronderstelt).
• Computationele Efficiëntie: FOCUS draait sneller dan mSSA en aanzienlijk sneller dan SyNBEATS.
• Real-World Applicatie (HeartSteps): De methode wordt toegepast op de HeartSteps V1 mobiele gezondheidsstudie, die 37 gebruikers betreft die wandprompts ontvangen. De studie benadrukt dat stapaantallen negatieve correlaties vertonen tussen opeenvolgende beslissingsslots. Door deze temporele patronen in de latente factoren te vangen, biedt FOCUS nauwkeurigere voorspellingen van toekomstige stappen onder interventie vergeleken met mSSA, waarbij het prestatieverschil groter wordt naarmate de trainingshorizon $T$ toeneemt.

Betekenis en Claims

Het artikel claimt dat FOCUS een schaalbaar en theoretisch gefundeerd kader biedt voor prospectieve counterfactual evaluatie. De primaire betekenis ligt in het overbruggen van de kloof tussen causale inferentie (het omgaan met ontbrekende counterfactuals) en tijdreeksvoorspelling (het omgaan met temporele dynamiek).

De auteurs benadrukken dat terwijl veel bestaande methoden zich richten op post-treatment schatting of uitgaan van volledig geobserveerde pre-treatment data, FOCUS uniek in staat is om toekomstige uitkomsten onder hypothetische interventies te voorspellen wanneer data incompleet is. De methode is bijzonder effectief wanneer latente factoren autoregressieve dynamiek vertonen, een veelvoorkomend kenmerk in gedrags- en economische data. Het artikel concludeert door te wijzen op beperkingen, zoals de afhankelijkheid van stationariteit, en suggereert toekomstige richtingen waaronder non-stationaire settings (bijv. state-space modellen) en doubly robust estimators.