📊 statistics

Counterfactual Forecasting for Panel Data

本文介绍了 FOCUS，这是一种通过扩展矩阵补全技术以利用潜在因子的时间序列动态，从而在具有缺失条目的面板数据中预测反事实结果的新方法，该方法实现了卓越的预测准确性，并为移动健康研究等应用建立了理论保证。

原作者： Navonil Deb, Raaz Dwivedi, Sumanta Basu

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Navonil Deb, Raaz Dwivedi, Sumanta Basu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名教练，正试图预测你的球队在下周比赛中的表现。你有一份包含每位球员过去表现数据的电子表格，但有两个大问题：

数据缺失： 一些球员缺席了练习或没有参加某些比赛，导致你的电子表格中出现了空白处。
隐藏模式： 球员们并非随机的个体；他们受到不可见的“情绪”或“团队动态”（如疲劳、士气或天气）的影响，这些因素会随时间变化并以不同的方式影响每个人。

这篇论文介绍了一个名为 FOCUS（基于随机动态的预测反事实模型，Forecasting Counterfactuals Under Stochastic Dynamics）的新工具来解决这个问题。以下是它的工作原理，通过简单的概念进行拆解：

问题所在：“如果……会怎样”的猜谜游戏

在科学和政策领域，我们经常想知道：“如果我们做 X 而不是 Y，结果会怎样？”这就是所谓的反事实（Counterfactual）。

例如，在一个移动健康应用中，我们可能想知道：“如果我在下午 5 点给这位用户发送一条步行提醒，他会走多少步？”但我们无法在发送提醒的同时又不发送提醒。我们只能看到当我们确实发送了提醒时发生的情况。那个“如果……会怎样”的情景（即反事实）是缺失的。

通常，统计学家尝试通过寻找数据中的模式来填补这些空白。然而，现有的多数工具将时间视为一张静态的照片——它们通过观察过去来猜测未来，却忽略了时间在流动这一事实。它们忽略了如果一个用户今天很累，那么明天也很可能很累。

解决方案：FOCUS

作者构建了 FOCUS，使其扮演一名穿越时空的侦探。FOCUS 不仅仅是将数据看作一个扁平的网格，它理解隐藏的“情绪”（称为潜在因子）是如何像故事一样移动和演变的。

以下是 FOCUS 使用的步骤分解：

寻找隐形的线索（因子估计）：
想象数据是一幅带有漏洞的巨大织锦。FOCUS 首先观察可见的线条，以确定织锦的底层模式。它使用一种数学技术（类似于寻找歌曲中的主旋律）来估计这些隐藏的“情绪”，即使在数据缺失的情况下也是如此。
预测下一章节（时间序列动态）：
这是神奇的成分。一旦 FOCUS 知道了昨天和前天的“情绪”是什么，它就不会为明天进行随机猜测。它使用一台时光机（具体来说是一个名为 VAR 的数学模型）来预测这些情绪将如何演变。

类比： 如果你知道一辆车正以每小时 60 英里的速度向北行驶，你可以预测一小时后它会在哪里。如果你只看一张汽车的照片，你就无法做到这一点。FOCUS 通过观察汽车的速度和方向（时间动态）来预测未来。

填补空白（预测）：
有了预测出的未来“情绪”，FOCUS 会填补电子表格中的空白处。它会告诉你：“基于隐藏的模式以及它们通常的移动方式，如果我们在提醒用户，他们的步数将会是多少。”

为什么这种方法更好？

论文将 FOCUS 与另外两种流行的方法进行了对比：

mSSA： 这种方法就像一位画家，只观察画布上的颜色而忽略了笔触。它假设模式是僵化的且不会随机变化。
SyNBEATS： 这是一个非常沉重、缓慢的机器人，它需要一张完美的、完整的过去照片才能工作。如果数据中有漏洞，它就会陷入困境。

FOCUS 胜在：

它能处理缺失的部分： 即使在数据充满漏洞的情况下（这在现实生活中经常发生），它也能正常工作。
它理解随机性： 它知道未来不仅仅是过去的完美复制；它考虑了隐藏情绪中的“噪声”和随机变化。
它很快： 它的运行速度比那个沉重的机器人（SyNBEATS）快得多，这使得它在处理大型数据集时具有实用性。

现实世界测试：HeartSteps 研究

作者在名为 HeartSteps 的真实移动健康研究中测试了 FOCUS。在这项研究中，用户会收到步行提示。

发现： 研究人员注意到，用户在某一时间段（例如下午 4 点）的活动与他们在下一个时间段（例如下午 5 点）的活动密切相关。如果他们在 4 点走了很多路，那么他们在 5 点可能会走得少一些（可能是因为累了）。
结果： 因为 FOCUS 理解这种“疲劳感”模式（时间动态），它比其他方法更准确地预测了未来的步数。它成功地利用了用户一天的“故事”来猜测下一章节。

核心结论

FOCUS 是一种在数据混乱且不完整的情况下预测未来的新方法。通过将隐藏模式视为移动的、演变的故事，而非静态的照片，它为我们提供了关于“如果做出不同选择会发生什么”的更清晰视角。这有助于研究人员和决策者基于更准确的预测做出更好的决策。

技术摘要：面板数据的反事实预测

问题陈述

本文解决了在具有缺失条目和时间依赖性潜在因子的面板数据设置下，进行反事实结果预测的挑战。这种情况在因果推断中十分普遍，特别是当前瞻性决策需要提前估计未观测到的潜在结果（例如，一个单元在尚未分配的干预措施下的表现）时。

现有的因果推断方法，如合成控制法（Synthetic Controls）、双重差分法（Difference-in-Differences）和矩阵补全法（Matrix Completion），通常依赖于低秩假设来建模跨单元和跨时间的共享变异。然而，这些方法通常将潜在因子视为静态或独立同分布（i.i.d.）的，未能利用许多现实世界过程中固有的时间动态（例如，自回归结构）。此外，许多现有的预测方法假设缺失情况有限，或者要求预处理阶段的面板数据是完全观测的，这使得它们不适用于反事实估计，因为在这种情况下，设计上会导致大量数据矩阵项是未观测到的。

方法论：FOCUS

作者提出了 FOCUS（FOrecasting Counterfactuals Under Stochastic dynamics，随机动力学下的反事实预测），该方法旨在通过引入潜在因子的时间序列动态，来扩展传统的矩阵补全技术。

核心算法

FOCUS 主要分为两个步骤运行：

因子估计： 该方法限制在特定的处理（或控制）条件下观测到的面板，将未观测到的条目视为缺失值。它采用主成分分析（PCA）算法（具体为 Xiong & Pelger, 2023 的一致估计量）从部分观测的数据中估计潜在因子 ( $\hat{F}_t$ ) 和载荷 ( $\hat{\Lambda}_i$ )。这一步能够适应通用的观测模式，包括随机缺失（MCAR）和交错采用设计。
动态预测： 一旦估计出因子，FOCUS 会对估计的因子 $\{\hat{F}_t\}$ 进行时间序列建模（具体为一阶向量自回归模型，VAR(1)）。系数矩阵 $\hat{A}$ 通过普通最小二乘法（OLS）进行估计。对于单元 $i$ 在预测期 $h$ 的平均潜在结果的预测，则通过插件估计量（plug-in estimator）构建而成：
$\hat{\theta}_{i, T:T+h} = \hat{\Lambda}_i^\top \hat{A}^h \hat{F}_T$
这种方法有效地将时间序列平滑/滤波技术与矩阵补全结合在一起。

理论框架

论文在标准正则条件下建立了理论保证：

因子模型： 潜在因子遵循平稳的 VAR(1) 过程（ $F_t = A F_{t-1} + \eta_t$ ），其中 $\rho(A) < 1$ 。
噪声与载荷： 假设特异性噪声和因子载荷是独立的，且具有有界矩。
观测机制： 观测矩阵 $W$ 独立于因子和噪声，并满足确保足够重叠（例如， $|Q_{s,t}| \geq Nq$ ）的条件。

关键理论结果：

误差界限： 作者推导了预测估计量 $\hat{\theta}_{i, T:T+h}$ 的误差界限，表明其收敛速率为 $O_P(\delta_{NT}^{-1})$ 加上一个取决于预测期 $h$ 和 $A$ 的谱半径的项。
渐近正态性： 在观测模式满足额外正则条件的条件下，该估计量被证明是 $\min\{\sqrt{N}, \sqrt{T}\}$ 一致的，并且具有渐近正态性。
置信区间： 论文提供了一个框架，通过估计渐近方差来构建反事实预测的渐近有效置信区间，该方差包含了因子估计不确定性和预测不确定性的组成部分。

核心贡献

首次实现逐条目样本外预测： 据作者所知，FOCUS 是第一个解决在存在缺失数据和随机因子动态的情况下，进行逐条目反事实样本外预测的工作。
整合动态特性与缺失数据： 与忽略时间动态的以往矩阵补全方法或假设缺失情况有限的动态因子模型不同，FOCUS 在利用随机时间依赖性（例如，自回归成分）的同时，显式地处理广泛的观测模式。
理论扩展： 本研究将 Xiong & Pelger (2023) 的理论结果从 i.i.d. 潜在因子扩展到了具有时间依赖性的因子，验证了相关依赖因子过程满足一般的中心极限定理（CLT）假设。
可扩展性： 该算法计算效率高，运行时间随时间维度 $T$ 的增加而呈现有利的缩放关系，使其适用于大 $T$ 的场景。

实证结果

作者将 FOCUS 与两个基准方法进行了对比：mSSA（多元奇异谱分析）和 SyNBEATS（一种基于神经网络的合成控制方法）。

模拟研究： 在涉及 AR(1)、ARMA 和 VARMA 过程以及各种观测模式（MCAR、同时采用）的四种数据生成过程（DGP）中，FOCUS 的均方预测误差（MSFE）始终低于这两个基准方法。值得注意的是，FOCUS 展示了随着 $T$ 增加，误差下降的速度更快。此外，在模型误设的情况下（例如，当真实因子遵循 ARMA 过程但模型假设为 VAR(1) 时），FOCUS 依然优于基准方法。
计算效率： FOCUS 的运行速度比 mSSA 快，且显著快于 SyNBEATS。
现实应用（HeartSteps）： 该方法应用于 HeartSteps V1 移动健康研究，该研究涉及 37 名接收步行提示的用户。研究强调，步数在连续决策时段之间表现出负相关性。通过捕捉潜在因子中的这些时间模式，与 mSSA 相比，FOCUS 能更准确地预测干预下未来的步数，且随着训练期 $T$ 的增加，这种性能差距会进一步扩大。

重要性与主张

本文声称 FOCUS 提供了一个可扩展且具有理论基础的前瞻性反事实评估框架。其主要意义在于弥合了因果推断（处理缺失的反事实）与时间序列预测（处理时间动态）之间的鸿沟。

作者强调，虽然许多现有方法侧重于处理后处理估计或假设预处理数据是完全观测的，但 FOCUS 能够独特地在数据不完整的情况下，预测未来在假设干预下的结果。当潜在因子表现出自回归动态时，该方法尤其有效，而这在行为和经济数据中是一个常见的特征。论文最后指出，该方法存在局限性，例如对平稳性的依赖，并提出了包括非平稳设置（如状态空间模型）和双重稳健估计量在内的未来研究方向。