📊 statistics

Doubly robust estimation with functional outcomes missing at random

本文提出并研究了在随机缺失假设下针对函数型结果的半参数估计量，证明了其中一种估计量具有双稳健性（即只要缺失机制或结果模型之一正确，其极限分布即为高斯过程），并据此构建了具有渐近保证覆盖率的均值函数同时置信带。

原作者： Xijia Liu, Kreske Felix Ecker, Lina Schelin, Xavier de Luna

发布于 2026-02-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Xijia Liu, Kreske Felix Ecker, Lina Schelin, Xavier de Luna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个统计学上的难题：当我们要研究“随时间变化的曲线”（比如一个人的终身收入轨迹），但部分人的数据缺失时，如何准确地估算出整个群体的平均曲线？

为了让你更容易理解，我们可以把这篇论文的核心内容想象成**“修补破碎的地图”和“双重保险”**的故事。

1. 背景：我们要看什么？（功能型数据）

想象一下，我们想研究瑞典 1954 年出生的一群人，看看他们从 20 岁到 60 岁的收入曲线是什么样的。

普通数据：就像问一个人“你今年赚多少钱？”这是一个点。
功能型数据（Functional Data）：就像看一个人一生的收入轨迹，这是一条连续的曲线。

问题出现了：并不是所有人的这条曲线都是完整的。有些人中途退出了调查（比如搬家了、不填表了），或者在因果推断中，我们想知道“如果那些住在小城市的人搬到了大城市，他们的收入曲线会是什么样？”（这是反事实的，所以数据缺失）。

2. 核心挑战：缺失的数据怎么补？

如果直接忽略缺失的人，只算那些有完整数据的人的平均值，结果通常会偏颇（比如，留下来的人可能本来就更有钱或更稳定）。

统计学家通常用两种方法来“修补”这些缺失的曲线：

回归预测法 (OR)：就像老师根据学生的平时成绩（协变量）来预测他们没考的分数。
双重稳健法 (DR)：这是本文的主角。它像是一个**“双重保险”**策略。

3. 核心创新：什么是“双重稳健”？

想象你在过一条河，你需要过河（得到准确的结果）。

方法 A（回归模型）：假设你有一张地图，告诉你河水流向。如果地图是对的，你就能过河。
方法 B（缺失机制模型）：假设你有一艘船，知道哪里水浅可以走。如果船是对的，你也能过河。

“双重稳健” (Doubly Robust) 的意思是：

只要“地图”或者“船”其中有一个是对的，你就能安全过河！

只有当“地图”和“船”两个都错了，你才会掉进河里（结果出错）。这比只依赖其中一种方法要安全得多。

4. 这篇论文做了什么突破？

以前的“双重稳健”方法主要用来处理单个数字（比如平均收入是多少）。但这里处理的是整条曲线（收入随时间变化的轨迹）。

这就好比以前我们只修补一个点，现在要修补整条连续的线。这更难，因为线是无限维度的。

作者做了两件大事：

证明了“双重保险”对曲线也有效：他们从数学上证明了，只要两个模型里有一个是对的，算出来的平均曲线就是准确的，而且误差分布符合一种叫做“高斯过程”的规律（你可以把它想象成一种标准的、可预测的波动模式）。
画出了“安全网”（置信带）：
- 通常我们算出一个平均值，会画一条线。
- 但这篇论文不仅算出了线，还画出了两条包围这条线的阴影带（同时置信带）。
- 比喻：这就像天气预报说“明天降雨概率”，但这里说的是“未来 30 年里的每一天，我们的估算都有 95% 的把握落在阴影带内”。这比只检查某一天要严谨得多。

5. 实际应用：瑞典人的收入故事

论文最后用真实数据做了一个实验：

问题：如果 1954 年出生的瑞典人，20 岁时都住在斯德哥尔摩、哥德堡或马尔默这三个大城市，他们一生的收入曲线会是什么样？
现实：有些人确实住在大城市（数据有），有些人住在小城市（数据缺失了“如果住在大城市”的情况）。
结果：作者用“双重稳健”方法算出了这条反事实的曲线。
- 他们发现，如果只算那些本来就住在大城市的人（ naive 方法），会高估年轻时的收入，但低估年老时的积累收入。
- 通过他们的“双重保险”方法，他们画出了一条更真实的曲线，并给出了那条“安全网”（置信带），让我们知道这条曲线在哪些时间段是显著不同的。

总结

这篇论文就像给统计学家提供了一套高级的“曲线修补工具包”：

它不仅能修补断掉的曲线，还能保证修补后的形状是可信的。
它提供了双重保险，只要你的假设模型有一个是对的，结果就靠谱。
它能画出全时段的“安全网”，让你知道在曲线的任何一点，你的估算有多大的把握。

这对于政策制定者（比如政府想制定教育或就业政策）非常有价值，因为他们需要知道，如果改变某些条件（如居住地），人们的整个人生轨迹会发生什么变化，而不仅仅是某一个时间点的变化。

这是一份关于论文《具有缺失数据的函数型结果的双重鲁棒估计》（Doubly robust estimation with functional outcomes）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：在存在缺失数据（Missing at Random, MAR）的情况下，如何估计函数型结果（Functional Outcomes）的均值函数。
应用场景：函数型数据广泛存在于人类运动分析、终身收入轨迹研究等领域。缺失可能源于调查无响应、随访脱落，或在因果推断框架下（如反事实分析）未观测到的潜在结果。
现有挑战：
- 传统的缺失数据处理方法（如回归插补、逆概率加权）主要针对标量（Scalar）结果。
- 现有的函数型数据分析文献多关注“碎片化”数据（即同一函数在不同域上部分缺失），而非整个函数对某些个体的完全缺失。
- 在函数型数据背景下，缺乏具有双重鲁棒性（Doubly Robust, DR）的估计量及其渐近分布的理论推导，特别是关于协方差函数的显式表达和同时置信带（Simultaneous Confidence Bands, SCB）的构建。

2. 方法论 (Methodology)

作者提出并研究了两种半参数估计量：结果回归估计量 (Outcome Regression, OR) 和 双重鲁棒估计量 (Doubly Robust, DR)。

2.1 模型设定

数据：随机样本 $(Y_i, x_i, Z_i)_{i=1}^n$ ，其中 $Y_i$ 是 $L^2([0, 1], \mathbb{R})$ 值函数型变量， $x_i$ 是协变量， $Z_i$ 是缺失指示变量（ $Z_i=1$ 表示观测到， $Z_i=0$ 表示缺失）。
缺失机制：假设满足随机缺失 (MAR) 条件，即 $Pr[Z_i=1 | x_i, Y_i] = Pr[Z_i=1 | x_i]$ 。
工作模型：
1. 结果模型： $Y_i = x_i^\top \beta + \epsilon_i$ （多元函数回归）。
2. 缺失机制模型： $Pr[Z_i=1 | x_i] = \tau(x_i^\top \gamma)$ （Logistic 回归， $\tau$ 为 Sigmoid 函数）。

2.2 估计量定义

OR 估计量：基于结果模型进行插补。
$\hat{\mu}_{OR} = n^{-1} \sum_{i=1}^n x_i^\top \hat{\beta}$
DR 估计量：结合结果模型和缺失机制模型，形式为 OR 估计量加上基于逆概率加权的残差修正项。
$\hat{\mu}_{DR} = n^{-1} \sum_{i=1}^n \left( x_i^\top \hat{\beta} + \frac{Z_i}{\tau(x_i^\top \hat{\gamma})} (Y_i - x_i^\top \hat{\beta}) \right)$

2.3 理论推导策略

由于函数型数据是无限维的，作者采用了两步策略来推导渐近分布：

有限维离散化：首先将函数域离散化为有限个点，利用 M-估计理论推导多维向量的渐近正态性，并给出了显式的渐近协方差矩阵。
紧性证明 (Tightness)：通过证明重缩放后的估计量序列在希尔伯特空间中的紧性，利用 Prohorov 定理将有限维结果推广到无限维函数空间，证明估计量收敛于高斯过程 (Gaussian Process)。

2.4 推断工具

基于推导出的高斯过程极限分布和协方差函数，利用 Liebl 和 Reimherr (2023) 提出的“快速且公平”（Fast and Fair）方法，构建了同时置信带 (SCB)。这些置信带在整个定义域上保证渐近覆盖率，并允许进行局部推断。

3. 主要贡献 (Key Contributions)

理论突破：
- 首次证明了在函数型数据缺失背景下，OR 和 DR 估计量的极限分布均为高斯过程。
- 显式给出了这两个估计量的协方差函数（Covariance Functions），这是以往文献中缺失的关键信息，使得构建置信带成为可能。
- 确立了函数型 DR 估计量的双重鲁棒性：只要结果模型或缺失机制模型中至少有一个被正确设定，估计量就是一致且渐近正态的（收敛速度为 $\sqrt{n}$ ）。
推断方法：
- 提出了基于上述理论结果的同时置信带构建方法，解决了函数型均值估计的不确定性量化问题。
实证验证：
- 通过蒙特卡洛模拟（Monte Carlo study）验证了估计量在小样本下的性质，包括偏差、方差、均方误差（MSE）以及置信带的覆盖率。
- 展示了在模型误设（Misspecification）情况下，DR 估计量依然保持稳健，而完全案例分析（Complete Case Analysis）存在严重偏差。

4. 研究结果 (Results)

渐近性质：
- OR 估计量：仅当结果模型正确时，收敛于均值为 0 的高斯过程。
- DR 估计量：当结果模型或缺失模型至少一个正确时，收敛于均值为 0 的高斯过程。若两个模型均正确，其协方差函数形式更简洁，达到半参数效率界。
模拟实验：
- 覆盖率：在模型正确设定下，基于 DR 估计量的同时置信带（SCB）在 95% 名义水平下表现出良好的经验覆盖率（接近或略高于 95%）。
- 鲁棒性：当结果模型或缺失模型单独误设时，DR 估计量的偏差极小，覆盖率保持良好；而 OR 估计量在结果模型误设时偏差显著增大，覆盖率下降。
- 完全案例分析：在约 30% 数据缺失的情况下，完全案例分析（仅使用观测数据）表现出巨大的偏差和极低的覆盖率（<15%），突显了插补方法的必要性。
- 误差分布：即使在误差项不服从高斯分布（使用多元 t 分布，模拟非光滑函数）的情况下，DR 估计量的 SCB 表现依然稳健。
应用案例：
- 利用瑞典 1954 年出生队列数据，研究“如果所有人在 20 岁时都生活在大型劳动力市场区域，其终身收入轨迹会如何”。
- 结果显示，简单的观测均值（Naive estimator）在早期高估收入，在 30 岁后低估累积收入。DR 估计量修正了这种偏差，并提供了具有统计显著性的置信带。

5. 意义与影响 (Significance)

方法论创新：填补了函数型数据分析与因果推断/缺失数据处理交叉领域的理论空白，特别是提供了双重鲁棒估计量的严格渐近理论。
实际应用价值：为处理具有缺失值的复杂函数型数据（如收入轨迹、生长曲线、运动轨迹）提供了可靠的统计工具。
推断能力：通过提供同时置信带，研究者不仅可以估计均值函数，还能在控制整体错误率的前提下，识别函数曲线上显著差异的区间（例如，收入轨迹在哪个年龄段显著不同）。
稳健性：双重鲁棒性使得该方法在实际应用中更加可靠，因为研究者通常难以保证所有模型设定都完全正确，只要其中一个模型近似正确，推断结果依然有效。

总结：该论文成功地将双重鲁棒估计理论扩展到了函数型数据领域，解决了缺失数据下的均值估计和不确定性量化问题，并通过严格的理论证明和模拟验证，为相关领域的实证研究提供了强有力的统计工具。