📊 statistics

Identification and estimation of the conditional average treatment effect with nonignorable missing covariates, treatment, and outcome

本文针对协变量、处理和结果均存在非随机缺失（MNAR）的观测研究，建立了条件平均处理效应（CATE）的非参数识别理论，开发了相应的估计量，并提出了评估缺失假设稳健性的敏感性分析框架。

原作者： Shuozhi Zuo, Yixin Wang, Fan Yang

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuozhi Zuo, Yixin Wang, Fan Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文主要解决了一个在科学研究（比如医学、社会学、政策评估）中非常头疼的问题：当数据“缺胳膊少腿”，而且缺失的原因还和缺失的内容本身有关时，我们该如何准确计算某种“治疗”或“干预”对不同的人到底有多大效果？

为了让你轻松理解，我们可以把这篇论文比作**“在迷雾中修补一幅破碎的拼图”**。

1. 背景：为什么数据会“缺胳膊少腿”？

想象一下，你想研究“吃某种补药（治疗）”对“身高增长（结果）”的影响。你需要收集每个人的年龄、饮食（协变量）、是否吃药（治疗）和最终身高（结果）。

但在现实调查中，数据往往是不完整的：

有人忘了填年龄。
有人没吃药但没告诉你。
有人测了身高但拒绝报告。

最麻烦的是“非随机缺失”（MNAR）：

随机缺失（MAR）： 就像有人因为太忙没填表，这跟他的身高无关。这种情况好办，统计学家有现成的办法。
非随机缺失（MNAR）： 就像身高特别高的人因为害羞不愿意报告身高，或者没吃药的人因为效果不好懒得填表。这时候，缺失的数据本身就藏着秘密。如果你只分析那些“乖乖填表”的人，得出的结论就会像**“只调查了高个子，就以为全世界人都很高”**一样，完全偏了。

2. 核心挑战：我们要找的是“个性化效果”

以前的研究大多只关心“平均效果”（比如：这药对所有人平均长高 2 厘米）。但这篇论文关注的是条件平均处理效应（CATE），也就是**“个性化效果”**：

这药对“年轻、营养好”的人效果如何？
对“年老、营养差”的人效果又如何？

这就好比医生开药，不能只说“这药有效”，得说“这药对你这种体质的人有效”。

3. 论文的创新：在迷雾中找路

以前的方法在面对“大家都不愿意填表，而且是因为填表内容本身（比如收入低、有犯罪记录）才不填”这种复杂情况时，往往束手无策，或者需要做出非常不切实际的假设。

这篇论文提出了三种“破局”的假设，就像给了你三把不同的钥匙，能在不同情况下打开那扇紧闭的门：

钥匙 A（假设 1）： 假设“结果”（比如身高）本身不会导致你不填表。只要你不因为身高而拒绝报告，我们就能算出准确结果。
钥匙 B（假设 2）： 假设“治疗”（比如吃药）本身不会直接导致你不填表。虽然你可能因为身高害羞，但不会因为“我吃了药”这个事实而拒绝填表。
钥匙 C（假设 3）： 假设“某些背景特征”（比如种族）不会直接导致你不填表。

最厉害的地方在于： 即使我们不知道所有人的完整数据（比如不知道那些没填表的人到底多高），只要满足上述其中一种“钥匙”条件，我们就能数学上证明，依然可以算出“个性化效果”（CATE）。

比喻： 想象你在玩一个侦探游戏，嫌疑人（缺失数据）都躲起来了。以前的侦探说：“除非把所有人都抓回来，否则没法破案。”但这篇论文的侦探说：“不需要抓所有人！只要我们知道‘躲起来的人’和‘没躲起来的人’在某种特定规则下（比如不是因为身高躲起来）有某种联系，我就能通过推理还原真相。”

4. 怎么算？（两种工具）

为了把理论变成实际操作，作者开发了两套工具：

非参数方法（像“万能胶水”）：
- 特点： 不预设任何公式，非常灵活，能适应各种奇怪的数据形状。
- 缺点： 就像用胶水粘拼图，虽然能粘上，但有时候手会抖，结果不太稳定，而且很难去测试“如果规则变了会怎样”。
参数方法（像“精密模具”）：
- 特点： 假设数据符合某种常见的数学规律（比如正态分布）。虽然有点死板，但算出来的结果非常稳定，而且容易做“压力测试”。
- 优势： 作者特别推荐用这个，因为它可以方便地进行敏感性分析。

5. 敏感性分析：给结论做个“压力测试”

这是论文非常实用的一点。因为那些“钥匙”（假设）是我们猜的，没法直接验证。

做法： 作者设计了一个“旋钮”（参数 $\delta$ ）。
比喻： 就像你在测试一座桥的承重。你先假设桥是完美的（ $\delta=0$ ），然后慢慢增加重量（ $\delta$ 变大），看看桥会不会塌。
结果： 如果即使你故意把假设改得“很坏”（比如假设大家因为身高特别极端才不填表），算出来的结论（比如“吃药能长高”）依然成立，那你的结论就非常** robust（稳健）**，可以放心使用。

6. 实际应用：国家青年就业计划（NJCS）

作者用美国的一个真实案例（国家青年就业计划）来演示：

背景： 研究“拿到职业证书”对“未来收入”的影响。
问题： 很多人没填表，特别是那些有犯罪记录、以前收入低的人（敏感信息），这导致数据缺失非常严重且非随机。
结果： 即使考虑到这些人可能因为“收入低”或“有案底”而拒绝填表，经过作者的新方法计算，结论依然是：拿到证书能显著提高收入。而且这个结论在不同假设下都非常稳固。

总结

这篇论文就像给数据科学家提供了一套**“在数据残缺且充满偏见时，依然能看清真相”的指南针**。

它告诉我们：

即使数据缺失很严重，且缺失原因很复杂，我们依然有机会算出个性化的治疗效果。
不需要知道所有人的完整数据，只要满足特定的逻辑条件（三种假设之一）。
通过参数方法和敏感性分析，我们可以不仅算出结果，还能告诉决策者：“即使我们的假设有一点点偏差，这个结论依然是可靠的。”

这对于制定精准医疗方案、设计社会政策（比如给谁发补贴、给谁提供培训）具有极高的价值，因为它让决策者敢于在数据不完美的情况下，依然做出科学的判断。

1. 研究背景与问题 (Problem)

核心问题：在观察性研究中，研究者常需评估处理效应（Treatment Effect）的异质性，即条件平均处理效应 (CATE)。然而，实际数据中协变量 ( $X$ )、处理变量 ( $T$ ) 和结果变量 ( $Y$ ) 往往存在缺失。
挑战：当缺失机制依赖于未观测值（即非随机缺失 MNAR，Missing Not At Random）时，传统的处理方法（如完全案例法 CCA、多重插补 MI、逆概率加权 IPW）通常会产生有偏估计。
现有局限：
- 现有文献多关注平均处理效应 (ATE) 的识别，且通常假设缺失仅发生在少数变量上，或限制缺失机制（如不允许结果自截断）。
- 在 $X, T, Y$ 均可能存在 MNAR 的情况下，恢复联合分布通常要求极强的假设，导致 ATE 不可识别。
- 直接针对 MNAR 下 CATE 识别与估计的方法研究较少，特别是当协变量和处理本身也缺失时。
动机：以“国家职业培训项目研究 (NJCS)"为例，关键变量（如逮捕史、收入、学历）存在显著的缺失，且缺失可能依赖于变量本身的值（自截断），传统方法难以处理。

2. 方法论 (Methodology)

2.1 设定与假设

框架：采用潜在结果框架，关注前瞻性研究（Prospective Studies），即 $X$ 和 $T$ 在 $Y$ 之前测量。因此假设 $(Y, R_Y)$ 不影响 $(X, T, R_X, R_T)$ 的缺失。
因果假设：满足 SUTVA、强可忽略性 ( $Y(t) \perp T | X$ ) 和正定性。
缺失机制 (MNAR)：作者提出了三种针对结果缺失 ( $R_Y$ $R_{Y}$ ) 的特定 MNAR 机制，允许 $X$ $X$ 和 $T$ $T$ 的缺失机制更为一般化：
1. 假设 1 (Assumption 1)： $R_Y \perp Y | (X, T, R_X, R_T)$ 。即结果缺失不依赖于结果本身（无自截断）。
2. 假设 2 (Assumption 2)： $R_Y \perp T | (X, Y, R_X, R_T)$ 。允许结果自截断，但结果缺失不依赖于处理变量 $T$ （在给定 $X, Y$ 下）。
3. 假设 3 (Assumption 3)： $R_Y \perp X | (T, Y, R_X, R_T)$ 。允许结果自截断，但结果缺失不依赖于协变量 $X$ （在给定 $T, Y$ 下）。

2.2 识别理论 (Identification)

定理 1 (Assumption 1)：若 $R_Y$ 不依赖于 $Y$ ，则 $P(Y|T, X)$ 可通过完全案例（Complete Cases）识别，进而 CATE 可识别。
定理 2 (Assumption 2)：若 $R_Y$ $R_{Y}$ 依赖于 $Y$ $Y$ 但不依赖于 $T$ $T$ ，则需满足完备性条件 (Completeness Condition)： $P(Y, R_Y=1 | T, X)$ $P (Y, R_{Y} = 1∣ T, X)$ 关于 $T$ $T$ 是完备的。
- 利用 $T$ 作为“阴影变量 (Shadow Variable)"，通过积分方程唯一确定缺失机制。
- 特例：若 $Y \perp T | X$ ，则 CATE 恒为 0 且可识别，无需完备性条件。
定理 3 (Assumption 3)：若 $R_Y$ 依赖于 $Y$ 但不依赖于 $X$ ，则需满足 $P(Y, R_Y=1 | T, X)$ 关于 $X$ 的完备性条件。
关键发现：CATE 仅依赖于条件分布 $P(Y|T, X)$ ，因此在比识别 ATE（需恢复联合分布）更弱的假设下，CATE 依然可识别。

2.3 估计方法 (Estimation)

针对上述识别结果，作者提出了两种估计策略：

非参数级数两阶段最小二乘法 (Nonparametric Series 2SLS)：
- 原理：基于识别定理，构建 Fredholm 积分方程来恢复响应几率函数 (Response Odds Function) $\zeta(x, y)$ 。
- 步骤：
  1. 在筛空间 (Sieve space) 中近似 $\zeta$ 。
  2. 通过样本矩条件求解线性系统，并引入二次正则化 (Quadratic Regularization) 以解决病态问题。
  3. 利用估计的权重对完全案例进行加权回归，得到 CATE。
- 特点：灵活，无需参数假设，但数值不稳定，对调参敏感。
参数似然估计 (Parametric Likelihood via EM)：
- 原理：对结果模型 $P(Y|X, T)$ 和缺失机制 $\pi(X, T, Y)$ 设定参数模型。
- 算法：使用 EM 算法 处理缺失的 $Y$ $Y$ 。
  - E 步：利用分数插补 (Fractional Imputation, FI) 近似缺失值的后验分布。
  - M 步：最大化蒙特卡洛近似的 Q 函数。
- 特点：稳定性好，适合敏感性分析，但依赖模型设定。

2.4 敏感性分析框架

由于 MNAR 假设不可检验，作者提出通过单参数扩展来评估稳健性。
在基准模型的对数几率 (Logit) 中加入偏移量 $\delta$ ，重新引入被排除的路径（如 $Y \to R_Y$ 或 $T \to R_Y$ ），观察 CATE 估计值随 $\delta$ 变化的稳定性。

3. 主要贡献 (Key Contributions)

理论突破：在 $X, T, Y$ 均可能为 MNAR 的复杂场景下，建立了 CATE 的非参数识别理论。证明了在比识别 ATE 更弱的条件下（特别是利用完备性条件和阴影变量），CATE 依然可识别。
方法创新：
- 提出了适用于 MNAR 下 CATE 估计的非参数 2SLS 估计量和参数 EM 估计量。
- 设计了针对 MNAR 假设的敏感性分析框架，量化了假设违背对因果推断的影响。
区分 CATE 与 ATE：明确指出在 MNAR 下，恢复联合分布（用于 ATE）往往不可行，但识别条件分布（用于 CATE）是可能的，为观察性研究提供了新的视角。

4. 模拟与实证结果 (Results)

4.1 模拟研究

设置：对比了 Oracle（理想）、CCA、MI（多重插补）、NP（非参数）、Para（参数）等 8 种方法。
发现：
- Assumption 1：CCA 无偏，其他方法在某些设定下有偏。
- Assumption 2 & 3：
  - 当满足完备性条件时，NP 和 Para 估计量无偏。
  - 当完备性条件不满足（如离散变量导致方程欠定）时，NP 出现偏差，但 Para 在参数模型正确设定下仍保持无偏。
  - 传统的 MI 和 CCA 在 MNAR 下表现出显著偏差。
  - 试图对不可识别的联合分布建模（Para full）会导致 CATE 估计偏差，验证了直接针对 $P(Y|T, X)$ 进行子集分析的重要性。

4.2 实证应用 (NJCS 数据)

场景：评估获得教育/职业证书 ( $T$ ) 对周收入 ( $Y$ ) 的因果效应，协变量 $X$ 包含人口学特征和背景。
结果：
- 所有估计方法（包括不同假设下的 NP 和 Para）均显示获得证书对收入有显著的正向效应（95% 置信区间不包含 0）。
- 参数估计值在不同假设下表现稳健。
敏感性分析：在 $\delta \in [-2, 2]$ 的广泛范围内，正向效应结论保持不变，表明结果对 MNAR 假设的违背具有高度稳健性。

5. 意义与结论 (Significance)

政策与医学价值：为在数据质量较差（存在大量非随机缺失）的 observational studies 中制定个性化政策（Precision Medicine/Policy）提供了可靠的统计工具。
方法论指导：
- 建议在实际应用中优先使用参数估计量作为主要分析，因其更稳定且易于进行敏感性分析。
- 非参数估计量可作为对参数设定稳健性的检查。
- 必须报告多种缺失假设下的结果并进行敏感性分析，而非仅依赖单一假设。
代码开源：作者提供了复现所有分析的代码和数据，促进了该方法的推广和应用。

总结：该论文解决了因果推断中一个极具挑战性的问题——在多重变量非随机缺失的情况下如何准确估计异质性处理效应。通过理论证明、新估计量开发及实证验证，为处理复杂缺失数据下的因果推断提供了坚实的理论基础和实用的分析框架。