📊 statistics

Self-separated and self-connected models for mediator and outcome missingness in mediation analysis

本文针对中介分析中中介变量和结果变量的缺失数据问题，系统梳理并扩展了基于条件独立假设的“自分离”模型与利用影子变量的“自连接”模型，通过引入未观测缺失原因依赖并构建识别模板，显著提升了影子变量理论在因果推断中的实用性与适用范围。

原作者： Trang Quynh Nguyen, Razieh Nabi, Fan Yang, Grace V. Ringlein, Elizabeth A. Stuart

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Trang Quynh Nguyen, Razieh Nabi, Fan Yang, Grace V. Ringlein, Elizabeth A. Stuart

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个在科学研究中非常头疼的问题：当数据“缺胳膊少腿”时，我们还能算出准确的结论吗？

特别是当我们在研究“因果关系”时（比如：某种药物是否通过改善睡眠来降低血压），如果中间变量（睡眠）和最终结果（血压）都有人没填问卷，该怎么办？

为了让你轻松理解，我们可以把这项研究想象成侦探破案的过程。

1. 核心难题：侦探眼中的“失踪人口”

想象你是一位侦探（研究者），你要调查一个案件：

嫌疑人（A）：接受了某种干预（比如参加了一个戒烟训练营）。
中间环节（M）：嫌疑人是否真的改变了习惯（比如开始戒烟了）。
最终结果（Y）：嫌疑人是否真的肺功能变好了。

问题出在哪？
有些嫌疑人没回答“是否戒烟”（M 缺失），有些没回答“肺功能”（Y 缺失）。更糟糕的是，他们不回答的原因可能和他们自己有关。

比如：那些肺功能特别差的人，可能因为太虚弱或者太羞愧，根本不愿意去测肺功能。
那些戒烟失败的人，可能因为觉得丢脸，故意不填问卷。

在统计学里，这叫**“非随机缺失”（MNAR）。如果强行假设“不填问卷的人和不填的人没区别”（就像假设没来开会的人和来开会的人想法一样），你的侦探结论就会完全跑偏**。

这篇论文就是教侦探们：在嫌疑人故意隐瞒或无法提供信息的情况下，如何依然能拼凑出真相。

2. 两种破案策略：切断联系 vs. 寻找影子

作者提出了两大类解决方案，我们可以把它们比作两种不同的侦查手段。

策略一：“自分离”模型（Self-separated）—— 切断嫌疑人的“自欺欺人”

核心逻辑：假设嫌疑人不会因为自己的表现而决定报不报数据。

比喻：假设嫌疑人不填问卷，仅仅是因为那天刚好下雨（外部原因），而不是因为他戒烟失败（内部原因）。
怎么做：只要我们能证明“不填问卷”和“实际表现”之间没有直接的因果联系，也没有共同的“幕后黑手”（比如都没填是因为都住在同一个贫困区），我们就能通过数学公式把缺失的部分补回来。
局限性：这就像要求嫌疑人必须“心无杂念”。如果现实中，确实是因为“戒烟失败”才导致“不填问卷”，这个策略就失效了。

策略二：“自连接”模型 + “影子变量”（Self-connected & Shadow Variables）—— 寻找“影子证人”

核心逻辑：承认嫌疑人确实会因为“表现不好”而“拒绝回答”。这时候，我们需要一个**“影子证人”（Shadow Variable, SV）**。

什么是影子变量？
想象一下，嫌疑人（M）不承认自己戒烟失败，但他室友（Z）知道。
- 关键点 1：室友（Z）和嫌疑人（M）关系很铁（数据高度相关），室友能反映嫌疑人的真实情况。
- 关键点 2：室友（Z）自己没有因为“嫌疑人戒烟失败”而拒绝作证（室友的证词是独立的）。
怎么做：
虽然嫌疑人自己撒谎或沉默，但通过观察“室友”的表现，结合数学上的**“完整性条件”**（意思是：室友提供的信息量足够丰富，能覆盖所有可能性），侦探就能反推出嫌疑人到底有没有戒烟。
影子变量可以是谁？
- 内置影子：比如，用“学生自己报告的家长管教”作为“家长报告的管教”的影子（因为两者相关，但来源不同）。
- 外部影子：比如，用“未来的收入”作为“当前教育程度”的影子（因为教育影响未来收入，但未来的收入不会导致现在不填问卷）。
- 协变量影子：比如，用“入学前的成绩”作为“当前成绩”的影子。

3. 论文的创新点：给侦探们发了一本“万能手册”

以前的研究可能只教了侦探几种特定的招数，或者只针对单一情况。这篇论文做了三件大事：

分类更细了：
他们把时间顺序也考虑进去了。是“先测中间变量，再测结果”？还是“一起测”？还是“事后回忆”？不同的时间顺序，侦探能用的招数不一样。这篇论文把各种时间线下的“破案模板”都列出来了。
理论升级了（影子变量理论）：
以前大家认为影子变量必须完全独立。这篇论文发现，即使影子变量自己也有点“缺数据”（比如室友也没填问卷），只要满足特定条件，依然能破案！ 这大大扩展了侦探能使用的工具范围。
不仅给公式，还给“试金石”：
很多模型是“黑箱”，你用了也不知道对不对。这篇论文指出，很多模型其实有**“可检验的暗示”**。
- 比喻：就像侦探可以说：“如果我的假设是对的，那么‘下雨天’和‘嫌疑人没填表’之间应该没有特定联系。我们可以拿数据测一下，如果测出来有关系，说明我的假设错了，得换模型。”
  这让研究者能先“排雷”，排除掉那些明显错误的模型。

4. 现实中的例子：侦探怎么应用？

论文举了两个例子，我们简单看看：

例子 A：学生饮酒调查
- 问题：有些爱喝酒的学生可能因为羞愧不填问卷（M 和 Y 都缺失）。
- 对策：如果只有学生自己填，很难办。但如果学校有老师的评分或家长的评价，这些可以作为“影子变量”。老师不知道学生是否喝酒，但老师的评分能反映学生的整体行为（与 M 相关），且老师不会因为学生喝酒而拒绝评分（独立于缺失机制）。
例子 B：职业培训就业调查
- 问题：没找到工作的人可能不愿意填收入问卷（Y 缺失）。
- 对策：利用未来的收入数据或资产数据（比如是否买了房、有没有车）作为影子变量。这些未来的数据反映了过去的努力（教育），但未来的资产状况不会导致过去的人拒绝填表。

5. 总结：这对我们意味着什么？

这篇论文就像给所有做数据分析的人（无论是研究医学、教育还是经济）提供了一套更强大的“数据修复工具箱”。

以前：数据缺了，要么扔掉（导致结论偏差），要么假设“缺了也没事”（往往也是错的）。
现在：只要你能找到合适的“影子证人”（比如历史数据、第三方数据、相关变量），并且理解数据缺失的机制，你依然可以在数据残缺的情况下，算出接近真相的因果结论。

一句话总结：
即使嫌疑人（数据）在撒谎或躲藏，只要侦探（研究者）懂得利用“影子证人”和正确的逻辑推理，依然可以还原案件的真相，而不必被缺失的数据蒙蔽双眼。

这是一篇关于中介分析（Mediation Analysis）中处理中介变量（Mediator）和结果变量（Outcome）同时缺失问题的深度技术论文。作者提出了两类缺失数据模型（自分离和自连接），并重点扩展了**影子变量（Shadow Variable, SV）**理论，以解决非随机缺失（MNAR）下的识别问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：在因果中介分析中，数据缺失（特别是中介变量 $M$ 和结果变量 $Y$ 同时缺失）是一个普遍且严峻的问题。传统的处理方法通常假设数据是随机缺失（MAR）或完全随机缺失（MCAR），但在实际应用中（如学生饮酒调查、职业培训项目），缺失往往与变量本身有关（即非随机缺失 MNAR），导致估计偏差。
现有局限：现有的 MNAR 理论要么依赖于特定的条件独立性假设（自分离），要么依赖于影子变量，但针对中介分析中 $M$ 和 $Y$ 同时缺失且存在自连接（变量影响其自身缺失）的复杂场景，缺乏系统的模型分类和识别理论。
目标：扩展可识别的模型范围，区分“自分离”和“自连接”缺失机制，利用影子变量理论解决识别问题，并提供可检验的模型假设。

2. 方法论框架 (Methodology)

2.1 设定与符号

变量：二值暴露 $A$ ，中介 $M$ ，结果 $Y$ ，基线协变量 $X$ 。
缺失指示器： $R_M$ 和 $R_Y$ 分别表示 $M$ 和 $Y$ 是否被观测到。
时序顺序：论文考虑了四种时序设置：
1. In-time ( $M, R_M, Y, R_Y$ )：最常见，测量即时发生。
2. Delayed ( $M, Y, R_M, R_Y$ )：回顾性测量。
3. Unordered ( $M, Y, R_Y, R_M$ )：无序。
4. Reverse ( $M, Y, R_Y, R_M$ )：反向。
识别目标：识别条件分布 $P(M|X, A)$ 和 $P(Y|X, A, M)$ ，进而推导因果效应。

2.2 模型分类

论文将缺失机制分为两大类：

A. 自分离缺失模型 (Self-separated Missingness Models)

定义：变量与其缺失指示器之间没有直接因果联系，也没有完全未观测的共同原因。
核心假设：基于条件独立性假设（如序列可忽略缺失 SIM）。
模型 S1-S5：
- S1 (SIM Type 1)：最宽松的模型，适用于 In-time 设置。假设 $R_M \perp (M, Y) | X, A$ 且 $R_Y \perp Y | X, A, M, R_M$ 。
- S2-S5：针对不同的时序设置，通过分离 $R_M$ 与 $Y$ 或 $R_Y$ 与 $M$ 来实现识别。
- 特点：这些模型通常要求某些连接不存在（例如 $M$ 不能影响 $R_Y$ ），且部分模型具有可检验的推论（Testable Implications）。

B. 自连接缺失模型 (Self-connected Missingness Models)

定义：变量直接影响其自身的缺失（如 $Y \to R_Y$ ），或者变量与缺失指示器共享未观测原因。这是 MNAR 的典型情况。
核心工具：影子变量 (Shadow Variable, SV)。
- SV 定义：一个与目标变量统计相关，但在给定目标变量后与缺失指示器条件独立的变量（ $Z \perp R_V | V$ ）。
- 识别机制：利用 SV 建立缺失几率（odds of missingness）的积分方程。
- 完备性条件 (Completeness Condition)：要求 SV 的变异程度足以覆盖目标变量的变异，以确保积分方程有唯一解。

2.3 影子变量理论的扩展

论文对影子变量理论进行了重大扩展：

双变量自连接：扩展了理论，处理两个变量（ $M$ 和 $Y$ ）同时存在自连接缺失，且使用外部 SV 的情况。
SV 自身的缺失：允许影子变量 $Z$ 本身也存在缺失，只要满足特定的分离假设（如 $R_Z$ 与 $R_V$ 分离）。
SV 的位置：
- 内置 SV： $M$ 或 $Y$ 互为影子变量（模型 Z1-Z5）。
- 辅助 SV：位于因果链下游、中游或上游的额外变量（模型 D1-D4, M1-M4, U4）。
- 协变量 SV：基线协变量 $X$ 中的子集作为 SV（模型 C1-C4）。

3. 主要贡献 (Key Contributions)

模型分类与识别模板：
- 系统梳理了自分离和自连接缺失模型，提供了 5 种自分离模型（S1-S5）和多种自连接模型（Z1-Z5, D1-D4, M1-M4, C1-C4 等）。
- 明确了不同时序设置下哪些模型是可识别的。
影子变量理论的合成与扩展：
- 提出了一个统一的 SV 识别框架，使用**缺失几率（odds of missingness）**的积分方程（公式 3-6）来连接观测数据与全数据分布。
- 引入了强完备性与弱完备性概念，区分了不同模型对 SV 变异性的要求。
- 解决了 SV 自身缺失时的识别问题，提出了修正的积分方程。
识别技术 (Tilting Functions)：
- 提出了**几率倾斜（Odds-tilting）**技术，将识别问题转化为寻找倾斜函数（Tilting functions, $h, k$ ）的问题。
- 这些函数将观测数据的条件分布映射回全数据分布，为后续的估计方法（如非响应加权）提供了具体的数学形式。
模型可检验性 (Falsifiability)：
- 指出了许多模型（特别是非 SIM 模型）具有可检验的推论（如 $T1, T2, T3, T4, T5, T6, T7$ ）。
- 如果数据不满足这些条件，可以排除错误模型，从而辅助模型选择。

4. 关键结果 (Results)

自分离模型：
- 证明了除了 MAR 之外，存在更宽松的序列可忽略缺失（SIM）模型（如 S1）可以实现识别。
- 指出 MAR 假设往往是不必要的限制，且某些看似 MAR 的模型（如 Disjoint MAR）在特定条件下无法识别。
- 非 SIM 模型（S2-S5）通常隐含可检验的条件，若条件不成立则模型无效。
自连接模型（内置 SV）：
- 模型 Z1： $M$ 和 $Y$ 互为 SV，适用于所有时序，但要求 $M$ 和 $Y$ 具有相同的维度（满足完备性）。
- 模型 Z2-Z5：利用其中一个变量作为另一个的 SV，或引入外部 SV，放宽了对某些路径的限制。
自连接模型（外部/辅助 SV）：
- 提出了组合（Combined）、**并行（Parallel）和序列（Sequential）**三种外部 SV 模型。
- 组合模型：不限制核心缺失模型，但要求 SV 对 $M$ 和 $Y$ 的组合具有强完备性。
- 并行/序列模型：对缺失指示器之间的独立性施加限制（如 $R_M \perp R_Y$ ），但降低了对 SV 完备性的要求。
- 协变量 SV：展示了如何利用基线协变量作为 SV，这在实践中非常有用，因为协变量通常完全观测。
应用示例分析：
- 学校干预案例：分析了学生饮酒行为（ $Y$ ）和态度（ $M$ ）的缺失。指出若存在自选择缺失（喝酒者不愿报告），需使用自连接模型。若缺乏外部 SV，可尝试利用家长报告的数据作为学生报告的 SV。
- 职业培训案例：分析了教育程度（ $M$ ）和收入（ $Y$ ）的缺失。讨论了利用后续波次的收入数据或财富指标作为下游 SV 的可能性。

5. 意义与影响 (Significance)

理论突破：将影子变量理论从单变量扩展到双变量（中介 + 结果）场景，并处理了 SV 自身缺失的复杂情况，填补了中介分析 MNAR 理论的空缺。
实践指导：
- 为研究者提供了详细的模型选择指南，帮助根据研究设计（时序、数据收集方式）和可用变量（是否有辅助数据）选择合适的识别假设。
- 强调了在研究设计阶段收集“影子变量”或“辅助变量”的重要性，以应对潜在的自选择缺失。
方法学基础：论文提供的识别公式（倾斜函数形式）直接服务于后续的估计方法开发（如逆概率加权、半参数估计），为处理复杂的中介缺失数据奠定了坚实的理论基础。
可检验性：通过引入可检验的模型推论，使得研究者可以在不依赖强假设的情况下，利用数据本身来筛选合理的缺失机制模型。

总结：这篇论文是因果中介分析缺失数据处理领域的里程碑式工作。它通过严谨的图模型分析和影子变量理论扩展，提供了一套完整的工具箱，使得在变量与其缺失机制相关（MNAR）的复杂情况下，依然有可能识别出因果中介效应。