📊 statistics

Principal stratification with U-statistics under principal ignorability

本文在主忽略性（principal ignorability）假设下扩展了主分层理论（principal stratification theory），以适应通过主广义因果效应估计量（principal generalized causal effect estimands）实现的非线性对比，并推导出了能够支持基于 U-统计量的多重稳健（multiply robust）及去偏机器学习估计量的有效影响函数（efficient influence functions）。

原作者： Xinyuan Chen, Fan Li

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinyuan Chen, Fan Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图评估一项新培训计划（比如 Job Corps）对人们未来收入的影响。你面临一个简单的难题：并非所有人都会遵守规则。 有些被分配到该计划的人中途退出了，而控制组中的一些人却偷偷加入了该计划。

此外，还有一个第二重障碍：有些人会在你测量最终收入之前就退出或改变了状态（比如找了工作或没找工作）。如果某人没有工作，那么他们的“周薪”就是未定义的。

这篇论文介绍了一种更聪明的方法，用于在这些混乱的情况下衡量成功。以下是使用日常类比进行的详细解读：

1. 旧方法 vs. 新方法

旧方法（平均差异）：
传统上，研究人员会问：“平均而言，实验组多赚了多少钱？”

缺陷： 这就像通过观察平均速度来衡量一场比赛。如果一名跑者绊倒了（离群值），或者赛道很泥泞（数据偏态），平均速度就会产生误导。它在处理“序数”数据时也会遇到困难——比如将跑者排名第1、第2或第3——其中第1名与第2名的差距并不一定等于第2名与第3名的差距。

新方法（“胜出”与“概率性”方法）：
作者建议提出不同的问题：

“概率指数”（抛硬币）： 不要问“多赚了多少钱？”，而是问：“如果我从实验组随机抽取一个人，再从控制组随机抽取一个人，实验组的人表现得更好的概率是多少？”
- 类比： 想象一次抛硬币。如果硬币有 55% 的概率正面朝上，你就知道实验组略占优势，即使你不知道具体赚了多少钱。这种方法对于极端的离群值（比如某人赚了一百万美元）具有鲁棒性。
“胜率”（锦标赛）： 对于排名结果（如职位等级），询问：“实验组的人相对于控制组的人‘赢’了多少次，相比于他们‘输’了多少次？”
- 类比： 这就像一场网球比赛的比分。如果实验组以 3 胜 1 负的战绩获胜，那么胜率就是 3:1。这非常适合比较那些虽然有排名但无法用尺子直接测量的对象。

2. “主要分层”过滤器

论文使用了被称为**“主要分层”（Principal Stratification）*的概念。把这想象成根据人们在两种情境下本会*如何表现，将他们分入隐形的“俱乐部”，尽管我们一次只能看到一种情景。

“始终遵循者”俱乐部： 无论如何都会参加治疗的人。
“从不参与者”俱乐部： 永远不会参加治疗的人。
“受保护者”俱乐部： 只有在被分配到治疗时才会参加治疗的人。

作者认为，为了得到公平的答案，必须在这些特定的俱乐部内部进行“苹果对苹果”的比较。你不能拿控制组里的一个“从不参与者”去和实验组里的一个“遵循者”做比较；那就像是在拿职业运动员和业余慢跑者做比较。

3. “三重保险”安全网

最大的挑战是，我们并不确切知道谁属于哪个隐形俱乐部。我们必须使用数学模型来进行猜测。如果我们的猜测错了，我们的结果就会一团糟。

作者开发了一种新的数学工具（使用 U-统计量），它就像一个三重保险的安全网。

要获得正确的答案，你通常需要三个完美的模型：
1. 一个预测谁会被分配到治疗的模型。
2. 一个预测谁属于哪个“俱乐部”的模型。
3. 一个预测结果（产出）的模型。
神奇之处： 他们的这种方法是“三重稳健的”。这意味着你只需要这三个模型中有两个是正确的，就能得到正确答案。如果你有两个是对的，第三个可以完全错误，数学依然有效。这就像一座桥，即使它的三个支撑柱中的一个倒塌了，它依然能屹立不倒。

4. “机器学习”升级

论文还展示了如何利用**机器学习（AI）**来构建这些模型。

问题： 机器学习擅长寻找模式，但如果不加注意，它可能会引入“噪声”和偏差。
解决方案： 他们使用了**交叉拟合（Cross-Fitting）*技术。想象你有一副扑克牌。你将这副牌分成几堆。你用其中一堆来教 AI 如何进行预测，然后用另一堆*来测试预测结果。你多次交换这些堆。这确保了 AI 不会仅仅通过“死记硬背”数据来“作弊”，从而给你一个干净、无偏的结果。

5. 现实世界测试：Job Corps 研究

作者利用来自 Job Corps（针对弱势青年的计划）的真实数据测试了这一方法。

场景 A（就业情况）： 他们观察了人们是否获得了工作。他们发现，对于那些无论是否有该计划都会获得工作的人来说，该计划增加了他们赚更多钱的机会。
场景 B（排名）： 他们观察了收入水平（失业、低薪、高薪）。他们发现，该计划帮助人们在与控制组的对比中实现“胜出”，从而将他们推向更高的收入阶层。
令人惊讶的发现： 他们发现，即使是那些实际上并没有参加计划的人（但被分配到了计划），表现似乎也略好一些，这可能是因为该计划的“提议”给了他们某种心理上的激励。

总结

这篇论文提供了一个稳健且灵活的工具包，用于在以下情况下衡量因果关系：

人们没有完美地遵守指令。
数据是混乱、偏态或经过排名的（不仅仅是数字）。
我们并不 100% 确定我们的统计模型是完美的。

它用“胜出概率”记分卡取代了旧的“平均差异”标尺，并由一个即使在我们的假设稍有偏差时也能发挥作用的安全网提供支持。

技术摘要：在主忽略性（Principal Ignorability）假设下基于 U-统计量的首席分层法（Principal Stratification）

问题陈述
当存在中间变量（例如治疗不依从性或生存状态）时，首席分层法是因果推断中的一个标准框架。虽然现有文献主要关注“首席平均因果效应”（PACE）——即特定首席分层内潜在结果的期望差值——但当科学兴趣在于结果的相对排序而非其均值差异时，该指标可能并不充分。这在处理序数结果、复合终点或具有重尾和离群值的分布时尤为重要，因为均值对比对这些情况非常敏感。此外，现有的广义因果效应方法（如概率指数或胜率）尚未在首席分层框架下得到充分扩展，这在非参数识别和高效估计这些估计量方面留下了空白。

方法论
作者提出了一个用于估计**首席广义因果效应（PGCE）**的框架，其定义为 $\tau^s_h = E[h\{Y_1(1), Y_2(0)\} | S_1 = S_2 = s]$ ，其中 $h$ 是一个任意的对比函数（可能是非线性的），而 $S$ 表示首席分层。该方法论通过以下步骤进行：

识别： 在三个结构性假设——治疗忽略性（Treatment Ignorability）、单调性（Monotonicity，排除“违抗者”或“受损者”分层）以及**成对均值首席忽略性（Pairwise Mean Principal Ignorability）**之下，作者推导出了非参数识别公式。成对均值首席忽略性假设将先前研究（如 Jiang et al., 2022）中发现的单位假设推广到了能够容纳非线性对比函数的场景。该假设指出，在给定协变量的条件下，映射到相同观测数据分层的特定潜在首席分层对之间的期望对比函数是可交换的。
有效影响函数（EIFs）： 作者推导了 PGCE 估计量的 EIFs。这些函数刻画了半参数效率界，并作为构建最优估计量的基础。推导过程考虑了许多 PGCE（如胜率）具有比例结构的特性，以及它们对定义在观测对上的扰动函数的依赖性。
基于 U-统计量的估计： 由于 EIFs 涉及定义在观测对上的扰动函数，作者使用 U-统计量构建了估计量。
- 多重稳健估计量（Multiply Robust Estimators）： 他们开发了“三重稳健”的估计量，这意味着如果三个扰动模型（治疗倾向得分、首席得分或成对结果均值）中的任意两个被正确设定，估计量仍保持一致性和渐近正态性。
- 去偏机器学习（DML）： 为了实现完全渐近效率并适应灵活的、数据自适应的扰动函数估计，作者将 U-统计量框架与交叉拟合（样本拆分）相结合。这使得可以使用机器学习算法（如随机森林、SuperLearner）的同时，在满足温和正则性条件下保持 $n^{1/2}$ -一致性和渐近正态性。
敏感性分析： 论文针对单调性假设不可检验的问题，提出了一种敏感性分析策略。这包括引入敏感性函数 $\eta(X)$ 来量化“受损”分层的比例，从而在违反单调性时实现偏差修正估计。

核心贡献

估计量的泛化： 本文引入了 PGCE，这是一类能够容纳首席分层内任意对比函数的估计量，扩展了标准的 PACE，涵盖了概率指数和胜率。
理论扩展： 将 Jiang et al. (2022) 的理论结果从线性对比扩展到了首席忽略性下更广泛的非线性对比类，提供了这些广义效应在存在二元中间变量情况下的首个非参数识别公式。
有效影响函数： 对 PGCE 的 EIFs 的推导确立了这些估计量的半参数效率下界。
三重稳健 U-统计量： 作者证明了所提 U-统计量估计量具有三重稳健性质（若三个模型中有两个正确则一致），并且在所有模型都正确时达到局部效率。
与机器学习的集成： 这项工作为在首席分层中使用去偏机器学习处理非线性对比提供了严谨的理论基础，证明了交叉拟合的 U-统计量在标准机器学习收敛速率下可以达到效率界。

结果
所提方法通过模拟研究和实际数据应用进行了评估：

模拟实验： 在连续型和序数型结果的情景下，三重稳健和去偏机器学习（DML）估计量即使在其中一个扰动模型设定错误时也表现出一致性。相比之下，标准的插件矩估计量在模型设定错误时会出现偏差。DML 估计量通常比参数化三重稳健估计量表现出略低的偏差和更高的准确性，特别是在有限样本中。
数据案例（Jobs Corps）： 该方法应用于美国 Jobs Corps 研究，以估计就业培训对收入的因果效应，并考虑了不依从性和就业状态（由死亡导致的截断）。
- 对于始终就业参与者的生存概率指数（SPI），DML 和三重稳健方法估计出：接受处理的个体比对照组个体具有更高收入的概率为 0.539（95% 置信区间不包含 0.5），表明存在正向治疗效应。
- 对于序数收入的首席胜率（PWR），分析揭示了不同分层间的异质性效应。依从者（Compliers）显示出显著的正向效应（胜率约为 1.27），而从不接受者（Never-takers）则显示出中性效应。值得注意的是，始终接受者（Always-takers）也显示出显著的正向效应，这表明分配本身可能具有心理影响。
- 敏感性分析： PWR 估计量对违反单调性的假设表现出很强的稳健性，而 SPI 估计量随着“受损”分层比例的增加，其量级出现了轻微偏移。

意义与主张
本文声称提供了一个在首席分层中进行因果推断的全面框架，该框架超越了均值对比，能够处理序数和复合终点。通过建立有效影响函数并开发三重稳健的 U-统计量估计量，这项工作填补了关于广义因果效应识别与高效估计的文献空白。作者强调，他们的方法提供了一种处理非线性对比和复合终点的原则性方法，同时保持了对模型设定错误的稳健性。通过交叉拟合与机器学习的集成，该框架可以对复杂的扰动函数进行灵活建模，使其适用于现代高维数据环境。作者也谦虚地指出，目前的发展假设数据是独立同分布（i.i.d.）的，将这些方法扩展到聚类或纵向数据结构仍是未来的研究方向。

1. 旧方法 vs. 新方法

2. “主要分层”过滤器

3. “三重保险”安全网

4. “机器学习”升级

5. 现实世界测试：Job Corps 研究

总结

类似论文