📊 statistics

A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning

本文提出了一种利用分位数分布映射的新型数据预处理算法，通过在不依赖严格加性假设的情况下估计反事实状态和奖励，从而在强化学习中实现反事实公平性，同时提供了关于不公平性和次优性的理论界限，并通过数值实验和现实世界的数字健康实验验证了该方法。

原作者： Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Jianhan Zhang, Jitao Wang, John D. Piette, Donglin Zeng, Chengchun Shi, Zhenke Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人进行一系列决策，就像医生在数周内为患者选择治疗方案，或者自动驾驶汽车在繁忙的城市中行驶一样。这个领域被称为强化学习 (Reinforcement Learning, RL)。把它想象成一场电子游戏，机器人通过试错来学习：它采取一个行动，观察结果，获得一个“分数”（奖励），然后试图弄清楚如何获得最高的总分。目标通常是尽可能帮助最多的人。

然而，这里有一个棘手的难题。有时，机器人会学会变得不公平。它可能会开始根据种族、性别或背景来区别对待人们，这并不是因为它“邪恶”，而是因为它注意到了数据中将这些特征与某些结果联系起来的模式。这就像机器人学到“A组的人通常较少生病”，于是它决定减少对A组的检查，却在无意中忽略了A组过去可能拥有更好的食物或药物获取渠道这一事实。这被称为不公平 (Unfairness)。

为了解决这个问题，科学家们使用了一个概念，叫做反事实公平性 (Counterfactual Fairness)。想象一下，如果你可以按下人生的“撤销”键，并问道：“如果这个人出生时拥有不同的种族或性别，但其人生经历中的其他一切都保持完全相同，机器人是否仍会做出同样的决策？”如果答案是“是”，那么机器人就是符合反事实公平性的。它不仅仅是观察群体，而是确保机器人无论针对每个个体如何对待都是公平的，无论其敏感特征如何。

这篇论文的核心思想：机器人的时空穿越地图

这篇论文引入了一个聪明的工具，叫做 CFSMDM（反事实公平序列边际分布映射）。把它想象成一个特殊的“数据翻译器”或“时空穿越地图”，它能帮助机器人在开始做决策之前就学会公平。

作者意识到，以往让机器人变得公平的方法有点过于僵化。它们假设世界是以一种简单的、直线式的方式运作的（就像把数字相加一样）。但现实生活是混乱且具有曲线性的。有时，一个人的背景会以复杂且非线性的方式改变他们体验世界的方式。旧的工具在遇到这些情况时会崩溃或产生混乱。

CFSMDM 是如何工作的：
CFSMDM 并没有试图去猜测世界的精确数学逻辑，而是使用了一种叫做分位数分布映射 (Quantile Distribution Mapping) 的技术。这里有一个简单的可视化方法：

想象你有一个巨大的玻璃罐，里面装满了代表所有可能结果的弹珠。有些弹珠是红色的（坏结果），有些是蓝色的（好结果）。机器人需要知道某个特定患者会得到哪颗弹珠。

旧的方法： 机器人试图预测弹珠的“平均颜色”。
CFSMDM 的方法： 机器人观察患者的弹珠在罐子中的位置。它是处于前 10%？还是后 50%？这就是“分位数”。
神奇的一步： 算法会问道：“如果这位患者有不同的背景（比如不同的性别），但保持完全相同的人生故事，那么他的弹珠会在那个‘新罐子’中处于什么位置？”
翻译过程： 然后，它会在“新罐子”中找到那颗位置与原始弹珠完全相同的弹珠（即处于相同的分位数）。

通过为患者旅程中的每一周进行这种循序渐进的操作，CFSMDM 创建了一个新的、“公平的”训练数据版本。它剥离了敏感特征的不公平影响，同时保留了故事的其他部分。机器人随后使用这些经过翻译的公平数据来学习其策略（决策规则）。

他们的发现：
作者通过两种主要方式测试了这个想法：

模拟实验： 他们创建了一个已知不公平运作方式的计算机虚拟世界。他们将 CFSMDM 与其他方法进行了对比。结果显示，CFSMDM 在保持机器人公平方面表现得更好，尤其是在世界是混乱且非线性的情况下（在这种情况下，旧的、僵化的方法会失效）。它能够保持极低的“不公平得分”，同时做出良好的决策。
真实世界数据： 他们将该方法应用于一个名为 PowerED 的真实数据集，该研究涉及帮助患者管理阿片类止痛药物长达 12 周的过程。他们观察了诸如种族、性别和受教育程度等敏感特征。
- 结果： 当使用 CFSMDM 时，机器人的决策在几乎所有这些群体中都变得更加公平。例如，它比其他方法更有效地减少了与“受教育程度”和“族裔”相关的偏见。
- 权衡： 这其中有一个微小的代价。机器人的整体“得分”（即它在帮助患者方面的总体表现）比完全忽略公平性时略低。这是预料之中的：让系统变得公平通常需要牺牲一点点纯粹的效率，以确保每个人都有公平的机会。

他们反对的是什么：
论文明确反对了那种认为可以通过简单地“累加”背景特征的影响来修复不公平的想法（即以往方法所使用的“加性噪声”假设）。他们通过数学和模拟证明，现实世界往往比简单的加法要复杂得多，而假设它是简单的办法会无法捕捉到所有的不公平。

他们的结论有多可靠？
作者对他们在某些合理条件下其方法有效的数学证明非常有信心。他们证明了“不公平差距”和“性能损失”都是有界的，这意味着它们不会变得无限糟糕。在他们的模拟和现实测试中，该方法表现得始终如一，显示出随着给机器人的数据增多，不公平性就会下降。然而，他们也指出，在现实研究中，对于每一个群体来说改进并不完美（例如，“性别”仍残留了一点点不公平），这可能是因为现实数据规模较小，且数学计算很难每次都做到完全精准。

简而言之，这篇论文提供了一种稳健且灵活的新方法，用于教导机器人在复杂的现实场景中做出公平的决策，确保它们用来学习的“时空穿越地图”不会落下任何人。

技术摘要：一种用于反事实公平强化学习的分布映射方法

问题陈述

强化学习（RL）正越来越多地应用于医疗保健等高风险领域的序列决策。然而，标准的强化学习智能体可能会在无意中学习到对特定子群体（由敏感属性定义，如种族、性别）产生系统性不利影响的策略。这种不公平现象的出现，并非因为显式使用了敏感属性作为特征，而是因为状态和奖励变量编码了与这些属性相关的隐性信息。

现有的公平性标准（如人口统计学平价）是在群体层面运作，依赖于统计关联而非因果机制。由 Kusner 等人 [19] 提出并由 Wang 等人 [31] 扩展至强化学习领域的反事实公平性（Counterfactual Fairness, CF）提供了一个更严谨的框架。CF 要求：在保持所有历史外生变量不变的情况下，如果一个人的敏感属性被假设性地切换为另一个值，其决策分布应保持不变。

虽然 Wang 等人 [31] 提出了一种用于强制执行离线强化学习中 CF 的数据预处理算法，但其方法依赖于严格的加性噪声假设（即状态和奖励是敏感属性加上独立噪声的线性函数）。在现实场景中，变量之间的关系往往是非线性或非加性的，因此这一假设具有较强的局限性。

方法论：反事实公平序列边际分布映射 (CFSMDM)

本文提出了 CFSMDM，一种新型的数据预处理算法，能够在不需要加性噪声假设的情况下实现反事实公平的策略学习。该方法分为两个阶段运行：

1. 理论基础

该方法依赖于结构因果模型（SCM）和反事实的概念。作者引入了假设 1（状态对噪声变量的严格单调性）和假设 2（奖励对噪声变量的严格单调性）。这些假设比先前研究 [31] 中使用的加性噪声假设要弱得多。

在这些假设下，作者证明了（定理 1 和定理 2）观察到的状态（或奖励）相对于其条件分布的分位数水平，在不同敏感属性值下保持不变，前提是历史外生变量保持不变。这使得通过分位数匹配来恢复反事实状态和奖励成为可能。

2. 算法流程

CFSMDM 遵循两阶段程序：

数据预处理 (SMDM)：
- 算法估计给定敏感属性和历史上下文下的状态及奖励的条件分位数函数。
- 对于每个观察到的轨迹，它计算观察到的状态/奖励在实际敏感属性下的分位数水平 ( $\tau$ )。
- 然后，它将此分位数水平映射到反事实敏感属性值下的条件分布，以估计反事实状态和奖励。
- 这些估计值被聚合以构建增强状态 ( $\tilde{S}_t$ ) 和增强奖励 ( $\tilde{R}_t$ )，它们对于观察到的敏感属性具有不变性。
策略学习：
- 将标准的离线强化学习算法（例如，拟合 Q 迭代，Fitted Q Iteration）应用于包含预处理后的增强状态和增强奖励的数据集。
- 由于增强后的数据不包含关于敏感属性的信息（除了残差估计误差外），由此产生的策略在理论上是反事实公平的。

核心贡献

通用算法： 本文引入了 CFSMDM，通过将加性噪声假设放宽为严格单调性假设，将反事实公平强化学习的应用范围扩展到了更广泛的一类上下文马尔可夫决策过程（CMDPs）。
理论保证： 作者推导了关于次优差距（学习到的策略与最优策略之间的差异）和反事实不公平程度的界限。这些界限表明，不公平性和次优性受条件分位数函数估计误差以及拟合 Q 迭代（FQI）步数控制。
实证验证： 该方法通过在具有非加性噪声的合成数据上的数值实验，以及在来自 PowerED 研究（一项旨在减少阿片类药物滥用的干预措施）的真实世界数据集上的应用进行了评估。

结果

数值实验

在具有非加性噪声的 CMDPs 上进行了模拟，将 CFSMDM 与几种基准方法进行了比较：

Full（全量）： 使用敏感属性（不公平）。
Unaware（无感知）： 排除敏感属性（通常不足以实现公平）。
Random（随机）： 公平性的基准（完全公平但效用较低）。
FLAP_M, ECOCF_M： 单阶段公平方法的变体。
CFSDP： 先前的最先进方法 [31]，要求加性噪声。

发现：

公平性： 与 "Full"、"Unaware"、"FLAP_M" 和 "ECOCF_M" 相比，CFSMDM 实现了显著更低的 counterfactual 不公平指标。在非加性噪声设置下，其表现优于或等同于 CFSDP，而在这些设置中，由于违反了假设，CFSDP 的性能会发生退化。
效用： 正如预期，实施公平性会导致权衡，CFSMDM 实现的策略价值低于 "Full" 和 "Unaware" 方法。然而，与其他公平方法相比，它保持了具有竞争力的效用。
鲁棒性： 随着敏感属性对环境影响强度的增加，CFSMDM 保持了鲁棒性。

真实世界应用 (PowerED 研究)

该算法应用于包含 207 名患者的为期 12 周的阿片类药物干预研究数据集。

指标： 在大多数敏感属性（教育、种族、年龄）方面，CFSMDM 实现了比基准方法更好的反事实公平性。
细微差别： 对于“性别”属性，CFSMDM 的公平性略低于 CFSDP 和 "Unaware"。作者将其归因于在决策中排除敏感属性已经消除了该案例中的大部分不公平性，这意味着 CFSMDM 引入的有限样本估计误差略微超过了边际公平收益。

意义与主张

本文声称，与 CFSDP 等现有方法相比，CFSMDM 提供了一个更通用且鲁棒的工具，用于确保强化学习中的反事实公平。通过依赖分位数匹配而非加性噪声，它解决了更广泛的现实世界环境问题，在这些环境中因果关系复杂且呈非线性。

作者强调，虽然其方法引入了公平性与效用的权衡，但它提供了一种原则性的方法来减轻序列决策中的系统性歧视。作者承认，CFSMDM 的性能取决于条件分位数估计的准确性；如果分位数模型设定错误，公平性保证可能会受到影响。这项工作将自己定位为迈向在对因果公平性有先决要求的敏感领域部署强化学习智能体的重要一步。