🤖 machine learning

Robust Counterfactual Policy Optimisation via Nondeterministic Causal Models

本文通过形式化区分潜在混杂因素与固有随机性的概率非确定性因果模型，为序列决策中的鲁棒反事实策略优化提出了一种新颖框架，并通过包含隐藏混杂因素的脓毒症治疗模拟进行了验证。

原作者： Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何开车，但你手里只有一段别人开车的视频。你想问：“如果机器人当时转了另一个弯会怎样？”这就是**反事实推理（counterfactual reasoning）**的核心：回顾过去，并基于不同的选择去想象一个不同的结果。在人工智能领域，这对于安全性至关重要，尤其是在医疗保健等领域，我们不能为了观察结果而对真实患者进行危险的实验。

为了实现这一点，科学家们使用马尔可夫决策过程（MDPs），它就像是描述系统如何根据动作（如给药）改变状态（如患者健康状况）的规则书。传统上，研究人员假设只要知道了所有的隐藏秘密（称为潜变量/隐变量），这些规则书就是完全可预测的。他们认为：“如果我们知道患者隐藏的基因代码，我们就能精确预测未来。”然而，现实生活是混乱的。有时，事情纯粹是随机发生的——比如一次硬币投掷或机器的一次故障——无论有多少隐藏知识都无法预测。这篇论文探讨了这样一个棘手的中间地带：当隐藏的秘密和纯粹的随机性共同塑造未来时，我们该如何做出最佳决策？

侦探的困境：破解缺失变量之谜

想象你是一名正在使用“如果……会怎样”机器来破解谜团的侦探。你有一段患者病重的视频，你想知道：“如果我们当时给予了不同的治疗方案，他们是否能幸存下来？”

在过去，侦探们假设“如果……会怎样”机器就像一个完美的发条玩具。他们相信，如果他们知道每一个隐藏的齿轮（比如患者未被诊断出的糖尿病），他们就可以倒转时间，看到究竟会发生什么。但本文的作者杰西卡·拉利（Jessica Lally）及其团队意识到，现实生活并不是一个发条玩具。有时，齿轮会随机卡住，或者一阵风吹倒了一排多米诺骨牌。这就是内在随机性（inherent randomness）。

论文指出，我们不能仅仅因为缺少某些信息就假装世界是完美可预测的。相反，我们需要一种新的侦探工作方式，这种方式要承认：“我们不知道隐藏的齿轮，而且即使我们知道了，未来仍可能带给我们一些惊喜。”

新工具：“最坏情况”安全网

该团队引入了一种名为**鲁棒反事实策略优化（Robust Counterfactual Policy Optimisation）**的新方法。你可以把它看作是决策过程中的一个安全网。

通常，当我们试图猜测原本会发生什么时，可能会出错，因为我们不知道“隐藏的混杂因素”（例如患者的糖尿病状态）。作者提出的框架不仅仅是猜测一个结果，而是为可能出现的最坏结果做好准备。

他们使用了**敏感性分析（sensitivity analysis）**的概念。想象你在预测天气。如果你百分之百确定，你会说“会下雨”。如果你不确定，你会说“可能会下雨，也可能不会”。作者增加了一个“旋钮”（称为 $\Delta$ ），用来控制隐藏的秘密在多大程度上干扰我们的预测。

如果你将旋钮转到 1，你假设没有任何隐藏的秘密在干扰事物。
如果你把旋钮调高，你假设隐藏的秘密可能导致任何事情发生。

目标是找到一个即使在隐藏秘密尽可能棘手的情况下也能表现良好的策略（一套行动规则）。他们称之为寻找一个**鲁棒（robust）**策略。这就像为徒步旅行准备背包：你不仅要为晴天做准备，还要为雨天、泥泞和突如其来的暴风雨做准备，以防万一。

实验：脓毒症模拟器

为了测试他们的想法，团队使用了一个脓毒症治疗的计算机模拟。在这个游戏中，患者有四个生命体征（心率、血压、血氧和血糖），这些体征可以是低、正常或高。医生（或 AI）必须决定开启或关闭三种不同的治疗方案。

这里有一个陷阱：模拟器中有一个隐藏变量。有些患者是糖尿病患者，有些则不是。这个糖尿病状态就是“隐藏的混杂因素”。它会影响患者对治疗的反应，但 AI 只能看到生命体征，看不到糖尿病状态。在这个模拟中，20% 的患者患有糖尿病。

研究人员在模拟器上运行了他们的新型“安全网”方法。他们问道：“即使我们不知道谁患有糖尿病，我们能否找到一个比我们在数据中看到的更好的治疗方案？”

他们的发现

结果令人鼓舞，但也带有一些限制。

比单纯猜测更有效： 当他们在包含完整且完美信息的模拟版本（即他们确实知道谁患有糖尿病）上测试新策略时，他们找到的策略通常比原始的次优策略要好得多。对于糖尿病患者，新策略将结果提高了平均 7.4 分（在一个死亡为 -10、康复为 10 的量表中）。
“代理”略显谨慎： 团队必须仅通过可见的生命体征来猜测隐藏问题的程度（ $\Delta$ 旋钮）。对于糖尿病患者，这个猜测非常精准。但对于非糖尿病患者，该方法显得过于谨慎了。它假设隐藏的问题比实际情况更严重。这就像气象预报员在实际晴朗时说“可能会下雨”。虽然这会导致模拟中的得分略低，但它确保了决策的安全性。
“先知”测试： 作者将他们的法与“先知（Oracle）”进行了比较——“先知”是一个知道真实隐藏问题水平的完美版本。他们发现，即使在不知道真相的情况下，他们的方法找到的策略也非常接近“先知”的最佳选择。

核心结论

这篇论文并不声称已经永久解决了隐藏变量之谜。相反，它提供了一种在既神秘又随机的世界中询问“如果……会怎样”的更安全的新方式。

通过将“隐藏的秘密”（如糖尿病）与“纯粹的随机性”（如随机故障）区分开来，并通过为最坏情况做准备，作者表明我们仍然可以做出聪明、鲁棒的决策。他们的方法表明，即使在面对隐藏因素处于“盲飞”状态时，我们仍然可以找到比仅仅遵循旧有的、不完美的资料更优秀的治疗方案。这是向着一种能够谦逊地承认自身未知、并足够聪明地应对意外的 AI 迈出的一步。

技术摘要：基于非确定性因果模型的鲁棒反事实策略优化

1. 问题陈述

序列决策中的反事实推理旨在确定：在给定观测到的状态、动作和结果的轨迹下，如果执行了不同的策略，将会发生什么样的结果。这在医疗保健等安全至上的领域至关重要，因为在这些领域中，重新进行实验往往是不符合伦理或不可行的。

现有的马尔可夫决策过程（MDP）反事实推理方法通常将环境建模为确定性结构因果模型（SCM）。在这种框架下，所有的随机性都归因于未观测到的潜变量（ $U$ ）。然而，现实世界的 MDP 本质上是随机的；随机性通常源于两个截然不同的来源：

潜在混杂因素（Latent Confounding）： 未观测到的因素（例如患者的遗传学或人口统计学特征）会影响状态转移。
不可约随机性（Irreducible Stochasticity）： 系统中固有的基本随机性（例如随机数生成器或聚合噪声），这类随机性无法通过潜变量来简化。

本文解决了这两者并存时存在的差距。标准的 SCM 无法区分这两者，可能会将不可约噪声错误地归因为潜在混杂因素，或反之亦然。作者提出在**概率非确定性因果模型（PNSCM）**下对反事实策略优化进行形式化，该模型允许内在的随机性，同时通过敏感性分析显式地限制潜变量的影响。

2. 方法论

2.1 概率非确定性因果模型 (PNSCMs)

作者将环境建模为 PNSCM，用条件概率分布取代了确定性的结构方程。PNSCM 的一个关键特征是实际化细化（actualised refinement）：给定观测到的设置 $(u, v)$ ，条件分布 $P_X$ 会被细化为在给定观测到的父节点时确定性地返回观测到的结果 $x$ ，但在处理其他输入时仍保留其概率性质。这捕捉到了这样的语义：我们仅从实际设置中学习因果机制，而非从反事实的可能性中学习。

2.2 敏感性分析框架

为了处理在整个轨迹中保持不变的全局未观测混杂变量（ $U$ ），作者采用了类似于 Kausik 等人 [2024] 的敏感性分析方法。

敏感性参数 ( $\Delta$ )： 潜变量 $U$ $U$ 的影响由参数 $\Delta \ge 1$ $Δ \geq 1$ 进行界定。该参数约束了条件转移概率 $P(S' = s' | S = s, A = a, U = u)$ $P (S^{'} = s^{'} ∣ S = s, A = a, U = u)$ 与边际转移概率 $P(S' = s' | S = s, A = a)$ $P (S^{'} = s^{'} ∣ S = s, A = a)$ 之间的胜算比（odds ratio）：
$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$
- $\Delta = 1$ ：无混杂（完全指定的 PNSCM）。
- $\Delta \to \infty$ ：最大混杂。

2.3 校准敏感性 ( $\Delta$ )

一个主要的挑战是在缺乏领域知识的情况下选择 $\Delta$ 。论文提出了一种从观测到的状态变量中推导 $\Delta(s, a)$ 上界的原则性方法：

隐藏变量： 对于每个观测到的状态变量 $i$ ，作者通过对 $i$ 进行边缘化，计算转移分布 $P(s' | s_{-i}, a)$ 。
胜算比计算： 他们计算了完整转移与针对每个变量的边缘化转移之间的最大胜算比。
代理选择： $\Delta(s, a)$ 被设定为所有变量中这些比例的最大值。可以应用缩放因子 $\Gamma$ 来调整边界的严格程度。

2.4 优化程序

目标是找到一个策略 $\pi$ ，使在 $U$ 的不确定性下的最差情况反事实价值 $V^{CF}$ 最大化。

反事实中的实际化细化： 对于观测到的转移 $(s_t, a_t, s_{t+1})$ ，反事实转移概率 $P^{CF}_t$ 是一个混合分布：以概率 $P(U=u|\tau)$ ，转移是确定性的（停留在 $s_{t+1}$ ）；否则，它遵循优化后的转移概率 $\tilde{P}$ 。
解耦优化： 为了使问题具有可操作性，作者将优化在时间步和状态-动作对之间进行了解耦，将每个 $(t, s, a)$ 三元组独立对待。这产生了一个关于真实悲观价值的保守下界。
对抗性表述： 该优化涉及一个对手，该对手共同选择后验概率 $P(U|\tau)$ 和转移概率 $\tilde{P}$ 以最小化价值，同时受限于敏感性约束。这个非凸问题使用 Gurobi 进行求解。
时间齐次性： 论文指出，引入时间齐次性（要求跨时间的一致转移）会产生一个可通过梯度下降求解的三线性耦合，尽管这只能保证局部最优。

3. 实验评估

该方法在败血症治疗模拟器（Oberst 和 Sontag, 2019）上进行了验证。

设置： 状态空间包括生命体征（心率、血压等）。动作空间涉及开关治疗手段。
混杂因素： 糖尿病状态（ $U \in \{0, 1\}$ ）作为全局潜在混杂因素，影响 20% 的人群。用于评估的真实转移矩阵 $P(S' | S, A, U)$ 是已知的，但在策略推导过程中是隐藏的。
数据： 该方法使用在边缘化转移矩阵（其中糖尿病被隐藏）上生成的次优策略（50% 概率为最优策略，其余 50% 为随机策略）产生的轨迹。

关键结果

鲁棒改进： 在完全观测的 MDP（其中糖尿病已知）上进行评估时，推导出的反事实策略 ( $\pi^*_\Delta$ ) 一致优于观测到的次优策略。
代理准确性：
- 对于糖尿病患者轨迹，未缩放的代理（ $\Gamma=1$ ）与“先知”（oracle）表现（即如果已知真实的糖尿病敏感性 $\Delta^*$ 时所能达到的最佳结果）非常接近。
- 对于非糖尿病患者轨迹，代理表现得较为保守（高估了混杂程度），导致价值估计低于先知。然而，所得策略仍接近先知的表现，证明了即使在价值估计保守的情况下，该方法也能恢复鲁棒策略。
对 $\Gamma$ 的敏感性： 通过调整缩放因子 $\Gamma$ ，作者可以调节价值估计准确性与策略鲁棒性之间的权衡。

4. 核心贡献

形式化： 论文在 PNSCMs 下，为在敏感性分析框架内进行鲁棒反事实策略优化提供了形式化定义。
敏感性框架： 提出了一个实用的优化问题，通过敏感性分析框架来识别鲁棒的反事实策略，该框架界定了潜在变量的影响。
校准方法： 引入了一种利用观测状态变量来校准敏感性参数 $\Delta$ 的数据驱动方法，减少了对专家领域知识的依赖。
实证验证： 证明了即使在敏感性参数从观测数据中估计的情况下，也可以在具有隐藏全局混杂因素的现实医疗模拟器上推导出鲁棒的反事实策略。

5. 意义与主张

作者声称，这项工作提供了在 PNSCMs 敏感性分析框架下识别鲁棒反事实策略的第一个实用的优化问题。其意义在于解决了现有确定性 SCM 方法的局限性，即这些方法无法正确建模具有内在随机性的环境。

论文得出结论，即使在敏感性参数是从观测数据中估计的情况下，所推导的策略在经过充分指定的真实环境中进行评估时也是鲁棒的。作者谦虚地指出，虽然解耦优化提供了一个有效的下界，但未来仍需探索时间齐次性约束以及不同类型的潜在变量（例如无记忆混杂因素），以获得更准确的价值估计。