📊 statistics

Learning from the Unseen: Offline Reinforcement Learning with Hidden Actions

本文介绍了 LURE，这是首个针对具有隐藏动作（hidden actions）的离线强化学习方法，它利用下一状态变量作为代理，从而在无限时界马尔可夫决策过程中实现多重鲁棒且统计有效的策略价值估计。

原作者： Zeyu Bian, Ying Zhou, Yifan Cui

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Zeyu Bian, Ying Zhou, Yifan Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何玩一款复杂的游戏，比如在城市中导航或管理患者的健康。你并没有让机器人在实时环境中运行游戏，而是给了它一本记录了人类玩家过去尝试过程的巨型日志。这就是**强化学习（Reinforcement Learning, RL）**的世界——它是人工智能的一个分支，计算机通过试错来学习，从而在随着时间的推移做出最佳决策。其目标通常是弄清楚：“如果我们未来遵循一套特定的规则（策略），基于这本旧日志，我们的表现会如何？”

然而，这里有一个陷阱。在现实世界中，日志很少是完美的。有时，记录笔记的人可能会犯错，或者记录数据的系统可能会出现故障。用这篇论文的语言来说，人类实际采取的“动作”（比如给予某种特定药物）可能是隐藏的，而我们看到的只是一个“代理”（proxy）或对发生情况的带有噪声的猜测（比如医生的笔记写着“给药”，但实际上并没有给药，或者反之亦然）。如果你试图用一本充满这类错误的日志来教机器人，它会学到错误的教训，导致日后做出错误的决策。这篇论文解决了一个棘手的问题：当最重要的故事部分——真实的动作——缺失或被伪装时，如何进行有效的学习。

消失动作之谜

在题为《从不可见中学习》（Learning from the Unseen）的论文中，作者 Zeyu Bian、Ying Zhou 和 Yifan Cui 面临着一个主要线索缺失的侦探故事。想象你是一名侦探，正试图通过观察监控视频来破案。但转折在于：视频显示的是嫌疑人的影子，而不是嫌疑人本身。你可以看到影子的移动，但你并不知道嫌疑人的手具体在做什么。在数据科学领域，这被称为拥有“隐藏动作”（hidden actions）。

通常，当科学家试图利用过去的数据来评估一种策略时（这个过程称为离策评估/脱离策略评估，Off-Policy Evaluation），他们假设日志是完美的。他们假设如果日志说“执行了动作 A”，那么动作 A 就一定被执行了。但在混乱的现实场景中——比如在医院记录中，医生可能会在几小时后才记录下一次治疗，或者系统意外地错误标记了一个按钮点击——这种假设是一个陷阱。如果你忽略这些错误，你对策略的评估将会产生偏差，就像根据一份成分错误的菜单来评判一位厨师的烹饪水平一样。

下一步的魔力

作者们伟大的突破在于意识到，即使你无法直接看到“动作”，你通常也能在下一刻看到它的影子。

可以这样理解：如果魔术师挥动魔杖（隐藏动作），由于摄像机的污渍，你可能看不清魔杖，但你可以看到兔子出现在帽子里（下一个状态）。兔子并不是凭空出现的；它的出现是因为了魔杖的挥动。通过研究“下一个状态”（兔子）与“嘈杂的笔记”（模糊的视频）之间的关系，作者们找到了如何从数学上重建魔术师实际做了什么的方法。

他们将这种新方法称为 LURE（Learning from the Unseen: Robust Estimator，从不可见中学习：稳健估计器）。它就像一个超级聪明的侦探，不仅看嫌疑人模糊的照片，还会观察留下的脚印和天气报告，从而推断出到底发生了什么。

LURE 如何运作： “双重检查”系统与侦探工具箱

论文介绍了一种巧妙的方法，可以在不被错误误导的情况下估计策略的价值。他们使用了一个叫做**多重稳健性（Multiple Robustness）**的概念。

想象你在尝试猜测室外温度，但你的温度计坏了。你有另外三个线索：一只湿漉漉的狗、一棵摇摆的树和一片云层。

如果你的温度计坏了，如果你的“湿狗”线索是准确的，你仍然可以猜对。
如果狗是干的，但树在摇摆，你仍然可以猜对。
这个系统之所以是“稳健”的，是因为它不需要每一个线索都完美；它只需要其中一些组合是正确的。

LURE 的工作原理也是如此。它建立了一个数学模型，检查数据的几个不同部分。即使对于“噪声动作”的模型略有错误，或者对于“下一个状态”的模型略有偏差，只要其他部分中的至少一个是正确的，该估计器仍然可以找到策略的真实价值。这使得最终答案比以往的方法要可靠得多，因为以往的方法只要其中一部分数据出错就会崩溃。

但 LURE 解决这个谜题的过程隐藏着复杂性。由于真实的动作从未被直接观测到，计算机必须猜测实际发生了什么的概率。为此，作者开发了一种特殊的迭代算法（基于一种称为期望最大化，即 EM 的方法）。这可以被视为一个不断完善理论的侦探：

猜测阶段（E-step）： 计算机开始对隐藏动作进行猜测。
更新阶段（M-step）： 利用该猜测，它更新关于动作如何导致奖励和下一个状态的模型。
精炼阶段： 然后它利用这些更新后的模型来做出一个更好的关于隐藏动作的猜测，并重复这个循环，直到整个故事逻辑自洽。

然而，还有一个最后的转折。因为计算机是在进行猜测，它可能会意外地交换标签。它可能会判定“动作 0”其实是“给药”，而“动作 1”是“不给药”，但实际上情况正好相反。无论如何，数学逻辑都是通的，但含义完全反了。为了修复这个问题，作者加入了一个至关重要的**标签对齐（label alignment）**步骤。在给出最终答案之前，系统会检查哪种“猜测”与噪声数据最吻合（例如，哪个隐藏动作更有可能导致观察到的“给药”记录）。然后，它会在必要时翻转标签，以确保最终报告与现实相符。

测试理论

作者不仅提出了理论，还通过三种不同的方式对其进行了测试：

简单模拟： 他们创建了一个微小的、人造的世界（一个“表格型 MDP”），仅包含三个状态和两个动作。他们故意通过 5% 到 30% 的频率错误标记动作来破坏数据。虽然其他方法会感到困惑并给出错误答案，但 LURE 保持了目标，正确地猜出了策略的价值。
复杂模拟： 他们转向了一个更复杂的连续世界（类似于机器人在平滑空间中移动），并得到了同样的结果：LURE 优雅地处理了错误，而其他方法则失败了。
现实世界数据： 他们在来自医院的海量真实患者记录（MIMIC-III）上测试了 LURE，专门研究如何治疗脓毒症（败血症，一种对感染的致命反应）。在这种现实场景中，他们将 LURE 与标准方法进行了对比。结果令人瞩目：标准方法建议一种疗法比另一种更好，但 LURE 通过考虑到医疗记录中的隐藏错误，提出了一个不同且更可靠的排名。事实上，标准方法的置信区间（可能答案的范围）重叠得如此严重，以至于无法区分差异，而 LURE 则提供了一个清晰、截然不同的答案。

总结

论文得出结论，忽视隐藏动作是一种危险的赌博。通过利用“下一个状态”作为揭示真相的自然线索，并构建一个对模型不同部分错误具有稳健性的系统，我们终于可以即使在数据不完美的情况下也能准确评估策略。

这不仅仅是一个理论上的胜利；它是一个面向未来的实用工具。无论是决定医疗方案、管理交通灯，还是训练 AI 智能体，LURE 都提供了一种方法，让我们能够从过去中学习，而不被噪声所误导。作者表明，通过正确的数学侦探工作，我们可以洞察不可见之物，并为明天做出更好的决策。

技术摘要：从不可见中学习：具有隐藏动作的离线强化学习

1. 问题表述

标准的离线强化学习（RL）和离线策略评估（OPE）算法通常假设数据集中记录的动作是无误差观测到的。然而，在许多现实世界的应用中——特别是使用电子健康记录（EHR）的医疗保健领域——真实的动作（ $A_t$ ）是无法观测到的（潜变量）。相反，由于标注错误、记录延迟、管理系统不完善或出于隐私保护的数据粗粒化处理，只能获得噪声代理或替代变量（ $\tilde{A}_t$ ）。

本文研究了在无限时界折扣马尔可夫决策过程（MDP）中评估目标策略 $\pi$ 的问题，其中动作空间是部分或完全潜伏的。目标是利用由行为策略 $b$ 生成的历史数据来估计策略值 $V(\pi)$ ，其中观测到的数据由轨迹 $\{(S_t, \tilde{A}_t, R_t, S_{t+1})\}$ 组成，而非真实的 $\{(S_t, A_t, R_t, S_{t+1})\}$ 。在现有的 OPE 方法中，如果天真地将观测到的替代变量 $\tilde{A}_t$ 代替真实的动作 $A_t$ ，会导致估计偏差，因为 Q 函数和密度比是针对潜在真实动作定义的。

2. 方法论

2.1 识别策略

作者确立了在特定假设下，策略值 $V(\pi)$ 可以从观测到的数据分布中进行识别。其核心洞察在于利用**下一状态（ $S'$ ）**作为天然的动作代理。由于转移动力学依赖于真实的动作， $S'$ 包含了可以被利用来识别隐藏动作的信息。

识别过程依赖于四个关键假设（假设 3.1）：

覆盖性（Coverage）： 目标策略的支撑集包含在行为策略的支撑集内。
相关性（Relevance）： 在给定状态 $S$ 的条件下，奖励 $R$ 、替代变量 $\tilde{A}$ 和下一状态 $S'$ 与真实动作 $A$ 不是条件独立的。
条件独立性（Conditional Independence）： 在给定真实动作 $A$ 和状态 $S$ 的条件下，替代变量 $\tilde{A}$ 、奖励 $R$ 和下一状态 $S'$ 相互独立。
代理质量（Surrogate Quality）： 替代变量提供了比随机猜测更多的信息（例如，对于二元动作，当 $A=1$ 时观测到 $\tilde{A}=0$ 的概率低于 $A=0$ 时）。

在这些条件下，作者证明了 $V(\pi)$ 是唯一可识别的（定理 1）。

2.2 LURE 估计量

为了估计该值，论文提出了 LURE（Learning from the Unseen: Robust Estimator，从不可见中学习：稳健估计器）。该估计量是基于从全数据有效影响函数推导出的观测数据影响函数构建的。

影响函数 $\phi_\pi(O)$ 定义为：
$\phi_\pi(O) = E_{p_e}(V^\pi(S)) + (1-\gamma)^{-1} \sum_{a} g'_a(S', \tilde{A}, S)\omega(S, a)[R - \theta_R(S, a)] + \frac{\gamma}{1-\gamma} \sum_{a} g_a(R, \tilde{A}, S)\omega(S, a)[V^\pi(S') - M V^\pi(S, a)] - V(\pi)$
其中：

$\omega(S, a)$ 是目标策略与行为策略之间的边缘密度比。
$\theta_R(S, a)$ 是奖励函数。
$M V^\pi(S, a)$ 是期望未来价值。
$g_a$ 和 $g'_a$ 是作为“桥接”估计器的构造函数，它们使用观测到的替代变量 $\tilde{A}$ 和下一状态代理 $S'$ 来替换指示函数 $\mathbb{I}(A=a)$ 。具体而言，它们是涉及给定 $S$ 和 $A$ 时 $\tilde{A}$ 和 $S'$ 的条件期望的比率。

2.3 估计程序 (EM 算法)

由于真实动作 $A$ 是潜变量，无法直接应用标准的监督学习来估计扰动函数（ $\omega, \theta_R, \theta_{\tilde{A}}, \theta_{S'}, Q^\pi$ ）。作者提出了一种新型的 期望最大化（EM） 风格的迭代算法（算法 2）：

初始化： 初始化后验概率 $\eta(O; a) = P(A=a | O)$ 。
M 步（加权监督学习）： 将后验概率 $\eta$ 视为已知权重。使用加权回归或加权极小极大优化（用于密度比 $\omega$ ）来更新扰动函数（行为策略、测量模型、奖励/转移模型以及密度比）。
E 步（后验更新）： 使用贝叶斯法则和更新后的扰动估计值来更新后验概率 $\eta(O; a)$ 。
迭代： 重复上述步骤直至收敛。

此外，论文还解决了**标签对齐（label alignment）**问题，因为 EM 算法可能会任意交换潜类别的标签（例如，将真实的 $A=0$ 映射到分量 1）。在估计后会进行基于替代变量条件概率的标签对齐步骤，以确保解释的一致性。

2.4 交叉拟合 (Cross-Fitting)

为了减轻过拟合偏差并控制经验过程余项，作者采用了 $K$ 折交叉拟合程序。扰动函数在训练折叠上进行估计，并在留出折叠上进行评估。

3. 主要理论贡献

多重稳健性（Multiple Robustness）： LURE 估计量是多重稳健的。如推论 1 所示，如果若干特定组合的扰动组件中至少有一个被正确指定，则估计量保持一致性（ $\hat{V}(\pi) - V(\pi) = o_p(1)$ ）。例如，如果奖励桥接 $\theta_R$ 与 $\theta_{\tilde{A}}$ 或 $\theta_{S'}$ （潜动作回归或下一状态回归）之一同时是一致的，且持续价值误差可以忽略不计，则一致性成立。
渐近正态性（Asymptotic Normality）： 在正则条件和扰动估计器收敛速率（特别要求误差乘积衰减速度快于 $n^{-1/2}$ ）满足的情况下，该估计量是渐近正态的（定理 4）。这使得构建有效的 Wald 型置信区间成为可能。
误差界限（Error Bounds）： 论文提供了有限样本误差界限（定理 3），将估计误差分解为影响函数平均值、标签选择余项以及涉及扰动估计误差乘积的二阶余项。

4. 实验结果

作者通过模拟实验和实际应用评估了 LURE：

表格型与通用 MDP： 在具有不同误分类率（ $\tau \in \{0.05, 0.1, 0.2, 0.3\}$ ）的合成环境中，忽略潜伏结构的标准 OPE 方法（SIS, FQE, LSTD, MIS, DRL）表现出显著的偏差，且偏差随误分类率升高而增大。LURE 则始终围绕真实的策略值。
OpenAI Gym (CartPole)： 在连续状态环境下，LURE 优于基准方法，能够保持准确的置信区间覆盖率（接近名义上的 95% 水平），而基准方法则表现出明显的偏差或不稳定的覆盖率。
MIMIC-III 败血症分析： 该方法被应用于败血症管理数据集。研究评估了三种策略：“始终使用 IV”、“不使用 IV”和“基于 SOFA 量表定制”的规则。
- LURE 估计“始终使用 IV”策略的预期 SOFA 得分最低（62.10），表明该策略是最优的。
- “始终使用 IV”的 95% 置信区间 [60.16, 64.04] 与其他策略的区间没有重叠。
- 相比之下，标准的 DRL 估计器生成的置信区间在所有策略之间都有重叠，无法区分它们。这凸显了忽略隐藏动作可能会导致临床环境中的误导性结论。

5. 重要性与主张

本文声称是第一项研究具有隐藏动作情况下的离线强化学习的工作。其重要性在于：

填补关键空白： 它为当动作数据存在噪声或潜伏时（这是基于 EHR 的研究中常见的问题，标准 RL 方法无法可靠处理）提供了一个原则性的框架。
理论严谨性： 它建立了识别条件，并推导出了考虑了强化学习序列性质的影响函数，这使其区别于静态隐藏处理框架。
实用价值： 通过展示多重稳健性和渐近正态性，LURE 使得在以往方法会产生偏差的点估计的场景中，进行有效的统计推断（置信区间和假设检验）成为可能。
现实世界影响： 对 MIMIC-III 数据库的应用表明，考虑隐藏动作可以从根本上改变策略排名和临床建议，这表明如果没有此类修正，标准的强化学习评估在医疗领域可能是不可靠的。

作者保持了谦逊的语气，指出虽然该框架可以推广到类别动作，但目前的工作重点是针对二元动作以求清晰，且该方法依赖于下一状态作为有效代理的特定假设。