🤖 machine learning

Quantifying Potential Observation Missingness in Inverse Reinforcement Learning

本文针对现实世界行为数据集中缺失观测值可能误导逆强化学习（IRL）的问题，提出了一种算法以量化使专家行为显得最优所需的最小扰动，从而有助于识别医疗保健等应用中的潜在数据缺口。

原作者： Leo Benac, Abhishek Sharma, Alihan Huyuk, Finale Doshi-Velez

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Leo Benac, Abhishek Sharma, Alihan Huyuk, Finale Doshi-Velez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图弄清楚一位主厨为何总是在特定时刻加入特定的一撮盐。你拥有主厨烹饪过程的录像，但有一个关键问题：摄像机是坏的。 它能记录台面上的食材和主厨的手部动作，却无法记录主厨嗅闻空气的动作或查看计时器的眼神。

在现实世界中，主厨可能闻到汤太咸了（这是一条隐藏信息），从而决定不再加盐。但在你损坏的录像中，看起来主厨似乎无视了汤的状态，行为显得随机。如果你仅凭观看这段损坏的录像来推测主厨的“食谱”（即他们的目标），你可能会得出结论：这位主厨厨艺不精，或者拥有一套奇怪且不稳定的食谱。

本文旨在解决这种侦探工作。它介绍了一种名为MP-IRL（最小扰动逆强化学习）的新方法，旨在回答一个简单的问题：“我们需要假设存在多少缺失信息，才能让专家的行为看起来完全合乎逻辑？”

以下是其工作原理的分解，使用日常类比进行说明：

1. 问题：“坏摄像机”效应

在许多领域，如医疗保健中，我们试图通过查看专家（如医生）的过往记录来向他们学习。

场景： 医生用药物 A 治疗高血压患者，用药物 B 治疗低血压患者。
缺失数据： 医院数据库仅记录了治疗方案，未记录那一刻的确切血压读数。
错误： 如果计算机试图从这些不完整的数据中学习医生的“奖励函数”（即他们试图实现的目标），它会感到困惑。它看到医生给某些患者使用药物 B，给其他患者使用药物 A，且没有明显的模式。它可能会认为医生犯了错误，或者奖励函数是混乱的。

2. 解决方案：“不可见变量”

与其仅仅说“数据很差”，本文提出：“我们可以发明什么样的最小、最简单的‘不可见变量’，让医生重新看起来像天才？”

这样想：

你看到一个人在人行横道向左跑。
稍后，你也看到同一个人在人行横道向右跑。
没有上下文，他们的行为看起来不一致。
本文的方法： 它为每次行程发明了一个微小的、不可见的“上下文标签”。
- 行程 1：[上下文：“红灯”] -> 动作：向左跑。
- 行程 2：[上下文：“绿灯”] -> 动作：向右跑。
通过仅添加这些微小的标签，这个人的行为突然变得完全合理。本文计算了这些标签需要多大。如果标签很大，意味着缺失了大量信息。如果标签很小，则缺失的信息无关紧要。

3. 算法如何工作（两步舞）

作者构建了一个两步流程来寻找这些不可见标签：

步骤 1：“最佳猜测”（基础逆强化学习）
首先，计算机尝试仅使用它拥有的数据（损坏的录像）来解释专家的行为。它构建了一个“基础奖励”模型。这就像说：“好吧，基于我们所看到的，这是我们能猜到的最佳食谱。”
- 结果： 计算机意识到：“我仍然搞错了。专家正在做我无法解释的事情。”
步骤 2：“最小修复”（MP-IRL）
现在，计算机冻结了那个基础食谱。它问道：“我需要添加多少最小量的额外、不可见信息，才能让专家的行为完美契合这个食谱？”
- 它不试图猜测确切的缺失数据（例如确切的血压数值）。
- 它只是计算缺失的幅度。这就像测量数据中“洞的大小”，而无需用确切的缺失砖块去填补那个洞。

4. 他们的发现（实验）

该团队在三种类型的“游戏”中测试了这种方法：

导航游戏： 他们创建了一个迷宫，机器人必须选择向左或向右。有时选择取决于机器人能看到但研究人员看不到的隐藏颜色。
- 结果： 当研究人员隐藏颜色时，标准方法失败了。MP-IRL 成功识别出需要“隐藏上下文”，并精确测量了修复逻辑所需的“隐藏程度”。它甚至发现，如果有两个隐藏选择，“缺失程度”会更大。
癌症治疗模拟器： 他们模拟了医生治疗肿瘤的过程。
- 结果： 当他们隐藏重要数据（如组织类型）时，“缺失程度”变大。当他们隐藏不重要数据时，该数值保持较小。这证明了该方法能够区分“关键缺失信息”和“无关缺失信息”。
真实 ICU 数据（MIMIC-IV）： 他们使用了重症监护室关于血压管理的真实数据。
- 结果： 即使拥有所有记录的数据，该方法仍发现需要大量的“不可见上下文”（如医生的床边直觉或未记录的生命体征）来解释医生为何做出某些选择。这表明，如果我们试图在不考虑缺失信息的情况下利用这些数据训练人工智能，我们可能会误解医生的真实目标。

核心结论

本文并没有把缺失的数据还给你。相反，它给了你一把测量缺失程度的尺子。

它告诉我们：“如果你想信任数据集中专家做出的决策，你需要知道画面中有多少部分是缺失的。如果‘缺失程度’巨大，你就不能信任这些数据来教导人工智能如何行动，因为人工智能将基于一张破碎的画面进行学习。如果数值很小，你就可以更有信心。”

这是一个用于数据质量控制的工具，帮助研究人员决定他们的数据集是否足以用于学习，或者是否需要回去记录更多细节。

技术摘要：量化逆强化学习中的潜在观测缺失

问题陈述
逆强化学习（IRL）通过专家演示推断奖励函数，以建模决策行为。尽管已开发出多种 IRL 变体来处理主观信念、不完美规划及目标转移等问题，但在现实世界数据集（尤其是医疗领域）中，一个常被忽视的关键问题是观测缺失。在许多场景中，记录的数据缺失了原始决策者在采取行动时所能获取的观测信息。

当此类信息缺失时，专家行为在标准 IRL 算法看来可能显得次优，从而导致误导性的奖励推断。例如，如果临床医生的决策依赖于未记录的生物标志物，标准 IRL 可能会得出该医生行为次优或奖励函数不一致的结论，而非认识到在未被观测到的情境下该决策是最优的。本文提出，与其尝试插补缺失数据或恢复确切的缺失值，不如量化使观测到的行为表现为最优所需的最小缺失程度，这更具价值。

方法论：最小扰动逆强化学习（MP-IRL）
作者提出了MP-IRL，这是一个两阶段框架，旨在寻找使专家行为与最优策略对齐所需的最小观测扰动。

问题表述：
- 该设定假设行为数据集 $D = \{x_{nt}, a_{nt}\}$ ，其中 $x_{nt}$ 为记录的状态， $a_{nt}$ 为动作。真实状态包含未记录的分量 $\tilde{x}_{nt}$ 。
- 该方法不模拟缺失数据的动态，而是为每条轨迹 $n$ 引入一个静态潜在因子 $z_n$ ，代表缺失的情境。
- 目标是在满足专家动作在奖励函数 $r_\theta(z_n, x_{nt}, a_{nt}) 下接近最优的约束条件下，最小化这些潜在因子$ {z_n}$ 的幅度。
- 为确保 $z_n$ 的幅度具有实际意义，作者使用核函数对奖励进行参数化。奖励由共享的基础奖励 $\bar{r}_\theta(x_{nt}, a_{nt})$ 和由核中心 $\mu_k$ 及系数 $z_n$ 定义的特定轨迹扰动项之和组成。缺失程度的大小通过系数的 $\ell_1$ 范数 $\|z_n\|_1$ 来衡量。
算法（两阶段优化）：
- 第一阶段（基础 IRL）： 算法仅对记录的数据执行标准 IRL（设置所有 $z_n = 0$ ）。这提取了在不考虑任何缺失情境的情况下能最好解释行为的基础奖励 $\bar{r}_\theta$ 。
- 第二阶段（MP-IRL）： 冻结基础奖励参数。随后，算法优化评论家网络（critic network）以及特定轨迹的潜在系数 $z_n$ （可选地包括核中心 $\mu$ ）。
- 正则化： 第二阶段的目標函数包含稀疏性惩罚（ $z_n$ 上的 $\ell_1$ 和 $\ell_2$ 范数），以强制执行“最小扰动”原则。这确保潜在变量仅解释基础奖励无法解释的方差，防止模型过拟合或通过任意改变共享奖励结构来解释行为。

主要贡献

概念层面： 本文提出了关于 IRL 缺失性的新视角：量化使观测到的行为表现为最优所需的最小未观测情境，而非试图恢复缺失数据本身。
技术层面： 开发了 MP-IRL 算法，该算法将此问题表述为约束优化问题，利用基于核的扰动和两阶段训练过程，将共享奖励结构与特定轨迹的缺失情境分离开来。
实证层面： 证明了学习到的扰动幅度与缺失信息的量相关，且该方法能够定位缺失情境至关重要的区域（例如特定的决策区域）。

实验结果
作者在三个合成连续导航任务、一个癌症治疗模拟器以及一个真实的 ICU 低血压管理数据集（MIMIC-IV）上评估了 MP-IRL。

导航任务： 在隐藏的二元变量决定特定“决策区域”内动作的任务中，标准 IRL 无法在这些区域内匹配专家行为（准确率约为 60%）。MP-IRL 将准确率恢复至接近 98-99%。关键在于，学习到的扰动大小（ $\|z_n\|_1$ ）随缺失信息的复杂度而变化：需要一位隐藏比特的任务产生的扰动小于需要两个独立隐藏比特的任务。
癌症模拟器： 该方法在不同程度的特征掩码下进行了测试（从“所有特征”到“仅时间”）。随着更多特征被隐藏，标准 IRL 的性能下降（准确率降低，负对数似然升高）。MP-IRL 保持了高准确率，且所需的扰动大小随缺失信息的增加而单调递增（例如，随着特征移除，从 0.54 增加到 1.65）。
ICU 低血压任务： 在真实临床数据上，MP-IRL 显著提高了动作匹配准确率，优于标准 IRL（例如，从约 55% 提升至约 90%）。当添加低预测性特征时，扰动大小保持稳定，表明该指标反映的是与决策相关的缺失性，而不仅仅是观测数据的体量。

意义与主张
本文主张 MP-IRL 为行为数据集提供了一种诊断工具。通过量化解释专家行为所需的最小扰动，研究人员可以评估数据集中 apparent 的次优性是由于决策能力低下，还是仅仅由于缺失临床情境。

实用价值： 如果潜在的缺失性显著，则表明下游任务（如策略评估或离线强化学习）应谨慎处理，或者需要改进数据收集流程。
可解释性： 该方法将缺失性定位到状态空间的具体区域（例如癌症治疗中的特定时间步或导航中的特定决策边界），揭示了记录数据在何处不足。
局限性： 作者承认，由于优化局部核所需的数据量，基于核的表示在非常高维的状态空间中可能会遇到困难。

该工作并不声称能恢复确切的缺失值，而是旨在提供一个关于维持专家最优性假设所需的缺失程度的定量界限。