🤖 AI

Multi-Objective Constraint Inference using Inverse reinforcement learning

本文介绍了多目标约束推断（MOCI），这是一个新颖的框架，能够从具有冲突目标的不同专家演示中有效提取共享约束和个体偏好，在保持计算效率的同时，其预测精度优于现有基线方法。

原作者： Syed Ihtesham Hussain Shah, Floris den Hengst, Aneta Lisowska, Annette ten Teije

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Syed Ihtesham Hussain Shah, Floris den Hengst, Aneta Lisowska, Annette ten Teije

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图弄清楚游戏规则和玩家的秘密动机，但你只能观察他们玩游戏。你不能向他们提问，也没有规则手册。你只有一堆不同人玩同一款游戏的视频录像。

本文介绍了一种名为MOCI（多目标约束推断）的新型侦探工具。其工作原理可分解为以下简单概念：

问题：一种方案无法适用于所有情况

大多数以往的侦探工具存在两大问题：

假设所有人都是相同的：它们认为视频中的所有玩家都遵循完全相同的策略，拥有完全相同的目标。
对“未访问”区域感到困惑：如果玩家从未踏过棋盘上的某个特定方格，旧工具无法判断该方格是“禁止陷阱”，还是玩家仅仅不喜欢那里。

在现实世界中，这就像观察一群司机。有些司机激进，有些谨慎。他们都必须遵守相同的交通法规（硬性约束，如红灯和墙壁），但拥有不同的个人偏好（有些人想要最快路线，有些人想要最风景优美的路线）。旧工具试图将所有这些不同的司机强行归入一个“平均”司机，效果并不理想。

解决方案：MOCI（聪明的侦探）

作者创建 MOCI 旨在通过同时完成两件事来解决这一问题：

对玩家进行分类：它审视杂乱的视频堆，自动将其分组。它会意识到：“啊，这三段视频显示了一位‘草爱好者’，他避开岩石；而这两段显示了一位‘岩爱好者’，他避开草地。”它根据玩家独特的喜好将他们区分开来。
发现隐形墙壁：一旦它知道谁喜欢什么，它就会观察整个群体，找出所有人都遵守的规则。如果没有人（无论是草爱好者还是岩爱好者）曾踏过蓝色水块，MOCI 就会得出结论：“那些蓝色方块必定是禁止通行的墙壁。”

“网格世界”实验

为了测试这一点，研究人员创建了一个包含不同地形的数字游戏棋盘（网格世界）：

草地：有些玩家喜欢它。
岩石：其他玩家喜欢它。
水：没有人会来这里。这是一个硬性约束（一堵墙）。

他们将“草爱好者”和“岩爱好者”的视频混合在一起，使计算机无法分辨谁是谁。MOCI 成功做到了：

推断出存在两种不同类型的玩家。
了解到草爱好者在行走于草地时会获得“奖励”。
了解到岩爱好者在行走于岩石时会获得“奖励”。
正确识别出水块为禁区，即使玩家从未明确说过“我不能去那里”。

关于“幻觉”的警告

论文承认存在一个小缺陷。如果玩家从未访问地图的某个特定角落，MOCI 可能会变得有些多疑，心想：“没人去过那里，所以那一定是堵墙！”它将此称为“假阳性”。然而，论文表明，如果你给侦探提供更多视频（更多数据），它就会停止猜测，变得准确得多。

为何它优于竞争对手

作者将 MOCI 与另外两种著名的侦探工具（MLCI 和 ICRL）进行了比较：

准确性：MOCI 在猜测规则和偏好方面要准确得多（误差率为 0.027，而其他两者分别为 0.25 和 0.36）。
速度：虽然 MOCI 比最简单的工具做了更多工作，但它仍然非常快。它不是一个缓慢笨重的机器；其效率足以满足实际需求。
灵活性：与其他工具不同，MOCI 能够处理一群具有不同目标的不同人群。其他工具只能处理一群相同的机器人。

核心结论

MOCI 是一种新方法，通过观察不同人群的混合体，教会计算机理解安全规则和个人偏好。它将“通用规则”（例如不要走进水中）与“个人喜好”（例如我更喜欢草地）区分开来，其速度和准确性均优于以往的方法。

注：论文提到，该技术最终可用于医疗保健领域，帮助医生在共享安全规则与个体患者偏好之间取得平衡，但本文中的实际实验严格局限于数字网格游戏。

技术摘要：基于逆强化学习多目标约束推断

问题陈述

逆强化学习（IRL）旨在通过观察专家演示来推断智能体的潜在目标。虽然传统方法通常仅通过学习的奖励函数来建模意图，但这可能导致模型过于复杂且脆弱。一种更稳健的替代方案是联合学习一个简单的奖励函数和一组硬约束（例如物理障碍或安全边界）。

然而，现有的约束推断方法存在两个限制性假设，限制了其在现实场景中的适用性：

同质性：它们假设演示是由单一专家类型或多个具有相同目标的专家生成的。
先验知识：它们通常假设专家的奖励函数在事前完全已知。

实际上，观测数据通常源于异质群体，其中专家共享共同的环境约束（例如交通法规、物理墙壁），但拥有独特且私人的偏好（例如激进与谨慎的驾驶风格，或对特定地形的偏好）。现有方法难以将这些共享约束与个人偏好区分开来，往往无法捕捉多样化的行为，或遭受计算效率低下的问题。

方法论：多目标约束推断（MOCI）

为应对这些挑战，作者提出了多目标约束推断（MOCI），这是一个旨在从未标记的异质专家轨迹中联合恢复共享硬约束和个人偏好权重的框架。

核心框架

MOCI 在**约束多目标马尔可夫决策过程（CMOMDP）**设定下运行。它假设：

共享的状态 - 动作特征空间 $\phi(s, a)$ 。
适用于所有专家的共享硬约束集 $C$ （禁止状态）。
$K$ 个潜在专家类型（簇），每个类型由独特的偏好权重向量 $w_k$ 表征。

该算法采用**期望最大化（EM）**方法来最大化数据集 $D$ 的联合对数似然：

E 步（聚类）：算法固定当前对约束 $C$ 、权重 $\{w_k\}$ 和簇先验 $\{\pi_k\}$ 的估计。它计算特定轨迹 $\xi_i$ 由专家类型 $k$ 生成的后验概率（责任度） $\gamma_{i,k}$ 。这有效地基于不同偏好模型下的似然性对未标记演示进行聚类。
M 步（参数更新）：
- 先验：更新为责任度的经验均值。
- 奖励权重：对于每个簇，偏好权重 $w_k$ 通过梯度上升进行更新。梯度由责任度 $\gamma_{i,k}$ 加权，确保奖励函数利用最大熵逆强化学习原理，根据概率分配给该簇的轨迹进行自适应调整。
- 约束：共享约束集 $C$ 通过贪婪搜索进行更新。算法通过计算将候选状态（数据集中未访问的状态）添加到 $C$ 中的联合对数似然来评估候选状态。仅当候选状态显著增加似然性时才将其添加。该过程通过 Kullback-Leibler 散度的阈值 $d_{DKL}$ 进行正则化，以防止过拟合噪声或未访问状态。

计算复杂度

MOCI 的理论计算成本主要受状态 - 动作空间大小、时间 horizon 和迭代次数的支配。其复杂度推导为 $O(|S| \cdot |A| \cdot H)$ ，其中 $|S|$ 是状态数， $|A|$ 是动作数， $H$ 是轨迹时间 horizon。在网格世界环境中，这随网格维度呈二次方增长。

主要贡献

新颖框架：引入 MOCI，这是首个从异质、未标记演示中联合推断共享硬约束和个人多目标偏好的框架。
算法创新：开发了一种基于 EM 的算法，该算法迭代地聚类轨迹并更新奖励权重和约束集，有效地将个人动机与环境限制分离开来。
理论分析：提供了详细的计算复杂度分析，证明了算法的可扩展性。
实证验证：在受控的多目标 GridWorld 环境中，展示了该方法恢复真实约束和不同偏好分布的能力。

实验结果

作者在模拟的异质 GridWorld 环境中评估了 MOCI，该环境包含两种专家类型：“草地爱好者”和“岩石爱好者”，两者都在共享的“水”（硬约束）瓷砖周围导航。

约束恢复：MOCI 成功识别出真实的水瓷砖为硬约束。它也指出了一种局限性，即由于缺乏数据覆盖，未访问的状态偶尔会被推断为约束（假阳性），这种行为可通过调整散度阈值来缓解。
偏好学习：算法准确恢复了两位专家的独特奖励权重，正确识别了“草地爱好者”对草地的偏好以及对岩石/水的厌恶，以及“岩石爱好者”相反的偏好。
性能比较：与基线最大似然约束推断（MLCI）和逆约束强化学习（ICRL）相比：
- 准确性：MOCI 实现了显著更低的约束均方误差（CMSE），为 0.027，而 MLCI 为 0.25，ICRL 为 0.36。
- 效率：MOCI 保持了具有竞争力的运行时间（0.69 秒），与 MLCI（0.29 秒）相当，且显著快于 ICRL（8.90 秒）。
- 能力：与仅限于同质数据且无偏好学习的基线不同，MOCI 成功处理了异质数据并显式学习了偏好。
可扩展性：运行时间分析表明，执行时间随网格大小和轨迹长度适度扩展，验证了理论复杂度。

意义与主张

该论文将 MOCI 定位为一种准确、灵活且计算实用的现实世界约束推断和偏好学习方法。作者声称，MOCI 建立了一种新能力，能够在保持安全边界的同时对多样化且可能冲突的行为进行建模。通过成功分离共享约束与个人偏好，该框架为在专家数据多样化的复杂环境中将强化学习智能体与安全指南对齐提供了稳健的解决方案。

研究结论指出，虽然 MOCI 目前需要预先定义专家类型数量（ $K$ ）且严格关注硬约束，但它为实现更安全、更具适应性的 AI 系统迈出了基础性的一步，这些系统能够从多样化的人类行为中学习。作者建议的未来工作包括用贝叶斯非参数方法替换固定聚类以自动化 $K$ 的发现，并将该框架扩展到软约束和现实世界的医疗保健应用。