Probabilistic Recurrent Intention Switching Model

技术摘要：概率循环意图切换模型（PRISM）

问题陈述
标准逆强化学习（IRL）假设单一、静态的奖励函数驱动智能体的行为。然而，现实世界中的智能体——无论是生物体（例如在迷宫中导航的老鼠）还是人工智能体（例如遥操作机器人）——都经常在单个回合内在不同目标或策略之间切换。现有的多意图 IRL 方法难以有效建模这些切换：

• 动态 IRL（DIRL） 假设奖励平滑、连续地变化，这与离散策略切换的证据相冲突，并且需要计算昂贵的推理（$T$ 次贝尔曼求解）。
• 分层逆 Q 学习（HIQL） 将意图转换建模为无记忆的马尔可夫链，无法捕捉由疲劳或饱腹感等因素驱动的历史依赖型切换。由于使用了 Baum–Welch 算法，其推理扩展性较差（$O(nK^2)$）。
• SWIRL 通过状态增强引入历史信息，但这导致状态空间呈指数级爆炸（$|S|^L$），限制了实际可用的历史长度。

因此，没有任何现有方法能够自然地扩展到大型非马尔可夫环境，同时恢复可解释的离散意图。

方法：PRISM
作者提出了概率循环意图切换模型（PRISM），这是一个用轻量级循环神经网络（RNN）替代固定转换模型和手动状态增强的框架。

1. 模型架构：

   • 隐藏意图 MDP（HI-MDP）： 环境被建模为具有潜在意图空间 $Z = \{1, \dots, K\}$ 的 MDP。
   • 循环门控： 一个参数化函数 $f_\theta$（RNN、LSTM 或 Transformer）将观测历史 $\phi_{1:t}$ 映射为每个时间步上意图的软概率分布。这使得模型能够在不显式状态增强的情况下捕捉复杂的历史依赖型切换机制。
   • 每意图奖励： 每个意图 $k$ 关联一个特定的奖励函数 $r_k$。假设在意图 $k$ 下的专家策略是由 $r_k$ 导出的玻尔兹曼最优策略。

2. 推理与优化：

   • EM 分解： 作者证明了 PRISM 的期望最大化（EM）目标可以精确分解为独立的子问题，无需变分近似。
     • E 步： 计算每个时间步的后验责任 $P(z_t=k | \xi, \psi, \Theta)$。由于后验的分解，该步骤每条轨迹的扩展性为线性 $O(nK)$，相比基于马尔可夫链方法的$O(nK^2)$ 成本有了显著改进。
     • M 步：
       • 奖励更新： 每个奖励函数 $r_k$ 通过求解加权逆动作值迭代（IAVI）问题以闭式形式独立更新。
       • 网络更新： 门控网络参数 $\theta$ 通过梯度下降更新，以最大化分配意图的似然度，并受 $\ell_1$ 正则化（鼓励稀疏切换）和 KL 散度（鼓励平滑转换）的约束。

3. 训练目标：
   损失函数结合了意图分配的对数似然负值与时间平滑惩罚，旨在防止 erratic 切换，同时保留在必要时进行切换的能力。

主要贡献

1. PRISM 框架： 一种新颖的多意图 IRL 方法，利用循环网络建模意图动态，实现了无需手动状态增强的端到端历史依赖型切换学习。
2. 理论保证： 证明了 EM 目标可精确分解为独立的每意图奖励子问题，可通过 IAVI 以闭式形式求解。
3. 计算效率： 通过后验分解实现了 $O(nK)$ 的 E 步，避免了基于马尔可夫方法中前向 - 后向算法的二次复杂度。
4. 首个大规模机器人应用： 将多意图 IRL 应用于 BridgeData V2 机器人操作数据集，证明了该方法能够超越神经科学领域进行泛化。
5. 可解释性： 从三个不同领域的无标签演示中恢复了可命名、时间连贯的意图和奖励图。

实验结果
PRISM 在三个复杂度递增的数据集上进行了评估：

1. 挫折网格世界（非马尔可夫验证）：

   • 设置： 一个受控环境，智能体根据隐藏的“挫折计数器”（严格非马尔可夫状态）切换策略。
   • 结果： 与 HIQL、IAVI 和 MaxEnt IRL 相比，PRISM 实现了最高的测试对数似然和最低的预期值差异。关键在于，PRISM 成功追踪了累积的挫折并急剧切换意图，而 HIQL（无记忆）未能捕捉到切换的累积性质。

2. 老鼠迷宫（生物数据）：

   • 设置： 水限制老鼠在 127 个节点的迷宫中导航的真实世界数据。
   • 结果： PRISM 在测试对数似然上优于 SWIRL 和其他基线。它恢复了三种截然不同且可解释的意图：寻水、归巢和探索。恢复的奖励图和分割边界与已知的生物驱动力和行为事件（例如饮水口访问）一致。

3. BridgeData V2（机器人操作）：

   • 设置： 一个包含高维视觉观测的人类遥操作机器人操作任务的大规模数据集。
   • 结果： 在没有意图监督或先验知识的情况下，PRISM 发现了四个时间连贯的操作阶段：接近/离开、抓取、搬运和空闲。该方法实现了比基线更高的保留集对数似然，证明了离散意图切换是生物和人工智能体目标导向行为的普遍属性。

意义与主张
本文声称 PRISM 提供了一种可扩展的、具有理论依据的解决方案，用于恢复序列行为中的潜在目标。通过证明 EM 目标可以精确分解，作者表明可以在不牺牲闭式奖励恢复计算可行性的情况下对复杂的历史依赖型切换进行建模。

其意义在于证明了：

• 离散目标切换在生物和人工智能体中普遍存在。
• 历史依赖型切换（非马尔可夫动态）可以端到端地学习，无需手动特征工程或状态增强。
• 恢复的奖励图为理解复杂演示背后的潜在目标提供了结构化、可解释的视角，超越了简单的策略模仿，转而理解智能体在特定时刻行动的原因。

作者承认了局限性，包括目前依赖于离散 MDP（需要对视觉数据进行离散化）以及离线操作。他们建议未来的工作可以探索无模型扩展（用无模型逆 Q 学习替代 IAVI）以及用于实时意图监控的在线扩展。