🤖 machine learning

ConTraIRL: Factorized Contrastive Abstractions for Transferable IRL

该论文提出了 ConTraIRL，这是一个通过使用具有对比目标的双编码器架构来学习环境动力学与任务目标的解耦潜表征，从而实现对未见配对的有效组合泛化的逆强化学习框架，以实现可靠的奖励传递。

原作者： Yikang Gui, Bikramjit Banerjee, Prashant Doshi

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Yikang Gui, Bikramjit Banerjee, Prashant Doshi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人走路。你给它看一段专家走路的视频。但这里有个难点：机器人不仅要学会如何走路，还要学会专家为什么要那样走。这被称为逆强化学习 (Inverse Reinforcement Learning, IRL)。机器人正在试图弄清楚那个“奖励函数”——即专家用来判断自己做得好坏的那个隐形的计分板。

通常情况下，如果机器人只在训练过的完全相同的条件下运行，这种方法效果很好。但如果把你放在一个全新的场景中会发生什么呢？例如，训练视频展示了机器人在冰面（动力学特性）上行走并试图接近一个红旗（目标）。现在，你要求机器人在沙地（新的动力学特性）上行走，同时尝试接近一个蓝旗（新的目标）。

标准的 AI 方法通常会失败。它们会感到困惑，因为它们学到了一个将“冰面”和“红旗”混在一起的单一且混乱的规则。它们无法将两者分离，因此当它们看到“沙地”和“蓝旗”的组合时，就不知道该怎么做了。

解决方案：ConTraIRL（“去杂乱”工具）

该论文提出了一种名为 ConTraIRL 的新方法。你可以把它想象成一个智能工具，旨在通过“去杂乱”来优化机器人的大脑。ConTraIRL 不再学习一个庞大而纠缠在一起的规则，而是教机器人学习两个独立的、分开的规则：

“如何做”规则（动力学）： 学习机器人如何根据所处的地面（冰面、沙地、泥地）进行移动。它忽略机器人要去哪里。
“去哪里”规则（目标）： 学习机器人想要去哪里（红旗、蓝旗、左边、右边）。它忽略机器人是如何移动的。

创意类比：厨师与厨房
想象一位厨师正在学习烹饪。

标准 AI 就像一位只学会了特定食谱的厨师：“如何在 350°F 的烤箱里烤一个巧克力蛋糕。”如果你要求他用 400°F 的烤箱烤一个香草蛋糕，他就不知所措了。他无法将“巧克力”部分与“350°F”部分区分开来。
ConTraIRL 则像是一位学会了两种独立技能的厨师：
- 技能 A： 了解烤箱的工作原理（温度、气流）。
- 技能 B： 了解如何制作不同的口味（巧克力、香草、柠檬）。
现在，如果你要求这位厨师在 400°F 的烤箱里烤一个柠檬蛋糕（一种他们从未见过的组合），他只需将自己的“柠檬技能”与“400°F 技能”进行组合即可。他不需要新食谱，只需要重新组合他已经掌握的部分。

它是如何工作的：“时间戳”技巧

仅仅分离规则是不够的。你还需要知道什么时候该做什么。走路是一个序列：第 1 步，第 2 步，第 3 步。

ConTraIRL 加入了时间相位对齐 (temporal phase alignment)。想象一段电影胶片。即使电影是用慢速放映机（冰面）或快速放映机（沙地）播放，其“电影的中段”依然是中段。ConTraIRL 教会机器人识别出：无论是在冰面上还是在沙地上，只要是朝着同一个目标前进，那么“完成走路过程的 50% 时”看起来应该是相似的。

这使得机器人能够说：“我正处于走向蓝旗的路径中 50% 的位置。在沙地上，此时我的状态应该是这样的。”

“少样本 (Few-Shot)”超能力

通常，要教机器人完成一个新任务，你需要给它展示数百个示例。Con-TraIRL 的特别之处在于它可以从极少的示例中学习（称为“少样本学习”）。

在实验中，研究人员只给了机器人新场景（“沙地 + 蓝旗”）中专家路径的一小部分——可能只是视频的 20%。因为机器人之前已经从其他训练视频中学到了分离的“沙地”规则和“蓝旗”规则，所以它可以填补空白。它不需要看完整的视频；它只需要一个微小的锚点来知道从哪里开始，其内部“去杂乱”的大脑就会完成剩下的工作。

结果：论文的实际发现

研究人员在 MuJoCo 环境中，针对计算机模拟的机器人（如猎豹、步行者和游泳者）进行了测试。

测试： 他们创造了机器人从未共同见过的地面类型与目标的全新组合。
对比： 他们将 ConTraIRL 与其他尝试实现相同目标的 AI 方法进行了比较。
结果： ConTraIRL 的表现显著优于其他方法。它能更准确地恢复正确的“计分板”（奖励），并帮助机器人在面对全新的地面与目标组合时成功完成任务。
鲁棒性： 即使研究人员给机器人的数据较少（更少的示例），或者给出的标签略有偏差（例如告诉它是“沙地”但实际上是“泥地”），ConTraIRL 也不会崩溃。它会优雅地降级，而其他方法则会彻底失败。

总结

简而言之，ConTraIRL 是一个框架，它阻止了 AI 仅仅死记硬背特定的情境，而是开始教它如何分别理解情境中的组成要素（世界的物理特性和任务的目标）。通过将这些要素保存在独立的“心理桶”中，AI 可以通过混合搭配这些要素，从而以极少的额外训练处理全新的、未见过的场景。

技术摘要：ConTraIRL —— 用于可迁移逆强化学习的分解对比抽象

1. 问题陈述

逆强化学习（Inverse Reinforcement Learning, IRL）旨在恢复驱动专家行为的奖励函数，从而使智能体能够在无需人工设计奖励的情况下学习复杂的技能。该领域的一个关键挑战是组合泛化（compositional generalization）：即在目标环境中实现已学习奖励的迁移能力，其中环境上下文是先前观察到的环境动力学（ $d$ ）与任务目标（ $g$ ）的未见配对（unseen pairing）。

标准的 IRL 方法通常将奖励建模为状态的单体函数（monolithic function）。这种方法将依赖于动力学的特征与依赖于目标的特征纠缠在一起。因此，当智能体被部署在一个目标环境中，且该环境中的动力学 $d$ 和目标 $g$ 虽然各自在训练中见过，但其特定的组合 $(d_{tar}, g_{tar})$ 在训练期间从未出现过时，所查询的已学习奖励将处于分布外（out-of-distribution）的上下文中。这会导致不可靠的泛化和较差的奖励恢复效果。

本文通过研究以下设定来解决这一问题：

训练数据包含多个环境，其中每个因子（ $d$ 和 $g$ ）都出现在多个上下文中。
一部分因子配对被保留作为目标上下文。
在目标上下文中，仅可获得单个专家轨迹的一个固定子集状态（少样本监督），而非完整的演示数据。

2. 方法论：ConTraIRL

作者提出了 ConTraIRL（Contrastive Abstractions for Transferable IRL，用于可迁移 IRL 的对比抽象），这是一个旨在通过学习动力学和目标的解耦潜在表示来实现组合奖励迁移的框架。

2.1 分解对比抽象

该框架的核心是一个双编码器架构，它将观测值映射到两个独立的潜在流形中：

动力学空间 ( $Z_d$ )： 对目标 $g$ 具有不变性的潜在表示。
目标空间 ( $Z_g$ )： 对动力学 $d$ 具有不变性的潜在表示。

这种分解确保了恢复的奖励不会编码由联合训练分布引起的伪相关性。为了实现这一点，作者强制执行因子正交性（Factor Orthogonality）：

$z_d = \Phi_d(s, d)$ 必须对 $g$ 保持不变。
$z_g = \Phi_g(s, g)$ 必须对 $d$ 保持不变。

2.2 时间相位对齐

作者认为，仅靠分解对于序列控制任务是不够的，因为轨迹上的状态代表了执行的不同阶段。ConTraIRL 引入了时间相位对齐（Temporal Phase Alignment），要求对应于行为内相似相对进度的状态，在不同轨迹间的潜在坐标中也应保持接近。

具有相同动力学和相似相位的状态在 $Z_d$ 中保持接近，无论其目标为何。
具有相同目标和相似相位的状态在 $Z_g$ 中保持接近，无论其动力学为何。
相位 $\psi(s)$ 定义为归一化时间步 $t/T$ 。

2.3 通过潜在相似度恢复奖励

恢复的奖励函数 $R(s, d, g)$ 定义为当前状态的潜在表示与基于相位调节的专家抽象之间的平均相似度：
$R(s, d, g) = \frac{1}{2} \left( \text{sim}(\Phi_d(s, d), \bar{z}_d(\psi(s))) + \text{sim}(\Phi_g(s, g), \bar{z}_g(\psi(s))) \right)$
这里， $\bar{z}_d(\cdot)$ 和 $\bar{z}_g(\cdot)$ 是按相对时间相位分组的专家状态质心。这种公式将一个分布外的配对转化为因子的分布内重组。

2.4 训练目标

该框架采用了双重对比目标：

专家结构学习 ( $L_E$ )： 一种应用于专家对的基于间隔（margin-based）的对比损失，用于构建潜在流形。共享相同因子且具有相似相位的对被视为正样本；其他则为负样本。这使得专家流形能够独立于学习者进行构建。
专家-学习者对比校准 ( $L_L$ )： 一种噪声对比目标，通过区分专家状态 ( $x_E$ ) 和学习者状态 ( $x_L$ ) 来校准奖励。这有效地最小化了专家与学习者状态分布之间的 Jensen–Shannon 散度。

总目标为 $L_{total} = L_E - L_L$ 。

2.5 实现细节

上下文调制编码器： 该框架没有使用简单的拼接，而是使用了一种受超网络（hypernetwork）启发的输入层，其中上下文描述符（ $d$ 或 $g$ ）生成特定的权重矩阵和偏置向量来转换状态。这动态地影响了特征提取，从而鼓励在网络早期实现因子相关结构的隔离。
专家抽象缓冲池： 一个缓冲池维护着基于相位的专家质心，这些质心在每次编码器更新后都会刷新，以确保与不断演化的潜在流形保持一致。

3. 核心贡献

分解表示： 提出了双编码器架构，将上下文显式地解耦为正交的动力学和目标潜在空间，防止了困扰单体 IRL 模型的特征纠缠。
时间相位对齐： 将相对时间相位集成到潜在对齐准则中，为序列任务提供了比简单状态匹配更稠密的引导。
具备少样本监督的组合迁移： 一个能够在仅使用目标环境中部分专家状态的情况下，恢复未见动力学-目标配对奖励的框架。
专家结构学习： 一个显式目标，用于独立于学习者分布地塑造专家流形，从而为奖励恢复提供稳定的参考。

4. 实验结果

作者在四个具有动力学和目标组合变化的 MuJoCo 连续控制基准测试（Ant, HalfCheetah, Walker, Swimmer）上评估了 ConTraIRL。

在未见配对上的表现： ConTraIRL 在目标上下文中始终优于基准方法（TraIRL, C-AIRL, 和 SFM）。例如，在 Ant 环境中，ConTraIRL 实现了 0.93 ± 0.02 的归一化回报，而 SFM 为 0.88，TraIRL 为 0.57。
对数据稀缺的鲁棒性： 在减少目标专家状态数量（从 20% 降至 5%）的消融实验中，基准方法出现了性能崩溃（例如，TraIRL 降至 0.05），而 ConTraIRL 仍能保持显著较高的性能（在 5% 状态下为 0.27），展示了有效的少样本迁移能力。
消融分析：
- 移除分解（"w/o F"）导致性能严重下降，证实了解耦表示的必要性。
- 移除时间相位对齐（"w/o TA"）降低了性能，表明相位对齐提供了超越简单分解的必要稠密引导。
对标签噪声的鲁棒性： 与基准方法相比，ConTraIRL 对噪声因子标签表现出更强的鲁棒性，这归功于其对相对相似性约束而非直接监督预测的依赖。
潜在空间可视化： UMAP 可视化确认了学习到的抽象成功地根据其对应的因子（动力学或目标）分离了样本，同时保持了对另一因子的不变性，并且时间相位在簇内表现为平滑的梯度。

5. 重要性与主张

论文声称 ConTraIRL 解决了转移 IRL 中的一个根本局限：无法泛化到已知环境因子的未见组合。通过将上下文分解为正交的动力学和目标组件并进行时间对齐，该框架实现了组合泛化。

作者强调，通过提供个体因子已被观察到的前提，其方法允许在特定动力学-目标配对在训练期间不存在的目标环境中，进行可靠的奖励恢复。实验证明，学习到的奖励能够紧密追踪真实的任务性能，即使在缺乏地面真值（ground-truth）奖励的情况下，也能作为策略优化的可靠代理。

该工作在范围上较为适中，专注于已知上下文因子的组合迁移，并伴有有限的目标监督。作者明确指出，目前的公式假设可以获取因子标签并具有可比的时间相位，并将向处理潜在因子、变长行为以及完全零样本（zero-shot）迁移的方向扩展作为未来的重要研究方向。