🤖 machine learning

On the Sample Efficiency of Inverse Dynamics Models for Semi-Supervised Imitation Learning

本文证明了逆动力学模型（IDM）通过在比专家策略复杂度更低、随机性更小的假设类中运行，在半监督模仿学习中实现了卓越的样本效率，并据此提出了一种经过多种基准测试验证的改进型潜在动作策略学习算法。

原作者： Sacha Morin, Moonsub Byeon, Alexia Jolicoeur-Martineau, Sébastien Lachapelle

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Sacha Morin, Moonsub Byeon, Alexia Jolicoeur-Martineau, Sébastien Lachapelle

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人玩电子游戏或移动机械臂。你拥有两种类型的数据：

“金标准”数据（Gold Standard Data）： 一小堆视频，你可以清晰地看到机器人为了从 A 点到达 B 点究竟做了什么（动作）。这类数据非常昂贵且难以获取，因为需要人类专家记录每一个动作。
“野外”数据（Wild Data）： 极其庞大的视频库，展示了机器人从 A 点移动到 B 点的过程，但没有标签，即不知道具体的按键操作或机械臂是如何移动的。这类数据很容易获得（只需录制屏幕即可），但你不知道它是如何实现的。

这篇论文探讨了一个被称为**半监督模仿学习（Semi-Supervised Imitation Learning）**的问题。其目标是利用这小部分“金标准”数据结合大量的“野外”数据，来教导机器人的效果比仅使用那小部分数据更好。

旧方法 vs. 新方法

旧方法（行为克隆 - Behavior Cloning）：
这就像一个学生在背诵教科书。机器人观察一个状态（例如：“我看到了一堵墙”）并试图记住动作（“向左转”）。它通过直接模仿专家来学习。

问题在于： 如果你只有几页教科书（数据量小），学生的记忆就会很糟糕，当他看到稍微不同的墙时就会失败。

新方法（逆动力学模型 - Inverse Dynamics Models, IDM）：
机器人不再问“我现在该做什么？”，而是问一个不同的问题：“如果我刚才在这里，现在到了那里，我必须做了什么才能到达这里？”
这就是逆动力学模型（IDM）。这就像是一个侦探在查看犯罪现场（“之前”和“之后”的状态），以此来推断罪犯（动作）做了什么。

论文展示了使用这位侦探的两种主要方式：

侦探 + 电影制作者（VM-IDM）： 你训练一个“电影制作者”（视频模型）来预测机器人下一步会去哪里。然后，你使用“侦探”来推断导致该移动的动作是什么。
侦探作为标注员（IDM Labeling）： 你使用“侦探”来猜测庞大“野外”数据中的动作。一旦这些数据被标注好，你就用这个全新的、规模巨大的数据集来训练机器人。

重大发现：它们是同一个团队

作者证明了一个令人惊讶的数学事实：如果你拥有无限量的“野外”数据和完美的模型，上述两种方法最终都会教会机器人完全相同的东西。 他们称之为 IDM 式策略（IDM-based policy）。

为什么“侦探”比“学生”更优秀？

论文提出了一个问题：为什么即使“侦探”需要解决一个更难的数学问题（通过两个状态而非一个状态来预测动作），IDM 方法仍然比直接模仿的方法（行为克隆）学得更快、更好？

作者认为这归结为两个原因，并使用了精彩的比喻：

1. “更简单的谜题”理论（复杂度）

专家（目标）： 专家的策略（Policy）可以极其复杂。在迷宫中，专家必须记住一条通往出口的长而曲折的路径。
侦探（IDM）： 侦探只需要弄清楚即时的一步。如果你在 (x,y) 处，然后到了 (x+1, y)，那么动作很简单，就是“向右”。
类比： 想象一下，是尝试背诵整部小说（专家的路径）更容易，还是仅仅记住规则“如果我向右移动，我就会向右走”（侦探的规则）更容易。规则要简单得多。因为“侦探的规则”更简单，机器人可以用更少的样本准确地学习它。

2. “更少猜测”理论（随机性）

专家： 有时，专家可能会表现得有些随机。也许专家 50% 的时间向左转，50% 的时间向右转，因为两者都行。这种随机性让机器人很难学习到“正确”的答案。
侦探： 即便专家是随机的，结果通常是明确的。如果机器人最后进入了“左侧”房间，那么动作一定是“向左转”。侦探不需要猜测专家的情绪，它只需要观察运动的物理规律。
类比： 从一个说话总是用同一个词表达“苹果”（低随机性）的人那里学习语言，要比从一个有时说“苹果”、有时说“红色的水果”、有时说“脆的东西”（高随机性）的人那里学习容易得多。IDM 过滤掉了专家的随机性，使学习信号更加清晰。

他们是如何证明的？

作者不仅停留在理论层面，还进行了实验：

迷宫游戏： 他们展示了在复杂的迷宫中，“侦探”方法能以极少的数据完美解决迷宫，而“学生”方法则表现挣扎。
视频游戏 (Procogen)： 他们在 16 种不同的类 Atari 游戏中测试了这一点。“侦探”方法（IDM Labeling 以及他们提出的改进版 LAPO+）始终优于标准的“学生”方法，尤其是在数据匮乏的情况下。
机器人任务 (Push-T & LIBERO)： 他们将此应用于现实世界的机器人任务（推动 T 形块和移动物体）。同样，基于 IDM 的方法在有限的演示数据下学习效率更高。

总结

论文得出结论：逆动力学模型是利用视频进行学习的超高效工具。

通过将关注点从“我该做什么？”转向“这两个时刻之间发生了什么？”，机器人可以更快地学习世界的底层规则。这就像教孩子开车：与其让他们背诵特定道路上的每一次转弯（行为克隆），不如教他们转向和刹车的物理原理（逆动力学），这能让他们在接触任何道路时都能以更少的练习快速上手。

作者还提出了一个现有算法的改进版本，称为 LAPO+，它利用这种“侦探”逻辑来解码隐藏的动作，表明这种方法是实现以更少数据实现更好机器人学习的关键。

技术摘要：论逆动力学模型在半监督模仿学习中的样本效率

问题定义

本文探讨了半监督模仿学习 (SSIL)，在这种设定下，智能体必须从一个包含少量动作标签专家轨迹（ $D_L$ ）和大量无动作标签（仅状态转移）轨迹（ $D_U$ ）的数据集中学习控制策略。虽然行为克隆 (BC) 是标准的监督学习方法，但它是数据饥渴型的，且在标注数据稀缺时表现不佳。近期的 SSIL 方法利用逆动力学模型 (IDM) 从状态转移 $(s, s')$ 中预测动作。这些方法通常遵循两种范式：

VM-IDM： 将 IDM 与在 $D_U$ 上训练的视频模型 (VM) 结合以形成策略。
IDM 标注： 使用训练好的 IDM 对 $D_U$ 进行合成标注，随后在扩充后的数据集上进行标准 BC。
尽管这些方法在经验上取得了成功，但关于 IDM 类方法为何比 BC 具有更优样本效率的理论原因仍部分处于假设阶段（例如 IDM 是“非因果”的或更简单的）。本研究旨在统一这些方法，并提供严谨的统计学习理论解释。

方法论与理论框架

VM-IDM 与 IDM 标注的统一

作者首先建立了 VM-IDM 与 IDM 标注之间的理论等价性。他们证明了在无限无标签数据（ $D_U$ ）和足够模型容量的极限情况下，两种方法都会收敛到相同的策略，即 IDM 基准策略 ( $\hat{\pi}_{v^*, \hat{h}}$ )。

VM-IDM： 从视频模型 $\hat{v}(s' | s)$ 中采样下一个状态 $\hat{s}'$ ，然后从 IDM $\hat{h}(a | s, \hat{s}')$ 中采样一个动作 $\hat{a}$ 。
IDM 标注： 训练一个策略 $\hat{\pi}$ ，使其匹配给定 $D_U$ 中状态转移时从 IDM 采样的动作分布。
等价性： 两者均收敛至 $\hat{\pi}(a|s) = \int \hat{h}(a|s, s') v^*(s'|s) ds'$ ，其中 $v^*$ 是真实的视频模型。

样本效率的理论分析

论文认为，IDM 学习相对于 BC 的样本效率优势源于真实 IDM ( $h^*$ ) 与真实专家策略 ( $\pi^*$ ) 之间的两个主要因素：

复杂度降低： 表示 $h^*$ 所需的假设类通常比表示 $\pi^*$ 所需的假设类具有更低的复杂度。
- 证据： 在确定性迷宫环境中，专家策略 $\pi^*$ 可能需要复杂的路径规划逻辑（高复杂度），而 IDM $h^*$ 通常可以表示为基于状态差值 $s' - s$ 的简单线性分类器。
- 影响： 学习一个更简单的函数 ( $h^*$ ) 可以实现更好的偏差-方差权衡，从而在较少的标注样本下实现高性能。
随机性降低： 真实的 IDM 通常比专家策略具有更低的随机性。
- 证据： 即使专家策略 $\pi^*$ 是随机的（例如以相等概率在两条最优路径间选择），状态转移 $(s, s')$ 通常能唯一确定所采取的动作。因此， $h^*(a | s, s')$ 可以是确定性的，而 $\pi^*(a | s)$ 则不是。
- 影响： 目标分布的低随机性降低了估计器的方差，从而在有限数据下实现更快的收敛。

提出的算法：LAPO+

受 IDM 学习比 BC 更具样本效率这一发现的启发，作者提出了 LAPO+，它是潜动作策略学习 (LAPO) 算法的一个改进版本。

原始 LAPO： (1) 训练潜 IDM (LIDM) 和潜前向动力学模型 (LFDM)；(2) 训练潜策略 $\tilde{\pi}$ 以预测 LIDM 输出；(3) 使用解码头 $\phi$ 将 $\tilde{\pi}$ 解码为动作。
LAPO+ 修改： 颠倒了最后两个阶段的顺序。LAPO+ 不再是解码一个潜策略，而是在 LIDM ( $\tilde{h}$ ) 之上直接学习一个解码头 $\phi$ 。这实际上将 LIDM 视为 IDM 学习的预训练骨干网络，随后进行最后的 BC 步骤，将潜动作映射到真实动作。

实验结果

作者通过三个基准测试评估了其主张和提出的方法：Procgen（16 个类 Atari 环境）、Push-T（机器人操控）和 LIBERO-10（长程机器人任务）。

1. 理论验证（迷宫/网格世界）

复杂度： 在迷宫环境中，低容量的 VM-IDM 模型在有限数据下实现了完美的测试准确率，而低容量的 BC 则失败了。这证实了 $h^*$ 比 $\pi^*$ 更简单。
随机性： 在具有随机专家的环境中，随着专家随机性的增加，BC 的性能显著下降。相比之下，基于 IDM 的策略保持稳健，因为诱导出的 IDM 仍然是确定性的。

2. Procgen 基准测试

IDM vs. BC： 在 16 个环境中的 9 个中，IDM 标注的表现比 BC 高出数个数量级，特别是在具有“简单”动力学的环境中（如 bigfish, maze）。
LAPO+ 性能： 在低数据量情形下，LAPO+ 的表现一致优于标准 BC 和原始 LAPO。这验证了通过利用 IDM 学习的样本效率（通过 LIDM 骨干网络）来提升潜动作策略的假设。

3. 操控任务（Push-T & LIBERO-10）

使用 UVA 的 VM-IDM： 作者使用了统一视频-动作 (UVA) 架构。他们证明了通过 VM-IDM 配置（使用 UVA 同时作为 VM 和 IDM）进行动作采样，即使在极少量的标注演示（例如 Push-T 为 10 个，LIBERO 每项任务为 2 个）下，其表现也优于或匹配了标准的策略采样。
相关性： IDM 类方法与 BC 之间的性能差距与理论分析中识别出的复杂度及随机性因素相关。

重要性与主张

本文声称提供了一个统一的理论框架，解释了为什么基于 IDM 的 SSIL 方法通常优于行为克隆。其核心贡献包括：

统一性： 证明了在无限无标签数据下，VM-IDM 和 IDM 标注会收敛到相同的最优策略。
效率解释： 将 IDM 学习的样本效率归因于真实 IDM 相比于专家策略具有更低的复杂度和更低的随机性。这提供了一个预测何时 IDM 类方法会成功的框架。
算法改进： 提出了 LAPO+，它重构了潜动作学习流水线以利用 IDM 的样本效率，并在低数据量情形下展示了卓越的性能。
经验验证： 通过广泛的实验（涵盖离散控制的 Procgen 和连续控制的 Push-T、LIBERO）证实了 IDM 属性与性能增益之间的相关性。

作者总结道，虽然基于 IDM 的策略非常强大，但其成功并非普适的，而是取决于环境的具体统计特性（动力学和专家随机性）。他们承认了一些局限性，例如对 $D_U$ 中经过筛选的专家数据的假设以及 VM-IDM 采样的计算成本，并将这些作为未来的研究方向。