🤖 machine learning

Noise-Guided Transport for Imitation Learning

本文介绍了噪声引导传输（Noise-Guided Transport, NGT），这是一种轻量级的离策略模仿学习方法，它将任务表述为通过对抗训练求解的最优传输问题，在无需预训练或专门架构的情况下，在低数据量场景下实现了强劲的性能。

原作者： Lionel Blondé, Joao A. Candido Ramos, Alexandros Kalousis

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Lionel Blondé, Joao A. Candido Ramos, Alexandros Kalousis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人像人类一样走路。通常情况下，你需要成千上万段人类完美行走的视频来进行训练。但如果，你只有 20 秒的素材呢？或者，只有几段由于病人腿部跛行而产生的、摇晃不定的片段呢？

这就是这篇论文所解决的问题：当数据极度匮乏时，你该如何教机器人模仿专家？

作者引入了一种名为 噪声引导传输（Noise-Guided Transport, NGT） 的新方法。下面我们通过简单的类比来解释它的工作原理。

问题所在：“拙劣的模仿者”

在过去，如果你尝试用极少的数据来教机器人，它只会死记硬背它看到的少量例子。如果机器人看到一个人摔倒了一次，它可能会认为：“哦，摔倒也是走路的一部分！”然后开始不断地摔倒。这被称为“复合误差（compounding errors）”。

其他方法试图去猜测什么是“奖励”（即什么动作是好的），但它们经常会产生混乱，或者需要海量的数据才能搞清楚。

解决方案：“随机噪声”游戏

作者想出了一个聪明的技巧。他们并没有直接测量“好”与“坏”，而是利用一个“随机噪声”生成器来玩一场找不同的游戏。

以下是这个类比：

两位玩家：
- 专家： 一个完美的行走者（你拥有的数据）。
- 机器人： 一个笨拙的学习者（智能体）。
“随机噪声”先知：
想象你有一个神奇的、被冻结的机器（一个神经网络），它会吐出随机且混乱的模式。这就像一台坏掉的收音机，只播放静电噪音。你永远不会改变这台机器；它始终保持不变。
游戏规则：
- 你将专家的动作输入到机器中。机器会吐出一种特定的静电模式。
- 你将机器人的动作输入到同一台机器中。它会吐出另一种不同的静电模式。
- 机器人的目标是学习一个“翻译官”（奖励函数），它可以预测：“如果我做专家的动作，我应该得到一个看起来像专家静电的结果。如果我做自己那笨拙的动作，结果看起来应该完全不同。”

为什么要用“噪声”？

论文称之为“噪声引导”，是因为机器人本质上是在学习模仿专家产生的随机静电。

当机器人的动作与专家一致时，“翻译官”会学习匹配这种随机噪声模式。
当机器人的动作表现糟糕时，模式就无法匹配。

当机器人的动作生成的噪声模式与专家的模式相匹配时，它就会获得“奖励”（高分）。当模式不匹配时，它会得到低分。

“搬运泥土”的类比（最优传输）

论文提到了“最优传输（Optimal Transport）”。想象你有一堆泥土（专家的数据）和另一堆形状不同的泥土（机器人的数据）。

旧方法试图仅仅计算有多少泥土放错了位置。
NGT 则计算了将机器人的泥土移动到看起来与专家泥土完全一致时所需的精确能量（effort）。它创建了一张“地图”，展示如何最有效地移动这些泥土。机器人随后尝试移动自己的“泥土”（行为），以最小化这种能量消耗。

为什么它很特别？

轻量化： 它不需要超级计算机或在数百万张图像上进行预训练。它就像一个简单、高效的工具，而不是一台沉重的推土机。
能处理极小数据： 论文测试了一个非常复杂的任务（让数字人形机器人行走），仅使用了 20 步的数据。大多数其他方法在面对如此少的信息时会完全失败，但 NGT 成功了。
无需“梯度惩罚”： 许多类似的方法需要一个复杂的安全制动装置（称为梯度惩罚）来防止它们在训练期间失控。NGT 不需要这个制动装置；由于“噪声”游戏的这种设计方式，它本身就能保持稳定。

结果

在实验中，即使是在高维、复杂的模拟环境中，NGT 也能够仅利用其他方法所需数据的一小部分，就学会像人类专家一样行走。它在数据稀缺的情况下，表现优于其他顶尖方法。

简而言之： NGT 通过让机器人与专家玩一场“匹配随机静电”的游戏来教它走路，从而使其即使在只有几秒钟视频演示的情况下，也能学会复杂的动作。

技术摘要：噪声引导传输 (Noise-Guided Transport, NGT)

问题陈述

本文解决了在低数据量场景下模仿学习 (Imitation Learning, IL) 面临的挑战，即仅能获得有限数量的专家演示数据。在这种设定下，标准的行为克隆 (Behavioral Cloning, BC) 往往会因为复合误差（compounding errors）而导致泛化失败；而传统的对抗模仿学习 (Adversarial Imitation Learning, AIL) 方法（如 GAIL、DAC）通常面临不稳定、需要重度正则化（如梯度惩罚）或依赖大规模预训练及高容量架构的问题，而这些在数据稀缺时效率极低。作者专门针对连续控制任务进行了研究，包括具有高维、复杂动力学特性的类人机器人 (Humanoid) 运动控制，其中数据匮乏是一个关键瓶颈。

方法论：噪声引导传输 (NGT)

NGT 是一种轻量级的离策 (off-policy) 模仿学习方法，它将奖励学习问题构建为一个通过对抗训练求解的最优传输 (Optimal Transport, OT) 问题，其理论基础是从随机先验中学习 (learning from random priors)。

核心机制

从随机先验中学习： 该方法利用一个冻结的、随机初始化的神经网络 ( $f^\dagger_\xi$ ) 作为“先验”，提供一个确定性的目标映射。一个可训练的预测网络 ( $f_\xi$ ) 被优化以匹配该先验的输出。
对抗性奖励学习： 与仅从专家数据中学习的标准单类方法不同，NGT 将智能体的行为视为负信号。它定义了一个势函数 $h_\xi(x) = \ell(f_\xi(x), f^\dagger_\xi(x))$ ，其中 $\ell$ 是一个非负匹配损失。奖励学习目标公式化为：
$L(\xi) = \mathbb{E}_{x \sim P_{expert}}[h_\xi(x)] - \mathbb{E}_{x \sim P_{agent}}[h_\xi(x)]$
最小化 $L(\xi)$ 用于训练 $h_\xi$ ，使其对专家数据赋予低值，对智能体数据赋予高值。最终奖励通过 $r_\xi(x) = \exp(-h_\xi(x))$ 推导得出，从而确保了正定性并强化了专家行为与智能体行为之间的对比。
最优传输等价性： 作者证明了在 1-Lipschitz 势函数空间内最小化 $L(\xi)$ 等价于最大化智能体分布与专家分布之间的推土机距离 (Earth Mover's Distance, EMD)。学习到的势函数 $h_\xi$ 体现了 Kantorovich-Rubinstein 对偶性，有效地创建了一个引导智能体趋向专家的 OT 代价景观 (cost landscape)。

实际实现与稳定性

为了确保 EMD 等价性所需的 1-Lipschitz 约束的理论保证，NGT 采用了特定的架构和训练选择：

谱归一化 (Spectral Normalization, SN)： 应用于预测器和先验网络的所有线性层，以约束其 Lipschitz 常数。
正交初始化 (Orthogonal Initialization, OI)： 用于冻结的先验网络，以确保映射是满秩的且具有单位奇异值，使先验的 Lipschitz 常数保持接近 1 而无需使用 SN。
损失函数：
- 对于标准任务，使用鲁棒的回归损失，如 Huber 损失。
- 对于高维、具有挑战性的任务（如 Humanoid），该方法采用了一种分布损失 ( $\ell_{HLG}$ )，具体为一种“高斯型”直方图损失。这通过标签平滑和序结构将回归问题转化为对分箱 (bins) 的分类问题，从而提高稳定性和泛化能力。这引入了一种架构上的不对称性，即预测器针对随机先验的每个维度输出一个分布。
无梯度惩罚： 与其他离策 AIL 基准方法（如 DAC、SAM）不同，NGT 不需要计算昂贵的梯度惩罚 (GP) 来维持稳定性，而是依靠 SN 和随机先验框架的特定设计。

核心贡献

新颖的奖励目标： 从随机先验学习问题中推导出对抗性奖励学习目标，该目标自然地结合了不确定性估计和伪密度估计。
理论基础： 证明了所提议的目标函数与最优传输（特别是 EMD）的对偶形式一致，为经验损失向真实目标的收敛提供了理论保证。
样本效率： 该方法在极少量数据（仅 20 个转换/transitions）的情况下即可实现强劲性能，且不需要预训练或专门的大规模架构。
仅状态能力 (State-Only Capability)： 能够在专家动作不可用的情况下进行模仿学习（仅状态设置），而在这种场景下大多数基准方法都会失效。
实际鲁棒性： 证明了谱归一化和正交初始化足以稳定离策对抗训练，消除了对梯度惩罚的需求。

实验结果

作者在 Gymnasium 连续控制套件上评估了 NGT，包括极具挑战性的 Humanoid-v4 任务，测试环境涵盖了低数据量场景（1、4 和 11 个专家演示）。

性能： NGT 一致地优于多种基准方法，包括 BC、PWIL、DAC/SAM、W-DAC/SAM、MMD-DAC/SAM、RED 和 DiffAIL。
低数据扩展性： NGT 在不同的演示数量和子采样率下表现出一致且稳定的扩展能力。
高维成功率： NGT 是唯一能在仅有 20 个转换的情况下，甚至在仅状态设置下，成功学习 Humanoid 运动的方法。虽然 DiffAIL 在 Humanoid 上展现了一定的潜力，但在其他任务上表现挣扎，且计算开销更高。
稳定性： 该方法在不同随机种子下的方差较小，且没有出现 GAN 类 IL 方法中常见的训练不稳定或模式崩塌问题。
效率： NGT 保持了与最快基准方法相当的竞争性运行速度（每秒步数），避免了像 DiffAIL 那样出现的运行时性能下降。

重要性与主张

本文声称 NGT 为数据稀缺环境下的模仿学习提供了一种轻量级、样本高效且具有理论基础的替代方案。通过利用从随机先验中学习和最优传输的原理，NGT 在无需复杂的预训练或不稳定的梯度惩罚对抗训练的情况下，实现了鲁棒的性能。

作者将这项工作定位为重新激发模仿学习在生物机器人学和医疗保健等应用领域关注的重要一步，因为在这些领域，获取多样化、高质量的专家演示受到患者可用性和临床变异性的限制。他们强调，该方法通过降低学习复杂控制策略的数据需求，使这些领域取得进展成为可能。该工作还表明，所提议的目标函数可能对一般的生成模型任务具有更广泛的适用性。