Ergodic Imitation for Adaptive Exploration around Demonstrations

技术摘要：基于演示的自适应探索之遍历模仿

问题陈述
在机器人学中，模仿学习（IL）面临一个关键挑战：由环境变化、不完善的观测或控制误差引起的训练条件与部署环境之间的不匹配。当机器人在此类不匹配情况下尝试遵循标称轨迹时，往往会陷入停滞并无法完成任务。虽然深度生成模型已被用于模仿学习，但它们经常过拟合演示数据，记忆特定的动作序列，而非学习可泛化的策略。因此，当前的方法在微小的分布偏移下依然脆弱。此外，现有的自适应探索方法主要局限于离散转换，缺乏在机器人装配等任务中进行细微状态空间调整所需的连续探索能力。核心问题在于需要一种在线策略，该策略既扎根于演示，又能在环境偏离训练分布时，自适应地从刚性跟踪过渡到探索。

方法论
作者提出了一种自适应遍历模仿方法，将跟踪与探索统一在单个控制器中。该方法基于专家状态轨迹数据集运行，省略了显式的动作标签，以专注于状态空间的覆盖。

1. 相位检索与进度估计：
   在每个重规划间隔，系统查询专家数据集，根据当前机器人状态找到最相关的上下文。它通过将当前状态与专家轨迹中的最近点进行比较，定义“相位误差”$e(t)$。使用虚拟参考时钟$\tau(t)$来跟踪进度：

   • 跟踪模式： 如果相位误差在阈值（$\epsilon$）内，时钟前进，系统跟踪演示。
   • 探索模式： 如果误差超过阈值（表明停滞），时钟冻结，停滞计数器递增。该信号触发向探索的转移。

2. 几何引导的分布生成：
   该方法利用随机微分方程（SDE）生成目标粒子分布$\{q_j\}$，该方程基于类温度进度变量$\theta$混合三个分量：

   • 标称吸引： 一个漂移项，将粒子拉向参考轨迹上的最近点。
   • 热核得分： 一个基于得分的项，将粒子偏向参考密度高的区域。
   • 各向异性扩散： 一个扩散项，设计为在垂直于轨迹的方向上比沿其切线方向更大。这鼓励垂直于路径的探索，同时保持沿路径的连贯性。

   随着相位误差和停滞计数器的增加，扩散包络变宽，允许机器人探索参考轨迹周围更大的邻域。

3. 基于 MMD 的覆盖感知遍历控制：
   系统采用使用最大均值差异（MMD）度量的滚动时域控制器，以最小化机器人时间平均状态访问与生成目标分布之间的差异。通过在 MMD 目标中包含最后十条轨迹，控制器确保新计划补充先前覆盖的区域，而不是重蹈覆辙。该框架通过利用几何感知核，自然地扩展到$SE(3)$和其他弯曲空间。

主要贡献
本文概述了四项主要贡献：

• 一种统一的方法，实现了从刚性模仿到自适应探索的连续行为谱，由自适应遍历模仿控制。
• 一种通过演示进行任务进度估计的机制，用于自适应地修改目标分布。
• 利用几何引导的各向异性扩散来合成目标分布，从而诱导跟踪和探索。
• 将 MMD 遍历度量集成到基于检索的模仿学习框架中。

结果
该方法在一个具有狭窄垂直间隙和杂乱目标区域的二维导航环境中进行了评估。

• 实验设置： 在标称布局中收集了成功的演示。在测试期间，移动间隙位置以引发部署不匹配。
• 性能： 当代理被墙壁阻挡（不匹配场景）时，它通过累积的相位误差检测到任务进度不匹配。这触发了通过各向异性扩散对目标分布的拓宽，使遍历控制器能够探索并绕过障碍物。
• 定量分析： 在涉及从标称布局周围的高斯分布采样的 50 个门位置偏移的测试中，所提出的方法始终找到了解决方案。相比之下，作者指出，基于检索或基于生成的方法在这些分布外场景中可能会达到 0% 的成功率，因为它们无法处理偏移的间隙位置。

意义与主张
本文将遍历控制不仅仅定位为区域覆盖或搜索的工具，而是作为模仿学习中自适应执行的原理性机制。其意义在于将范式从纯粹的轨迹回放转变为情境适应。通过将跟踪视为探索的一种特殊情况，该方法允许机器人在环境允许时复现演示的时间特征，而在机器人“陷入”时自主过渡到遍历探索。这种方法通过提供一种既扎根于演示又能处理环境分歧的连续行为谱，解决了当前模仿学习方法的脆弱性。