🤖 machine learning

A context-adaptive policy framework for robust and reactive robotic manipulation via uncertainty-aware imitation learning

本文提出了一种上下文自适应策略框架，该框架将任务参数化模仿学习与不确定性感知混合专家模型相结合，以生成能够适应变化环境条件的鲁棒且具反应性的机器人操控策略。

原作者： Tim R. Winter, Leonard Klüpfel, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Tim R. Winter, Leonard Klüpfel, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图教一个机器人制作精致的舒芙蕾或折叠一条湿毛巾。你不能只给它一套僵化的指令，比如“手臂向左移动，然后向下”。因为世界是混乱的。如果毛巾滑落了，或者舒芙蕾晃动了，一个遵循严格脚本的机器人将会失败或损坏物品。这就是**机器人操控（robotic manipulation）的核心：让机器在不断变化的世界中平稳、安全地运动。多年来，科学家们一直尝试通过模仿学习（Imitation Learning）**来解决这个问题，这是一种让机器人通过观察人类来学习的方法，就像孩子通过模仿父母来学习骑自行车一样。然而，大多数这类机器人就像只会死记硬背所见路径的学生；如果稍微将它们推离航道，它们就会惊慌失措并发生碰撞。它们缺乏一种“常识”，即意识到：“嘿，我处于一个奇怪的位置，我应该更加小心。”

这个领域的关键问题是：我们如何教会机器人既具有反应性（能够在世界发生变化时瞬间改变主意）又具有鲁棒性（能够处理错误而不发生碰撞），尤其是在涉及像软糯食物或变化的力等棘手任务时？这篇论文通过构建一种新型的机器人“大脑”来解决这个问题。作者提出的系统不再依赖单一、僵化的规则集，而是像一个专家团队，每个专家都了解一点情况，并对下一步该做什么进行投票。至关重要的是，这个团队知道自己何时感到困惑，并能请求帮助，从而确保机器人在遇到从未见过的东西时仍能保持安全。

机器人的“专家团队”

认识一下由蒂姆·温特（Tim

Winter）及其团队在德国航空航天中心提出的新型机器人大脑。想象一个机器人正试图从托盘中拿起一块鱼。如果鱼很滑，或者机器人的手抓握角度很奇怪，任务性质会瞬间发生变化。传统的机器人可能只会按照教它的方式继续移动，即使这会导致碰撞。然而，这个新框架使用了一个巧妙的技巧，叫做混合专家模型（Mixture of Experts, MoE）。

想象你在大雾中开车。你的脑海中有三个不同的“副驾驶”：

模仿者（The Imitator）： 这个副驾驶曾看过你在晴天完美驾驶的场景，它会说：“完全照着我看到的做！”
安全网（The Safety Net）： 这个副驾驶非常紧张。它看着地图说：“等等，我们离熟悉的道路太远了！让我们转向回到熟悉的路径，以免迷路。”
目标达成者（The Goal Getter）： 这个副驾驶专注于终点线。它说：“我们快到目的地了；让我们轻轻引导汽车平稳地停在那里。”

在过去，机器人通常只有第一个副驾驶（模仿者）。如果机器人迷路了，模仿者只会不停地瞎猜，往往导致危险的剧烈动作。这篇论文引入了一个系统，让这三个副驾驶协同工作。它们不仅仅是互相争吵，而是根据各自的信心程度来融合建议。

“信心计”是如何工作的

这里的秘诀在于不确定性感知（Uncertainty Awareness）。机器人使用一种称为**高斯过程回归（Gaussian Process Regression, GPR）**的数学工具来充当“信心计”。你可以把它想象成机器人的知识热力图。

热点区域（低不确定性）： 机器人见过许多演示样本的区域。在这里，“模仿者”非常有信心并占据主导地位。
冷点区域（高不确定性）： 机器人从未去过的区域。在这里，“模仿者”感到困惑。系统会检测到这种困惑，并自动将方向盘交给“安全网”，由它温柔地引导机器人回到它所熟悉的、安全的路径上。

这是一个巨大的转变。机器人不再只是记忆路径，而是理解自己在知识中的位置。如果它踏入了未知领域，它不会惊慌；它会本能地知道要采取保守策略，并返回已知领地。

“上下文”的转折：倾听世界

使这个框架真正特别之处在于它会倾听上下文（context）。大多数机器人只观察自己的身体（手臂在哪里）。但这个机器人还会观察周围的世界。

力（Force）： 如果你正在抓取一个脆弱的蛋，机器人能感受到压力。如果蛋是软的，机器人知道要更温柔一些。
形状（Shape）： 如果机器人拿着一条长而柔软的鱼，它知道鱼可能会以不同的方式悬挂。
阶段（Phase）： 机器人是刚开始抓取，还是即将放置物体？

作者通过教一个真实的机器人手臂（一台 7 自由度 KUKA LWR）完成三件棘手的事情来测试了这一点：

受力调节抓取（Force-Conditioned Grasping）： 拿起一个球，机器人必须根据挤压的力度来调整抓握力。
易变形食物（Deformable Food）： 将一块软糯的鱼肉放在托盘上。根据鱼被持有的方式（是从左边还是右边悬挂），机器人必须改变其接近方式。
以物体为中心的抓取（Object-Centric Grasping）： 从移动的传送带上拿起不同的物体（如芥末瓶或饼干盒）。

结果：更聪明、更安全、更快速

结果令人印象深刻。当研究人员将这种新的“专家团队”与旧方法进行对比测试时，差异是天壤之别。

旧方法： 当机器人从与训练时略微不同的位置开始时，旧有的“仅模仿者”机器人几乎 100% 失败。它们会偏离航道、撞到物体，或者只是原地打转。在一次传送带移动测试中，旧方法导致了 39 次碰撞且未能完成任务。
新框架： 新系统在模拟手写测试中实现了 100% 的成功率，并在现实世界的抓取任务中接近 100%。至关重要的是，在受力抓取和易变形食物实验中，它实现了零碰撞。

论文表明，通过添加“安全网”和“目标达成者”这两个副驾驶，机器人变得极其具有韧性。即使机器人被推离航道或物体发生意外移动，系统也会检测到不确定性，切换策略，并将机器人引导回安全、成功的路径。

这为什么重要

这不仅仅关乎机器人能否画出更好的字母（尽管它们确实做到了，在 LASA 手写数据集上取得了 100% 的成功）。这关乎让机器人能够在我们混乱、不可预测的家庭和工厂中实际工作。无论是处理光滑番茄的机器人厨师，还是在快速移动的传送带上组装零件的工厂机械臂，能够在变化条件下进行适应而不发生碰撞，是机器人学的圣杯。

作者指出，这种方法允许机器人从极少的示例（仅需几次演示）中学习，同时仍能在现实世界中安全运行。他们承认该系统目前还不完美；如果机器人离已知领域太远，它可能仍然会遇到困难，并且需要协助处理复杂环境中的障碍物规避。但就目前而言，他们已经构建出了一个知道何时有信心、何时需要谨慎的机器人大脑，将一个僵硬的机器变成了一个反应灵敏、适应性强的伙伴。

技术摘要：用于鲁棒且反应式机器人操控的上下文自适应策略框架

问题陈述

生成能够适应不断变化的上下文信息的鲁棒且反应式操控策略仍然是机器人领域的一个重大挑战。虽然通过基于动力系统（Dynamical Systems, DS）的方法，学习演示（Learning from Demonstration, LfD）已成为生成反应式策略的一种有效手段，但最先进的方法通常面临权衡。大多数基于 DS 的方法侧重于解决鲁棒性限制，却忽视了对环境上下文进行策略调节。因此，它们在根据任务相关变量（例如接触力、物体形状描述符）进行参数化方面缺乏灵活性，并且在面对扰动或未见的初始条件时，难以处理分布外（Out-of-Distribution, OOD）泛化问题，从而导致不可预测的行为或轨迹偏差。

方法论

作者提出了一种上下文自适应策略框架，通过使用**混合专家模型（Mixture of Experts, MoE）**将任务参数化、鲁棒且反应式的操控结合在一起。该框架在一个两层控制回路内运行：内环处理低层机器人动力学，而外环查询上下文自适应策略以生成期望的末端执行器速度。

该方法的核心是一个 MoE，它通过动态计算的混合系数合成三个截然不同的高斯分布专家策略：

LfD 策略（数据驱动专家）：
- 基础： 使用高斯过程回归（Gaussian Process Regression, GPR）来学习以机器人状态（位置和姿态）以及低维任务相关参数 ( $\mathbf{c}$ ) 为条件的策略。
- 功能： 模仿演示的运动。
- 局限性： 纯数据驱动的策略通常会出现虚假吸引子，并且无法在演示分布之外进行泛化。
稳定策略（不确定性感知专家）：
- 机制： 利用 GPR 提供的闭式认识不确定性（预测方差）。
- 功能： 通过沿预测方差的梯度生成动作，引导机器人向低认识不确定性的区域（即靠近演示轨迹的区域）移动。
- 创新点： 与以往工作不同，该策略将**姿态（orientation）**显式纳入状态空间，并利用位置与姿态的组合核函数，同时在平移和旋转方向上引导机器人。
目标吸引子策略（收敛专家）：
- 机制： 一种基于核函数的策略，通过识别相对于当前状态具有最高核激活度的演示目标位姿。
- 功能： 通过跟随核激活的梯度将机器人引向目标，确保实现向目标状态的经验收敛，而单纯的 GPR 无法保证这一点。

混合系数：
该框架采用状态相关的混合系数 ( $\pi$ ) 而非常数权重：

$\pi_{gap}$ （目标吸引子）：随着机器人接近目标位姿而增加。
$\pi_{sp}$ （稳定器）：随着预测不确定性（偏离数据的距离）增加而增加，但在接近目标时会降低，以优先考虑吸引子。
$\pi_{lfd}$ （LfD）：在不确定性较低且目标较远的演示区域附近平滑激活。

最终的控制动作是这三个专家均值的加权和。

核心贡献

论文确定了三个主要贡献：

显式的任务参数集成： 不同于以往仅考虑机器人状态的工作，该框架将通用的低维任务相关参数（如接触力、物体形状描述符、相位变量）显式地纳入学习到的策略中，从而实现对环境变化的适应。
不确定性感知的 MoE 形式： 该问题被表述为一个具有变化的、不确定性感知的混合系数的 MoE。这与以往假设常数系数的方法形成对比，允许系统根据当前状态的不确定性和与目标的接近程度，动态地在安全性（稳定策略）或收敛性（目标吸引子）之间进行优先级分配。
增强的稳定与收敛策略： 作者扩展了现有的稳定策略，将姿态作为状态的一部分，并引入了一种新型的基于核的目标吸引子策略。实验结果表明，这两项扩展对于提高鲁棒性和确保收敛是必要的。

实验结果

该框架在 LASA 书写数据集和三个真实场景中进行了评估，使用的是一台 7 自由度 KUKA LWR 机器人：

LASA 书写数据集：
- 提出的框架在从随机初始条件重现轨迹方面实现了 100% 的成功率，在收敛速度和轨迹保真度方面优于独立的 GPR、扩散策略（Diffusion Policies）和 SEDS（稳定弹性动力系统）。
- 与基准模型相比，它展示了卓越的 OOD 鲁棒性，而基准模型经常出现失败或漂移。
受力调节的抓取：
- 机器人成功抓取并运输球体，同时对变化的接触力做出反应。
- 系统表现出了反应性，能够重新抓取被手动掉落的物体，并根据变化的力参数调整其轨迹。
- 结果： 实现了 100% 的成功率且 0 碰撞；若移除稳定策略或目标吸引子策略中的任何一个，都会导致显著的失败或碰撞。
易变形食物制品的操控：
- 机器人根据抓取配置（通过边界框重叠度获取）调整鱼片放置策略。
- 结果： 实现了 95% 的成功率且 0 碰撞，成功处理了策略依赖于物体在夹具中形状的易变形物体。
以物体为中心的抓取（系统扩展）：
- 该框架被扩展到从静态和移动传送带上抓取三种不同的 YCB 物体。
- 系统处理了物体位姿、机器人起始位姿以及传送带速度（高达 0.03 m/s）的变化。
- 结果： 在动态条件下实现了高成功率（高达 100%），展示了基于任务阶段（抓取、放置、静止）切换策略的能力。

消融实验：

从稳定策略中移除姿态组件会导致机器人在从分布外姿态恢复时失败。
移除稳定策略或目标吸引子策略中的任何一个，都会导致机器人要么偏离演示轨迹，要么无法收敛至目标。

重要性与主张

作者声称，这项工作通过提供一种统一的方法，解决了文献中的空白，该方法结合了实时自适应、OOD 鲁棒性以及由任意外部参数进行的调制。

鲁棒性： 即使面对扰动、不同的初始条件或分布偏移，该框架仍能保持鲁棒性能，在实际任务中实现了高成功率且零碰撞。
数据效率： 通过利用 GPR 和 MoE 结构，该方法比基于扩散的方法需要更少的演示，同时在低数据量环境下能达到相当甚至更优越的性能。
反应性： 基于 DS 的形式化允许机器人实时响应变化的上下文信息（例如力变化、物体变形），而无需重新规划。
模块化： 模块化的 MoE 结构允许对策略进行即时添加或删除，增强了可解释性和可理解性。

论文总结道，虽然该方法是专门为低维、小数据场景设计的，但它为反应式物体操控（包括软体和易变形物体）提供了一个实用且有效的解决方案，且无需复杂的反馈规划。未来的工作建议探索其他的 LfD 表示形式（例如扩散策略），以便在利用所提框架鲁棒性的同时，处理更高维度的输入。