🤖 AI

ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback

本文介绍了 ORPA，这是一个通过添加一个轻量级的、以反馈为条件的模块来增强预训练机器人操控策略的框架，该模块能够预测实时的关节空间残差调整，从而在无需进行全策略重训练的情况下，实现即时的误差修正和对分布偏移的适应。

原作者： Muhammad A. Muttaqien, Tomohiro Motoda, Ryo Hanai, Yukiyasu Domae

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Muhammad A. Muttaqien, Tomohiro Motoda, Ryo Hanai, Yukiyasu Domae

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

能够拿起杯子、开门或对一堆物体进行分类的机器人，长期以来一直是工程师们的梦想。多年来，教机器掌握这些技能最有效的方法一直是模仿学习。在这种方法中，人类演示一项任务（例如通过用自己的手移动机器人的手臂），计算机程序则密切观察以学习其中的模式。随后，机器人会尝试独立模仿该模式。最近，强大的新计算机模型使这些机器人能够胜任复杂的任务，使它们能够以令人印象深刻的流畅度将长序列的动作串联起来。然而，这些数字学习者有一个显著的弱点：它们非常脆弱。如果物体移动了仅几英寸，超出了机器人的预期位置，或者机器人在执行任务时手臂轻微滑动，整个计划就会崩溃。由于机器人记忆的是特定的路径，它通常不知道如何恢复。修复这通常需要收集数千个新示例并重新训练整个系统，这个过程缓慢、昂贵，且无法在机器人实际工作时进行。

日本先进工业技术研究开发机构的一个研究小组提出了一种处理这些错误的不同方法。他们开发了一个名为“在线残差策略自适应”（Online Residual Policy Adaptation，简称 ORPA）的系统，该系统允许机器人根据简单的反馈实时纠正自己的动作，而无需重新学习整个任务。ORPA 并不是教机器人一种全新的移动方式，而是像一个微妙的向导，当情况出现轻微偏差时，它会微调机器人现有的计划。研究人员在名为 ALOHA 的双臂机器人平台上测试了该系统，该平台旨在模拟人类的双向操作。他们发现，当机器人遇到小错误（例如物体位置略有偏移）时，该系统可以立即调整其动作以取得成功，而标准的机器人则会失败。

这项工作的核心思想是将机器人的通用知识与其即时修正区分开来。机器人从一个预训练的“大脑”开始，这个大脑知道如何在理想条件下执行任务，且该大脑保持不变。当机器人开始移动时，一个独立的轻量级模块会监测情况。如果人类操作员发出信号表明情况有误——例如说物体“太靠左”或“太高”——该模块就会计算出一个微小的调整量。它并不会告诉机器人重新开始，而是为机器人当前的运动增加一个微小的修正。这种修正学习自那些研究人员特意引入微小误差并教授系统如何修复这些误差的数据。结果是，机器人既保持了原有的流畅行为，又获得了即时适应的能力，就像人类在感觉到杯子打滑时可以调整握力，而不需要重新学习如何拿杯子一样。

为了证明这一概念，研究人员在计算机模拟和现实世界中都进行了广泛测试。他们设置了需要高精度的挑战性任务，例如将方块从一只手转移到另一只手、将销钉插入紧密的孔洞中、打开瓶盖以及对各种物体进行分类。在模拟中，他们故意将目标物体移动到远离预期位置的地方，以模拟现实世界的混乱情况。依赖于原始训练的标准机器人，在这些困难试验中的成功率仅为 60%。当研究人员加入新的修正系统后，简单转移任务的成功率跃升至 90% 以上，而在更复杂的插入任务中也达到了 80% 以上。该系统还优于那些使用固定几何规则来修复错误的老方法。那些旧方法假设“太左”的信号总是意味着相同的移动量，无论上下文环境如何。而新系统则学习到，修正的大小取决于任务的具体时刻和机器人手臂的位置。

研究人员还将他们的方法与其他近期使用大语言模型来解释人类反馈的方法进行了比较。虽然那些系统展现出了潜力，但它们速度较慢，且需要在语言与物理运动之间进行复杂的转换。而新系统直接作用于机器人的关节运动，因此更加快速且高效。在物理机器人的现实测试中，改进是明显且细微的。对于移动零食盒或分类物品等任务，机器人本身已经做得相当不错，成功率约为 80%。有了新系统后，这个数字略有上升，但更重要的是，机器人变得更擅长从特定失败中恢复。例如，在需要精确接触和时机的困难任务——打开瓶盖中，该系统帮助机器人稳定了动作并更可靠地完成了任务。研究人员观察到，该系统并不需要每次都介入；它只在错误大到足以导致失败时才会介入，从而保留了机器人原始动作的自然流向。

这项工作为使机器人在非结构化环境中更加稳健提供了一条切实可行的路径。通过避免在每次出现新错误时都重新训练整个系统，研究人员创造了一种计算量轻且可用于实时使用的方案。该系统并非取代机器人已习得的技能，而是为其增加了一个灵活的修正层。在实验中，机器人通过根据收到的反馈调整其动作，学会了处理包括时间偏差和接触不完美在内的多种失效模式。研究结果表明，这种方法可以使机器人更可靠地处理复杂任务，即使在条件永远无法完全预测的环境中，也能在无需持续监督或重新编程的情况下，更有效地与人类协同工作。在模拟和物理硬件上的成功证明，微小的、习得性的调整可以显著提升复杂机器人任务的可靠性。

技术摘要：在线残差策略自适应 (ORPA) 用于机器人操控

1. 问题陈述

通过模仿学习（特别是像 Action Chunking with Transformers (ACT) 这样的基于 Transformer 的架构）训练的机器人操控策略在标称条件下表现出强大的性能。然而，这些策略在面对现实世界部署中遇到的微小执行误差、环境变化和分布偏移时，表现出显著的敏感性。在精密敏感的任务中（例如：拥挤环境下的抓取、狭窄空间的取放），末端执行器位置、姿态或时机的微小偏差往往会导致任务失败。

目前缓解这些失败的方法面临两个主要局限：

基于重训练的方法（例如 DAgger）： 需要大量的数据集聚合和完整的策略重训练。这些方法计算成本高、耗时长，不适用于实时或交互式部署。
基于规则的几何校正： 利用固定的逆运动学 (IK) 将反馈（例如“太靠左”）映射到预定义的偏移量。这些方法缺乏上下文感知能力，假设相同的反馈总是需要相同的校正，而忽略了任务阶段、物体配置或机器人状态的不同。这往往会导致过度校正或校正不足。

2. 方法论：在线残差策略自适应 (ORPA)

作者提出了 ORPA，这是一个旨在实现即时、基于反馈的机器人动作校正框架，且无需修改底层的预训练策略参数。ORPA 通过一个轻量级的、以反馈为条件的模块来增强冻结的基准策略 (ACT)，该模块直接在关节空间内预测残差调整。

核心架构

系统基于残差公式运行，最终动作是标称策略输出与预测校正量的之和：
$a_{final} = \hat{a}_{ACT} + \Delta a$

该框架由三个主要部分组成：

冻结的基准策略 (ACT)： 根据多模态观测（RGB 图像和机器人状态）生成具有时间连贯性的关节空间动作块 ( $\hat{a}_{t:t+k}$ )。在 ORPA 训练和部署期间，该策略保持不变。
反馈编码器： 一个轻量级的 Transformer 组件，将人类的纠正性反馈（例如“太靠左”、“太高”、“很好”）转换为紧凑的潜在表示 ( $r_t$ )。反馈被标记化并映射到可学习的嵌入空间。
策略更新器： 一个基于 Transformer 的模块，它获取编码后的反馈 ( $r_t$ )、当前观测值 ( $o_t$ ) 以及标称的 ACT 动作块 ( $\hat{a}_{t:t+k}$ )，以预测残差动作校正 ( $\Delta a_t$ )。

训练与数据生成

为了避免收集大规模纠正演示的成本，ORPA 采用了合成数据生成策略：

扰动： 通过遥操作收集成功的演示轨迹。引入对物体位置和姿态的受控扰动，以模拟失败场景。
标注： 扰动被自动标注为相应的反馈信号（例如，向左的偏移被标注为“太靠左”）。
目标计算： 残差校正的训练目标是参考动作（来自成功轨迹）与扰动动作之间的差异： $\Delta a^* = a_{ref} - a_{perturbed}$ 。
优化： 使用均方误差 (MSE) 损失函数，在保持基准 ACT 策略固定的同时，对反馈编码器和策略更新器进行训练，使校正后的动作趋近于参考动作。

3. 核心贡献

无需重训练的实时自适应： ORPA 通过学习残差校正，实现了执行过程中的即时行为精炼，消除了对计算昂贵的策略重训练或微调的需求。
上下文感知的校正： 与应用固定偏移量的基于规则的 IK 方法不同，ORPA 学习的是上下文相关的校正。调整的幅度与方向会根据任务阶段、物体配置和执行上下文而变化。
关节空间操作： 该框架直接在关节空间内预测校正，绕过了运行时显式的正向或逆向运动学转换循环。
可扩展的数据合成： 该方法证明了可以通过受控扰动从成功的演示中自动生成高质量的纠正监督，从而减少了对人工遥操作进行错误校正的依赖。

4. 实验结果

该框架在仿真和现实环境中均在 ALOHA 双臂机器人平台上进行了评估。

仿真结果

任务包括精密取放和双臂插入。在失败条件下（空间扰动）：

方块转移： 基准 ACT 策略的成功率为 60.0%。ORPA 将其提升至 92.3%（离散反馈）和 91.7%（连续反馈）。
双臂插入： 基准成功率为 60.0%。ORPA 提升至 80.3%（离散）和 84.7%（连续）。
对比： ORPA 一致优于基于规则的 IK 基准（成功率约为 76–81%）和基于语言的 OLAF 框架 (78.5%)。作者将 IK 基准较低的性能归因于其缺乏任务阶段感知能力和固定的校正幅度。

现实世界结果

在三个任务上进行了评估：零食盒转移、瓶盖开启和物体分类。

性能： 基准 ACT 策略展现出强大的固有鲁棒性（得分 0.79–0.83）。ORPA 变体进一步提高了这些得分，其中“动作 + 观测”扰动策略取得了最高结果（例如，零食盒转移为 0.86）。
定性观察： ORPA 成功地从执行失败（例如由于位移导致的抓取错误）中恢复，通过精炼动作轨迹实现。至关重要的是，系统表明纠正性反馈并非总是必要的；如果误差在基准策略的恢复能力范围内，残差模块会正确预测极小的调整。

5. 重要性与主张

论文声称 ORPA 为开发自适应机器人操控系统提供了一个实用且高效的方向。其主要意义在于弥合了模仿学习的高性能与现实世界部署所需的鲁棒性之间的差距。

效率： 通过避免全策略重训练，ORPA 能够实现对分布偏移的即时自适应，使其适用于交互式和实时场景。
灵活性： 这种基于学习的方法可以捕捉复杂的、上下文相关的行为，这是基于规则的几何校正无法做到的，例如根据机器人是在接近、抓取还是放置物体来调整校正幅度。
谦逊： 作者承认，虽然 ORPA 显著提高了鲁棒性，但基准 ACT 策略本身已经具备了一定程度的固有鲁棒性。该框架被定位为一种增强手段，用于精炼行为而非替代底层策略，专门针对那些微小的执行误差会导致失败的场景。

该研究得出结论，在线残差自适应为开发更具交互性和韧性的机器人控制系统提供了一条可行路径，且不会带来持续重训练的计算开销。