技术摘要：HARBOR：一种用于智能体机器人强化学习的护栏框架

1. 问题陈述

强化学习（RL）已成为机器人学习领域的主导范式，特别是在模拟到现实（sim-to-real）的场景中，策略在仿真环境中训练并迁移到物理硬件上。然而，强化学习更广泛的应用受到了其背后繁重的工程管线限制，而非算法本身。从业者必须手动构建数字孪生、设计奖励函数、校准领域随机化并调整超参数——这些任务对于单个设置往往需要专家投入数天或数周的精力。

尽管先前的研究探索了自动化该管线中孤立组件的方法（例如，大语言模型引导的奖励合成、自动领域随机化或用于超参数调优的 AutoRL），但这些系统通常无法解决完整的流程。从业者仍需承担配置模拟器、将生成的奖励连接到训练代码、管理计算集群以及在不同任务间手动转移成功设计等负担。这种碎片化阻碍了 RL 工作流在快速部署或大规模通用机器人学习中的有效扩展。

2. 方法论：HARBOR 框架

作者引入了 HARBOR，这是一个将机器人 RL 自动化重新定义为“护栏工程”（harness-engineering）问题的护栏框架。HARBOR 并非仅仅依赖于强大的大语言模型（LLM）来生成代码，而是提供了一个结构化的执行环境，通过标准化接口协调专门的智能体。

核心架构

HARBOR 将高层目标（给定一个模拟器代码库和任务规范）分解为由专门智能体执行的有界阶段。该框架由元组 $H_{RL} = (H_A, C, M, G, K)$ 定义：

• 智能体 ($H_A$)： 被分配到特定阶段（如依赖项设置、任务生成、奖励设计）的上下文隔离子进程。它们在本地伪影和检索到的知识上运行，并向中央控制器返回紧凑的摘要。
• 命令 ($C$)： 暴露给智能体的可复现操作（例如，rl-sweep、tune-reward）。这些命令基于内置的模板和脚本，确保在不同智能体之间执行的一致性。
• 可变伪影 ($M$)： 持久且可检查的文件，用于外部化工作流状态（例如，配置文件、训练日志、视频）。这减少了对瞬时 LLM 上下文的依赖，并作为智能体之间的通信基质。
• 可验证门控 ($G$)： 用于确定一个阶段是否可以推进的可执行检查。这些包括硬性接口检查（如导入是否成功、设备检测）和软性语义检查（如展开行为、奖励诊断）。如果门控失败，智能体会收到失败摘要以修复伪影；如果通过，则提交状态。
• 可复用知识 ($K$)： 一个包含模板、参考资料、脚本、人类启发式方法以及从先前运行中积累的经验的仓库。这使得系统能够提炼模式（例如，有效的奖励项、不稳定的参数范围），并在后续试验中复用它们以提高效率。

执行协议

系统通过集中控制、分布式执行模型运行：

1. 编排： 主智能体检索相关知识，并将专门的子智能体派发到有界的阶段。
2. 并行试验： 迭代阶段（如奖励调优和超参数优化）作为隔离目录中的并行试验执行。这防止了主智能体的上下文膨胀，并允许在计算集群上进行异步执行。
3. 经验学习： 在试验结束之后，主智能体聚合结果，将循环出现的模式提炼为要点，并更新可复用知识库。这使系统能够从多次运行的失败和成功中学习，从而随时间提高性能。
4. 门控检查进度： 只有在执行门控验证了其输出后，智能体才能推进阶段。这防止了错误向下游传播，并允许在重试预算耗尽后进行人工干预。

3. 主要贡献

本文提出了三个主要贡献：

1. 问题建模： 它将机器人 RL 自动化建模为一个护栏工程问题，识别了使长程自动化成为可能的特定接口（MDP 组件）和反馈信号（展开过程、训练曲线）。
2. 系统实例化： 它展示了 HARBOR，一个利用智能体-命令-伪影-门控-知识范式，将自然语言机器人学习目标转化为自动化、可靠工作流的系统。
3. 可访问性与可审计性： HARBOR 被实现为一个文档齐全的 LLM 智能体插件。它对持久化伪影和门控检查点的利用，使得从业者能够审计、介入并调整管线，降低了超越专家使用水平的准入门槛。

4. 实验结果

作者在 6 个基准测试 和 16 个任务 上评估了 HARBOR，涵盖了操纵、运动控制和双臂灵巧控制。评估套件包含了多样化的仿真后端：IsaacLab、Bi-DexHands (IsaacGym)、ManiSkill (Sapien)、Genesis、MJLab (Warp) 和 Loco-Mujoco (MJX)。

端到端自动化与实机迁移

• 仿真性能： HARBOR 在四个模拟器（IsaacLab, ManiSkill, Genesis, MJLab）和四个操纵任务（Stack-Cube, Insert-Drawer, Lift-Box, Dex-Grasp）中成功实现了全流程自动化（从依赖设置到策略训练）。在 IsaacLab 任务上，它达到了 88.5% 至 100% 的成功率。
• 实机迁移： 通过 HARBOR 训练的策略成功迁移到了真实机器人（Franka 双臂和带有 Allegro 手的 xArm）。虽然成功率因模拟器物理特性而异（例如，由于物理识别挑战，在 MJLab 上的表现较低），但该框架展示了适配奖励结构和领域随机化以进行现实世界执行的能力。
• 奖励设计： 与基准模型 Eureka 和 REvolve 相比，HARBOR 表现出持续的优势，特别是在长程任务（Stack-Cube）和复杂交互（Insert-Drawer）方面。系统利用展开行为反馈进行诊断，并利用人类启发式方法进行分阶段奖励构建的能力，是其成功的关键。

RL 算法调优

HARBOR 被用于在桌面操纵、双臂灵巧控制和运动控制任务中对 PPO、SAC 和 TD3 进行调优。

• 性能提升： 在 12 个中的 11 个 任务设置中，经过 HARBOR 调优的配置达到或超过了默认配置。
• 样本效率： 调优后的策略在样本效率方面表现出显著提升（通过曲线下面积和达到回报阈值的时间来衡量），在特定任务（如 UnitreeGo2 上的 SAC）中增益高达 516%。
• 复杂任务成功： 值得注意的是，HARBOR 使 SAC 能够学习原本基准模型无法完成的任务（ShadowHandDoorOpenIn, ShadowHandDoorCloseIn）。

消融实验与效率分析

针对 ManiSkill Push-Cube 管线的消融研究对比了完整的 HARBOR 框架与缺乏特定组件（无子智能体隔离/并行性、无门控、无经验）的变体以及原始基准模型。

• 可靠性： 完整的 HARBOR 框架实现了最高的可靠性（48/50 次成功运行），而原始基准模型为 29/50。
• 成本与时间： HARBOR 是最具成本效益的配置，与原始基准模型相比，减少了约 4.2 倍 的墙钟时间，并显著降低了 Token 成本。
• 组件影响：
  • 隔离 (CCDE)： 移除子智能体隔离会增加上下文税和运行时间，降低迭代阶段的成功率。
  • 门控： 移除门控会导致静默失败（例如渲染缺陷），并降低奖励生成和调优的成功率。
  • 经验： 移除可复用知识会大幅降低生成阶段的可靠性（奖励生成的成功率降至 2/10）。

5. 意义与局限性

论文声称，HARBOR 证明了通过将工程管线视为结构化护栏而非纯粹的代码生成任务，可以实现端到端的机器人 RL 自动化。通过利用可执行反馈和持久化伪影，该系统降低了工程投入和成本，同时产生了能够进行实机迁移的策略。

局限性：

• 知识依赖： HARBOR 的能力受限于其智能体所暴露的工具和先验知识。缺乏先前脚手架的新颖任务可能需要多次修复迭代或导致失败。
• 模拟到现实的边界： 虽然 HARBOR 自动化了仿真管线，但部署到物理机器人仍需要针对机器人接口的人工工程和人类反馈循环。
• 策略架构： 当前实现支持相对简单的策略架构；将扩展到视觉-语言-动作（VLA）或基于世界模型的策略被列为未来的研究方向。

作者将 HARBOR 定位为不是人类专业知识的替代品，而是一个降低准入门槛的系统，允许从业者审计并适配管线，从而扩展 RL 在多样化机器人任务中的应用。