💻 computer science

CRAFT: Coaching Reinforcement Learning Autonomously using Foundation Models for Multi-Robot Coordination Tasks

该论文提出了 CRAFT，这是一个利用大语言模型将复杂的多机器人协作任务自主分解为子任务，并利用视觉语言模型来优化奖励函数，从而在无需人工设计奖励的情况下实现协作行为的有效学习与现实世界迁移的框架。

原作者： Seoyeon Choi, Kanghyun Ryu, Jonghoon Ock, Negar Mehr

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Seoyeon Choi, Kanghyun Ryu, Jonghoon Ock, Negar Mehr

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教两只狗进行一场复杂的舞蹈表演，比如在不互相碰撞的情况下穿过一道窄门，或者一起抬起一个沉重的锅而不洒出汤。

如果你只是把它们扔进房间并说：“做起来！”它们很可能会感到困惑、互相绊倒，并且永远学不会。这就是加州大学伯克利分校的研究人员在面对机器人时所面临的问题。他们希望机器人能够协同工作，但标准的计算机训练方法失效了，因为任务太长、太复杂，而且机器人之间无法通过“交谈”来提前规划。

CRAFT 登场了。

把 CRAFT 想象成一个超级聪明、由 AI 驱动的教练，它不仅仅是在观察机器人，它还在积极地教它们如何学习。以下是这个“教练”的工作原理，分为简单的步骤：

1. 教练将大任务分解为小练习（课程生成）

想象一位足球教练。他们不会立刻告诉新球队：“去赢得世界杯！”相反，他们会将其拆解：“今天，我们练习传球。明天，我们练习射门。下周，我们练习防守。”

CRAFT 使用大语言模型（LLM）——一种非常擅长理解语言和逻辑的 AI 类型——来充当这个教练。当面对一个宏大且困难的任务（如“两个机器人必须穿过一道门”）时，教练会将其分解为一系列更小、更容易的步骤：

第 1 步： 只学习如何在不撞到门的情况下行走。
第 2 步： 学习如何走过那道门。
第 3 步： 学习如何协作，让其中一个等待，另一个通过。

2. 教练编写游戏规则（奖励生成）

在机器人训练中，机器人通过通过做正确的事获得“分数”（奖励）以及因做错事而失去分数来学习。通常情况下，人类必须编写这些规则，而这非常困难。

CRAFT 的教练使用 AI 来为每个小练习编写评分规则。

示例： 对于“走过门”这个练习，AI 会写下一条规则，说：“如果你靠近门，你会获得分数，但如果你撞到门，你会失去分数。”
AI 会将这条规则写成机器人可以理解的计算机代码。

3. 教练观察并进行点评（策略评估）

一旦机器人开始尝试练习，一个视觉语言模型（VLM）——一种能够“看到”视频并理解正在发生什么的 AI——就会观察这些机器人。它扮演着裁判的角色。

它们成功了吗？ 如果成功了，教练会说：“做得好！让我们进入下一个练习。”
它们失败了吗？ 如果它们碰撞或卡住了，裁判并不仅仅是说“失败”。它会查看视频和得分历史，以弄清楚为什么失败。也许机器人太专注于保持平衡，而忘记了向前移动。

4. 教练调整规则（奖励优化）

这是神奇之处。如果机器人失败了，教练并不会放弃。

“裁判 AI”会给出建议：“机器人在平衡方面得到了太多分数，而在向前移动方面得到的太少。移动的规则需要更强一些。”
“教练 AI”接收这个建议，并重写评分规则以解决问题。
机器人再次尝试。它们不断重复这个循环（尝试 -> 观察 -> 修改规则 -> 再次尝试），直到掌握那个特定的练习。

结果：从模拟到现实

研究人员在两个主要挑战上测试了这一点：

四足机器人导航： 两台四足机器人（类似于狗）学习在不发生碰撞的情况下穿过窄门。
双臂操作： 两只机械臂学习共同抬起一个沉重的锅，同时保持水平。

发生了什么？

在没有这个教练的情况下，其他方法要么失败了，要么学到了奇怪、不自然的动作（例如为了得分而以不可能的方式扭曲关节）。
有了 CRAFT，机器人学会了平滑地协作。它们先学习基础知识，然后逐步过渡到高难度任务。
现实世界测试： 最棒的部分是，研究人员将他们在计算机模拟中训练好的机器人，应用到了真实的物理机器人（Unitree Go1 和 Go2）上。无需任何额外调整，这些机器人在现实世界中成功地穿过了门，证明了这种训练在模拟环境之外同样有效。

总结

CRAFT 就像是一个耐心且聪明的机器人导师。它不再仅仅寄希望于机器人能自行摸索复杂的团队协作，而是：

将大任务简化为小步骤。
为每一步创建定制化的规则。
观察机器人并在出错时修正规则。
引导它们从简单的练习过渡到复杂的协作，最终使它们能够完成通过其他方式无法学会的现实任务。

技术摘要：CRAFT —— 利用基础模型进行多机器人协作任务的自主强化学习教练

1. 问题定义

本文探讨了将多智能体强化学习（MARL）应用于现实世界多机器人协作任务所面临的挑战。虽然 MARL 为去中心化决策提供了框架，但其在机器人领域的应用受到以下因素的阻碍：

高维连续联合动作空间。
稀疏且复杂的奖励设计： 定义既能捕捉个体行为又能体现必要团队协作的奖励非常困难。
非平稳性： 同时学习的智能体为彼此创造了一个不断变化的动态环境。
长时程任务： 需要在多个阶段进行富接触行为的任务往往会失败，因为早期交互中的微小误差会阻碍后续任务的成功。

作者提出，人类通过“教练”（coaching）来学习复杂的协作——这一过程涉及课程设计（将任务分解为子任务）、提供学习信号（奖励）以及评估进度。他们认为，基础模型（大语言模型 - LLM 和视觉语言模型 - VLM）可以自动化这一教练角色，实现任务分解、生成奖励并根据视觉和定量反馈进行优化。

2. 方法论：CRAFT 框架

CRAFT（利用基础模型自主进行协调任务强化学习教练）是一个由四个关键模块组成的自动化教练循环：

2.1 课程生成模块

课程 LLM 将一个长时程目标任务 ( $M_{target}$ ) 分解为一系列 $K$ 个子任务 ( $M_1, \dots, M_K$ )。

流程： LLM 接收任务和环境的自然语言描述。为了减轻 LLM 输出的随机性，系统会生成多个候选课程，并提示 LLM 将其精炼为一个连贯的单一课程。
落地（Grounding）： 子任务使用特定的环境状态变量（例如，“最小化到手柄的欧几里得距离”）而非模糊的自然语言进行描述，以确保精确的奖励设计。

2.2 奖励函数生成模块

对于每个子任务 $M_k$ ，奖励生成 LLM 将自然语言描述转化为可执行的 Python 奖励函数 ( $R_k$ )。

上下文： 提供给 LLM 环境描述、辅助函数（用于处理高维状态）以及来自先前子任务的奖励函数，以防止灾难性遗忘。
结构： 奖励被分解为可解释的组件（例如，lift_reward、balance_reward），以便于后续分析。
训练： 使用中心化训练与去中心化执行（CTDE）算法（具体为 MAPPO）来训练去中心化策略 $\pi_k$ 。

2.3 策略评估模块

在进入下一个子任务之前，评估 VLM 会评估已训练的策略 $\pi_k$ 。

输入： VLM 分析展开图像（视觉快照）和状态变量轨迹。
决策： 它判定策略是否成功完成了该子任务。
- 成功： 课程进入 $M_{k+1}$ 。
- 失败： VLM 提供失败原因，触发精炼循环。

2.4 奖励精炼模块

如果策略失败，系统将进入精炼循环（最多进行 $J$ 次迭代，通常 $J=3$ ）：

建议生成： 建议 VLM 分析失败原因、当前的奖励代码以及奖励组件学习曲线（显示特定奖励项如何随训练演变的图表）。它生成关于如何修改奖励的自由形式建议（例如，“增加提升项的权重”、“移除高度项上的平方项”）。
奖励精炼： 精炼 LLM 接收失败的奖励代码和 VLM 的建议，生成一个新的、精炼后的奖励函数 ( $R^{j+1}_k$ )。
重训： 使用新的奖励对策略进行重训。如果所有尝试均失败，则选择迭代中的最佳策略，并进入下一个子任务。

热启动（Warm-Starting）： 当移动到新子任务时，策略权重从前一个成功子任务的策略权重进行初始化。为了防止“塑性丧失”（收敛至局部最优），系统会重置探索参数（策略标准差）和价值网络权重，同时保留 Actor 网络权重。

3. 核心贡献

CRAFT 框架： 一个利用基础模型的推理能力，自主教练多机器人团队完成长时程协调任务的新颖框架。
自动化的课程与奖励设计： 集成了用于任务分解和奖励生成的 LLM，以及用于视觉评估和奖励精炼的 VLM，减少了对人工设计课程和奖励函数的需求。
实证验证： 在复杂的多机器人任务（四足机器人导航和双臂操作）上证明了 CRAFT 的有效性，而标准的 MARL 和基准 LLM 方法在这些任务上表现不佳。
现实世界迁移： 实现了从仿真到物理硬件（Unitree Go1 和 Go2 四足机器人）的零样本策略迁移，无需任何微调。

4. 实验结果

作者在三个环境中评估了 CRAFT：四足机器人过门（窄门通过）、四足机器人跷跷板（平衡与攀爬）以及双臂抬举（协作抬起物体）。

性能对比基准：
- CRAFT 在跷跷板任务（59.33%）和抬举任务（94.67%）中取得了最高的成功率，并在过门任务中保持了竞争力（78.33%）。
- 基准方法： “Env Reward”（人工设计）和 “Example Reward” 的成功率接近于零或极低。“From Scratch”（没有课程的 CRAFT 奖励）表现明显逊于 CRAFT，凸显了课程的必要性。
- LLM 基准： 与 Eureka（没有课程的 LLM 奖励搜索）和 CurricuLLM（没有 VLM 精炼的 LLM 课程）相比，CRAFT 均表现更优。Eureka 通常会学习到具有不自然关节配置的、物理上难以实现的策略，而 CurricuLLM 由于缺乏奖励精炼，可靠性较低。
奖励精炼有效性： 与 CurricuLLM 相比，由 VLM 引导的精炼循环显著提高了“课程成功率”（产生成功策略的试验比例）和“最大成功率”。
VLM 可靠性： VLM 策略评估模块相对于地面真值达到了 85.71% 的准确率，其错误多为保守的假阴性（拒绝成功的策略），这在实践中是可以接受的，因为它只会触发进一步的精炼。
硬件迁移： 在四足机器人过门任务中，在仿真中训练的策略在物理机器人上运行 20 次后，无需任何微调即可实现 65% 的成功率，展示了鲁棒的 Sim-to-Real 迁移能力。

5. 重要性与主张

本文主张 CRAFT 证明了使用基础模型作为多机器人系统自主教练的可行性。其重要性在于：

减少人工干预： 自动化了为复杂协调任务设计课程和奖励函数的繁琐过程。
实现复杂协调： 成功学习了通过直接训练或静态奖励设计难以获得的行为，特别是在长时程、富接触的场景中。
物理合理性： 阶段式课程方法引导智能体走向物理上可行的行为（例如，在提升之前先实现稳定的抓取），而不是仅仅针对最终成功进行优化，这避免了像 Eureka 这种直接优化方法中常见的产生不自然运动的问题。

承认的局限性：

随机性： 对基础模型的依赖引入了变数；某些试验可能会因为较差的课程或奖励生成而失败，但在仿真中可以通过多次尝试来解决。
对 VLM 的依赖： 评估模块严重依赖数值状态轨迹而非纯粹的视觉信息，这可能会限制对视觉定位失败（例如，空间协调性差）的检测。
可扩展性： 当前方法在每个子任务中需要多次 LLM/VLM 查询，这可能在计算上较为昂贵，但作者指出这对于测试的任务是足够的。

作者总结道，尽管基础模型引入了随机性，但它们自主分解任务和精炼奖励的能力，为实现现实环境中可扩展且可靠的多机器人协调提供了一条充满前景的路径。