🤖 AI

A Few Words Go a Long Way: Language Guided Robot Policy Synthesis

本文介绍了 ARCHITECT，这是一个利用大语言模型（LLM）编码智能体通过迭代式自然语言修正来合成模块化、可解释的机器人策略的框架，该框架能够构建一个持久的技能库，在复杂的长程操纵任务中表现优于黑盒视觉-语言-动作模型。

原作者： Daphne Chen, Archit Ritesh Jain, Eric Goossen, Emma Romig, Michael Murray, Nick Walker, Maya Cakmak

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Daphne Chen, Archit Ritesh Jain, Eric Goossen, Emma Romig, Michael Murray, Nick Walker, Maya Cakmak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人做家务，比如折叠一件衬衫或关上抽屉。在机器人领域，有两种主要的方法可以实现这一点。第一种方法就像训练小狗：你向机器人展示成千上万段人类做任务的视频，它试图记住其中的模式。这被称为“从数据中学习”，也是许多现代机器人的工作方式。但问题在于：如果机器人看到了稍微不同的东西——比如颜色不同的衬衫，或者一个有点卡住的抽屉——它往往会感到困惑并失败，而且没人知道它为什么失败了，因为机器人的大脑是一个“黑盒”（一个谜团）。第二种方法就像给人类一份食谱。你写下具体的步骤：“拿起杯子”、“移动到桌子旁”、“放下它”。这被称为“程序合成”。它清晰且逻辑严密，但如果食谱稍有差错，机器人仍可能撞到东西，而且你必须从头开始重写整个食谱。

核心问题是：我们能否结合两者的优点？我们能否拥有一个既能理解我们的语言、遵循清晰指令，又能通过实时学习我们的错误来改进，而无需从头开始重新训练的机器人？这就是让机器人不仅聪明，而且具有“可操控性”的挑战——这意味着我们可以轻松地引导它们纠正错误，就像我们会引导朋友一样。

会通过你的话语学习的“机器人建筑师”

见见 ARCHITECT，这是一个由华盛顿大学、微软研究院和麻省理工学院的研究人员开发的全新机器人大脑。不要把 ARCHITECT 仅仅看作是一个记忆视频的机器人，而要把它看作是一个超级聪明的机器人建筑师，它能即时构建自己的说明书。

ARCHITECT 并不试图通过观察百万张图片来猜测该做什么，而是将机器人任务视为编写计算机程序。当你告诉机器人“折叠毛巾”时，它不会只是瞎猜；它会使用它已经掌握的一套构建模块（如“抓取”、“移动”和“观察”），一步步地编写一段小代码。

这里有一个神奇的技巧：如果机器人搞砸了，你不需要重新训练它。你只需要对它说话。

想象一下你在教一个机器人关抽屉。

尝试： 机器人编写了一个计划并尝试推抽屉。
失败： 它推了，但抽屉卡住了，或者它用力过猛导致机器人手臂震动。
纠正： 你说：“嘿，抽屉卡住了。试着从侧面轻轻推，而不是从正面推。”
修复： ARCHITECT 不仅仅是针对这一次进行修复。它会重写该特定步骤的代码，将新规则保存到它的**技能库（Skill Library）**中，并永久记住它。

这个技能库就像是机器人的永久笔记本。每当你给出纠正时，机器人就会在笔记本里写下一项新的“技能”。下次面对类似问题时，它会先检查自己的笔记本。这就像拥有一个能从每一次你帮助它纠正的错误中学习的机器人，它会变得越来越聪明，每天所需的纠正也越来越少。

为什么这很重要

研究人员在真实的机器人手臂（Franka Panda）上测试了它，涵盖了 8 种棘手的任务，包括折叠布料、关闭抽屉以及捡起藏在织物下的香蕉。

他们将 ARCHITECT 与当前的“明星级”机器人学习模型（称为 $\pi0$ 和 $\pi0.5$ 的模型）以及其他编码方法进行了对比。结果非常明确：

黑盒模型失败了： 顶尖的 AI 模型经常陷入僵局。例如，当被要求折叠布料时，它们可能会提起布料但无法完成折叠，或者如果你改变了句子的措辞，它们就会感到困惑。在最难的任务中，它们的失败率约为 0% 到 40%。
ARCHITECT 成功了： 在人类帮助下，ARCHITECT 在 80% 到 100% 的任务中取得了成功。它比处理棘手的布料折叠和隐藏香蕉的任务表现得更好。

但真正的魔力出现在观察投入程度时。

起初，机器人需要人类进行约 4.7 次纠正才能完成任务。
但一旦机器人通过之前的任务建立了它的技能库，对于新的、类似的任务，它只需要 0.8 次纠正。事实上，在研究中的 6 个人中有 3 个人在进行第二个任务时完全不需要任何纠正，因为机器人已经从第一个任务中学到了窍门。

机器人目前还做不到的事

论文谨慎地指出，ARCHITECT 并非完美。它依赖于它拥有的“工具”，比如它的眼睛（摄像头）和它的手（夹持器）。如果摄像头看不清，或者机器人的手太笨拙无法抓取光滑的球，ARCHITECT 仍可能面临困难。研究人员发现，机器人的最大失败点在于抓取物体——如果机器人最初无法正确抓取物体，再多的交谈也无法解决问题。

此外，它需要人类的帮助。它无法独自解决所有问题。研究表明，如果人类只给出一个纠正，机器人可能无法学到足够的东西来应对新的情况。它需要几次高质量的纠正来建立一个强大的“笔记本”。

总结

这篇论文表明，机器人的未来可能不在于喂给它们数百万个视频去记忆。相反，它可能在于对话。通过将机器人控制视为编写代码，并允许人类用简单的语言修复错误，我们可以构建出这样的机器人：

可解释性： 我们确切知道它们在做什么，因为它们在编写自己的计划。
适应性： 它们可以在无需昂贵重新训练的情况下学习新技巧。
高效性： 随着我们对它们说话，它们会变得越来越好。

正如作者所言，“寥寥数语，意义重大。”有了 ARCHITECT，今天的简单纠正可以节省未来的数小时麻烦，将一个笨拙的机器人变成一个真正倾听并能提供帮助的伙伴。

技术摘要：言简意赅：语言引导的机器人策略合成

问题陈述

视觉-语言-动作（VLA）模型展示了令人印象深刻的零样本操控能力，但面临着根本性的“适应性差距”。这些模型作为黑盒策略运行，难以解释、调整或在失败时进行纠正。在实际部署中，微小的分布偏移（例如新物体或场景扰动）会导致不可预测的连锁失败。此外，纠正这些失败通常需要昂贵的微调或收集海量的专家演示数据集，这对大多数用户来说成本过高。现有的模块化方法往往缺乏处理复杂推理的结构化先验，或者存在“规范差距”，即初始的自然语言指令不足以捕捉几何和物理上的细微差别，从而导致无法恢复的失败。

方法论：ARCHITECT

作者提出了 ARCHITECT（Agentic Robot Code with Human In ThE loop CorrecTions，人类在环纠正的智能机器人代码），该框架将机器人策略获取视为一种交互式程序合成任务。与端到端的 VLA 模型不同，ARCHITECT 使用大语言模型（LLM）作为编排代理，合成模块化、可解释的机器人程序。该系统不需要机器人特定的训练数据。

其核心工作流程包含三个关键组件：

语言引导的策略合成：
- 系统接收自然语言指令并合成可执行的 Python 代码。
- LLM 充当编排器，调用一系列异构工具，包括感知模块（如开放词汇检测器、抓取生成器）、控制原语（如通过 cuRobo 进行运动规划）以及本体感受传感器。
- 生成的代码通过在执行前查询机器人的状态和环境来实现场景落地（grounding）。
人类在环（HiTL）优化：
- 当策略失败或表现不佳时，人类监督者提供自然语言纠正（例如，“抓取位置太高了，尝试从边缘抓取”）。
- 代理分析执行轨迹（工具调用及其结果的日志），以定位导致失败的具体代码行或工具调用。
- LLM 重新合成程序以纳入该纠正，从而有效地引导策略，而无需重新训练底层的基础模型。
持久技能库：
- 为了防止纠正是瞬时的，ARCHITECT 将成功的纠正提炼到技能库中。
- 该库作为一种长期上下文学习的形式。在生成新策略之前，代理会将累积的所有技能与当前任务指令及执行轨迹一同加载。
- 这使得系统能够“记住”先前的纠正，并将它们作为高层原语重用于未来的任务，从而减少了重复的人类干预。

核心贡献

交互式程序合成框架： ARCHITECT 将范式从训练黑盒策略转变为通过迭代自然语言反馈来合成可解释的代码。
带有执行轨迹的模块化架构： 通过将纠正锚定在执行轨迹中，系统可以将失败隔离到特定的抽象层级（例如，感知 vs. 控制），从而实现精确的代码更新。
用于长期学习的技能库： 引入持久化的技能库使得积累可重用的行为库成为可能，使代理能够在不同任务和场景之间迁移知识，而无需重新训练。
以人为中心的适应： 该框架使非专家用户能够通过自然语言引导机器人行为，模仿人与人之间的教学，而不是要求机器人专家收集数千次演示。

实验结果

作者在 Franka Panda 机械臂上对 8 个多样化的操控任务进行了评估，包括关节物体操控（关闭抽屉）、可变形物体操控（折叠布料）以及长程任务（移开布料以露出香蕉）。

性能对比基准： ARCHITECT 显著优于最先进的 VLA 模型 ( $\pi_0$ $π_{0}$ 和 $\pi_0.5$ $π_{0} .5$ ) 以及程序合成基准 Code As Policies (CaP)。
- 在“关闭抽屉”和“折叠布料”等复杂任务中，VLA 模型和 CaP 的成功率接近于零，而 ARCHITECT 分别达到了 0.90 和 0.80 的成功率。
- ARCHITECT 对语言指令措辞的变化表现出鲁棒性，而 VLA 模型对提示词的特定性和改写表现出高度敏感。
人类努力摊销： 在人类评估研究中，技能库减少了新任务所需的纠正次数。当使用来自先前任务的技能库时，每次试验的平均查询次数从 4.67 次降至 0.83 次。
向新场景迁移： 在一个任务（如放置杯子）中获得的技能成功迁移到了结构相似但不同的任务（如放置盒子）中，使成功率从 0% 提高到 67%，且无需额外的人类纠正。
人类 vs. VLM 纠正： 作者发现，人类纠正对于解决涉及物理直觉（例如，“缓慢关闭夹持器，以免棒球滑落”）或 VLM 无法仅从像素中推断出的传感器噪声的失效模式至关重要。

重要性与主张

论文声称 ARCHITECT 提供了一种可控、数据高效且可解释的黑盒机器人学习替代方案。通过将策略获取视为一种交互式编码任务，该系统弥合了高层自然语言意图与底层几何执行之间的鸿沟。

作者强调“言简意赅”：人类监督者的一次自然语言纠正可以编码与多次自主重试循环等同的诊断和物理信息。通过合成持久的技能库，ARCHITECT 摊销了人类监督成本，实现了对新物体和新场景的快速适应。这项工作表明，对于通用机器人而言，通往自主化的路径不仅在于扩展数据，还在于创建能够将人类反馈结构化地集成到策略生成过程中的系统。