💻 computer science

SUN: Persistent Programs For Language-Grounded Control-to-Learning-to-Real Policies

本文介绍了 SUN（语义统一）程序和 Kuafu 系统，它们通过自动合成统一了 MPC 验证与 RL 训练的、具有类型化且具备语言落地能力的执行程序，从而架起了基于模型的控制与学习策略之间的桥梁，进而实现了无需人工密集奖励或人类演示的鲁棒长时程操控。

原作者： Weiqi Wang, Zhi Li, Yudong Lei, David Martinez, Xiaofeng Gao, Yuxin Jiang, Chenfanfu Jiang, Yingnian Wu, Demetri Terzopoulos, Ran Gong

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weiqi Wang, Zhi Li, Yudong Lei, David Martinez, Xiaofeng Gao, Yuxin Jiang, Chenfanfu Jiang, Yingnian Wu, Demetri Terzopoulos, Ran Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

长期以来，机器人一直是工厂车间的专家，能够毫无差错地重复成千上万次相同的精确动作。然而，当被要求在杂乱、不可预测的家庭环境中执行复杂的、多步骤的任务时——例如打开抽屉、取出瓶子并将其放在桌子上——它们往往会出错。难点在于如何弥合两种不同思维方式之间的鸿沟。一种方法依赖于僵化的数学规则来计算每一个关节的角度和力量，以确保机器人不会发生碰撞，但这种方法非常脆弱，一旦世界发生微小的变化就会失效。另一种方法则使用试错学习，即机器人通过练习直到掌握一项任务，但这通常需要数千小时的人类演示或难以设计的精心构建的奖励机制。多年来，这两种方法一直处于各自独立的领域，僵化的规划器无法适应变化，而学习者则无法理解任务的深层逻辑。

加州大学洛杉矶分校的研究人员及其同事推出了一种名为 Kuafu 的新系统，试图将这两种方法编织在一起。他们没有将机器人的指令视为瞬时的目标或僵化的剧本，而是创建了一个持久的、类型化的程序，作为整个过程的单一事实来源。他们称这个程序为“语义统一”（Semantically Unified）或 SUN 程序，该程序以计算机可以理解的方式编写，能够理解物体之间的物理关系，例如抽屉把手朝向哪边，或者瓶子必须抬起多高。至关重要的是，同一个程序被用于验证机器人的动作、教导它如何移动，以及生成用于从零开始学习所需的数据。通过在从初始规划阶段到最终学习阶段的整个过程中保持任务核心含义的一致性，该系统防止了机器人偏离其原本应当完成的任务。

系统首先接收来自人类的一个简单的语言指令，例如“打开抽屉并将杯子放入其中”。人工智能代理读取这条指令，并通过选择描述物理动作和约束的预定义构建模块来构建 SUN 程序。随后，它在高度逼真的模拟环境中测试该程序，利用一种复杂的控制方法来观察该任务在物理上是否可行。如果模拟显示指令存在缺陷或无法执行，系统会在任何学习开始之前自动修复程序。这一筛选过程至关重要，因为它确保了机器人永远不会被要求去学习一个无法完成的任务，从而在浪费时间及计算能力之前过滤掉错误的构想。

程序经过验证后，系统利用它生成数千个机器人执行该任务的成功案例。这些案例并非随机的运动；它们受持久程序的引导，该程序记录了任务的每一个阶段，从机械臂接触把手的那一刻到抽屉完全打开的那一刻。机器人随后从这些案例中学习，首先是通过模仿成功的动作，然后是通过一个受到原始程序严格约束的试错过程进行优化。这确保了虽然机器人学会了变得灵活且具有反应性，但它永远不会丢失最终目标。结果是，该策略能够以以往方法无法实现的可靠程度，执行复杂的、多阶段的任务。

在涉及九种不同操作任务（从堆叠方块到重新定向瓶子和打开抽屉）的一系列测试中，该系统表现出了比现有方法显著的改进。虽然其他依赖稀疏奖励或在线规划的方法在成功率不足三分之一时表现挣扎，但这个新系统实现了超过 82% 的成功率。研究人员发现，该系统在处理需要多个步骤的任务时特别有效，即使在序列复杂度增加时也能保持性能。此外，该系统生成的数据质量极高，使得视觉学习模型在 46% 的试验中取得成功，这一数字是其他生成方法训练的模型成功率的两倍多。

衡量任何机器人系统的真正标准是它能否从计算机模拟的安全环境转移到现实世界。为了验证这一点，研究人员将训练好的策略部署在由 Franka 和 Kinova 制成的物理机器人上，利用摄像头引导机器人的动作，而无需事先了解特定任务的结构。在没有任何额外调优或现实世界实践的情况下，机器人在各种配置下成功完成了 34.7% 的物理试验。这种“零样本迁移”（即完全在模拟中训练的机器人能立即在真实机器上工作）表明，持久程序成功捕捉到了任务的核心逻辑，使学习到的行为能够泛化到物理世界。

研究人员承认这种方法也存在局限性。它目前依赖于预定义的物理动作库，并且需要对场景中的物体有清晰的理解，这意味着它目前还无法处理如布料或液体等易变形物体，除非进行重大的新编程。此外，系统按单向推进任务，如果发生物理错误则无法回溯，这限制了其从某些类型的错误中恢复的能力。然而，这些结果确立了一个机器人学习的新原则：即保持任务语义含义在规划、验证和学习过程中的一致性，可以为自动化奠定坚实的基石。通过确保机器人对任务的理解不会发生漂移，该系统弥合了刚性控制与灵活学习之间的鸿沟，为实现能够可靠执行复杂任务的机器人提供了路径。

技术摘要：SUN：面向语言落地控制到学习再到现实策略的持久程序

问题陈述
本文解决了长程机器人操控中模型化控制与学习策略之间存在的根本性脱节问题。基于模型的控制（例如模型预测控制或 MPC）擅长以几何精度执行指定目标，但对模型保真度敏感，且需要大量的工程设计。相反，强化学习（RL）可以学习高维、富接触的行为，而无需精确的动力学模型，但依赖于费时费力且难以调优的稠密结构化奖励。现有的尝试弥合这两者的方法通常会丢弃在控制阶段定义的任务语义（目标、约束和阶段转换）。这种“语义漂移”导致学习到的策略产生的奖励偏离了原始规范，从而导致策略在部署时失败或表现不一致。此外，迭代式奖励生成方法存在高延迟问题，因为候选奖励的影响只能在完成整个昂贵的训练周期后才能得到评估。

方法论：Kuafu 系统与 SUN 程序
作者引入了 Kuafu，一个旨在通过 语义统一（Semantically UNified, SUN）程序 将符号规划与数据驱动执行相统一的系统。

SUN 程序： SUN 程序 ( $\Gamma$ ) 是一种类型化的、可执行的产物，能够在整个流水线中保留任务语义。给定自然语言指令，LLM 智能体通过从类型化库中选择算子并将其绑定到注册的场景帧来构建程序。该程序定义了几何关系、满足边界和阶段转换。至关重要的是，每个关系都会同时编译为三个对齐的接口：
- MPC 代价函数： 用于基于优化的控制。
- 满足谓词： 用于阶段监控和转换逻辑。
- RL 奖励： 用于学习信号。
  这种“语义统一”确保了由控制验证的目标与指导学习过程的目标完全一致。
验证与筛选： 在训练策略之前，Kuafu 在仿真中利用闭环 MPC 对合成的 SUN 程序进行筛选。系统针对多种初始条件测试程序。如果程序无法实现物理结果，或产生“错误完成”（即内部监控器发出成功信号，但独立的外部评估器 $g_{ext}$ 未发出信号），则会触发修复机制。这使得系统可以在承担策略训练成本之前，拒绝错误的优化目标。
策略摊销： 一旦 SUN 程序被接受，Kuafu 会采用两阶段学习过程：
- 阶段条件行为克隆（Stage-Conditioned Behavioral Cloning, Stage-BC）： 系统在成功的 MPC 轨迹上训练确定性策略 ( $\pi_\theta$ )。该策略充当“行为先验”，将观测值和活跃阶段映射到动作块（action chunks）。
- 有界残差强化学习（Bounded Residual RL）： 通过近端策略优化（PPO）训练残差策略 ( $\pi_\psi$ ) 以修正 Stage-BC 策略。残差被限制在一定范围内，以防止偏离已验证的任务结构。奖励信号直接源自 SUN 程序的编译学习项，确保 RL 智能体优化的几何和接触关系与 MPC 验证的完全相同。
数据生产与仿真到现实（Sim-to-Real）： 保留的 SUN 程序继续监督数据生成，根据物理成功率 ( $g_{ext}$ ) 和阶段完成情况过滤轨迹。这些高质量轨迹随后用于训练视觉策略（这些策略无法访问 SUN 程序或特权状态信息），以实现向物理机器人的零样本迁移。

核心贡献

语义统一（SUN）程序： 一种新型的类型化可执行表示，能在控制、学习和部署过程中保留任务语义（关系、边界和阶段），消除了语义漂移。
Kuafu 系统： 一个端到端的框架，能够从自然语言合成 SUN 程序，通过 MPC 进行筛选，并训练阶段条件策略，无需手动进行奖励工程或种子演示。
实证验证： 证明了持久的、经过 MPC 筛选的程序与非持久基线相比，能显著提高多阶段任务的成功率和数据效率，从而实现鲁棒的零样本仿真到现实迁移。

结果
系统在 Isaac Lab 的九个多阶段操控任务（如堆叠、抽屉操作、物体重定向）上进行了评估：

成功率： Kuafu 实现了 82.03% 的宏观成功率，显著优于稀疏奖励基线 (35.67%) 和仅使用 Stage-BC (24.75%) 的情况。
效率： Kuafu 所需的 LLM 交互更少（每个任务约 110k token，而 Eureka 为 234k），并实现了 3.91 倍 的计算成本降低（122.67 GPU 小时 vs. 479.60 对于 Eureka）。
数据质量： 由 Kuafu 生成的轨迹在用于训练 DP3 视觉策略时取得了 46.02% 的成功率，而次优方案 SkillMimic 为 22.44%。
吞吐量： 在 8192 倍规模下，Kuafa 每小时生成的成功轨迹时间是人类遥操作的 10.57 倍。
仿真到现实： 在基于 Kuafa 数据训练的策略在六个任务中，在物理 Franka 和 Kinova 机器人上实现了 34.72% 的成功率，且无需微调。

意义与主张
本文主张，通过控制验证的任务语义可以有效地“摊销”到鲁棒的学习策略中，而无需演示或手动设计稠密奖励。通过维护一个在闭环筛选中存活的持久、类型化程序，该系统统一了符号规划与数据驱动执行。作者认为，这种方法解决了迭代式奖励搜索的低效问题以及纯学习策略的脆弱性。

论文对其研究范围保持了谦逊的态度，承认 SUN 程序依赖于注册的场景接口和有限的类型化算子库，这意味着目前无法处理变形物体或流体，除非定义新的算子。此外，评估并未涵盖留出指令（held-out instructions）或开放世界泛化能力，且阶段监控器是单向推进的，不具备回溯功能。然而，结果表明，受控筛选的语义核心可以显著增强复杂长程任务中机器人学习的可靠性和效率。

技术摘要：SUN：面向语言落地控制到学习再到现实策略的持久程序

类似论文