🤖 AI

CoStream: Composing Simple Behaviors for Generalizable Complex Manipulation

CoStream 是一个新颖的框架，它通过将三种独立的行为——语义、预测和反应——组合成统一的 $SE(3)$ 控制指令，实现了鲁棒且高精度的长时程操控，从而克服了任务特定刚性与单体泛化性之间的权衡。

原作者： Haonan Chen, Yuxiang Ma, Stephen Tian, Xiaoshen Han, Wenlong Huang, Feiyang Wu, Yunzhu Li, Jiajun Wu, Edward H. Adelson, Yilun Du

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haonan Chen, Yuxiang Ma, Stephen Tian, Xiaoshen Han, Wenlong Huang, Feiyang Wu, Yunzhu Li, Jiajun Wu, Edward H. Adelson, Yilun Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一块精密的计算机芯片插入一个间隙小于一毫米的插槽中。如果你稍微倾斜一点，它就会卡住；如果它从你手中滑脱，它就会卡住；如果你用力过猛，你就会把它弄坏。

目前的机器人难以应对这种情况，因为它们通常是以两种极端的方式构建的：

“刚性蓝图”机器人（The "Rigid Blueprint" Robot）： 这种机器人遵循严格的、预先绘制好的地图。它擅长沿着线条移动，但如果地图偏差了一丁点，或者物体发生了移动，机器人就会发生碰撞，因为它无法在运行中即时改变计划。
“黑盒”机器人（The "Black Box" Robot）： 这种机器人试图通过观看成千上万个视频来一次性学习所有知识。它非常灵活，可以学习新事物，但它很笨拙。它没有那种感知何时触碰过重的“感觉”，而且每面对一个新任务都需要从头开始重新训练。

CoStream 是一种构建机器人的新方法，它通过让机器人像一个人类团队而非单一机器那样运作，将两者的优点结合在一起。

三头协作团队

CoStream 没有使用一个试图处理所有事情的巨大大脑，而是将工作拆分为三个简单的、独立的“行为”，它们之间会不断进行沟通。你可以把它想象成一个建筑施工队：

架构师（语义行为 - Semantic Behavior）：
- 它做什么： 这是“大局观”的思考者。它读取你的指令（例如“把 GPU 放入插槽”），并利用 AI 理解几何结构。它设定目标：“芯片需要放在这里，且面向这个方向。”
- 类比： 它就像一名工头，指着蓝图说：“我们需要在那儿砌墙。”它并不关心砖块是如何接触的微小细节，它只设定目的地。
梦想家（预测行为 - Predictive Behavior）：
- 它做什么： 这部分通过观察“想象中的视频”来学习任务。它预测机器人从 A 点到 B 点应该遵循的平滑路径。它生成一个标称运动（nominal motion）（即动作的草稿）。
- 类比： 这就像一名舞者在脑海中排练舞步。他们知道舞蹈的大致步骤和流动感，但还没有对音乐突然的节拍变化做出反应。
触觉传感器（反应行为 - Reactive Behavior）：
- 它做什么： 这是“感觉”专家。它的运行速度极快（每秒 25 次），并利用机器人手指中的特殊传感器来感知物体。如果芯片滑动或撞到了凸起，这部分会立即做出微小的修正。
- 类比： 这就像你在穿针引线时自己的手。你的眼睛看到了针，但你的手指感受到了线。如果线晃动了，你的手指会立即调整，而不需要停下来思考。

它们如何协同工作：“右手法则”

CoStream 的魔力在于这三个部分是如何结合的。它们不是轮流工作，而是同时运作。

想象机器人的运动是一首歌：

架构师编写歌词（目标）。
梦想家谱写旋律（路径）。
触觉传感器则是敲击节奏的鼓手，如果歌手踉跄了，它会调整节奏。

在 CoStream 中，这三个输出在机器人运动的每一个细微瞬间都会被数学化地“相乘”。

如果架构师说“向北走”，梦想家说“向前移动”，但触觉传感器感觉到“等等，我们撞到了墙，向左滑动”，机器人会立即将这三者结合成一个完美的动作：“向北，向前，但向左滑动。”

这使得机器人既拥有长期计划（来自架构师），又拥有即时反射（来自触觉传感器）。

结果：他们实际做了什么

研究人员在真实的机器人和真实的场景中测试了这个系统。他们不仅仅是在模拟，而是实实在在地构建了它。

精密组装： 他们成功地将钻头、内存条、CPU 芯片和 GPU 卡插入了紧凑的插槽。这些任务需要毫米级的精度。
- 结果： “刚性蓝图”机器人和“黑盒”机器人完全失败了（15 次尝试中 0 次成功）。CoStream 几乎每次都成功（15 次尝试中成功 14 或 15 次）。
人为干扰： 在机器人插入芯片的过程中，研究人员用手抓住了芯片并扭转了它，以模拟滑脱的情况。
- 结果： 机器人感受到了扭转，立即修正了抓握，并在完成任务的过程中没有掉落芯片或损坏芯片。
零样本迁移（Zero-Shot Transfer）： 他们使用完全相同的机器人代码，从处理精密的 CPU（需要温柔对待）切换到处理沉重的内存锁定（需要力度）。他们不需要重新训练机器人或更改代码；“团队”只是根据新物体自动调整了其行为。

总结

CoStream 证明了你不需要一个极其复杂、庞大的大脑来完成复杂的机器人工作。相反，你可以构建一个由规划者、预测者和感知者实时协作的系统。这使得机器人既能聪明地理解任务，又能敏锐地处理现实世界中复杂且混乱的物理现象，而不会发生碰撞或损坏。

技术摘要：CoStream

问题陈述

长程、富接触（contact-rich）的操纵任务（例如，将 GPU 插入具有毫米级间隙的 PCIe 插槽）面临着双重挑战：它们既需要高精度控制以避免卡顿，又需要具备开箱即用的泛化能力，以处理无需重新训练的新任务。目前的机器人范式难以同时满足这两点：

经典模块化流水线（Classical Modular Pipelines）： 这些流水线将感知、状态估计、规划和控制解耦。虽然它们可以实现高精度，但非常脆弱；要将其适配到新任务，需要昂贵的、定制化的工程开发和模块的重新设计。
单体端到端策略（Monolithic End-to-End Policies）： 像视觉-语言-动作（VLA）网络这样的模型提供了更好的泛化性，但在处理复杂的、分布外（out-of-distribution）的接触任务时，缺乏所需的精度，除非进行大规模的新数据重训。

这两种范式都有一个隐含的假设，即复杂的操纵需要一个刚性的、不可分割的控制系统。本文对这一假设提出了挑战，提出复杂的处理能力可以通过组合简单的、独立的行为来涌现。

方法论：CoStream 框架

CoStream 是一个通过将基础模型和多种传感模态编排进多个可组合的核心行为中的框架。与传统的通过固定接口传递完整计划的流水线不同，CoStream 将行为维持为独立的、并行的流，这些流以各自的自然速率运行并进行动态组合。

1. 架构概述

系统运行在一个共享的 SE(3) 任务空间接口上。在每个控制步，三个不同的行为生成组件，通过右乘形成一个单一的末端执行器位姿指令（ $W T_{cmd}$ ），并由一个顺应性控制器执行。

语义行为（任务坐标系锚点 - Semantic Behavior）：
- 功能： 提取空间约束并定义相对于世界的任务坐标系（ $W T^k_I$ ）。
- 机制： 使用大语言模型（LLM）和视觉-语言模型（VLM）来解析指令和场景摘要（物体、示能性、谓词）。它通过最小化 SE(3) 对齐目标来锚定任务坐标系。
- 输出： 一个静态或缓慢更新的锚点坐标系，而非轨迹。这确保了轴向所有权和刚度保持为对角阵。
预测行为（标称运动 - Predictive Behavior）：
- 功能： 在任务坐标系内生成连续的标称运动轨迹（ $I T^k_{traj}(t)$ ）。
- 机制： 利用以观测和步骤指令为条件的视频世界模型进行采样展开（rollouts）。VLM 批判者选择最佳的展开路径，随后将其提升至 3D 关键点追踪器，以形成以物体为中心的参考轨迹。
- 输出： 一个运动先验（标称路径），而非精确的刚性计划。
反应行为（触觉残差与力环 - Reactive Behavior）：
- 功能： 为手内滑动和接触力提供高频（25 Hz）修正。
- 机制： 使用 GelSight 触觉传感器通过 NormalFlow 追踪物体相对于夹持器的位姿，并估计末端执行器的力矩（wrench）。它生成一个触觉残差（ $\Delta T^k_{tac}(t)$ ）以抵消滑动，并标记接触事件（滑动、过大力量）。
- 输出： 一个用于修正标称运动的刚体变换，以及一个给控制器的力环信号。

2. 组合与控制

动作组合： 在每个控制器时钟周期，系统计算最终指令：
$W T^k_{cmd}(t) = (W T^k_I \cdot I T^k_{traj}(t)) \cdot \Delta T^k_{tac}(t)$
这种右乘方式允许各行为保持独立。如果某个流缺失或失效，回退行为（ $H_k$ ）可确保平滑降级而非停滞。
控制器编译： 一个确定性编译器将阶段规范映射到机器人级参数（笛卡尔刚度、阻尼、阻抗/导纳轴、力限制）。
- 在自由空间中，控制器以高刚度追踪标称运动。
- 在接触期间，它切换到笛卡尔阻抗控制（作为维持力的虚拟弹簧）或基于位置的导纳控制（以限制力），具体取决于所处阶段。

核心贡献

行为组合接口： 一种新型的接触密集型操纵接口，将语义接地、预测运动生成以及触觉/力反应解耦为独立的行为。
共享 SE(3) 表示： 一种任务空间表示，允许每个行为以其自然速率运行，并仅贡献其可靠的部分（任务坐标系、运动先验或接触修正）。
经验验证： 在八个真实世界任务上的演示，展示了高精度的组装、从手动扰动中鲁棒恢复的能力，以及无需重新训练的零样本迁移到日常操纵任务的能力。

实验结果

作者使用两台 Franka Emika Panda 机器人（其中一台配备了 GelSight Mini 触觉传感器）在两组任务上评估了 CoStream。

基准测试： 与 VoxPoser（模块化视觉-语言规划）和 $\pi_0.5$ （单体 VLA 策略）进行了对比。
高精度组装任务：
- 任务： 钻头插入（0.5 mm 间隙）、内存条插入、CPU 置入、GPU 插入。
- 结果： CoStream 实现了 14/15 到 15/15 的成功率。相比之下，VoxPoser 和 $\pi_0.5$ 在这些任务上完全失败（0/15）。
- 失败分析： VoxPosizer 由于采用开环规划，无法在接触前修正几何偏差。 $\pi_0.5$ 在接触期间失败，因为它无法区分接触事件与感知歧义，导致产生不稳定的高频运动。
日常操纵任务：
- 任务： 开灯、擦黑板、杯子到盘子的转移、衣服到箱子的转移。
- 结果： CoStream 在所有设置下均优于 $\pi_0.5$ ，在物体转移任务（如杯子到盘子，13/15 对比 4/15）中表现出显著优势。
消融研究：
- 在钻头插入任务中移除反应行为，导致成功率从 15/15 骤降至 3/15，证实了触觉反馈对于亚毫米级精度的重要性。
- 鲁棒性： 系统能够通过基于触觉反馈的末端执行器重定向，成功从手动扰动（例如在夹持器内旋转持有的物体）中恢复。

重要性与声明

论文声称，CoStream 证明了一种范式，即复杂的操纵并非通过单个复杂的控制器实现，而是通过简单、独立行为的组合实现的。

无需重训的泛化： 相同的行为集成功处理了多样化的物理约束（从精细的 CPU 就位到高强度的 RAM 锁定），并无需策略重训或模块重新设计即可迁移到日常任务。
通过组合实现精度： 通过将“做什么”（语义）、“在哪里”（预测）和“如何做”（反应）分离，系统在单体策略失效的接触密集场景中实现了毫米级的精度。
范围有限： 作者承认了局限性，指出该系统依赖于上游感知（位姿估计），目前仅限于结构化刚性物体操纵。它尚无法处理变形物体、灵巧手内操纵或模糊目标。此外，反应行为也受限于触觉覆盖范围和力矩估计的准确性。

总之，CoStream 提出，通过共享 SE(3) 接口将操纵分解为语义、预测和反应流，为实现通用、高精度的机器人操纵提供了一条稳健的路径。