💻 computer science

BrickCraft: Visuomotor Skill Composition with Situated Manual Guidance for Long-Horizon Interlocking Brick Assembly

BrickCraft 是一个组合式框架，它通过将复杂任务分解为可复用的基础技能，并借助情境化手册进行空间定位与泛化，使自主机器人能够执行长视野的互锁砖块组装，从而实现对未见结构的泛化。

原作者： Jichuan Yu, Bowei Li, Zhenran Tang, Guanxing Lu, Chuxiong Hu, Ruixuan Liu, Changliu Liu

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jichuan Yu, Bowei Li, Zhenran Tang, Guanxing Lu, Chuxiong Hu, Ruixuan Liu, Changliu Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人用乐高积木搭建一座复杂的城堡。你不能只是告诉机器人：“搭建一座城堡。”这太模糊了。如果你试图在一堂巨课中教机器人每一种可能城堡的每一个动作，它会感到不知所措和困惑。

论文BRICKCRAFT提出了一种更聪明的方法来教机器人这项技能。这就像给机器人提供一份三步食谱，结合了逻辑、视觉指南和肌肉记忆。

以下是其工作原理，分解为简单的概念：

1. “逆向工程”厨师（面向技能的组装推理）

想象你有一座搭好的乐高城堡。机器人不是试图从头开始 figuring out 如何搭建它，而是先假装把它拆散。

它会问：“如果我拔出这块积木，城堡的其他部分会倒塌吗？我能清楚地看到它吗？有足够的空间抓取它吗？”
一旦它找到了安全拆解城堡的方法，它只需反转列表。现在它拥有了一份分步说明书：“首先，把这块积木放在这里。然后，将那块积木附着在前一块的侧面。”
魔法技巧：机器人并不记忆整座城堡。相反，它学习了一小组基本动作（例如“将积木扣在顶部”或“将积木扣在侧面”）。它将每一座新城堡视为这些相同基本动作的不同组合。

2. “聚光灯”向导（组装意图定位）

这是论文最大的创新。当机器人看着一堆外观相同的红色积木时，它会感到困惑。哪一块是“参考”积木？哪一块是“目标”积木？这就像试图在人群中寻找一个特定的人，而每个人都穿着完全相同的红色衬衫。

BRICKCRAFT 通过创建一份情境手册来解决这个问题。

类比：想象机器人戴着一副特殊的眼镜。在它尝试抓取积木之前，计算机会在真实世界的摄像头视图上投射一个数字聚光灯。
它会调暗背景，仅高亮显示机器人需要查看的特定积木以及需要附着的目标积木。
这就像老师指着书中的特定页面说：“看这里，”同时遮住其余的文字，以免你分心。这消除了困惑，并明确告诉机器人应该将注意力集中在哪里。

3. “肌肉记忆”艺术家（组合式视觉运动执行）

既然机器人已经知道要做什么（计划）以及看哪里（聚光灯），它就需要实际移动它的机械臂。

机器人使用一种“肌肉记忆”系统（称为扩散策略），该系统是在人类演示的基础上训练而成的。
当机器人看到积木上的“聚光灯”时，它就知道如何精确移动其夹爪以将部件扣合在一起。
因为它分别学习了基本动作，所以它可以将它们串联起来。它执行第一个动作，检查是否成功，然后执行第二个动作，依此类推，逐步搭建整个结构，而无需重新教学。

为什么这很重要？

通用性：机器人不仅仅学会了搭建一座特定的塔。它学会了逻辑，即如何将积木扣合在一起。当研究人员向它展示一个全新的、从未见过的城堡设计时，它仍然能够成功搭建，因为它只是组合了它已经掌握的基本动作。
鲁棒性：如果没有“聚光灯”（情境手册），机器人会被积木的重复模式搞糊涂，经常失败。有了聚光灯，它在超过 86% 的尝试中取得了成功，即使是在它从未见过的结构上也是如此。

它在哪里遇到困难？

论文承认机器人目前还不完美。如果机器人稍微错过了积木，它可能会撞到其他积木，或者如果推得太用力，可能会弄弯结构。它目前缺乏在错误发生后“随机应变”的能力（例如重新抓取掉落的积木），但该框架已为将来添加这些技能做好了准备。

简而言之：BRICKCRAFT 通过将大任务分解为微小的、可重用的动作，利用数字“聚光灯”消除视觉混乱，并将这些动作串联起来，从而教会机器人从零开始搭建复杂结构。

技术摘要：BRICKCRAFT

问题陈述

自主机器人组装互锁积木代表了长程操作中的重大挑战，需要无缝集成高层任务推理、空间定位以及细粒度的接触丰富型操作。现有的单体端到端控制范式难以处理长期依赖关系，且建模复杂结构约束需要海量数据。此外，由于两个混淆因素，在积木组装中弥合高层语义规划与底层视觉运动执行之间的差距尤为困难：(1) 由周期性几何单元和重复特征引起的视觉歧义；(2) 空间多模态性，即互锁接口存在多个局部有效但离散的组装位姿。现有方案通常依赖显式运动学状态（易受感知噪声影响）或隐式目标图像（难以进行物理定位），无法为机器人在狭窄间隙的组装场景中提供鲁棒的指导。

方法论

本文提出了BRICKCRAFT，这是一个组合式框架，旨在通过三个不同的阶段将数字积木设计转化为实体产品：

1. 面向技能的组装推理

BRICKCRAFT 利用按拆卸组装策略，将长程组装任务分解为一系列可执行的子目标。

相对表述：每个组装步骤并非由绝对位姿定义，而是由一个元组 $(b_{ref}, b_{tgt}, \tau)$ 定义，其中目标积木 ( $b_{tgt}$ ) 被连接到现有部分结构中的参考积木 ( $b_{ref}$ ) 上。
几何任务编码：相对空间关系由一个 4 维向量 $\tau = [\tau_x, \tau_y, \tau_z, \tau_\theta]$ 参数化，表示以凸点（stud）为单位的离散空间偏移和相对平面朝向。该表述将多样的组装任务抽象为一组有限的可重用原始技能。
搜索算法：深度优先搜索（DFS）从目标状态探索可行的拆卸路径，根据四个标准验证候选动作：连通性 ( $C_{con}$ )、可观测性 ( $C_{obs}$ )、可操作性 ( $C_{op}$ ) 和稳定性 ( $C_{stab}$ )。

2. 组装意图定位（情境手册）

为了弥合符号规划与物理执行之间的差距，该框架引入了情境手册。该策略将抽象的组装意图投射到实时机器人观测中，以提供显式的空间指导。

视觉参考生成：仿真引擎（Blender）渲染组装的预期状态，生成全局结构和特定参考积木的逼真图像及语义掩码。
物理实体分割：微调后的 YOLOv8-seg 模型对物理工作空间进行分割，以识别已组装结构、夹持器和目标积木。
掩码对齐与跟踪：仿射变换将模拟参考掩码与物理观测对齐。跟踪模块（SAM 2）保持这些掩码的时间一致性。
视觉增强：系统通过将跟踪的参考掩码叠加到原始相机画面上来创建“情境手册”。活跃掩码之外的区域会变暗（衰减至 25% 亮度）并带有渐变过渡，形成聚光灯效果，突出任务相关实体并抑制视觉干扰。

3. 组合式视觉运动执行

执行流水线在情境手册的指导下串联已学习的视觉运动技能。

策略架构：组装技能被表述为扩散策略（Diffusion Policy），其条件包括双视图视觉观测（经情境手册增强）、本体感知状态以及任务编码 $\tau$ 。
输入模态：观测包括工作空间和手腕相机视角、末端执行器位姿、夹持器状态，以及从关节扭矩估计的 3D 外部力，以增强接触感知。
技能串联：长程任务作为一系列抓取和组装技能执行： $\{S^{(1)}_{pick} \rightarrow S^{(1)}_{asm} \rightarrow \dots \rightarrow S^{(N)}_{asm}\}$ 。
验证：前置和后置条件验证目标可见性、运动学可行性以及物理状态与符号规划之间的几何一致性，以防止误差累积。

主要贡献

BRICKCRAFT 框架：一个用于长程互锁积木组装的组合式框架，将任务推理与执行解耦。
相对任务表述：一种新颖的方法，通过将步骤锚定在参考积木上并利用相对几何编码，将多样的组装任务映射到一组有限的原始技能。
情境手册：一种通过将符号意图定位到实时观测中，分割并高亮显示任务相关实体的策略，有效解决了重复几何结构固有的视觉歧义，并提供显式的空间指导。
实证验证：全面的现实世界实验证明了其对未见结构强大的组合泛化能力。

实验结果

该框架在配备 Robotiq 夹持器的 Kinova Gen3 机械臂上使用乐高得宝（LEGO Duplo）积木进行了评估。

数据集：包含 60 多种配置的 692 条演示轨迹，并辅以情境手册流水线。
单步性能：BRICKCRAFT 在 48 种不同结构（24 种已见，24 种未见）的 240 次试验中实现了86.25% 的成功率。
- 其表现显著优于基线：目标图像条件扩散策略（GI-DP）和目标图像条件 $\pi_0.5$ （GI- $\pi_0.5$ ）。
- GI-DP 在未见结构上的性能下降了 12.5–15.0%，而 GI- $\pi_0.5$ 的成功率始终被限制在 50% 以下。
- EigenCAM 可视化证实，情境手册将视觉注意力集中在几何关系上，而基线模型则表现出分散的激活，易受干扰物影响。
长程性能：该系统成功完成了四种不同结构（金字塔、楼梯、房屋、城堡）的组装任务，其中包括在训练期间完全未见的“城堡”。
- 对于完全支撑的结构（金字塔、楼梯），完成率很高，但对于具有未支撑中间区域的结构（房屋、城堡），由于累积误差和结构变形，完成率略有下降。
消融研究：情境手册的背景变暗策略比边界框替代方案高出 10–12.5%，表明平滑过渡比人工边缘能更好地保留几何轮廓。

意义与主张

本文声称，BRICKCRAFT 解决了复杂组装任务中将高层语义推理定位到物理执行的关键瓶颈。通过引入情境手册，该框架有效解决了重复几何结构固有的视觉歧义，使机器人能够从有限的演示中学习，并泛化到新颖的、未见的配置。

作者强调，虽然单个技能是熟练的，但组合式执行流水线对于长程可靠性至关重要。该框架表明，将复杂任务分解为相对的、可重用的原始技能，并结合显式的空间指导，为构建能够在复杂现实环境中运行的智能具身系统提供了一条可行途径。这项工作表明，将符号推理与空间定位的原子技能相结合是部署更广泛操作场景中鲁棒智能体的有前景的方向，尽管当前系统仅限于互锁积木组装，且缺乏针对故障恢复的交互式自我纠正能力。