💻 computer science

TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance

TouchGuide 是一种新颖的推理时引导框架，它通过整合对比训练得到的接触物理模型，利用触觉引导来细化粗略的视觉动作，从而增强预训练的视觉运动策略在富含接触的操作任务中的表现，并依托于高性价比的 TacUMI 数据采集系统提供支持。

原作者： Zhemeng Zhang, Jiahua Ma, Xincheng Yang, Xin Wen, Yuzhi Zhang, Boyan Li, Yiran Qin, Jin Liu, Can Zhao, Li Kang, Haoqin Hong, Zhenfei Yin, Philip Torr, Hao Su, Ruimao Zhang, Daolin Ma

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhemeng Zhang, Jiahua Ma, Xincheng Yang, Xin Wen, Yuzhi Zhang, Boyan Li, Yiran Qin, Jin Liu, Can Zhao, Li Kang, Haoqin Hong, Zhenfei Yin, Philip Torr, Hao Su, Ruimao Zhang, Daolin Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，教机器人执行精细任务，比如系鞋带或递送一片易碎的薯片而不将其弄碎。如果只给机器人装上“眼睛”（摄像头），它往往会力不从心。它或许能看见鞋子，却无法感知鞋带是否正在滑脱，或者是否握薯片太紧。这就像戴着厚厚的手套穿针引线：你能看见针孔，却感觉不到线。

本文介绍了TouchGuide，这是一种新方法，教导机器人利用其“触觉”实时修正错误，而无需从头重新训练整个机器人“大脑”。

以下是其工作原理的拆解，辅以简单的类比：

1. 问题：失明的“盲”机器人

当前的机器人擅长把握大局（例如“拿起鞋子”），却不擅长那些微小且充满接触的细节（例如“鞋带是否系得足够紧？”）。当它们尝试执行这些任务时，往往因为过度依赖视觉而缺乏对物体物理触感的感知而失败。

2. 解决方案：“触觉向导”（TouchGuide）

作者创建了一个名为TouchGuide的系统。将机器人的主脑（策略）想象成一位驾驶员，他在空旷笔直的道路上驾驶（视觉任务）时表现极佳。然而，当道路变得颠簸且需要精细转向（接触任务）时，这位驾驶员就会迷失方向。

TouchGuide 充当坐在驾驶员旁边的副驾驶。

驾驶员（基础策略）： 首先，驾驶员望向窗外，根据所见对转向做出粗略猜测。这是“粗略动作”。
副驾驶（TouchGuide）： 在汽车实际移动之前，副驾驶利用特殊传感器（触觉）检查路况。如果驾驶员的猜测会导致碰撞或打滑，副驾驶会轻轻转动方向盘以修正路径。
结果： 汽车（机器人）遵循的路径不仅在视觉上看起来合理，而且在物理触感上是安全的。

关键在于，这位副驾驶无需从零开始教导驾驶员如何驾驶。它只是在最后一刻（在“推理”过程中）微调驾驶员现有的决策，以确保动作符合物理现实。

3. 工具：“智能手”（TacUMI）

要训练这位副驾驶，你需要高质量的数据。作者还构建了一种新的数据收集工具，名为TacUMI。

想象一下，通过让人类模仿机器人的动作来训练机器人。

旧方法（遥操作）： 人类佩戴 VR 头显并手持控制器。他们能看到机器人的视角，却无法感受物体。这就像试图通过观看别人如何接住易碎鸡蛋的视频来学习接鸡蛋。因为你感觉不到鸡蛋，你可能会犹豫或捏得太紧。
TacUMI 方法： 人类手持一个外观与机器人夹爪完全一致的设备。它拥有刚性指尖，直接连接到人类的手指上。当人类接触物体时，能像用自己的手一样即时感受到触感。
- 类比： 这就像是在屏幕前穿针与用自己的手指穿针的区别。TacUMI 系统让人类能够收集“完美”的数据，因为他们能确切地感受到需要施加多大的力度以及握在哪里。

4. 如何协同工作

论文在五个棘手任务上测试了该系统：

系鞋带： 将线穿过微小的孔洞。
递送薯片： 传递土豆片而不将其压碎。
黄瓜削皮： 削蔬菜皮而不切到果肉。
擦拭花瓶： 擦拭弯曲的花瓶而不将其碰倒。
开锁： 将钥匙插入锁孔并转动。

结果：

没有 TouchGuide 时，机器人经常掉落薯片、弄断鞋带，或者无法转动钥匙。
有了 TouchGuide，机器人利用“副驾驶”实时调整抓握力度和角度。
成功： 机器人在这些任务上的表现显著提升。例如，在“递送薯片”任务中，成功率从约 25% 跃升至 60%。在“开锁”任务中，从 20% 提升至 30%（在最佳设置下则更高）。

5. “秘密武器”：接触物理模型（CPM）

副驾驶如何知道何时转向？它使用了一个名为**接触物理模型（CPM）**的小型大脑。

该模型是在 TacUMI 收集的高质量数据上训练的。
它学习了一条简单的规则：“这个动作在物理上可行吗？”
如果机器人试图用力过猛地抓取薯片，CPM 会说：“不，那样会把它弄碎，”并将动作引导向更轻柔的抓握。
它充当现实核查，确保机器人的计划符合物理定律。

总结

论文声称，通过添加一个能实时修正机器人视觉计划的“触觉向导”，并利用一种新型手持工具让人类能确切感受到机器人所感受到的触感，机器人终于能够掌握那些此前对它们来说过于困难的精细且充满接触的任务。它们无需从头重新训练；只需要一位触觉感知副驾驶的轻微点拨。

技术摘要：TouchGuide

问题陈述

细粒度且接触丰富的机器人操作（例如系鞋带、传递易碎芯片）仍然是机器人面临的重大挑战。虽然模仿学习已能实现复杂任务，但许多直观技能需要有效整合视觉与触觉信息。视觉输入提供全局上下文，但触觉反馈对于局部化、接触特定的控制至关重要。现有的视触融合策略通常依赖特征级拼接（可能导致模态主导问题）或策略级组合（通常需训练多个单模态策略，且难以捕捉关键的跨模态相关性）。此外，现有的触觉学习数据采集系统往往难以在高分辨率与低成本之间取得平衡，或依赖间接的触觉反馈（例如 VR 可视化），从而阻碍了直观控制与数据质量。

方法论

本文介绍了TouchGuide，一种新颖的跨策略视触融合范式，以及TacUMI，一种高性价比的数据采集系统。

1. TouchGuide：推理时引导

TouchGuide 作为针对预训练视动策略（基于扩散或流匹配，例如 $\pi_0.5$ ）的两阶段推理时引导机制运行。它无需重新训练基础策略。

阶段 1（视觉粗略动作）： 在去噪或流匹配过程的早期采样步骤中，基础策略仅利用视觉输入生成粗略的、视觉合理的动作。
阶段 2（触觉引导）： 在后期采样步骤中，特定任务的接触物理模型（CPM）提供触觉引导。CPM 通过对比学习在有限的专家演示上进行训练，以输出可行性分数。
- 架构： CPM 使用预训练的 DINOv2 编码器处理视觉和触觉输入，通过 Transformer 编码器融合它们以生成潜在观测值。它计算该潜在观测值与潜在动作嵌入之间的余弦相似度，以生成可行性分数。
- 引导机制： 可行性分数充当分类器引导信号。对于扩散策略，该分数的梯度从噪声预测器中减去；对于流匹配策略，则从速度预测器中减去。这将动作分布引导至满足物理接触约束的“真实分布”。

2. TacUMI：数据采集系统

为了促进 TouchGuide 的高质量数据采集，作者开发了TacUMI，一种手持夹爪系统。

设计原则： 它成本低廉（基础成本约 720 美元）、重量轻（540 克），并通过刚性机械耦合（刚性指尖）而非间接连杆提供直接触觉反馈。
定位： 它使用带有 Lighthouse 基站的 Vive 追踪器进行高精度定位，避免了基于 SLAM 的系统在特征稀疏场景中的精度限制。
同步： 它拥有统一的软硬件接口（RK3576 CPU），以 30Hz 的频率流式传输同步的高分辨率视觉和触觉信号（包括力场）。

主要贡献

TouchGuide 范式： 一种新颖的跨策略融合方法，利用特定任务的 CPM 在推理时引导预训练视动策略。它在低维动作空间内融合模态，确保动作遵循接触物理规律，而无需重新训练基础策略。
TacUMI 系统： 一种高性价比、高精度的数据采集系统，实现了直接触觉反馈，解决了触觉数据采集在可负担性与准确性之间的权衡问题。
实证验证： 在五项具有挑战性的任务（系鞋带、传递芯片、削黄瓜皮、擦拭花瓶、开锁）上进行了广泛实验，证明 TouchGuide 显著优于最先进的视触策略，并能在不同机器人、不同策略（扩散策略、 $\pi_0.5$ ）以及不同触觉模态（力 vs. 触觉图像）之间实现泛化。

实验结果

性能提升： 在系鞋带任务中，TouchGuide（使用 $\pi_0.5$ ）实现了58.0%的成功率，而基础 $\pi_0.5$ 为35.9%，策略共识基线为24.7%。在传递芯片任务中，其达到60.0%（基础 $\pi_0.5$ 为 25.0%）。
泛化性： 该方法在视觉域偏移（未见过的物体/场景）和遮挡下表现出鲁棒性。它成功地在不同基础策略（扩散策略和 $\pi_0.5$ ）以及不同触觉传感器（力和触觉图像）之间实现了泛化。
数据质量： 比较显示，在 TacUMI 数据上训练的策略显著优于在基于 SLAM 的 UMI 数据或 VR 遥操作数据上训练的策略，特别是在低数据 regime 下（例如，开锁任务仅需 20 次演示）。
效率： TouchGuide 增加了可忽略不计的推理时间开销，同时提供了显著的性能提升。

意义与主张

作者声称，TouchGuide 通过在动作空间而非特征空间进行融合，解决了现有视触方法的根本局限性。通过利用 CPM 将策略分布引导至接触物理的真实分布，该方法生成了更稳健的动作，能够在接触时刻满足物理约束，而不仅仅是在触觉变化发生后做出反应。

论文强调，TouchGuide 允许将触觉反馈集成到强大的预训练模型（如 VLA）中，而无需承担重新训练整个策略的计算成本。此外，TacUMI 的引入为收集训练此类模型所需的高保真触觉数据提供了一种可扩展、可访问的解决方案，弥合了高精度研究与实际、可负担部署之间的差距。这项工作表明，显式的接触物理引导是推进细粒度机器人操作的关键组成部分。