💻 computer science

VT-WAM: Visual-Tactile World Action Model for Contact-Rich Manipulation

VT-WAM 是一种统一的视觉-触觉世界动作模型，它利用流匹配、非对称混合 Transformer 注意力机制以及接触门控引导，共同预测未来的视觉与触觉形变及动作，通过有效建模触觉动力学，在富接触操作任务中实现了最先进的性能。

原作者： Shuai Tian, Yupeng Zheng, Yuhang Zheng, Songen Gu, Yujie Zang, Yuxing Qin, Weize Li, Haoran Li, Wenchao Ding, Dongbin Zhao

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuai Tian, Yupeng Zheng, Yuhang Zheng, Songen Gu, Yujie Zang, Yuxing Qin, Weize Li, Haoran Li, Wenchao Ding, Dongbin Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你要教一个机器人做一些精细的家务，比如擦拭花瓶、削黄瓜或将卡片滑入插槽。如果你只给机器人一个摄像头，这就像是戴着一副只能看到前方道路、却会遮住轮胎下坑洼处的墨镜在开车。机器人看到了大局，但它错过了触觉中那些微小而关键的细节：滑动、压力，以及物体开始变形的那一瞬间。

这篇论文介绍了一种名为 VT-WAM 的新型机器人“大脑”，它通过将视觉与触觉整合进一个统一的思考过程中来解决这个问题。

以下是其工作原理的拆解，采用简单的概念进行说明：

1. 问题所在：机器人对触觉“失明”

在现实世界中，许多任务都取决于物体接触时发生了什么。

视觉（视觉）： 就像背景中播放的一部电影。它是持续且清晰的，但往往会错过手指打滑或插头卡住的那一瞬间。
触觉（感觉）： 就像一个突然且尖锐的通知。它只在接触发生的瞬间出现，但它能准确告诉机器人正在发生什么（例如：“我正在打滑！”或“我被卡住了！”）。

以往的机器人大脑试图同时使用两者，但它们是分开处理的。它们会观察摄像头和触觉传感器，但并不理解触觉的“感觉”是如何随时间变化的。这就像是在听一首歌时，只能听到一瞬间的底鼓声，却忽略了旋律。

2. 解决方案：一个“穿越时空”的大脑

作者构建了 VT-WAM（视觉-触觉世界动作模型）。你可以将这个模型想象成一个不仅会对现状做出反应，还会预测未来所见所感的机器人。

它不再只是简单地说：“我看到了一个花瓶。”它会自问：

“如果我这样移动手，下一秒花瓶看起来会是什么样？”
“如果我这样用力推，海绵的柔软表面会如何变形？”

通过预测这些未来的变化，机器人甚至在发生交互之前，就学习到了其中的“物理规律”。

3. 两个秘密武器

论文强调了机器人用来实现这一目标的两个巧妙技巧：

A. “锚点与河流”（非对称 MoT 注意力机制）

想象你正在驾驶一艘船。

锚点（视觉）： 你需要一个固定点来了解自己在房间里的位置。机器人抓取视频的第一帧（即“锚点”）并将其固定。它不会浪费能量去尝试预测整个未来的视频，因为那会很慢且令人困惑。
河流（触觉）： 在锚点保持静止的同时，机器人观察流过的触觉数据之河。它密切关注随着机器人的移动，压力是如何随时间变化的。

这种设计让机器人在保持场景定位（视觉）的同时，能够高度感知变化的接触感（触觉），而不会被过多的数据所困扰。

B. “接触开关”（AVTAG）

有时，机器人会被摄像头分散注意力。如果机器人在擦桌子，摄像头看到了很多关于桌子的信息，但触觉传感器感受到了摩擦力。

问题： 机器人的大脑天生更偏好摄像头，因为那里的数据更多。当它最需要倾听触觉时，它反而忽略了触觉传感器。
解决方法： 作者添加了一个特殊的“训练规则”（称为 AVTAG）。这就像一位教练在呐喊：“嘿！当你接触到物体时，停止盯着摄像头看，去听你的双手！”
这个规则强制机器人在发生接触的时刻，优先考虑触觉的感觉。这是一个仅用于训练的开关，旨在教会机器人在情况变得棘手时信任自己的双手。

4. 结果：从笨拙到胜任

团队在六个现实世界的任务上测试了这个新大脑，范围涵盖了从擦白板到将插头插入紧凑插座等任务。

旧方法（Fast-WAM）： 机器人的成功率约为 45%。它在处理简单任务时表现尚可，但在遇到紧凑或湿滑的情况时会失败。
VT-WAM 方法： 机器人的成功率达到了 71.67%。

为什么会有这种飞跃？

表面任务（擦拭/削皮）： 机器人学会了感受摩擦力并调整压力，而不是仅仅根据图像进行猜测。
紧凑任务（插入插头）： 当插头卡住时，摄像头可能看不出对齐偏差，但触觉传感器能感受到阻力。VT-WAM 利用这种感觉来左右摆动插头，使其顺利到位。

总结

VT-WAM 就像是给了机器人一对“超级感官”。它不再仅仅是观看任务的电影，而是学会了模拟所见所感的未来。通过使用“视觉锚点”来保持定向，以及使用“接触开关”在关键时刻优先考虑触觉，机器人变得更加擅长处理现实世界中那些混乱、湿滑且紧凑的交互。

论文得出结论：教导机器人预测物体在被触摸时如何变形和变化，是让它们在精细工作中真正发挥作用的关键。

技术摘要：VT-WAM：用于接触密集型操作的视觉-触觉世界动作模型

1. 问题陈述

接触密集型操作任务（例如擦拭表面、插入插头）高度依赖于局部交互状态，如形变、压力、滑动和摩擦。这些线索在视觉观测中通常是时间稀疏、瞬态或被遮挡的，这使得仅以视觉为中心的策略在需要基于触觉调整执行时变得不可靠。

现有的视觉-触觉策略通常将触觉观测直接输入到动作预测中，但未能充分利用触觉信息。一个主要的局限性在于信息可用性的时间不平衡：视觉观测在大多数帧中提供密集的场景级信息，而触觉形变仅在短暂的接触阶段才会演化并提供力反馈。因此，联合训练的神经网络往往会偏向视觉证据，导致触觉信号利用不足。此外，当前的方法通常间接地处理触觉预测（例如通过规划模块），而不是将其与动作生成直接耦合以建模接触演化的动力学。

2. 方法论：VT-WAM

作者提出了 VT-WAM（视觉-触觉世界动作模型），这是一个统一的框架，旨在通过 流匹配（flow matching） 框架联合学习未来的视觉预测、触觉形变预测和动作预测。该架构由三个通过新型注意力机制连接的模态特定专家（视觉、触觉、动作）组成。

核心组件

1. 非对称混合 Transformer（MoT）注意力
为了在满足全局上下文和局部接触动力学需求的同时保持高效推理，VT-WAM 采用了非对称读取策略：

视觉锚点（Visual Anchor）： 动作 Token 仅关注第一帧视觉 Token 以建立全局场景上下文。这实现了“视觉缓存”推理模式，即通过移除未来的视觉预测来降低延迟。
时间触觉动力学（Temporal Tactile Dynamics）： 动作 Token 关注完整的触觉序列以捕捉接触演化。
实现方式： 在训练期间，模型联合优化视觉、触觉和动作预测。在推理期间，未来的视觉 Token 被屏蔽，而触觉专家继续预测未来的形变，动作专家则在关注静态视觉锚点的同时，关注这一不断演化的触觉潜变量序列。

2. 接触门控动作-视觉-触觉注意力引导（AVTAG）
为了防止模型在联合训练期间默认转向视觉主导，VT-WAM 引入了一个辅助训练目标。

机制： AVTAG 计算动作查询对视觉键（ $p_v$ ）相对于触觉键（ $p_t$ ）的相对注意力权重。
损失函数： 针对接触阶段动作 Token（通过显著的触觉形变识别）应用专门的训练期铰链排序损失（hinge ranking loss）。该损失惩罚 $p_v > p_t$ 的情况，从而鼓励动作查询在物理交互具有信息量时优先考虑触觉证据。
效果： 这引导模型在接触阶段依赖触觉动力学，且不会改变推理时的架构。

训练与推理

目标： 模型使用联合流匹配目标（ $L_{Flow}$ ）进行训练，最小化视觉、触觉和动作 Token 之间的预测与目标速度场之间的误差。启用时，总损失包含 AVTAG 项（ $L_{Train} = L_{Flow} + \lambda_{AVTAG}L_{AVTAG}$ ）。
推理模式：
- 联合推理（Joint Inference）： 同时对视觉、触觉和动作 Token 进行去噪（用于分析）。
- 视觉缓存推理（Visual-Cache Inference）： 用于现实世界控制。模型将当前的视觉观测视为固定的锚点，并仅对触觉和动作潜变量进行去噪，从而避免预测未来视觉帧的计算开销。

3. 主要贡献

提出了 VT-WAM 的公式化表达： 作者提出了一个视觉-触觉世界动作模型，通过视觉-触觉-动作联合流匹配将触觉形变动力学直接与动作预测耦合，而不是仅仅将触觉数据作为辅助输入。
架构创新： 引入了非对称 MoT 注意力（实现具有完整时间触觉访问能力的视觉锚点）和接触门控 AVTAG（在接触阶段强制触觉依赖），以解决信息不平衡和推理效率问题。
实证验证： 在六个现实世界的接触密集型任务上进行了广泛评估，证明了将触觉形变建模为交互动力学能显著提高成功率，优于仅视觉和标准的触觉输入基准模型。

4. 实验结果

作者在配备了腕部摄像头和 Xense 触觉传感器的 7 自由度 xArm7 机器人上，针对两种范式评估了 VT-WAM：表面交互任务（擦拭黑板、擦拭花瓶、剥皮黄瓜）和受限插入任务（插入插头、刷卡、插入管子）。

整体性能： VT-WAM 实现了 71.67% 的平均成功率，比最强的基准模型 Fast-WAM（45.00%）高出 26.67%。它也超越了 OmniVTLA（35.84%）和 RDP（34.17%）。
特定任务增益：
- 表面交互： VT-WAM 达到了 81.67%（相比之下，Fast-WAM 为 56.67%），展示了为持续接触而建模触觉演化的价值。
- 受限插入： VT-WAM 达到了 61.67%（相比之下，Fast-WAＭ为 33.33%），突显了在遮挡或紧约束下利用触觉动力学进行精细对齐的效用。
预测质量： 在联合推理模式下，与 exUMI 和 UVA 等基准模型相比，VT-WAM 展示了更优越的触觉预测质量（更低的 $L_2$ 形变误差和更高的方向一致性）。
消融研究：
- 触觉动力学： 允许动作查询关注完整的触觉序列（而非仅第一帧）显著提高了性能（例如，在擦拭花瓶任务中从 40% 提升至 70%），证实了时间演化至关重要。
- AVTAG： 接触门控引导进一步提高了成功率（例如，在擦拭花瓶任务中从 70% 提升至 85%），证明了在接触阶段显式引导注意力关注触觉证据对于鲁棒性是必不可少的。

5. 意义与主张

本文主张，将触觉形变建模为时间交互动力学，比将触觉数据视为静态策略输入的方法更有效地处理接触密集型操作。通过将触觉预测与动作生成耦合，VT-WAM 使策略能够对局部接触演化（例如在滑动后重新建立接触）做出反应，而这些演化对摄像头是不可见的。

作者将 VT-WAM 定位为现有主要建模视觉动力学的世界动作模型（WAMs）的进步。他们认为，所提出的非对称 MoT 注意力成功平衡了对全局视觉上下文的需求与对局部触觉动力学的必要性，而 AVTAG 则确保了模型不会忽略稀疏但关键的触觉信号。

论文最后进行了谦逊的总结，指出虽然 VT-WAM 专注于单个任务的专业化以实现精确的触觉建模，但**多任务训练和缩放法则（scaling laws）**仍是未来研究中尚未探索的方向。