💻 computer science

Inference-time Policy Steering via Vision and Touch

ViTaL 是一种新颖的视觉-触觉推理时转向框架，它通过将高层视觉模式选择与低层触觉引导的动作精细化相结合，增强了预训练机器人策略在富接触操作任务中的表现，并实现了相对于单模态及朴素融合基准模型的显著成功率提升。

原作者： Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Yilin Wu, Zilin Si, Zeynep Temel, Oliver Kroemer, Andrea Bajcsy

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人执行精细的任务，比如将液体从移液管中倒入特定的杯子，或者擦拭桌面而不留下水迹。你手中的机器人已经具备了相当不错的移动能力（它的“基础策略”），但它有时会犯错，因为它无法“感知”到自己正在做什么，或者观察得不够长远。

这篇论文介绍了一个名为 ViTaL（视觉-触觉潜空间转向，Visuo-Tactile Latent Steering）的新系统来修复这些错误，且无需从头开始重新训练机器人。你可以把 ViTaL 想象成一个智能副驾驶，它坐在机器人旁边，观察机器人的每一个动作，并在机器人实际执行动作之前，低声进行纠正。

以下是 ViTaL 的工作原理，通过简单的概念进行拆解：

1. 问题所在：眼睛 vs. 双手

作者发现，仅依靠一种感官不足以应对复杂的任务：

视觉（眼睛）擅长“大局观”： 它可以告诉机器人，“你正在向蓝色杯子移动，而不是红色杯子。” 但眼睛无法告诉机器人它是否捏得太用力，或者抓握是否在打滑。
触觉（双手）擅长“细节”： 它可以感知机器人是否施加了正确的压力。但仅靠触觉并不知道机器人正瞄准哪个杯子；它只知道“我正握着某个东西”。

如果只用眼睛，机器人可能会瞄准正确的杯子，但却捏碎了移液管。如果只用触觉，机器人可能会完美地握住移液管，但却把液体倒进了错误的杯子里。

2. 解决方案：两步走的“副驾驶”系统

ViTaL 通过将工作分为两个层级来解决这个问题，就像一个将军和一个专家：

第一层：将军（视觉）
系统首先观察遥远的未来（就像看向漫长的公路）。它会问：“如果机器人这样做，它最终会到达正确的目标吗？” 它根据所见内容选择最佳的整体方案。这被称为视觉模式选择（Visual Mode Selection）。
- 类比： 想象一个 GPS 告诉你，“走高速公路去城市。” 它现在并不关心路上的坑洼，它只关心目的地。
第二层：专家（触觉）
一旦“将军”选定了高速公路，“专家”就会聚焦于紧接着的几步。它会问：“机器人的方向盘握得太紧了吗？它是不是快撞到减速带了？” 它会微调机器人的动作，以确保接触的感觉是正确的。这被称为触觉精炼（Tactile Refinement）。
- 类比： 现在想象一位驾驶教练坐在你旁边，对你说，“放轻油门，你在过这个弯道时速度太快了。” 他们不会改变你的目的地，他们只是优化你的驾驶方式，让你安全到达。

3. 核心秘诀：“想象引擎”

为了在不真正撞坏机器人的情况下实现这一点，ViTaL 使用了一个潜空间世界模型（Latent World Model）。你可以把它看作是机器人的想象力。

在机器人移动之前，它会先“想象”接下来会发生什么。
它会创造一部关于未来的“心理电影”，既包括摄像头会看到的景象（杯子），也包括传感器会感受到的感觉（压力）。
然后，它会将这部“心理电影”与指令进行对比。如果电影显示机器人会洒出液体，它就会拒绝该计划并尝试另一个方案。

4. “文本到感觉”的翻译器

ViTaL 的一个独特之处在于它提供指令的新方式。你不需要编写复杂的数学代码来告诉机器人“施加 5 牛顿的力”，该系统可以理解普通英语。

你可以告诉机器人：“轻握”或“重握”。
系统会将这些词语直接转化为机器人的“感觉”语言。它会检查机器人“想象中”的抓握感是否符合“轻”或“重”的感觉。这是作者声称首次实现将自然语言用于机器人触觉控制。

5. 结果：它奏效了吗？

团队在三个现实世界的任务中测试了 ViTaL：

移液： 在杯子之间转移液体。
擦拭： 清洁表面。
插入： 将销钉放入孔中。

研究结果显示：

更高的成功率： 与机器人的原始“基础”策略相比，ViTaL 将成功率提高了 51%。
优于单一感官： 它比仅使用视觉或仅使用触觉的系统至少高出 33%。
优于简单的融合： 它比那种仅仅试图同时结合视觉和触觉的“天真型”系统至少高出 20%。

总结

简而言之，ViTaL 是一个智能系统，它让机器人能够瞻前顾后以选择正确的目标，并感知当下以温柔地执行任务。它就像一个完美的团队：一个伙伴规划路线，另一个伙伴平稳驾驶，确保机器人不仅在看起来是在做正确的事，而且在感觉上也是在正确地执行任务。

技术摘要：基于视觉与触觉的推理时策略引导 (ViTaL)

问题陈述

推理时引导（Inference-time steering）通过在部署期间验证或优化候选动作，在不进行重新训练的情况下，对预训练的生成式机器人策略（如扩散策略）进行调整。虽然近期的研究方法成功利用了视觉观测来进行长程任务验证，但仅靠视觉对于**接触密集型操作（contact-rich manipulation）**往往是不够的。在诸如移液、擦拭或插拔等任务中，成功取决于全局语义进展（可通过视觉观测）以及细微的局部物理交互（如接触力与抓握稳定性，可通过触觉观测）。

目前的方法在整合这些模态时面临两个主要挑战：

跨时间尺度的模态依赖可观测性： 视觉结果通常需要长程预测来区分语义模式（例如，向正确的杯子移动），而触觉结果则是局部且瞬时的（例如，挤压过程中的受力情况），这些在长程视觉预测中往往会被掩盖。
多模态奖励建模： 定义统一的奖励函数非常困难，因为视觉与触觉结果的相对重要性会随任务阶段的变化而改变。单一的奖励函数难以平衡全局任务进展与精细的接触需求（例如，区分轻柔抓取与掉落）。

方法论：ViTaL 框架

作者提出了 ViTaL（视触觉潜空间引导，Visuo-Tactile Latent Steering），该框架将多模态引导形式化为一个双层优化问题。该方法将引导分解为两个阶段，以符合视觉与触觉的自然时间尺度：

1. 双层优化公式

目标是选择一个动作序列 $a^*_{t:t+h}$ ，在遵循视觉先验的同时最大化任务条件奖励。

内层优化（视觉模式选择）： 系统从基础策略中采样长程动作序列（ $H$ 步）。这些序列使用视触觉潜空间世界模型进行展开，以预测未来状态。视觉验证器根据向任务目标的语义进展对这些预测进行评分。具有最高视觉奖励的序列 $\bar{a}_{t:t+H}$ 被选为全局行为模式。
外层优化（触觉精细化）： 被视觉选中的序列的前 $h$ 步作为“动作锚点（action anchor）”。随后，系统执行短程（ $h$ 步）扩散编辑来精细化该锚点。触觉验证器对预测的触觉未来进行评分，并对策略进行重加权，使其倾向于满足局部接触约束，同时保持与视觉计划接近。

2. 视触觉潜空间世界模型

为了支持基于结果的引导，ViTaL 采用了一个学习到的潜空间世界模型 ( $p_\phi$ )，直接在潜空间中预测未来的视觉与触觉状态。

架构： 使用冻结的编码器（用于视觉的 DINOv3 和用于触觉的 AnyTouch）将观测映射到潜状态 ( $z_v, z_\tau$ )。一个以动作为条件的 Transformer 递归地预测未来的关节潜状态。
效率： 通过在潜空间中运行，该模型避免了为每个候选动作解码完整图像或触觉图谱的计算开销，从而实现了高效的文本条件引导。

3. 语义对齐验证器

ViTaL 使用语言作为共享的任务表示，以桥接视觉与触觉推理。视觉语言模型（VLM）将高层指令分解为阶段性的文本目标 ( $\ell^v_p, \ell^\tau_p$ )。

视觉验证器： 将预测的视觉潜状态解码为 RGB 图像，并使用零样本奖励模型（ROBOMETER）评估语义进展（例如，“机器人是否正在向蓝色杯子移动？”）。
触觉验证器： 计算预测的触觉潜嵌入与接触目标文本嵌入（例如，“轻柔抓取”）之间的余弦相似度。这构成了一种文本条件触觉奖励，使得系统无需设计特定任务的奖励函数或解码触觉图像，即可对触觉未来进行评分。

4. 推理时优化

引导过程结合了基于采样的视觉选择与用于触觉精细化的扩散编辑：

视觉阶段： 采样 $N$ 条长程轨迹，在世界模型中展开，并根据视觉验证器选择最优轨迹。
触觉阶段： 将选中的视觉锚点视为扩散编辑的条件。它对锚点进行部分加噪，并将去噪过程向具有更高触觉奖励的动作方向偏置，从而有效地精细化接触执行。

核心贡献

双层多模态引导： 一个利用视觉进行长程语义模式选择、利用触觉进行针对性短程接触精细化的框架，解决了两种模态之间的时间尺度不匹配问题。
语言条件触觉奖励： 引入了一种新型的触觉验证器，它在对齐的潜空间中使用文本描述对预测的触觉未来进行评分。这实现了可扩展的、无需演示的触觉验证，并能灵活适应不同的任务阶段。
潜空间世界建模： 集成了视触觉潜空间世界模型，允许在潜空间中高效、直接地对多模态结果进行评分，而无需解码。

实验结果

作者在三个真实的接触密集型操作任务上评估了 ViTaL，使用的是配备 GelSight Mini 传感器的 Franka Emika 机器人：移液传输、擦拭和插拔。

性能提升： ViTaL 比基础策略提升了 51% 的整体任务成功率。它优于单模态引导（仅视觉或仅触觉）至少 33%，并超过了朴素的多模态融合（简单的奖励求和）至少 20%。
失效模式： 仅视觉引导通常能在全局对齐方面取得成功，但会因局部接触错误（如液体溢出）而失败；仅触觉引导改善了接触，但往往会错过全局目标。ViTaL 成功解决了这两种失效模式。
奖励准确性： 当将预测的未来与真实情况进行比较时，所提出的验证器实现了极高的偏好排序准确度（视觉约为 85%，触觉约为 81%），证明了潜空间世界模型和语义验证器的可靠性。
效率： 与朴素融合相比，双层方法在成功率与推理速度之间提供了更好的权衡，每个推理步骤仅增加了 0.05 秒，同时显著降低了失败率。

重要性与主张

论文声称，ViTaL 代表了使预训练机器人策略在无需重新训练或大量特定任务奖励工程的情况下，增强其在接触密集型任务中鲁棒性的重要一步。通过将引导问题分解为视觉模式选择和触觉精细化，该方法充分利用了视觉（全局上下文）与触觉（局部精度）的互补优势。

作者强调，他们的文本条件触觉奖励是机器人操作领域首个此类研究，实现了灵活的、由语言驱动的接触推理。他们也承认了局限性，指出系统的保真度取决于潜空间世界模型（其中复合误差可能会影响验证），且触觉编码器目前的预训练数据集规模较之现代 VLM 较小。然而，结果表明，多模态推理时引导是实现更具适应性和可靠性的机器人操作的一条可行路径。