技术摘要：通过运动感知触觉

1. 问题陈述

接触密集型操作任务（例如：精密插入、物体擦拭）要求机器人能够感知全局视觉无法捕捉到的细微物理交互。虽然光学触觉传感器通过监测弹性凝胶表面的变形，提供了高空间分辨率和多维力感知，但提取细粒度接触状态（例如：区分“正在接触”与“正在释放接触”）仍然是一个重大挑战。

现有方法通常依赖于两种存在感知歧义的表示形式：

1. 原始触觉图像： 这些图像捕捉外观变化，但往往在不同的接触状态之间表现出欺骗性的相似性（例如：稳定的接触与正在释放的接触在视觉上可能非常相似）。
2. 累积运动场： 这些表示代表相对于初始非接触帧的聚合凝胶变形。虽然它们反映了整体变形的大小和方向，但无法区分细微的变化，例如启动接触与终止接触之间的区别，因为两者都可能产生相似的累积变形模式。

此外，现有的视触觉融合策略难以在跨模态交互与模态特定属性保留之间取得平衡。特征级融合（如拼接）往往会导致一种模态占据主导地位，而决策级融合（训练独立的策略）则无法有效地利用跨模态线索。

2. 方法论

本文提出了 ViTacMotor，一种统一且具备模态感知能力的视触觉策略，通过两项核心创新来解决上述问题：一种新型触觉表示和一种专门的融合架构。

2.1 触觉运动相关性 (Tactile Motion Correlation, TMC)

作者发现，瞬时运动（连续帧之间的瞬时变形）与累积运动（相对于初始非接触状态的聚合变形）之间的相关性，能够明确区分细粒度的接触状态。

• 瞬时运动 ($M_{tran}$)： 前一帧 ($T_{t-1}$) 与当前帧 ($T_t$) 之间的光流。

• 累积运动 ($M_{cumu}$)： 初始非接触帧 ($T_0$) 与当前帧 ($T_t$) 之间的光流。

• 相关性机制： 该方法计算这两个运动场的像素级点积：
  $$Corr_t(x) = M_{tran}^t(x) \cdot M_{cumu}^t(x)$$

  物理阐释：

  • 正在接触： 两种运动方向一致 $\rightarrow$ 正点积。
  • 正在释放接触： 运动方向相反（凝胶回弹） $\rightarrow$ 负点积。
  • 稳定/无接触： 瞬时运动接近于零 $\rightarrow$ 点积接近零。
  • 滑动接触： 点积呈现空间梯度（从负到正），指示滑动的方向。

  这种表示法具有传感器无关性（在密集和稀疏标记传感器上均得到验证），且点积的大小与接触力呈正相关，提供了比单纯的原始外观或累积运动更丰富的线索。

2.2 统一模态感知视触觉策略 (ViTacMotor)

为了将这种新的触觉表示与全局视觉相结合，作者采用了混合 Transformer (Mixture-of-Transformers, MoT) 架构。

• 模态感知设计： 不同于将所有输入视为统一处理的标准融合方式，ViTacMotor 将触觉运动相关性视为区别于触觉外观和视觉输入的独立模态。
• 架构：
  1. 编码器： 独立的编码器分别处理视觉输入（腕部/第三视角）、原始触觉帧以及 TMC 表示。本体感受状态也会被编码。
  2. 模态特定投影： 每个模态 $m$ 拥有独特的学习参数 ($W_Q^{(m)}, W_K^{(m)}, W_V^{(m)}$)，以保留其独特的特性。
  3. 共享全局自注意力： 所有模态嵌入通过一个共享的自注意力机制进行处理，以促进跨模态互补性。
  4. 模态特定细化： 注意力处理后，输出经过模态特定的前馈网络 (FFN) 和层归一化 (Layer Normalization) 后进行聚合。
• 输出： 融合后的嵌入被送入 Transformer 解码器，以自回归方式预测动作块 (action chunks)，并通过 $\beta$-VAE 目标进行训练，以对人类演示中的随机性进行建模。

3. 核心贡献

1. 触觉运动相关性 (TMC)： 本文揭示了瞬时运动与累积运动之间的相关性可以明确解决细粒度接触状态的歧义。TMC 被提出作为一种鲁棒、具有物理可解释性且传感器无关的触觉表示。
2. ViTacMotor 框架： 利用 MoT 架构实现有效视触觉融合的统一策略。它在捕捉跨模态交互的同时，独特地保留了视觉和触觉输入的特定属性。
3. 实证验证： 在四个具有挑战性的现实任务上的广泛实验表明，该方法优于现有的先进基准方法。

4. 实验结果

该方法在两种类型的光学触觉传感器（密集型和稀疏标记型）和 Agilex 机器人系统上，针对四种接触密集型操作任务进行了评估。

任务：

• 管状物收集 (Tube Collection)： 需要精确对准并插入架子中（对遮挡敏感）。
• 灯泡插入 (Lightbulb Insertion)： 需要旋转并精确插入，直到灯亮起。
• 白板擦拭 (Whiteboard Erasing)： 需要稳定的受控力以去除墨迹而不损坏表面。
• 铅笔削尖 (Pencil Sharpening)： 需要对准并施加足够的向下压力。

性能亮点：

• 成功率： ViTacMotor 在所有任务中均优于基准模型（ACT, Diffusion Policy, ACT+T, Policy Consensus, TactileACT）。
  • 管状物收集： 成功率 73.3%（对比 TactileACT 的 60.0%）。
  • 灯泡插入： 成功率 40.0%（对比 TactileACT 为 40.0%，但在中间步骤中具有更高的鲁棒性）。
  • 白板擦拭： 成功率 86.7%（对比 TactileACT 的 73.3%）。
  • 铅笔削尖： 成功率 60.0%（对比 TactileACT 的 46.7%）。
• 消融实验：
  • 去除 TMC 会导致性能显著下降，证实了其在力控制和状态感知中的必要性。
  • 将 MoT 融合替换为简单的拼接或交叉注意力会导致性能降低，验证了模态感知架构的有效性。
• 鲁棒性： 该方法在环境变化（非均匀/均匀光照）和物体变化（不同类型的擦拭器、将管状物替换为圆柱体）下仍保持较高的成功率。

5. 重要性与主张

本文主张，触觉运动相关性提供了一种具有物理可解释性的机制，能够明确区分在原始图像或累积场中在视觉上具有歧义的接触状态。通过对瞬时运动与累积运动之间动态关系的建模，系统获得了推断接触方向（正在接触 vs 正在释放）和力大小的能力。

此外，ViTacMotor 框架证明了有效的视触觉操作不仅仅需要简单的特征拼接；它需要一种既能尊重模态特定特性，又能实现深度跨模态交互的架构。作者将这项工作定位为迈向通用化、接触密集型操作策略的一步，这类策略能够处理现实世界机器人任务所需的细微物理交互。

注：作者承认在极端视觉干扰或显著物体位置变化下的泛化能力方面存在局限性，指出在这些条件下存在失败案例。