ReTac-ACT: A State-Gated Vision-Tactile Fusion Transformer for Precision Assembly

本文提出了 ReTac-ACT，一种通过双向交叉注意力、本体感知门控网络及触觉重建目标来实现视觉 - 触觉特征融合与动态切换的模仿学习策略，在 NIST 精密装配基准测试中显著超越了纯视觉及通用基线方法，实现了高达 90% 的插孔成功率及在 0.1 毫米工业级间隙下的稳健表现。

要点

这篇论文介绍了一种名为 ReTac-ACT 的机器人新技术，它的核心目标是让机器人像人类一样，既能“看”又能“摸”，从而完成极高精度的组装任务（比如把一根针插进一个非常小的孔里）。

为了让你更容易理解，我们可以把这项技术想象成教一个机器人玩“蒙眼穿针”的游戏。

1. 核心难题：为什么机器人以前总是“插不进去”？

想象一下，你要把一根很细的针插进一个针孔里。

• 纯视觉派（以前的机器人）： 就像你只戴着眼镜，不戴手套。在针离孔还很远的时候，你看得很清楚，能准确对准。但是，当针尖快要碰到孔，或者针已经插进去一半时，你的手和针会挡住你的视线（这就叫遮挡）。这时候，你的眼睛就“瞎”了，完全不知道针尖是不是歪了，稍微一用力，针就弯了或者插不进去了。
• 现实情况： 工业组装中，很多零件之间的缝隙只有 0.1 毫米（比头发丝还细）。在这个阶段，视觉完全失效，必须靠“手感”。

2. 解决方案：ReTac-ACT 是什么？

ReTac-ACT 就像给机器人装上了一双会思考的“魔法手套”。它不仅仅是一个简单的传感器，而是一个聪明的融合系统。

我们可以把它比作一个经验丰富的老工匠，他有两个助手：

1. 视觉助手（眼睛）： 负责在大范围内找目标，把针大概对准孔。
2. 触觉助手（手指）： 负责在接触瞬间，感知哪怕微米级别的偏差。

ReTac-ACT 的三大“独门绝技”：

绝技一：双向“心灵感应” (双向交叉注意力机制)

以前的机器人，眼睛和手是各干各的，或者只是简单地把信息拼在一起。
ReTac-ACT 让眼睛和手能互相交流。

• 比喻： 当手感觉到一点点阻力（触觉）时，它会立刻告诉眼睛：“嘿，这里有点不对劲，快把注意力集中到针尖这里！”；反过来，眼睛看到针歪了，也会告诉手：“往左边推一点”。
• 效果： 这种“心灵感应”让机器人在接触瞬间能迅速修正错误，而不是像以前那样盲目乱撞。

绝技二：智能“开关” (状态门控机制)

这是最聪明的地方。机器人知道什么时候该用眼睛，什么时候该用手。

• 比喻： 想象你在开车。
  • 在空旷的高速公路上（自由空间）： 你主要靠眼睛看路，手只是轻轻扶着方向盘。这时候如果一直盯着手的感觉，反而分心。
  • 在狭窄的停车场倒车入库（接触阶段）： 当车快要碰到障碍物时，你立刻切换模式，主要靠后视镜和雷达（触觉），眼睛反而退居二线，因为视线被挡住了。
• ReTac-ACT 的做法： 它有一个智能开关。当机器人还没碰到物体时，它主要信眼睛；一旦感觉到接触（或者快要接触），它立刻自动切断对视觉的过度依赖，把控制权完全交给触觉，进行微米级的微调。

绝技三：强迫“练手感” (触觉重建目标)

很多机器人虽然装了触觉传感器，但学不到真正的“手感”，只是把触觉图片当成普通的纹理（比如把摸到的金属纹理当成了画在纸上的画）。

• 比喻： 就像教一个盲人学画画，如果只让他看画，他学不会。ReTac-ACT 在训练时，强迫机器人把摸到的东西“画”出来（重建触觉图像）。
• 效果： 为了能把摸到的形状“画”得一模一样，机器人必须极其精准地理解接触面的几何形状和受力情况。这逼着它学会了真正的“手感”，而不是死记硬背。

3. 成果有多牛？

研究人员在一个标准的“插针”测试（NIST ATB M1）上进行了挑战：

• 普通机器人（纯视觉）： 在缝隙稍微大一点（3 毫米）时，成功率只有 40%；当缝隙缩小到工业级标准（0.1 毫米）时，直接失败（0%），因为眼睛被挡住了，完全瞎了。
• ReTac-ACT（我们的机器人）：
  • 在 3 毫米缝隙下，90% 成功。
  • 在 0.1 毫米（极难）的缝隙下，依然保持 80% 的成功率！

4. 总结

这就好比，以前的机器人是近视眼，离得远能看清，一靠近就撞墙；而 ReTac-ACT 给机器人装上了盲人的敏锐触觉，并且教会了它何时该闭眼、何时该伸手。

这项技术不仅让机器人能完成以前做不到的精密组装，还开源了代码和数据集，意味着未来的机器人将能像人类工匠一样，在复杂、狭窄、视线受阻的环境中，凭借“手感”完成高精度的工作。

技术摘要

这是一份关于论文 ReTac-ACT: A State-Gated Vision-Tactile Fusion Transformer for Precision Assembly 的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：在精密装配任务（如“销钉插入孔”）中，存在一个关键的“最后毫米”阶段。在此阶段，由于末端执行器和工作部件的遮挡，视觉反馈往往失效或变得不可靠，导致纯视觉的模仿学习（Imitation Learning, IL）方法难以完成亚毫米级的修正。
现有局限：

• 纯视觉方法（如 ACT, Diffusion Policy）：过度依赖视觉感知，在接触阶段缺乏触觉反馈，面对视觉遮挡和几何模糊时极易失败。
• 现有融合方法：大多采用简单的并行输入或早期融合，导致“模态不平衡”（视觉信号主导，触觉信息被淹没），且缺乏根据任务状态（如自由空间运动 vs. 接触插入）动态调整模态权重的机制。
• 数据与基准缺失：缺乏标准化的精密装配基准和包含高维触觉数据的大规模数据集。

2. 方法论 (Methodology)

作者提出了 ReTac-ACT（Reconstruction-enhanced Tactile ACT），这是一种状态门控的视觉 - 触觉融合策略，旨在将 Action Chunking with Transformers (ACT) 扩展为原生支持触觉反馈的框架。

核心架构组件：

1. 多模态编码器 (Multi-Modal Encoders)：

   • 视觉编码器：使用预训练的 ResNet-18 处理多视角 RGB 图像。
   • 触觉编码器：专门设计的 5 层 CNN 编码器（而非通用视觉骨干），用于捕捉高频接触形变。
   • 触觉重建辅助目标 (Tactile Reconstruction)：在训练期间引入辅助重建损失（$L_{rec}$），强制触觉编码器从潜在令牌中重建原始触觉图像。这防止了特征坍缩，确保编码器学习的是与操作相关的接触几何信息，而非通用纹理。

2. 跨模态动态融合模块 (Cross-Modal Dynamic Fusion Module)：

   • 双向交叉注意力 (Bidirectional Cross-Attention)：在融合前，允许视觉和触觉令牌进行相互增强。触觉特征帮助视觉定位接触区域，视觉上下文指导触觉解释。
   • 本体感知门控机制 (Proprioception-Conditioned Gating)：
     • 基于机器人的本体感知状态（关节位置、位姿等），通过一个 MLP 网络计算门控系数 $\alpha_t \in (0, 1)$。
     • 动态切换：当 $\alpha_t \approx 0$ 时（自由空间阶段），策略主要依赖视觉；当 $\alpha_t \approx 1$ 时（接触插入阶段），策略自动增加对触觉的依赖。
     • 互惠融合：通过公式 $V^\star = (1-\alpha_t)V + \alpha_t \tilde{V}$ 等，实现信息的动态加权，避免简单的拼接。

3. 动作生成器 (Action Generator)：

   • 基于 CVAE（条件变分自编码器）的 Transformer 解码器，预测时间动作块（Action Chunks），包含双机械臂的 14 自由度关节目标及夹爪指令。

4. 损失函数：

   • 总损失 = 动作预测损失 ($L_{l1}$) + VAE KL 散度 ($L_{KL}$) + 触觉重建损失 ($L_{rec}$) + 对比对齐损失 ($L_{con}$)。对比损失用于对齐视觉和触觉特征空间。

3. 关键贡献 (Key Contributions)

1. ReTac-ACT 架构：提出了一种状态门控的视觉 - 触觉 ACT 策略，原生兼容触觉输入，通过本体感知门控实现了从“视觉主导”到“触觉主导”的无缝切换。
2. 触觉表征学习方案：引入辅助触觉重建目标，迫使模型学习高频接触几何特征，显著提升了策略对亚毫米级接触偏差的敏感度。
3. 数据集与基准：
   • 基于 NIST ATB M1 基准（由 ManipulationNet 提供），建立了包含 5000+ 条专家演示轨迹的视觉 - 触觉数据集。
   • 覆盖了 5 种几何形状和 4 种公差等级（从 3mm 到 0.1mm）。
   • 开源了代码库和完整数据集。

4. 实验结果 (Results)

实验在 NIST ATB M1 基准上进行，对比了 ACT、Diffusion Policy (DP) 和通用 VLA 模型 (pi05)。

• 总体性能 (3mm 公差)：

  • ReTac-ACT：插入成功率 90%，抓取成功率 100%，无失败抓取。
  • ACT：插入成功率 40%。
  • DP / pi05：插入成功率仅 20%。
  • 提升：相比 ACT 提升了 2.25 倍，相比通用模型提升了 4.5 倍。

• 工业级精度 (0.1mm 公差)：

  • ReTac-ACT：在 0.1mm 极小间隙下仍保持 80% 的成功率。
  • ACT：性能急剧下降至 15%。
  • DP：完全失败 (0%)。
  • 鲁棒性：随着公差收紧，ReTac-ACT 性能仅下降 11%，而 ACT 下降了 62.5%。

• 消融实验 (Ablation Study)：

  • 移除双向交叉注意力或互惠融合：插入成功率从 90% 暴跌至 5%。
  • 移除触觉重建 (TacRecon)：成功率降至 15%，证明重建目标对提取有效触觉特征至关重要。
  • 移除状态门控 (StateGate)：成功率降至 35%，证明静态融合无法适应不同任务阶段的需求。

5. 意义与影响 (Significance)

• 解决“最后毫米”难题：证明了在视觉严重遮挡的接触密集型任务中，引入高维触觉反馈和动态融合机制是解决亚毫米级精密装配的关键。
• 超越通用模型：表明在特定高精度任务上，专门设计的多模态融合策略优于基于大规模预训练的通用 VLA 模型（如 pi05），后者缺乏触觉先验知识。
• 标准化与开源：通过 NIST ATB M1 基准和开源数据集，为机器人精密装配领域的可复现研究设立了新标准，推动了从实验室到工业应用的转化。
• 未来方向：为处理非轴对称形状（如方形、六角形销钉）以及实机到仿真（Real-to-Sim）的触觉迁移提供了基础。

总结：ReTac-ACT 通过创新的“状态门控”机制和“触觉重建”辅助学习，成功解决了纯视觉方法在精密装配中的局限性，实现了在极端公差（0.1mm）下的高成功率，为机器人触觉感知与视觉的深度融合提供了新的范式。