💻 computer science

Multi-Resolution Tactile Imitation Learning for Contact-Rich Robotic Manipulation

本文介绍了 MiTaS，这是一个多分辨率触觉模仿学习框架，它通过基于 Transformer 的架构融合来自 RGB 摄像头、GelSight Mini 和高频 Evetac 传感器的数据，从而在接触密集型机器人操控任务中，实现了比仅视觉或标准视触觉基准显著更高的成功率。

原作者： Rickmer Krohn, Erik Helmut, Niklas Funk, Jan Peters, Vignesh Prasad, Georgia Chalvatzaki

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rickmer Krohn, Erik Helmut, Niklas Funk, Jan Peters, Vignesh Prasad, Georgia Chalvatzaki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图把一把钥匙插入一个非常紧且生锈的锁孔中。如果你只用眼睛看，你可能能看到钥匙孔，但你无法感觉到那些微小的凸起，也无法察觉到钥匙开始打滑的那一瞬间。你很可能会把钥匙卡住，然后放弃。现在，想象一下如果你拥有一种超强的触觉，不仅能感觉到钥匙的位置，还能感觉到你在将其嵌入位置时，每秒钟发生上千次的细微、快速的振动。

这篇论文介绍了一个名为 MiTaS（多分辨率触觉感知，Multi-Resolution Tactile Sensing）的机器人系统，它正是这样做的。它教会机器人通过结合三种不同类型的“感官”来“摸索”完成棘手的任务，就像人类同时使用眼睛和敏感的手指一样。

机器人的三种“感官”

这个机器人不仅仅是在手上有一个摄像头；它拥有一个由三种传感器协同工作的特殊组合：

广角眼（RGB 摄像头）： 这就像是一个标准的监控摄像头。它观察大局，比如桌子在哪里，物体位于何处。它擅长观察场景，但不擅长观察微小的细节或快速的运动。
高分辨率指尖（GelSight 传感器）： 想象一下一个连接在机器人手指上的微型、柔软、富有弹性的摄像头。当手指接触到物体时，这个摄像头会拍摄一张关于物体受压形状的超清晰照片。这就像是一个能看到钥匙或齿轮纹理的指纹扫描仪。然而，它拍摄照片的速度是正常的，因此可能会错过非常快速的事件。
超快速“闪光”眼（Evetac 传感器）： 这是秘密武器。它是一种基于事件的传感器，并不拍摄普通的照片。相反，它的作用就像一个高速闪光灯，只有在有东西“变化”时才会闪烁。如果钥匙哪怕只是轻微地滑动或振动，这个传感器就会发出“嘿！有东西动了！”的警报。它能捕捉到每秒数千次的这些微小变化，而其他两个传感器会完全错过这些变化。

它们如何协同工作：“指挥家”

拥有三种不同的传感器所面临的问题是，它们使用的“语言”不同，移动速度也不同。摄像头很慢，GelSight 是中速，而 Evetac 则是闪电般快速。

MiTaS 扮演着管弦乐队指挥家的角色。它有一个特殊的“大脑”（神经网络），可以同时聆听所有三种乐器。

它获取“慢速”的视觉信息和“中速”的纹理信息。
它将来自 Evetac 传感器的“快速”振动警报混合进来。
它将它们全部融合为一个单一的、超级智能的理解，从而掌握正在发生的情况。

一旦机器人理解了现状，它就会使用一种“流匹配”（flow-matching）策略。你可以把它想象成一个 GPS，它不仅告诉机器人要去哪里，还计算出到达那里的完美、平滑的路径，并根据传感器感受到的情况进行实时调整。

大考：五项棘手任务

研究人员在五项需要细腻触感的困难工作中测试了这个系统，例如：

组装齿轮： 将齿轮咬合在一起而不被卡住。
擦拭黑板： 施加恰到好处的压力来擦除线条，而不会让海绵倾斜。
拧灯泡： 精确对准螺纹。
插入钥匙： 经典的“紧锁”挑战。
连接灯泡： 将细小的引脚对准插槽。

结果：

仅靠视觉的机器人： 当机器人只用眼睛看时，它在几乎所有任务中都失败了（成功率仅为 31%）。它无法看透“遮挡”（即手部挡住视线的情况），也无法感觉到微小的对齐偏差。
标准触觉机器人： 仅拥有“指尖”摄像头（GelSight）的机器人表现稍好（成功率为 54%），但它们在处理像钥匙卡住这类快速、棘手的时刻时仍然感到吃力。
MiTaS（获胜者）： 通过结合这三种感官，机器人实现了 80% 的成功率。它能够感受到钥匙打滑时的振动并立即做出调整，这是其他机器人无法做到的。

“作弊码”式训练方法

这里有一个研究人员使用的聪明技巧。他们使用所有三种传感器来训练机器人，但随后告诉机器人：“好了，现在去执行任务，但你不能再使用那个超快速的 Evetac 传感器了。”

令人惊讶的是，机器人的表现仍然比从未见过 Evetac 传感器时要好。就好像机器人在训练期间从那个快速传感器那里学会了一种“秘密语言”，即使没有它，它也能根据所学到的知识进行“幻觉”或推测出正确的动作。这被称为协同训练（co-training），它在某些任务中将性能提升了超过 10%。

核心结论

这篇论文表明，对于要处理精细、高接触任务（如修理手表或组装电子元件）的机器人来说，它们需要的不仅仅是眼睛。它们需要高分辨率触觉（以观察形状）和高速触觉（以感受振动和滑动）的结合。通过教会机器人同时“聆听”这两者，MiTaS 让机器人能够解决以前机器难以可靠处理的复杂问题。

技术摘要：用于接触密集型机器人操控的多分辨率触觉模仿学习 (MiTaS)

问题陈述

在接触密集型环境（如插入、组装、擦拭）中的机器人操控，如果仅依赖视觉，往往会因为遮挡以及无法感知细微接触动力学而失败。虽然基于视觉的触觉传感器（如 GelSight）可以提供关于接触几何形状的高分辨率空间信息，但其运行频率较低（例如 25 Hz），难以捕捉快速事件，如冲击、初始滑动或高频振动。相反，基于事件的触觉传感器（如 Evetac）提供了捕捉这些快速动态的高时间分辨率，但缺乏基于帧传感器所提供的稠密空间几何信息。目前的模仿学习框架通常依赖于单一的触觉模态，未能利用运行在不同时间分辨率下的异构传感器的互补优势。

方法论：MiTaS 框架

作者提出了多分辨率触觉感知 (MiTaS)，这是一个旨在融合异构触觉传感器（RGB 视觉、GelSight 和 Evetac）以调节流匹配（flow-matching）模仿学习策略的表示框架。

1. 传感器模态与输入

系统集成了安装在夹爪上的三种不同传感流：

自我中心 RGB： 由腕部相机捕获（25 Hz），提供场景上下文和手-物配置。
GelSight Mini： 一种基于视觉的触觉传感器（25 Hz），提供局部接触几何形状和变形的高分辨率空间数据。
Evetac： 一种基于事件的触觉传感器（200 Hz），捕捉快速接触动态。为了与策略的时间步对齐，每个观测步骤会堆叠 16 个事件帧。

2. 架构

MiTaS 架构采用特定模态的 CNN 主干（CNN-stem），随后通过基于 Transformer 的融合进行处理：

传感器主干： 每种模态都由专门的卷积神经网络 (CNN) 主干处理，以提取 Token 表示。
- RGB： 在堆叠帧上进行步进式 2D 卷积。
- GelSight： 针对矩形分辨率调整的镜像 2D 卷积。
- Evetac： 一个 4 层 3D 卷积主干，共同压缩时间与空间维度，反映了事件数据更高的时域密度。
位置与模态编码： Token 通过学习到的位置向量（编码传感器网格内的位置）和特定模态的嵌入（识别来源传感器）进行增强。
传感器融合： 增强后的 Token 序列通过使用多头自注意力（multi-head self-attention）和交叉注意力（cross-attention）机制的 Transformer 编码器进行处理。这使得系统能够实现丰富的多感官特征集成，而不会产生感知瓶颈。

3. 策略：基于扩散 Transformer (DiT) 的流匹配

融合后的感官 Token 用于调节用于动作生成的流匹配 (Flow-Matching) 生成模型：

动作空间： 策略预测机器人局部坐标系下的增量命令序列（平移 $\Delta x, \Delta y, \Delta z$ 和偏航 $\Delta \psi$ ）。
训练： 模型学习沿从随机噪声到目标动作序列的直线概率路径回归目标速度场。
推理： 通过显式欧拉积分（Euler integration）集成学习到的速度场来生成动作。
约束： 该策略是状态无关的 (state-agnostic)；它不接收绝对机器人状态或本体感受，从而迫使它仅从高维多模态感官输入中推断相对运动。

4. 多触觉协同训练

为了实现仅使用部分传感器（特别是视觉 + GelSight）进行部署，同时在训练期间利用高频 Evetac 数据，作者引入了一种非对称协同训练方案：

在训练期间，按随机方式构建批次：50% 的序列包含 Evetac 数据，另外 50% 不包含。
这迫使视觉-触觉表示隐式地学习并补偿缺失的高频特征，从而使模型即使在推理时省略 Evetac 编码器也能表现稳健。

实验评估

该框架在 7 自由度 Franka Panda 机器人上针对五个具有挑战性的接触密集型任务进行了评估：

齿轮组装： 将一个齿轮插入两个齿轮之间。
板面擦拭： 在擦拭线条时保持接触压力。
灯泡安装： 对准并将灯泡拧入插座。
钥匙插锁： 将钥匙精确插入锁孔。
灯泡连接： 对准并旋转 GU10 灯泡进入插座。

关键结果

整体性能： MiTaS 在所有任务中实现了 80% 的平均成功率。
基线模型：
- Sparsh-X（使用相同传感器的多模态 Transformer 基线）：实现了 54% 的平均成功率。值得注意的是，它在“钥匙插锁”任务中失败了，尽管多次尝试仍卡在钥匙孔处。
- 仅视觉模型 (ViT/ViT-CNN)： 分别仅实现了 31% 和 26% 的成功率，由于遮挡和缺乏接触反馈，在需要紧密插入的任务（钥匙、灯泡）中完全失败。
传感器消融实验：
- 去除 Evetac（仅保留视觉 + GelSight）后，性能下降至 51% 平均成功率，证实了高频数据的价值。
- 去除 GelSight（仅保留视觉 + Evetac）后，性能降至 37% 平均成功率，表明空间几何对于初始对准至关重要。
协同训练影响： 使用 Evetact 数据对视觉+GelSight 策略进行协同训练，即使在评估时不使用 Evetac，也提升了特定任务的性能（例如，板面擦拭 +15%，灯泡连接 +25%）。

注意力分析

交叉注意力得分的可视化揭示了策略如何根据任务阶段动态地转移对传感器的依赖：

接近阶段 (Reaching)： 主要关注 RGB 视觉。
拧紧/插入阶段 (Screwing/Insertion)： 将重心转向 GelSight 进行几何对准。
关键事件 (Critical Events)： 在发生卡顿或模糊状态（例如，在灯泡任务中区分是悬停还是完全插入）时，关注 Evetac 以解决不确定性。

重要性与贡献

该论文声称其贡献如下：

新颖架构： 首个结合经典帧式触觉传感器 (GelSight) 与事件式触觉传感器 (Evetac)，并使用特定模态的 CNN 主干和 Transformer 融合来处理不同时间分辨率的工作。
协同训练方案： 一种利用高频触觉数据在训练期间提升标准视觉-触觉策略性能的方法，且无需在部署时使用高频传感器。
数据集与基准： 一个涵盖五个复杂操控任务的新型多分辨率触觉数据集，证明了多分辨率融合能够在视觉单模态或单模态触觉方法失效的场景下实现稳健控制。

作者强调，虽然该框架表现出很强的性能，但目前局限于 4-DoF 动作，并且依赖于遥操作数据采集。未来的工作旨在扩展到 6-DoF 控制并探索更广泛的传感器集成。