🤖 machine learning

Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning

本文提出了多感官动态预训练（MSDP）框架，通过基于掩码自编码的自监督预训练和不对称的 actor-critic 架构，显著提升了机器人在接触丰富、含噪声及动态变化环境下的强化学习样本效率与鲁棒性。

原作者： Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Rickmer Krohn, Vignesh Prasad, Gabriele Tiboni, Georgia Chalvatzaki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让机器人变得更“聪明”、更“灵活”的新方法，专门用于解决那些需要精细触觉和视觉配合的复杂任务（比如把钉子插进孔里，或者轻轻推一个盒子）。

我们可以把这项技术想象成教一个刚学做菜的新手厨师如何成为顶级大厨。

1. 核心难题：机器人为什么“笨手笨脚”？

想象一下，你让一个机器人去把一根钉子插进一个洞里。

眼睛（视觉）：告诉它钉子在哪里，洞在哪里。
手（本体感觉）：告诉它手臂伸到了什么位置。
触觉（力传感器）：告诉它钉子碰到木头时有多硬，有没有歪。

传统的强化学习（RL）就像让机器人从零开始，一边试错一边学。但在现实世界里，如果机器人太用力把钉子插歪了，或者因为光线不好没看清，它可能会学很久都学不会，甚至把东西弄坏。而且，不同传感器的“说话方式”（数据格式）完全不同，机器人很难把它们融合在一起理解。

2. 解决方案：MSDP（多感官动态预训练）

作者提出了一种叫 MSDP 的方法。我们可以把它分成两个阶段来理解：

第一阶段：蒙眼特训（预训练）

这就好比让那个新手厨师在看不见食材的情况下，先通过“盲猜”来学习。

蒙眼游戏：系统会故意“遮住”机器人的一部分感官数据（比如遮住眼睛看到的图像，或者遮住手上的力度数据）。
互相猜谜：机器人必须利用剩下的感官（比如只靠手的感觉）去猜被遮住的部分是什么。
- 例子：如果机器人感觉到手推到了东西（力传感器），它就能猜出眼前肯定有个物体（视觉）。
目的：通过这种“猜谜”游戏，机器人学会了不同感官之间的深层联系。它不再只是单独看或单独摸，而是学会了“看到物体时，手应该有什么感觉”或者“手碰到阻力时，物体大概长什么样”。这就像厨师学会了“听声音就知道菜炒好了”，即使看不见也能判断。

第二阶段：实战演练（强化学习）

预训练结束后，机器人已经拥有了一个超级大脑（预训练好的编码器），它现在要开始真正干活了。

不对称的“大脑分工”：这是这篇论文最巧妙的地方。作者设计了一个特殊的架构，让机器人的“决策者”和“评估者”用不同的方式处理信息：
- 评估者（Critic，像教练）：它使用一种**“聚光灯”机制（交叉注意力）**。在评估当前局势时，它能动态地聚焦于最关键的信息（比如：现在最重要的是钉子的角度，而不是背景的颜色）。这让它能敏锐地判断“这一步做得对不对”。
- 决策者（Actor，像运动员）：它接收一个**“稳定混合”的信号（平均池化）**。它不需要时刻盯着细节，而是需要一个平稳、可靠的总体感觉来指导动作，这样动作才不会忽左忽右，更加稳定。

3. 惊人的效果：快、准、稳

速度极快：在真实的机器人上，这种方法只需要 6,000 次 尝试（大约 55 分钟），就能学会复杂的插钉子任务。而传统方法可能需要几百万次尝试，或者根本学不会。
抗干扰能力强：
- 光线变化：即使把灯关掉、开成迪斯科灯，或者用东西挡住摄像头，机器人依然能完成任务。因为它学会了“即使眼睛看不清，手也能感觉到”。
- 传感器故障：如果某个传感器坏了或者数据不准，它也能靠其他感官“补位”。
无需模拟：最厉害的是，它不需要先在电脑模拟环境里练很久再搬到现实世界（Sim-to-Real），而是直接在真实机器人上就能快速学会。

4. 总结：一个生动的比喻

如果把机器人比作一个盲人摸象的侦探：

以前的方法：侦探只能摸到象腿，就以为象是柱子；摸到耳朵，就以为象是扇子。他需要摸很多次才能拼凑出大象的样子，而且一旦摸错了，很难纠正。
MSDP 方法：
1. 预训练：侦探先被蒙上眼睛，只摸象腿，然后被要求猜象耳朵长什么样。通过这种高强度的“联想训练”，他脑子里建立了一个完整的“大象模型”，知道腿和耳朵是连在一起的。
2. 实战：现在让他去抓大象。
  - 他的**大脑（评估者）**会像探照灯一样，瞬间锁定“现在最关键的是大象的鼻子在哪里”。
  - 他的**手（决策者）**则保持平稳，根据整体的感觉去行动。
3. 结果：即使大象身上盖了布（视觉遮挡），或者光线很暗，他也能凭借之前的“联想训练”和“多感官配合”，迅速、准确地完成任务。

一句话总结：
MSDP 通过让机器人先玩“感官猜谜游戏”来建立跨感官的直觉，再配合一套“动态聚焦 + 稳定执行”的分工机制，让机器人能在极短的时间内，像经验丰富的老手一样，灵活、稳健地处理复杂的接触任务。

这篇论文提出了一种名为**多感官动态预训练（MultiSensory Dynamic Pretraining, MSDP）的新框架，旨在解决机器人强化学习（RL）在富含接触（contact-rich）**操作任务中面临的挑战。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：富含接触的机器人操作（如插拔销钉、推物体）需要机器人协同利用视觉、力觉（Force/Torque）和本体感觉（Proprioception）等多种感官信息。然而，现有的 RL 代理在这些多感官设置中表现不佳，主要原因包括：
- 异构动力学：不同传感器模态（如图像的高维数据与力传感器的低维数据）具有不同的动态特性。
- 动态重要性变化：在任务执行的不同阶段，各输入模态的重要性会发生变化（例如，从粗略的视觉场景理解转变为接触时的精细力反馈）。
- 噪声与扰动：传感器噪声和环境动态变化（如物体质量、摩擦力的变化）会显著降低策略的鲁棒性。
- 数据效率低：传统的多模态学习方法往往需要大量专家演示数据或昂贵的数据采集，难以在真实世界中快速部署。

2. 方法论 (Methodology)

MSDP 框架分为两个主要阶段：离线预训练和在线策略学习。

A. 多感官动态预训练 (Offline Pretraining)

核心思想：基于掩码自编码器（Masked Autoencoders, MAE）和跨传感器预测进行自监督学习。
架构：
- 传感器编码器：视觉输入通过 CNN 茎层（CNN-stem）编码，力觉和本体感觉通过线性投影编码。所有嵌入（Embeddings）都添加了可学习的模态/位置编码。
- 掩码机制：随机掩码掉 70% 的传感器 Token（包括部分视觉块和所有低维传感器数据），迫使模型利用剩余传感器信息重建被掩码部分。
- Transformer 编码器：使用 2 层 Transformer 编码器处理未掩码的嵌入，通过注意力机制实现动态的多感官融合。
- 解码与目标：解码器尝试重建当前观测（ $O_t$ ）或下一时刻观测（ $O_{t+1}$ ），并条件化于动作（Action）。这种设计迫使模型学习跨模态的依赖关系（例如，利用本体感觉推断视觉中的物体位置，或利用力觉推断接触状态）。
优势：即使某些模态缺失或受到噪声干扰，模型也能学习到丰富的、任务相关的多感官表示。

B. 策略学习 (Policy Learning)

非对称架构（Asymmetric Architecture）：这是 MSDP 的关键创新之一，用于将预训练的冻结编码器映射到下游 RL 的 Actor 和 Critic。
- Critic（评论家）：使用交叉注意力（Cross-Attention）机制。Critic 拥有一个可学习的 Query，从冻结的多感官嵌入中动态提取任务特定的特征（如物体位置、接触状态）。这有助于快速收敛和精确的价值估计。
- Actor（执行者）：使用平均池化（Mean Pooling）。Actor 接收所有传感器嵌入的平均表示，以确保策略在任务不同阶段获得稳定的表示，避免交叉注意力可能带来的训练不稳定性。
算法：在仿真中使用 SAC 算法，在真实世界中使用 RLPD（Reinforcement Learning from Pretrained Data）算法，利用离线预训练数据加速在线学习。

3. 关键贡献 (Key Contributions)

MSDP 预训练策略：提出了一种基于掩码自编码的预训练方法，通过跨传感器重建任务，学习出对噪声和模态缺失具有鲁棒性的丰富多感官表示。
非对称潜层桥接（Latent Bridging）架构：设计了一种新颖的 Actor-Critic 架构，利用交叉注意力为 Critic 提取动态特征，同时利用池化为 Actor 提供稳定表示，解决了从预训练嵌入到 RL 策略的高效映射问题。
真实世界的高效部署：证明了该方法可以直接在真实机器人上训练，无需 Sim-to-Real 迁移，且仅需极少的在线交互数据。

4. 实验结果 (Results)

仿真环境：在 Peg Insertion（插销钉）、Push Cube（推方块）、Close Drawer（关抽屉）和 Dual Arm Peg Insertion（双臂插销钉）四个富含接触的任务中，MSDP 显著优于基线模型（如 Concat, PoE, VTT）。
- 加速学习：在 Peg Insertion 任务中，仅需 20 万步环境交互即可达到约 80% 的成功率，而基线模型表现较差。
- 鲁棒性：在物体质量、摩擦力变化及传感器噪声下，MSDP 表现出更强的适应能力。
真实世界实验：
- 数据效率：在 Franka 机械臂上，仅通过6,000 次在线交互（包含数据收集和预训练总耗时<55 分钟）即可达到近最优性能。
- 成功率：在 Peg Insertion 和 Push Cube 任务中，MSDP 的成功率显著高于基线。特别是力觉传感器（FT-sensor）的加入使成功率提升了14%。
- 抗干扰能力：在背光、强光、遮挡（Occlusion）和动态灯光（Disco lights）等未见过的视觉干扰下，MSDP 策略保持了 90%-100% 的成功率。
消融实验：
- 证明了多感官预训练可以增强纯视觉 RL 的表现（即使训练时只用视觉，预训练时包含力觉/本体感觉也能提升性能）。
- 验证了非对称架构（Cross-Attention for Critic + Pooling for Actor）优于简单的 CLS token 提取或全池化方法。

5. 意义与影响 (Significance)

解决接触难题：为机器人处理复杂的接触动力学提供了一种简单而强大的解决方案，通过自监督学习有效融合了视觉、力觉和本体感觉。
真实世界可行性：打破了传统 RL 在真实机器人上需要海量数据或复杂 Sim-to-Real 迁移的瓶颈，展示了在极少样本下（<6000 步）直接在线学习复杂操作任务的可行性。
通用性与扩展性：该框架具有模块化特性，易于扩展到更多传感器模态（如触觉、听觉），并为利用现有数据集进行通用化预训练提供了新思路。

总结：MSDP 通过“预训练多感官融合表示” + “非对称策略架构”的组合，成功实现了高效、鲁棒的机器人接触操作学习，特别是在真实世界环境中展现了极高的数据效率和抗干扰能力。