💻 computer science

Visual-Tactile Peg-in-Hole Assembly Learning from Peg-out-of-Hole Disassembly

该论文提出了一种利用视觉 - 触觉感知的 Peg-out-of-Hole 逆向拆解任务来辅助 Peg-in-Hole 装配学习的框架，通过生成逆向专家数据显著提升了机器人装配的成功率并降低了接触力。

原作者： Yongqiang Zhao, Xuyang Zhang, Zhuo Chen, Matteo Leonetti, Emmanouil Spyrakos-Papastavridis, Shan Luo

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongqiang Zhao, Xuyang Zhang, Zhuo Chen, Matteo Leonetti, Emmanouil Spyrakos-Papastavridis, Shan Luo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常聪明的机器人学习技巧：如何教机器人把“插销”（Peg-in-Hole）这个高难度动作学会，方法是先让它练习“拔销”（Peg-out-of-Hole），然后把拔出来的过程“倒着放”给机器人看。

想象一下，你正在教一个刚学做菜的新手厨师如何把一块形状奇怪的豆腐完美地塞进一个模具里。直接教很难，因为豆腐很容易碎，而且稍微歪一点就塞不进去。

这篇论文提出的方法就像这样：

1. 核心创意：先学“拔”，再学“插”

难题（插销）： 把豆腐塞进模具（插销）很难。你需要非常精准地对准，稍微用力不对，豆腐就会卡住或者碎掉。机器人如果直接学这个，需要尝试成千上万次，既费时间又容易把零件弄坏。
捷径（拔销）： 论文发现，把豆腐从模具里拔出来（拔销）要简单得多！因为拔的时候，你不需要那么精准地对准，只要用力拉出来就行，摩擦力虽然存在，但不会像插入时那样容易卡死。
魔法反转： 既然“拔”容易学，那我们就先让机器人学会“拔”。然后，我们把这个“拔”的过程录像，像倒带一样把视频倒着放。
- 视频里：机器人把豆腐拔出来。
- 倒放后：看起来就像机器人把豆腐插进去了！
- 这就相当于机器人通过看“倒带视频”，学会了怎么插进去。

2. 机器人的“眼睛”和“皮肤”

机器人不是瞎子，它有两个超级感官，这篇论文把它们结合得非常好：

眼睛（视觉）： 就像你走路看路一样，机器人用摄像头看远处的目标，知道“模具大概在那个方向”。这解决了“怎么靠近”的问题。
皮肤（触觉）： 就像你蒙眼摸东西，当豆腐碰到模具边缘时，机器人手指上的“皮肤”能感觉到：“哎呀，歪了，往左一点点”。这解决了“怎么微调”的问题。
比喻： 如果只用眼睛，机器人可能像近视眼，离近了才发现撞上了；如果只用触觉，机器人就像盲人摸象，不知道目标在哪。这篇论文让机器人既用眼睛看路，又用手摸路，配合得天衣无缝。

3. 为什么要“捣乱”？（动作随机化）

这里有个小问题：直接倒放“拔”的视频，机器人可能学不会真正的“插”。

原因： “拔”的时候，通常是一路顺畅地拉出来；但“插”的时候，经常需要左右摇晃、调整角度才能塞进去（就像插钥匙，有时候要晃一下才能插进锁孔）。
解决方法： 论文发明了一个叫“动作随机化”的小技巧。在生成“倒带视频”时，故意让机器人在关键步骤稍微乱动一下（比如随机晃两下）。
效果： 这就像教练故意给新手制造一些“意外情况”，让机器人学会应对各种卡顿和歪斜，而不是只会走直线。这样学出来的机器人更灵活，更不容易卡死。

4. 实验结果：真的有用吗？

作者做了很多实验，用了各种形状的“豆腐”（圆柱体、三角形、不规则形状）和不同大小的“模具”。

成功率： 用他们这个方法，机器人插进去的成功率高达 87.5%（见过的物体）和 77.1%（没见过的物体）。
对比： 如果让机器人从零开始直接学“插”，成功率只有 69.4% 左右。
温柔度： 用这种方法，机器人插东西时用的力气更小，不容易把零件弄坏（接触力降低了 6.4%）。

总结

简单来说，这篇论文就是教机器人：“与其死磕那个最难的动作，不如先练练它的‘反义词’（拔出来），然后把过程倒过来，再加点‘意外’训练，最后就能轻松搞定那个高难度动作了。”

这就像学骑自行车，与其直接学怎么在坡上起步（很难），不如先学怎么在平地上倒着骑（容易），然后反过来，你就掌握了起步的平衡感。这种方法让机器人学东西更快、更聪明、也更温柔。

这是一份关于论文《Visual-Tactile Peg-in-Hole Assembly Learning from Peg-out-of-Hole Disassembly》（基于视觉 - 触觉的销孔装配：从销孔拆卸学习装配技能）的详细技术总结。

1. 研究问题 (Problem)

销孔装配 (Peg-in-Hole, PiH) 是机器人装配中最基础但也最具挑战性的任务之一。其难点在于：

探索成本高： 传统的强化学习 (RL) 方法需要大量的试错探索，导致训练时间长且硬件磨损严重。
多模态感知需求： 仅靠视觉难以感知接触力和卡滞（jamming），仅靠触觉缺乏长距离的引导信息。
数据获取困难： 获取高质量的专家演示数据（用于监督学习）通常需要先进行复杂的装配操作，这本身就是一个高风险、高成本的过程。
泛化性差： 现有方法在面对未见过的物体几何形状或不同的间隙时，泛化能力往往不足。

2. 核心方法论 (Methodology)

本文提出了一种**“从拆卸学习装配” (PooH-to-PiH)** 的视觉 - 触觉技能学习框架。其核心思想是利用逆向任务（销孔拆卸，Peg-out-of-Hole, PooH）来辅助正向任务（销孔装配，PiH）的学习。

A. 任务建模

统一环境： 将 PooH（拆卸）和 PiH（装配）建模为同一个部分可观测马尔可夫决策过程 (POMDP)。
共享空间： 两者共享相同的视觉 - 触觉观测空间 $O = (K, V, C)$ ，其中 $K$ 为运动学状态， $V$ 为视觉图像， $C$ 为触觉特征；以及相同的连续动作空间 $A$ 。
算法选择： 采用软演员 - 评论家 (Soft Actor-Critic, SAC) 算法进行策略学习。

B. 三阶段学习流程

PooH 策略学习 (Peg-out-of-hole Learning)：
- 在仿真环境中，利用多模态观测（运动学 + 视觉 + 触觉）训练一个 PooH 策略 $\pi_{out}$ 。
- 优势： 拆卸任务通常比装配更容易，因为它只需要克服摩擦力将销拔出，不需要精确的初始对齐，因此数据收集效率高且安全。
PiH 演示生成 (Demonstration Generation)：
- 时间反转： 将训练好的 PooH 策略生成的轨迹在运动学和视觉空间进行时间反转，得到近似的 PiH 轨迹。
- 触觉再生与动作随机化 (关键创新)： 由于拆卸和装配在接触动力学上存在不对称性（装配涉及卡滞和精细调整，而拆卸通常较平滑），直接反转无法复现装配所需的复杂接触模式。
  - 系统在反转过程中引入动作随机化 (Action Randomization)：在销孔接触点附近采样随机的微小位移动作，人为制造多样化的接触状态（如卡滞、侧向力）。
  - 利用触觉模拟器根据新的接触状态重新生成触觉观测，从而构建出包含丰富接触信息的“专家演示”数据。
PiH 策略学习 (Peg-in-hole Policy Learning)：
- 利用生成的 PooH 反转数据作为专家演示，训练 PiH 策略 $\pi_{in}$ 。
- 混合经验回放 (Hybrid Replay Buffers)： 结合标准 RL 交互数据和专家演示数据，通过退火机制逐渐减少专家数据的采样比例，实现从模仿到自主探索的过渡。
- 行为克隆损失 (Behavior Cloning Loss)： 在 RL 训练中加入 BC 损失项，引导策略向专家行为靠拢，提高训练稳定性和样本效率。

C. 多模态感知融合

视觉： 提供全局上下文，用于长距离的销孔接近和粗略定位。
触觉： 提供局部接触反馈，用于检测卡滞、过大的接触力以及修正微小的错位。

3. 主要贡献 (Key Contributions)

新颖的 PooH-to-PiH 框架： 首次提出将拆卸任务作为装配任务的“预训练”或“数据源”，通过时间反转和动作随机化，解决了装配任务数据稀缺和探索困难的问题。
多模态感知融合策略： 证明了视觉和触觉在装配任务中的互补性：视觉负责“接近”，触觉负责“对齐”和“力控”。
动作随机化机制： 针对拆卸与装配在接触动力学上的不对称性，提出了在轨迹反转中引入动作随机化的方法，有效丰富了接触构型，使生成的演示数据更贴合真实的装配过程。
高效的训练架构： 结合了混合回放缓冲区和行为克隆损失，显著提升了策略的收敛速度和泛化能力。

4. 实验结果 (Results)

实验在仿真 (MuJoCo) 和真实世界 (ABB YuMi 机器人 + GelSight 触觉传感器 + RealSense 相机) 中进行，测试了多种几何形状（立方体、圆柱、六边形等）和不同间隙（0.5mm - 2mm）。

成功率提升：
- 在已见物体 (Seen objects) 上，平均成功率为 87.5%。
- 在未见物体 (Unseen objects) 上，平均成功率为 77.1%。
- 相比从零开始训练的直接 RL 方法 (Direct RL)，成功率提升了 18.1%。
接触力控制：
- 视觉 - 触觉融合策略产生的接触力比单一模态策略（仅视觉或仅触觉）低 6.4%，表明多模态融合能有效减少冲击和卡滞。
消融实验验证：
- 移除视觉或触觉均导致成功率大幅下降（分别降至 51.2% 和 42.3%），证明了多模态的必要性。
- 移除动作随机化导致未见物体的成功率下降 14.8%，证明了该机制对泛化性的关键作用。
Sim-to-Real 迁移：
- 通过触觉校准、视觉域随机化和少量真实世界拆卸数据混合，实现了有效的仿真到现实迁移，真实世界平均成功率达到 72.1%。

5. 意义与价值 (Significance)

降低硬件损耗与时间成本： 利用更简单的“拆卸”任务来学习复杂的“装配”任务，避免了在真实装配过程中进行大量高风险的试错，保护了昂贵的机器人硬件。
提升泛化能力： 该方法不依赖特定的物体对称性假设，通过动作随机化生成的多样化接触数据，使机器人能够适应未见过的几何形状和间隙。
通用性潜力： 这种“逆向任务辅助正向任务学习”的范式不仅限于销孔装配，未来可推广至其他具有逆操作特性的机器人操作任务中。
多模态融合示范： 为复杂接触任务中如何有效融合视觉（全局）和触觉（局部）提供了具体的工程实现方案和理论验证。

总结： 该论文通过巧妙的逆向思维和多模态融合技术，成功解决了机器人销孔装配中数据获取难、训练慢、泛化差的痛点，为高效、鲁棒的机器人装配技能学习提供了新的解决方案。