💻 computer science

VE2VF: Vision-Enabled to Vision-Free Distillation via Real-world Reinforcement Learning for Robust Contact-Rich Manipulation

本文提出了 VE2VF，这是一种人机回环强化学习框架，它将从具备视觉能力的教师模型中提炼出的知识蒸馏至一个完全在真实世界中训练的、鲁棒的无视觉学生策略，从而在不依赖域随机化或数据增强的情况下，在富含接触的操作任务中实现高成功率和强泛化能力。

原作者： Victor Kowalski, Chengxi Li, Dongheui Lee

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Victor Kowalski, Chengxi Li, Dongheui Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下教机器人组装精密部件，比如将 USB 线缆插入端口，或将齿轮拧入到位。这是一项棘手的工作，因为它涉及“接触丰富”的操作——这意味着机器人必须通过触觉在狭窄空间内摸索，应对摩擦力、碰撞以及完美对齐的需求。

本文介绍了一种名为VE2VF（视觉赋能至无视觉）的新方法，用于教导机器人完成此类任务。以下是其工作原理的故事，采用简单的类比进行说明。

问题：过度依赖视力的机器人

传统上，要教会机器人这些技能，你可能会给它展示一段视频，或让它“看见”任务。这就像教学生开车时让他们透过挡风玻璃观察。这在课堂（或模拟环境）中效果极佳，但它存在一个缺陷：学生记住了风景。

如果你用摄像头训练机器人，它可能会学会：“当我看到左边有一面蓝墙时，我就向右转。”但如果你将机器人移到一面红墙的房间里，或者光线发生变化，机器人就会困惑并发生碰撞。它过度拟合了房间的外观，而非理解任务的物理原理。

解决方案：“导师 - 学生”辅导系统

作者提出了一种两步辅导系统来解决这个问题。这就像一位主厨在教导学徒。

步骤 1：视觉赋能的导师（主厨）
首先，他们利用人机回路强化学习训练一个“导师”机器人。

工作原理：人类观察机器人。如果机器人即将犯错，人类会接管控制（就像驾驶教练踩下刹车），引导其走向成功。
导师的工具：这位导师拥有眼睛（摄像头）和触觉（测量位置、速度和力的传感器）。
结果：因为导师有眼睛，它学习得非常快。它能看见目标，调整抓握，并找出棘手角度。通过大约 40 分钟的现实世界实践，它就能成为该任务的专家。

步骤 2：无视觉的学生（学徒）
现在到了神奇的一步。他们希望机器人能在不依赖视力的情况下完成任务，因为眼睛容易被光线变化或新背景所欺骗。

知识蒸馏：他们将专家“导师”的“知识”注入到“学生”机器人中。
关键点：学生机器人没有摄像头。它只有能感知机器人位置、速度以及施力大小的传感器（就像一位蒙眼的专家）。
课程：学生并非在盲目猜测；它是在模仿导师的决策。它学会了：“当我感受到这种特定的压力和这个特定的角度时，我应该这样移动我的手臂”，因为这就是导师所做的。

为什么这很重要

通常，当你剥夺机器人的视力时，它会变笨。但因为这位学生是从一位看见了解决方案的导师那里学习的，所以学生继承了任务的“直觉”，而不会被视觉风景所干扰。

类比：想象一位能看着乐谱完美演奏乐曲的大师钢琴家（导师）。然后，他们教导一位蒙眼的学生（学生），让学生通过感受琴键和节奏来学习。学生学会了乐曲的肌肉记忆和感觉，而不仅仅是视觉音符。如果你将钢琴移到光线不同的另一个房间，蒙眼学生仍然能完美演奏，因为他们学会的是感觉，而非外观。

结果：快速、稳健且具适应性

该团队在标准装配板（NIST 基准测试）上测试了这种方法，涉及各种棘手任务，如插入齿轮、销钉和线缆。

速度：整个过程仅耗时约50 分钟的机器人实际运行时间。
成功率：最终机器人在许多不同任务中达到了95% 的成功率。
稳健性：当他们扰乱环境（改变光线、增加视觉杂乱或稍微移动目标）时，“视觉赋能”的机器人彻底失败。然而，“无视觉”的学生却能持续工作，因为它不会被这些变化所干扰。
“滑脱”恢复：在一次测试中，机器人错过了 USB 端口并发生了滑脱。无视觉机器人没有惊慌；它利用其“触觉”感知到滑脱，进行调整并再次尝试，直到成功。这是一种它从导师那里习得，但保留在自己“盲眼”身体中的行为。

“微调”奖励

如果机器人遇到一个全新且从未见过的任务（例如某种特定类型的连接器），该系统可以进行快速的“复习课程”。

他们为该特定任务训练一位新的导师（使用视觉）。
他们迅速将该新知识蒸馏给学生。
这使得他们能够在短短几分钟内，在最难的任务上达到100% 的成功率。

总结

本文提出了一种训练机器人成为复杂任务触觉探索专家的方法。通过使用一位“有视力”的导师快速学习，然后教导一位“盲眼”的学生依赖触觉和力觉，他们创造了一种训练快速、不会因房间变化而困惑，且在精密装配工作中表现卓越的机器人。

技术摘要：VE2VF——从视觉赋能到无视觉蒸馏

问题陈述

机器人装配及富含接触的操作需要高精度，并具备适应多样化零件和环境的能力。传统的基于模型的方法因难以准确建模接触动力学、摩擦和变形而举步维艰。虽然基于学习的方法（如强化学习 RL）展现出潜力，但它们面临显著障碍：

仿真到现实的差距（Sim-to-Real Gap）： 模拟器往往无法捕捉复杂的接触交互，使得策略迁移到现实世界变得困难。
样本效率低下： 直接在硬件上进行无模型强化学习需要过长的交互时间，并需要安全的探索策略。
视觉过拟合： 视觉赋能的策略虽然在训练期间有效，但倾向于对特定视觉条件（光照、纹理、背景）过拟合。这限制了其鲁棒性，并阻碍了其对分布外（OOD）任务或未见环境的泛化。
部分可观测性： 仅利用本体感知（位姿、扭转、力/力矩）从零开始直接训练无视觉策略具有挑战性，因为缺乏用于探索的视觉引导。

方法论：VE2VF 框架

作者提出了VE2VF（从视觉赋能到无视觉），这是一种人机回环（HIL）强化学习框架，采用教师 - 学生蒸馏方法来实现鲁棒的无视觉操作。该过程包含三个主要阶段：

1. 人机回环强化学习设置

系统利用软演员 - 评论家（SAC）结合RLPD（带有先验数据的强化学习）。学习循环整合了：

自主探索： 智能体自行生成转换数据。
人类引导： 人类操作员提供离线演示和在线遥操作干预（覆盖智能体动作），以引导探索并提供奖励信号。
奖励结构： 使用稀疏的二元奖励（任务成功为 1，否则为 0），避免了复杂的奖励塑形。

2. 阶段 I：视觉赋能教师训练

“教师”策略（ $\pi_t$ ）使用完整的多模态输入在一组代表性任务上进行训练：

观测值： 来自相机的图像（ $I$ ）、末端执行器位姿（ $p$ ）、速度（ $v$ ）、力（ $f$ ）和力矩（ $\tau$ ）。
表示： 位姿相对于回合的初始状态进行表示，以促进反应式视觉伺服。
目标： 教师学习利用丰富的视觉反馈来掌握任务，实现高成功率。然而，它仍然依赖于视觉条件。

3. 阶段 II：无视觉学生蒸馏

“学生”策略（ $\pi_s$ ）被训练以复现教师的行为，但仅依赖本体感知输入（位姿、扭转、力/力矩），摒弃视觉数据。

蒸馏机制： 学生使用相同的人机回环强化学习框架进行训练，但增加了额外的损失项以与教师对齐：
- 评论家蒸馏： 均方误差（MSE）项强制学生的 Q 函数（ $Q_s$ ）与教师的 Q 函数（ $Q_t$ ）匹配。
- 演员蒸馏： 克拉默 - 莱布利（KL）散度项正则化学生的策略（ $\pi_s$ ），使其与教师的动作分布（ $\pi_t$ ）匹配。
状态表示： 学生使用任务相对坐标系（ $T_z$ ），以确保对绝对空间位置的不变性。
结果： 学生继承了教师学到的“技能”和探索策略，但变得对视觉变化具有不变性。

4. 阶段 III：微调（可选）

对于极具挑战性或未见过的任务，可以对无视觉学生进行微调。这涉及训练一个专门针对特定任务的新的视觉赋能教师，并将其知识蒸馏给学生，而不是从头开始训练学生。

主要贡献

跨模态蒸馏框架： 一种新颖的方法，将知识从视觉赋能的教师蒸馏到无视觉的学生。这种方法在训练阶段保留了视觉学习的样本效率，同时生成了对视觉条件具有不变性的部署策略。
高效技能泛化： 该方法表明，在一小组代表性任务上进行协同训练，能够实现向未见插入场景的鲁棒零样本迁移。
现实世界验证： 该方法完全在现实世界硬件（Franka FR3）上进行了验证，无需域随机化或数据增强，在总计约 50 分钟的机器人交互时间内实现了高成功率。

实验结果

实验在NIST 装配板 I基准上进行，涉及各种销、齿轮和连接器插入任务。

性能： VE2VF 方法在训练任务、受干扰任务和分布外任务中实现了95% 的总体成功率。
与基线的比较：
- 视觉赋能强化学习（HIL-SERL VPTW）： 在训练任务上实现了近乎完美的成功率，但在分布外任务上崩溃（0% 成功率），并在视觉干扰下显著退化。
- 从零开始的无视觉强化学习（HIL-SERL PTW）： 表现出中等性能（47.1%），但由于缺乏视觉引导，难以学习有效的插入策略，无法达到完全成功。
- 动态运动基元（DMP）： 表现不佳（35.7%），证实了自适应、学习行为的必要性。
- 残差强化学习： 表现良好（85.7%），但被 VE2VF 超越，特别是在恢复行为方面（例如从插座滑脱并重试）。
消融研究：
- 蒸馏被证明至关重要；即使延长训练时间（长达 75 分钟），从零开始训练无视觉学生也会导致在简单任务上过拟合，并在复杂任务上失败。
- 与使用这些模态的子集相比，组合位姿、扭转和力/力矩输入提供了最佳的鲁棒性。
微调： 对于极具挑战性的 DSUB 插入任务（零样本成功率为 50%），通过蒸馏使用特定任务教师对学生微调，仅在额外 10 分钟内就实现了100% 的成功率。

意义与主张

本文主张，VE2VF 解决了视觉引导学习的样本效率与现实部署所需鲁棒性之间的关键权衡。通过将视觉仅用作引导探索的“教师”，然后将该知识蒸馏到本体感知“学生”中，该系统实现了：

鲁棒性： 能够泛化到不同光照、纹理和目标位姿的策略。
适应性： 通过从教师学到的反应式行为，具备从失败（例如滑脱）中恢复的能力。
效率： 快速掌握复杂的富含接触技能（约 50 分钟），无需广泛的仿真或手动奖励塑形。

作者得出结论，这种方法为在多品种、小批量装配环境中部署鲁棒的富含接触操作技能提供了一条实用途径，在这些环境中视觉条件是不可预测的。