💻 computer science

Behavioral Cloning for Robotic Connector Assembly: An Empirical Study

本文通过实证研究探讨了融合力觉与视觉信息的模仿学习在机器人连接器装配任务中的适用性，利用基于 UR5e 机器人采集的 300 次人类遥操作演示数据训练模型，在多种连接器几何形状和姿态变化下实现了超过 90% 的插入成功率。

原作者： Andreas Kernbach, Daniel Bargmann, Werner Kraus, Marco F. Huber

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Andreas Kernbach, Daniel Bargmann, Werner Kraus, Marco F. Huber

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于教机器人像人类一样“凭感觉”插线的故事。

想象一下，你正在组装一辆汽车，需要把一根复杂的电线束（里面有很多像乐高积木一样的插头）插进车门里。这活儿很难，因为：

电线是软的，会乱晃。
插头形状各异，有的大有的小。
位置不准，你不可能每次都把插头精准地对准孔眼。
用力要轻，插太猛会弄坏零件。

人类做这个很轻松，因为我们眼睛看着，手感觉着（触觉），稍微歪了就扭一下，卡住了就晃一晃。但让机器人做这个，以前很难，因为传统的机器人太“死板”，需要工程师像写代码一样，把每一步怎么走、往哪转都精确设定好。一旦位置稍微偏一点，机器人就懵了。

这篇论文提出了一种新方法：“行为克隆”（Behavioral Cloning）。

1. 核心概念：像教小孩一样教机器人

这就好比教一个小孩骑自行车。

传统方法：你给小孩一本说明书，告诉他“左脚踩踏板，右手握把，眼睛看前方 3 米”。如果路稍微有点歪，小孩就摔了。
行为克隆：你坐在小孩后面，扶着车把，亲自示范怎么骑。你转弯时身体怎么倾斜，遇到坑洼怎么调整，小孩都看在眼里。然后，你让小孩自己骑，他模仿你的动作。

在这项研究中，研究人员让机器人看着人类操作员（通过一个像游戏手柄的“空间鼠标”控制机器人）把插头插进去的过程。机器人通过摄像头（眼睛）和力传感器（手的感觉）记录下人类的一举一动。

2. 机器人的“大脑”是如何工作的？

研究人员训练了一个人工智能模型，它由三个部分组成，就像人的感官和大脑：

眼睛（视觉骨干）：只装了一个普通的黑白摄像头。它不看复杂的颜色，只看形状和位置。研究发现，黑白相机反而比彩色相机学得快，因为颜色对插插头没啥用，反而增加了干扰。
手的感觉（力传感器）：机器人手腕上有个传感器，能感觉到“推”和“转”的力。如果插歪了，阻力会变大，机器人就能感觉到“哎，这里卡住了，得往左扭一点”。
大脑（神经网络）：这是一个复杂的数学模型。它把“眼睛看到的画面”和“手感觉到的力”结合起来，预测下一步该往哪推、往哪转。

关键点：这个大脑不是只看“现在”这一瞬间，它还会回忆过去。就像你开车时，不仅看眼前的路，还会记得刚才那几秒车是怎么晃的。研究发现，让机器人记住过去 10 步的动作，它就能学会像人类一样“左右摇晃”来消除摩擦，从而顺利插入。

3. 实验结果：它有多厉害？

研究人员收集了大约300 次人类成功的插插头演示（大概花了人类 1 个小时的操作时间）。然后，他们让机器人自己去试，面对5 种不同形状的插头，而且每次插的位置都故意故意弄歪（误差高达 2 厘米，角度歪 10 度）。

成功率：机器人的成功率超过了90%！这意味着在 10 次尝试中，有 9 次以上能成功插进去。
对比传统方法：以前那种死板的“规则搜索”方法（像盲人摸象一样乱撞），成功率只有 76% 左右，而且需要工程师花大量时间调参数。
速度：机器人插得比人稍微慢一点点（大概慢 0.6 秒），但非常稳，而且不会弄坏零件。

4. 为什么这很重要？（比喻总结）

以前的机器人像是一个只会按乐谱演奏的钢琴家，如果乐谱（程序）没写对，或者琴键（零件）稍微有点灰尘，它就弹不出曲子。

这篇论文里的机器人，像是一个有天赋的学徒。你带它看几次大师（人类）怎么弹琴（插线），它就能自己领悟其中的“手感”和“节奏”。

它不需要知道插头精确的坐标（不需要昂贵的精密定位系统）。
它不需要复杂的编程。
它只需要看和感觉，就能适应各种歪歪扭扭的情况。

5. 还有什么不足？

虽然很厉害，但它还不是完美的：

不能“举一反三”：如果你给它一个从来没见过的全新形状的插头，它可能就不会了。它需要针对每种新插头重新“看”几十次演示。
还没到 100%：工业界要求 100% 不犯错，它还有 10% 的失败率。所以，作者建议把它当作一个“超级助手”，先让它做 90% 的工作，剩下的 10% 可能需要人类或者更高级的算法来收尾。

一句话总结：
这项研究证明了，只要给机器人看几次人类怎么干活，它就能学会像人一样，靠“眼观六路、手感灵敏”来搞定那些又软又难插的电线接头，而且比传统的死板编程要灵活、高效得多。这为未来工厂里机器人自动组装汽车、电器铺平了道路。

这是一份关于《行为克隆在机器人连接器组装中的应用：一项实证研究》（Behavioral Cloning for Robotic Connector Assembly: An Empirical Study）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心挑战：在汽车、电气柜和飞机生产中，线束（wire harnesses）的自动化组装极具挑战性。主要难点在于：
- 可变形性：线缆和连接器具有可变形性。
- 几何多样性：连接器几何形状变化大。
- 容差限制：连接器插入需要极小的力以避免损坏，且姿态（Pose）存在显著变化。
- 传统方法局限：现有的基于规则的搜索策略（如螺旋搜索、步长搜索）依赖人工专家定义的参数，调参过程繁琐且难以泛化到新类型的连接器。
研究目标：利用行为克隆（Behavioral Cloning, BC），从人类演示中学习连接器插入的动作预测模型。该模型旨在融合力/力矩（Force-Torque, F/T）传感与固定位置相机的视觉数据，实现无需精确姿态估计的自适应插入。
具体任务：将可移动的线束侧连接器（插头）插入固定的设备侧连接器（插座），重点解决接触丰富的操作（contact-rich manipulation）和姿态容差问题。

2. 方法论 (Methodology)

控制框架：
- 将插入过程建模为力/力矩控制问题。模型 $f_\theta$ 根据历史观测（图像序列和力/力矩序列）预测下一个时间步的目标力/力矩（Target Wrench）。
- 控制器公式： $u_t = C(\hat{w}_t - w^{meas}_t)$ ，其中 $\hat{w}_t$ 是预测的目标力/力矩。
数据收集：
- 设备：Universal Robot UR5e 机械臂 + Robotiq Hand-E 夹爪 + 集成力/力矩传感器 + Logitech VGA 单色摄像头。
- 示教方式：操作员使用 SpaceMouse 进行遥操作（Teleoperation），记录人类插入过程中的图像和力/力矩数据。
- 数据集：收集了最多 300 次成功的插入演示，涵盖不同的起始姿态（平移容差达 20mm，旋转容差达 10°）。
- 数据增强：训练时对灰度图像进行亮度（±20%）和对比度（±20%）调整，以模拟光照变化。
网络架构设计：
- 采用多模态架构，包含两个骨干网络（Backbones）和一个动作头（Action Head）。
- 视觉骨干（Vision Backbone）：处理灰度图像序列。测试了多种预训练模型（ResNet, DenseNet, RegNet, EfficientNet, Vision Transformers 等）。
- 传感器骨干（Sensor Backbone）：处理力/力矩时间序列。测试了前馈网络（Feedforward）、LSTM、1D-CNN 和 ROCKET 模型。
- 动作头（Action Head）：将特征融合后输出动作序列。测试了前馈网络、Transformer Encoder 和 Full Transformer。
- 时序处理：引入历史长度 $k$ （输入过去 $k$ 步）和预测视界 $h$ （预测未来 $h$ 步动作），采用类似模型预测控制（MPC）的方式，每次只执行第一步。
训练目标：最小化预测的目标力/力矩与人类演示中实际力/力矩之间的均方误差（MSE）。

3. 主要贡献 (Key Contributions)

行为克隆在连接器插入中的应用：首次系统性地展示了仅使用单目灰度相机和力/力矩传感器（无需外部姿态估计），通过 BC 学习人类插入策略的可行性。
实证分析：证明了在平均成功率超过 90% 的情况下，力/力矩传感结合灰度相机已足够应对复杂的插入任务。
架构消融研究：对多种多模态神经网络架构进行了详细对比（包括 ResNet, RegNet, Transformers 等），发现 CNN 类骨干网络在此类小数据集任务上优于 Transformer。
广泛的实验验证：在 5 种不同的汽车连接器几何形状上进行了验证，测试了高达 20mm 平移和 10°旋转的容差，远超传统规则方法的典型容差范围。

4. 实验结果 (Results)

最佳架构选择：
- 视觉骨干：RegNetx3_2GF 表现最佳，平均成功率（ $\mu_{SR}$ ）达到 93.3%。相比之下，Transformer 架构（如 ViT, SwinT）在此任务上表现极差（成功率<14%），推测是因为数据集规模不足以支撑 Transformer 的训练，且 CNN 的归纳偏置更适合此任务。
- 传感器骨干：前馈网络（Feedforward） 优于 LSTM、1D-CNN 和 ROCKET，取得了 96.7% 的成功率。
- 动作头：前馈网络 再次胜出（96.7%），Transformer 类动作头表现较差。
关键参数影响：
- 历史长度 ( $k$ )：增加历史长度（从 1 到 10）能显著提高成功率。 $k=1$ 时机器人常陷入静止，而 $k=10$ 能复现人类的“抖动”（wiggling）搜索动作。
- 预测视界 ( $h$ )： $h=1$ 和 $h=10$ 效果相近，但为了符合文献惯例选择了 $h=10$ 。
数据量与成功率：
- 成功率与演示数量呈正相关。在 100 次演示后出现平台期，但使用 300 次演示 时，模型在测试中达到了 100% 的成功率（针对特定连接器）。
- 与传统的基于规则的步长搜索（Stride Search）相比，BC 方法在 200 次演示后在成功率上全面超越规则方法。
泛化能力：
- 在 5 种不同几何形状的连接器（Molex, TE, JAE 等）上测试，平均成功率为 92.8%。
- 尽管不同连接器的鲁棒性略有差异（标准差 2% - 8%），但系统均能成功工作。
- 即使对于容差极小（4mm）的连接器，只要演示密度足够，也能达到高成功率。
效率：BC 系统的插入时间比人类演示平均慢约 9.55%（约 0.66 秒），但在力控保护下未损坏任何连接器。

5. 意义与结论 (Significance & Conclusion)

工业价值：该方法提供了一种无需昂贵高精度姿态估计系统即可实现自动化组装的解决方案。其容差范围（20mm/10°）是传统规则方法的 10 倍，大大降低了产线对定位精度的要求。
数据效率：仅需约 300 次演示（约 1 小时采集时间）即可达到 >90% 的成功率，远少于大型 VLA 模型（如 RT-1 需 13 万次演示）或 ALOHA 所需的演示量。
部署可行性：模型参数量小（<20M），推理速度快（满足 20Hz 控制频率），适合边缘计算和实时力控系统。
局限性：
- 目前无法达到工业级 100% 的绝对可靠性，建议作为强化学习（RL）微调的预训练步骤。
- 目前不具备“零样本”（Zero-shot）泛化能力，针对不同连接器仍需重新收集演示数据。
未来方向：结合 RL 进行微调以消除累积误差，以及探索跨几何形状的通用训练策略。

总结：该论文通过严谨的实证研究证明，行为克隆结合力觉与视觉反馈，是解决高难度、高容差连接器插入任务的有效途径，为汽车线束等复杂装配的自动化提供了新的技术路径。