💻 computer science

SHaRe-RL: Structured, Interactive Reinforcement Learning for Contact-Rich Industrial Assembly Tasks

本文提出了 SHaRe-RL 框架，通过结构化技能、融合人类演示与在线修正以及约束交互力，实现了面向高混流低产量工业装配任务的高效、安全在线强化学习，并在工业连接器插入实验中验证了其在有限时间预算下的可靠性。

原作者： Jannick Stranghöner, Philipp Hartmann, Marco Braun, Sebastian Wrede, Klaus Neumann

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jannick Stranghöner, Philipp Hartmann, Marco Braun, Sebastian Wrede, Klaus Neumann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SHaRe-RL 的新方法，旨在解决一个让机器人界头疼已久的难题：如何教机器人像熟练工人一样，在充满不确定性的环境中，精准、安全地完成那些需要“手感”的组装任务（比如把插头插进插座）。

为了让你更容易理解，我们可以把这项技术想象成**“教一个新手学徒如何修精密手表”**的过程。

1. 背景：为什么现在的机器人这么“笨”？

想象一下，你是一家中小企业的老板，你需要机器人帮你组装各种不同型号的电子产品（这就是所谓的“多品种、小批量”）。

传统方法（手动编程）： 就像你手把手教机器人走每一步。如果产品稍微变一下（比如插头歪了一点），你就得重新教一遍。这太慢、太贵，而且机器人很“死板”，稍微有点意外就卡住了。
纯学习方法（强化学习）： 就像让机器人自己“瞎试”。它通过不断尝试和犯错来学习。但在现实世界里，如果机器人用力过猛把零件插坏了，或者把机器撞坏了，代价太高。而且，让它从零开始摸索，可能需要几百万次尝试，时间根本不够用。

核心痛点： 机器人要么太死板，要么太鲁莽，很难在“灵活”和“安全”之间找到平衡。

2. SHaRe-RL 的解决方案：三位一体的“超级导师”

SHaRe-RL 就像是一位经验丰富的老工匠（人类专家）带着一个聪明的学徒（AI 算法），并给学徒配了一套防身护具（安全机制）。它通过三个关键步骤来教机器人：

第一步：拆解任务（结构化技能）

比喻： 想象组装插头不是让机器人“从头到尾乱动”，而是把它拆成几个明确的步骤：
1. Approach（靠近）： 像走路一样，大步走到插头附近（这一步机器人按固定程序走，不用学）。
2. Insert（插入）： 这是最难的部分，需要微调角度和力度（这是机器人需要学习的部分）。
3. Press（按压）： 插进去后用力按到底（固定程序）。
作用： 机器人不需要学习整个复杂的舞蹈，只需要专注于“插入”那几秒钟的微妙动作。这大大减少了它需要思考的范围。

第二步：师徒互动（人机协作学习）

比喻： 在机器人学习“插入”这个动作时，人类专家在旁边看着。
- 演示： 一开始，专家用遥控器（SpaceMouse）演示一遍怎么插。
- 纠正： 如果机器人插歪了，或者快要把零件弄坏了，专家立刻按下按钮接管控制，把它“拉回正轨”。
- 关键点： 机器人不仅看专家怎么做，还能从专家的“纠正”中学到教训。随着它越来越聪明，专家干预的次数会越来越少，直到完全放手。
作用： 这比让机器人自己瞎试快得多，也安全得多。

第三步：智能护具（自适应力限制）

比喻： 想象机器人手上戴着一副**“智能弹簧手套”**。
- 当它在空中移动（没碰到东西）时，手套很软，允许它快速、灵活地移动。
- 一旦手套碰到了零件（检测到接触力），手套会瞬间变“硬”并设定一个最大力度上限。比如，它允许你用力推，但一旦感觉到阻力，它会自动限制你只能使出 5 牛顿的力，绝不允许你使出 30 牛顿的蛮力把零件压碎。
作用： 即使机器人还在“试错”阶段，它也不会因为用力过猛而损坏昂贵的工业零件。

3. 实验结果：它真的行吗？

研究人员用真实的工业插头（Harting 连接器，公差只有 0.2-0.4 毫米，比头发丝还细）做了测试：

速度惊人： 仅仅经过3 个小时的真实世界训练，机器人就学会了任务。
超越人类： 最终，机器人不仅成功率达到了 100%，而且操作速度（3.5 秒）比最熟练的人类专家（4.5 秒）还要快！
举一反三： 更厉害的是，当换成一种从未见过的新型号插头时，机器人不需要重新训练，直接就能干，成功率依然很高。这说明它学到了“插入”的通用逻辑，而不是死记硬背某个特定位置。

4. 总结：这意味着什么？

这篇论文告诉我们，把“人类的经验”和"AI 的学习能力”结合起来，是解决工业难题的捷径。

以前： 要么靠死板的程序，要么靠耗时的盲目试错。
现在（SHaRe-RL）： 我们给机器人一个“任务地图”（结构化），请一位“人类导师”随时指导（人机互动），再给它穿上“防弹衣”（力限制）。

这让机器人变得既聪明（能处理意外），又听话（不破坏东西），而且学得快。这对于那些需要频繁更换产品、没有大量自动化专家的中小企业来说，是一个巨大的福音，让机器人真正走进工厂变得经济可行。

一句话总结： SHaRe-RL 就像给机器人请了一位“手把手教、随时纠错、还自带安全锁”的超级教练，让它能在短短几小时内，从新手小白变成比老师傅还厉害的组装大师。

1. 研究背景与问题 (Problem)

核心挑战：
在中小型企业（SME）中，多品种小批量（HMLV） 的工业装配任务面临着巨大的自动化挑战。这类任务要求机器人具备：

高精度与高可靠性：特别是在接触丰富的装配场景（如连接器插拔）中，公差往往在亚毫米级别（0.2–0.4 mm）。
灵活性：需适应产品变化和环境不确定性。
安全性：必须严格遵守安全法规，避免硬件损坏。

现有方法的局限性：

传统手动编程：脆弱且难以适应新产品，调整成本高。
纯强化学习（RL）：在真实世界的接触丰富任务中，存在样本效率低、奖励函数设计困难以及探索过程不安全（可能导致破坏性接触力）的问题。
现有结合方案：虽然已有工作尝试引入领域知识或人类演示，但往往未能将任务结构（Process Structure）、人类专家知识（Operator Expertise） 与现代高效 RL 在真实安全约束下有效结合。

2. 方法论 (Methodology)

作者提出了 SHaRe-RL（结构化、交互式、真实世界强化学习）框架，该框架通过整合三种互补的领域知识来源，构建了一个异步学习管道：

A. 人类在环强化学习 (Human-in-the-Loop RL)

机制：采用类似 HIL-SERL 的分布式训练循环。
数据收集：
- 离线演示：训练前由熟练操作员通过 SpaceMouse 采集遥操作轨迹，存入演示缓冲区。
- 在线干预：训练过程中，操作员可随时接管机器人。按下按钮时，策略动作被替换为人类动作。
作用：引导数据收集向成功和安全行为倾斜，帮助策略跳出局部最优，并让策略学习从罕见失败中恢复。

B. 任务级先验：操作原语网 (Task-Level Priors: MP-Nets)

结构化分解：将复杂的装配过程分解为操作原语（Manipulation Primitives, MPs）。
- 每个 MP 定义了在任务坐标系下的混合力/位控制策略、工具命令及停止条件。
- 原语通过状态机（MP-Net）组合，形成完整的任务流程。
自适应原语 (AMPs)：在关键的不确定阶段（如精细对齐），将部分固定设定点替换为由 RL 策略控制的变量。
优势：
- 将探索空间限制在与任务相关的子空间内（例如，仅学习插入时的微调，而粗定位由固定脚本完成）。
- 支持端到端演示，使策略能学习整个 MP-Net 的状态分布，而非孤立的原子动作，提高了泛化性和鲁棒性。
- 包含显式的重置原语（Reset Primitive），实现无需人工干预的自动循环。

C. 自适应安全限制 (Adaptive Safety Limits)

问题：接触丰富任务中的探索可能导致破坏性的大接触力。
解决方案：提出了一种每轴自适应力限制机制。
- 定义时变力限制 $F_{lim,t}$ ，它是测量力 $F_{meas,t}$ 的函数。
- 自由空间：限制较大，允许快速响应。
- 接触状态：一旦检测到接触，限制迅速收缩，将力约束在安全阈值内。
- 理论保证：通过数学证明（固定点分析），该机制能保证接触力的有界性，同时保持自由空间下的动力学响应，无需手动微调即可防止硬件损坏。

3. 关键贡献 (Key Contributions)

首个混合系统：首次将操作原语网（MP-Nets）与人类在环的离线策略强化学习相结合。
自适应安全层：提出了一种可证明的每轴自适应力限制机制，在探索过程中严格限制接触力，同时保留自由空间动力学。
实证性能突破：在亚毫米公差（0.2–0.4 mm）的工业连接器插入任务中，SHaRe-RL 在3 小时的真实世界交互时间内实现了100% 的成功率，且周期时间（3.5 秒）优于熟练人类操作员（4.5 秒）。
泛化能力：证明了策略能够泛化到未见过的连接器变体（Zero-shot generalization）。
开源实现：基于开源 LeRobot 框架实现，兼容多种低成本机械臂。

4. 实验结果 (Experimental Results)

实验设置：

任务：Harting HanDD 工业连接器的插入（公差 0.2–0.4 mm）。
硬件：UR3e 机械臂，配备六轴力/力矩传感器和 RealSense 相机。
对比基线：
- HIL-SERL（无结构的人类在环 RL）。
- SHaRe-BC（结构化交互式行为克隆，无 RL）。
- 纯 RL 变体（SAC, PPO）及消融实验（去除演示、干预、视觉等）。

主要发现：

性能对比：
- SHaRe-RL：100% 成功率，周期时间 3.5 秒。
- HIL-SERL（无结构）：65% 成功率，周期时间 7.4 秒。
- SHaRe-BC（仅模仿）：80% 成功率，周期时间 7.4 秒（受限于演示质量，无法超越人类）。
- 人类专家：100% 成功率，周期时间 4.5 秒。
- 结论：结构化先验显著提升了样本效率和最终性能；RL 能够超越人类演示的次优行为（如同时多轴对齐）。
消融实验：
- 去除在线干预或离线演示均导致成功率大幅下降（降至 35%-45%），证明两者缺一不可。
- 去除视觉输入导致性能崩溃（10% 成功率），证明视觉对于解决几何模糊性至关重要。
- 在线策略（PPO）表现极差（5%），突显了离线数据混合的重要性。
零样本泛化：在未见过的连接器变体上，无需微调即可保持高成功率，尽管周期时间略有增加。
安全性验证：在 20N 的刚性碰撞测试中，自适应力限制能在 0.3 秒内将接触力稳定在 5N 目标值附近，有效防止了硬件损坏。

5. 意义与展望 (Significance & Conclusion)

意义：

降低部署门槛：证明了利用 SME 中已有的工艺专家知识（通过原语结构）和操作员经验（通过演示和干预），可以引导 RL 在真实工业场景中实现安全、高效的学习。
解决接触难题：为接触丰富的装配任务提供了一种兼顾安全性、可解释性和样本效率的解决方案。
经济可行性：在极短的训练时间（3 小时）内达到超越人类专家的性能，使得 RL 在工业装配中的实际应用成为可能。

未来展望：

减少人工监督：探索更自主的探索方法（如基于模型的探索）或自监督奖励信号。
自动化结构构建：从端到端演示中学习初始的原语图，减少手动设计 MP-Net 的工作量。
大模型结合：结合视觉 - 语言 - 动作（VLA）基础模型，以应对更广泛的产品变体和分布外（Out-of-Distribution）场景。

总结：SHaRe-RL 成功地将结构化先验、人类指导和现代 RL 算法融合，为工业机器人在高难度、高不确定性环境下的自主装配提供了一条切实可行的技术路径。