⚡ electrical engineering

A Novel Neurodynamics-based Approach to Fatigue-aware Motion Planning in Human–Robot Collaborative Assembly

本文提出了一种基于神经动力学的协作组装运动规划框架，该框架通过从面部线索中估计操作者疲劳度，来动态调整机器人轨迹和安全裕度，从而在无需预先学习的情况下，在任务效率与增强人类安全性之间取得平衡。

原作者： Junfei Li, Jasmun Banwait, Da Long, Simon X. Yang, Sheng Yang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Junfei Li, Jasmun Banwait, Da Long, Simon X. Yang, Sheng Yang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个工厂车间：机器人和人类是最好的伙伴，并肩协作进行制造。通常情况下，这些机器人伙伴被设定了一个“一刀切”的安全规则：“无论如何，都要与人类保持两英尺的距离。”但如果人类非常疲劳了呢？也许他们正在打哈欠，眼神变得沉重，动作也变得迟缓。僵化的安全规则并不知道新鲜活力满满的员工与疲惫不堪的员工之间的区别。

这篇论文提出了一种让机器人变得更聪明、更具安全感的新方法。机器人不再使用固定的规则，而是利用一种“神经动力学”大脑——一种特殊的数字神经系统——来读取人类的情绪，并实时调整其路径。

机器人的“眼睛”与“大脑”
首先，机器人需要知道它的合作伙伴是否疲劳。它通过摄像头观察人类的面部，寻找线索，比如眼睛睁开的程度或是否在打哈欠。这就像教练观察运动员一样：如果运动员的眼睛耷拉下来了，教练就知道要放慢训练节奏。机器人结合使用计算机视觉和模糊逻辑（一种处理“可能”或“大概”而非仅仅是“是”或“否”的思维方式），将这些面部线索转化为一个单一的“疲劳评分”。

数字神经系统
一旦机器人知道了疲劳评分，它就不会仅仅遵循预设好的地图。相反，它使用了一个“受生物启发的神经网络”。想象一下，整个工厂地面都被覆盖在一层巨大的、隐形的网格上，由无数微小的灯泡组成。每个灯泡代表了机器人可以经过的一个位置。

兴奋性输入（绿灯）： 如果某个位置是目标点（例如需要交付零件的地方），那里的灯泡就会发出明亮的绿光，吸引机器人向其移动。
抑制性输入（红灯）： 如果某个位置是障碍物或人类，那里的灯泡就会发出红光，将机器人推开。

神奇之处在于：人类周围灯泡的“红度”会根据他们的疲劳程度而改变。

低疲劳度： 如果人类精神饱满，红灯就很暗。机器人会认为人类与墙壁之间的狭窄通道是安全的，并选择这条捷径以快速完成工作。
高疲劳度： 如果人类正在打哈欠且感到疲劳，红灯就会变得非常明亮并向外扩散。机器人的“大脑”会将疲劳人类周围的区域视为一个巨大的危险区域。它会自动选择一条更长、更宽的路径，为疲劳的人类留出额外的空间，将安全性置于速度之上。

这种方法反对什么
作者们明确表达了他们不是在做什么。他们反对旧有的做法，即机器人依赖永不改变的固定安全边际，或者将安全性视为一个与规划过程脱节的静态规则。他们也拒绝了机器人需要通过多年数据进行“学习”才能实现这一点的观点。在他们的系统中，机器人不需要回顾历史课；它利用其神经网络对当前情况做出即时反应，无需任何训练阶段。

他们还将这种方法与一种流行的“人工势场法”（类似于机器人被磁铁吸引）进行了对比。在模拟实验中，旧有的磁力法陷入了“局部极小值”——想象一下一个球滚进山坡上的一个小凹坑并被困在那里，无法到达顶峰。然而，这种新的神经动力学方法成功地绕过了这些复杂的 U 型障碍物，没有被困住，证明了它在处理复杂、崎岖的环境时表现得更好。

我们有多确定？
论文展示了计算机模拟和现实世界实验的结果。

在模拟中： 当“人类”警觉时，机器人生成了短促、高效的路径；当“人类”疲劳时，则生成了更宽、更安全的路径。它还证明了自己能够逃离那些让旧有的磁力法感到困惑的“陷阱”。
在现实世界中： 团队构建了一个 3.5米 × 2.0米的作业空间，配备了一台移动机器人和三名正在组装电路的学生。当一名学生表现出疲劳迹象（如打哈欠）时，机器人会自动切换到更宽、更安全的路线，避开了学生精神饱满时所使用的狭窄间隙。

作者指出，这一框架使机器人更具“以人为中心”的特性，这意味着它们可以根据人类的状态进行调整，以确保每个人既安全又愉悦。虽然结果在这些特定测试中看起来很有前景，但论文将此视为一种针对动态环境的新型有效方法，而非解决所有可能机器人场景的终极方案。该系统通过不断更新其“神经活动景观”来寻找最佳的下一步，从而确保机器人始终是对人类当前的实时状态做出反应，而非基于过去的记忆。

技术摘要：一种基于神经动力学的疲劳感知型人机协作装配运动规划新方法

1. 问题陈述

人机协作装配（HRCA）旨在将人类的灵活性与机器人的精确性结合在共享工作空间中。然而，目前的 HRCA 方法存在三个主要局限性：

忽视人类内部状态： 现有的研究侧重于物理安全和损伤预防，但在很大程度上忽略了人类的内部状态，特别是疲劳。由于缺乏对疲劳相关的认知和生理退化的显式建模，系统无法调整辅助策略，这限制了其长期可持续性和安全性。
静态环境假设： 大多数方法是为具有预定义任务分配的静态环境设计的，无法处理动态现实世界条件或适应不断变化的人类状态。
反应式安全机制： 当前的规划方法通常将安全视为静态约束，或者将其独立于规划过程进行处理。这阻碍了机器人在面对不可预测的动作或不断变化的作业上下文时，提供动态、主动保护的能力。

本文旨在解决一种能够集成实时人类疲劳估计与自适应机器人轨迹生成的运动规划框架的需求，以确保任务效率和操作员的安全。

2. 方法论

所提出的框架集成了基于视觉的疲劳感知与用于运动规划的仿生神经网络（BINN）。该方法由四个核心部分组成：

2.1 基于视觉的疲劳状态建模

系统通过一个四阶段流水线来估计人类的疲劳水平：

数据采集与特征点提取： 使用 MediaPipe 提取面部特征点。计算关键几何指标——眼部纵横比（EAR）和口部纵横比（MAR），以定义感兴趣区域（ROI）。
特征提取： 衍生出四种互补的指标：
- 几何指标（EAR、MAR）。
- 通过在裁剪后的 ROI 上训练的卷积神经网络（CNN）确定的二值状态（眼睛/嘴巴张开或闭合）。
- 高层时间特征：哈欠持续时间、闭眼持续时间、闭眼百分比（PERCLOS）、眼睛振幅和嘴部振幅。
模糊逻辑推理： 模糊推理系统将提取的特征映射为定量的疲劳指数。隶属度函数对特征值进行分类（低、中、高），并通过预定义的模糊规则（例如，“如果 PERCLOS 高，则疲劳为中”）聚合这些输入。通过质心法进行去模糊化，得到一个确定的疲劳值（ $F_t$ ）。
时间平均： 为了确保稳定性并捕捉持续趋势，瞬时疲劳值会在一个时间窗口（ $N$ 帧）内进行平均，以产生最终的疲劳水平（ $F_{avg}$ ）。

2.2 基于神经动力学的运动表示

该框架采用非完整性神经网络模型来表示机器人的配置空间，特别针对类车移动机器人进行了定制。

状态空间： 该神经网络是一个 3D 网格，其中神经元代表机器人的平面位置 $(x, y)$ 和朝向 $\theta$ 。
运动学约束： 与点机器人模型不同，侧向神经连接受到限制，仅限于满足移动机器人非完整性运动学约束（转向和曲率限制）的配置。这确保了生成的轨迹在物理上是可执行的。
神经动力学模型： 第 $k$ 个神经元（ $x_k$ ）的活动遵循分流方程（shunting equation）：
$\frac{dx_k}{dt} = -Ax_k + (B - x_k)Q^+_k - (D + x_k)Q^-_k$
其中 $Q^+_k$ 和 $Q^-_k$ 分别是兴奋性和抑制性输入。

2.3 疲劳感知规划机制

规划过程根据估计的疲劳水平动态调节神经景观（neural landscape）：

兴奋性输入 ( $Q^+$ )： 由目标工作空间驱动，创建一个全局引导场，引导机器人向任务相关区域移动。
抑制性输入 ( $Q^-$ )：
- 障碍物： 产生局部抑制效应，且不会传播。
- 人类操作员： 抑制效应受疲劳依赖阈值 ( $\sigma_c$ ) 的调节。
- 疲劳调节： 阈值 $\sigma_c$ 通过平均疲劳水平 ( $F_{avg}$ ) 的 Sigmoid 函数计算。随着疲劳程度增加， $\sigma_c$ 增大，从而加强人类工作区域周围的侧向抑制传播。这有效地扩大了神经活动景观中的“安全区域”，而无需学习过程。
路径选择： 机器人通过选择具有最高神经活动的相邻神经元来确定下一个配置，从而确保路径无碰撞且符合运动学可行性。

3. 核心贡献

本文概述了三个主要贡献：

疲劳调节的抑制机制： 不同于将疲劳视为固定的安全规则，估计的疲劳水平被直接集成到 BINN 的抑制输入中。这使得人类工作区域周围的安全裕度能够根据操作员的状态进行动态调整。
非完整性神经连接设计： 为类车移动机器人开发了特定的神经连接策略。仅在满足运动学和转向约束的配置之间建立连接，确保生成的运动受限于物理可执行的转换，而非理想化的点机器人运动。
疲劳感知安全性-效率权衡： 该框架实现了动态权衡。在低疲劳状态下，机器人选择较短、高效的路径。在高疲劳状态下，系统会自动增加与操作员的间距，将安全和舒适度置于路径长度之上。

4. 结果

该框架通过仿真和实际实验进行了评估：

仿真（不同疲劳水平）：
- 低疲劳： 机器人生成了一条穿过障碍物与人类工作区域之间狭窄通道的短促、高效的轨迹。
- 高疲劳： 增加的抑制阈值导致狭窄通道在神经景观中变得不再理想。机器人成功生成了另一条具有更大间距的替代轨迹，避开了疲劳的操作员。
- 与 APF 的比较： 在凹形 U 型环境中，所提方法成功引导机器人驶出了凹陷区域。相比之下，人工势场法（APF）失败了，由于吸引力和排斥力的抵消，机器人被困在局部极小值中。
实际实验：
- 设置： 一个基于 ROS 的移动机器人在一个由三名学生进行电路组装的共享工作空间内运行。摄像头监测面部数据以进行疲劳估计。
- 场景 1（低疲劳）： 机器人高效地交付组件，在障碍物与操作员之间的狭窄间隙中导航。
- 场景 2（高疲劳）： 当一名学生表现出高疲劳特征（如打哈欠、闭眼）时，系统检测到了该状态并调整了机器人的路径。机器人避开了靠近疲劳学生的狭窄通道，选择了另一条更长但更安全的路径，增加了间距。

5. 重要性与主张

作者声称，所提出的基于神经动力学的框架支持开发更安全、更以人为本的协作装配机器人系统。该工作的意义在于：

适应性： 系统能够响应动态的人类内部状态（疲劳），而无需离线学习或重新训练。
安全性-效率平衡： 它提供了一种动态平衡任务效率与操作员安全性的机制，仅在必要时扩大安全裕度。
鲁棒性： 与传统的势场法相比，神经动力学方法在复杂环境（如凹形障碍物）中表现出更优越的性能，避免了局部极小值问题。
实用性： 将基于视觉的疲劳估计与实时运动规划相结合，为工业 5.0 场景下机器人作为自适应、以人为中心的协作伙伴提供了可行的解决方案。

论文得出结论，这种方法通过显式建模人类内部状态并将其集成到统一的、自适应的规划框架中，有效地解决了当前 HRCA 方法的局限性。