NPU-Accelerated Neuro-Fuzzy Safety Assistance with Decision-Level Multimodal Fusion for Teleoperated Assistive Robots

技术摘要：基于 NPU 加速的神经模糊安全辅助系统，用于远程操作辅助机器人中的决策级多模态融合

问题陈述
用于辅助和家庭监控任务的远程操作移动机器人面临着一个根本性的权衡：纯手动远程操作将整个避障负担都压在了操作员身上，而操作员的态势感知往往受限于狭窄的摄像机视野和微弱的深度感知。相反，全自主导航则会消除操作员的意图，并需要超出低成本家用平台成本、尺寸和功耗预算的计算资源（如建图、定位、规划）。现有的共享控制解决方案通常依赖于缺乏学习能力的脆弱 PID 控制器或模糊逻辑系统，或者将感知与控制视为独立的模块，未能利用深度学习与神经模糊控制在边缘硬件上的协同效应。此外，大多数用于安全的决策级融合策略尚未与专用的神经网络处理器（NPU）加速集成以实现并发执行。

方法论
作者提出了一种共享控制框架，在该框架中，人类操作员保留完整的转向控制权（方向），而车载边缘 AI 安全层则自动调节可容许的平移速度。该系统架构分为三层：

1. 感知层： 利用定制的 360° 舵机扫描双红外测距系统（两个 Sharp GP2Y0A41SK0F 传感器）进行几何距离和方位测量，利用 IMU 通过六轴扩展卡尔曼滤波（EKF）进行姿态估计，并使用 RGB 摄像头进行视觉感知。
2. 底层嵌入式层： 由 STM32L4S5 处理姿态估计，由 Arduino MEGA 2560 管理电机驱动和串行通信。
3. 高层辅助层： 在配备 Hailo-8L NPU 的 Raspberry Pi 5 上执行，该层运行两个并发推理流水线：
   • ANFIS 控制器： 一种自适应神经模糊推理系统（Sugato 型，包含 20 条规则），将红外距离和方位映射为基础速度 ($v_{base}$)。
   • YOLOX-S 检测器： 一个预训练的无锚点目标检测器，从视觉流中提供语义障碍物置信度分数 ($s_{obs}$)。

决策级多模态融合
其核心创新在于一种轻量级的乘法决策级融合律，它结合了几何分支和语义分支：
$$\bar{v}_f = \bar{v}_A (1 - s_{obs})$$
其中 $\bar{v}_A$ 是归一化后的 ANFIS 输出，而 $s_{obs}$ 是机器人前方区域检测到的障碍物的最大置信度。这种公式根据视觉置信度衰减速度，而无需复杂的权重校准。此外，一个确定性的临界距离覆盖机制（$d \leq 5$ cm）独立于学习模型运行，通过强制执行倒车动作来确保安全，即使在学习组件失效或操作员发出前进指令时也是如此。

NPU 部署
系统通过在单个 Hailo-8L NPU 上同时部署 ANFIS 控制器和 YOLOX-S 检测器实现了实时性能。ANFIS 模型从 PyTorch 转换为 ONNX，经过 INT8 量化，并编译为 Hailo 可执行文件格式（HEF）二进制文件。这使得系统能够实现 50 Hz 的 ANFIS 更新和 28.7 fps 的视觉推理，总 NPU 利用率为 55%。整个技术栈在本地运行，不依赖云端。

主要贡献

1. 共享控制架构： 一种操作员控制方向、而边缘 AI 层根据障碍物配置调节速度的系统。
2. 单 NPU 双推理： 在单个 Hailo-8L NPU 上成功并发执行神经模糊控制器和深度学习检测器，并测量了联合负载下的延迟和吞吐量。
3. 决策级融合： 一种乘法融合机制，通过视觉置信度调节几何速度，从而在不合并原始传感器数据的情况下，根据语义检测来衰减速度。
4. 独立安全覆盖： 一种优先考虑几何安全而非学习组件及操作员指令的临界距离规则。
5. 部署流水线： 一个完整的流程，将 PyTorch 训练的 ANFIS 模型转换为 INT8 部署的 HEF 二进制文件，包括一个具有成本效益的 360° 舵机扫描红外测距系统。
6. 实验验证： 通过对比试验评估了手动、ANFIS 辅助以及 ANFIS–YOLOX 辅助远程操作的表现。

实验结果
实验是在一个定制的四轮平台及单名操作员的条件下进行的，共进行了 10 轮每种情况（手动、仅 ANFIS、融合）的测试。主要发现包括：

• 安全指标： 融合策略将碰撞率从 0.40（手动）降低至 0.10 次碰撞/轮。最小障碍物间隙从 5.1 cm 增加到 10.4 cm，紧急干预次数从 1.70 次/轮降至 0.20 次/轮。
• 性能： 系统实现了 50 Hz 的 ANFIS 更新（NPU 延迟 0.62 ms）和 28.7 fps 的 YOLOX 推理。INT8 部署与 FP32 基准相比，偏差仅为 0.4%。
• 权衡： 安全性的提升是以指令到执行延迟适度增加（+6.2 ms）和完成路径时间增加（+20.3%）为代价的，这反映出一种更为保守的速度剖面。

意义与主张
论文声称该架构解决了在低成本辅助机器人中协同设计神经模糊控制、深度学习感知和 NPU 加速的空白。通过在单个边缘加速器上执行控制与感知，该系统证明了可以在严格的功耗和尺寸限制内实现共享控制安全层，且无需依赖云端。作者强调，该系统并非取代操作员意图，而是通过基于实时几何和语义数据的动态速度调节来增强安全性。

局限性与未来工作
作者明确指出了以下局限性：

• ANFIS 模型是在受控数据上进行离线训练的，在较低距离边界附近表现出非单调行为，因此需要独立的临界距离覆盖机制。
• YOLOX 检测器作为预训练组件使用，未针对特定部署环境进行独立的基准测试（精确度/召回率）。
• 系统依赖于单名操作员和静态障碍物；未测试操作员间的差异性和动态环境。
• 倒车覆盖机制不检查后方障碍物，且未针对参考标准对红外测距精度进行量化。

提出的未来工作包括：量化红外测距误差、对视觉检测器进行基准测试、对 ANFIS 曲面施加单调性约束，以及在多个操作员和动态场景下验证系统。