A Graph Neural Network Model for Real-Time Gesture Recognition Based on sEMG Signals

技术摘要：一种基于 sEMG 信号的实时手势识别图神经网络模型

问题陈述
准确且即时的手势识别对于先进假肢、增强现实（AR）和虚拟现实（VR）系统中的无缝控制至关重要。虽然来自前臂的表面肌电信号（sEMG）常用于此目的，但现有的实时方法面临着显著挑战。传统方法通常依赖于对 sEMG 信号进行分箱（binning），并提取时域或频域特征，使用支持向量机（SVM）或线性判别分析（LDA）等算法进行分类。然而，由于连续分箱带来的计算复杂性以及对规则网格结构的依赖，这些方法往往无法捕捉神经肌肉通信中固有的复杂空间和时间依赖关系。此外，许多现有研究侧重于预录数据而非真正的实时预测，这限制了它们在动态人机交互场景中的适用性。

方法论
作者提出了一种创新的框架，将 sEMG 信号建模为动态图，以利用图神经网络（GNN）进行实时手势识别。该方法由四个主要阶段组成：

1. 图生成：

   • 数据划分： 将 $M$ 个通道（电极）的连续 sEMG 时间序列划分为长度为 $L$ 的重叠窗口。
   • 相关矩阵： 在每个窗口内，计算每对时间序列信号之间的皮尔逊相关系数。这产生了一个 $M \times M$ 的相关矩阵 $P[n]$。
   • 图构建： 该相关矩阵作为无向全连接图 $G[n]$ 的邻接矩阵。节点代表电极，边权重代表计算出的皮尔逊相关系数，从而捕捉个体及相互的肌肉激活模式。自环被固定为零。

2. 事件检测：

   • 为了识别有意义的手势片段并避免低信噪比区域，系统采用了基于当前窗口信号矩阵与前一窗口信号矩阵之间 Frobenius 范数差异（$\Delta[n, \tau]$）的事件检测度量。
   • 根据该度量的方差建立了一个受试者依赖的阈值。只有当该度量超过阈值时，系统才会对窗口进行处理以进行分类，从而确保模型专注于显著的手势起始点。

3. 分类架构：

   • 生成的图及其对应的手势标签作为训练数据。
   • 采用了一种简单的 GNN 架构，由两个带有 ReLU 激活函数的全连接层组成。
   • 模型使用随机梯度下降（SGD）进行训练，通过图结构对手势进行分类，从而在通道之间传播信息以理解上下文关系。

4. 实时流水线：

   • 系统以循环方式运行：获取新数据，等待特定的样本累积量（$t_0$），计算事件检测度量，并在检测到手势时，生成图并将其输入经过训练的 GNN 进行预测。

核心贡献

• 基于图的表示法： 本文引入了一种将原始 sEMG 时间序列转换为图结构的方法，其中节点为电极，边代表时间相关性。这种方法弥合了原始传感器数据与有意义的手势表示之间的鸿沟，比基于网格的方法更有效地捕捉了空间和时间动态。
• 实时效率： 该框架专为低延迟运行而设计。通过在图构建之前进行事件过滤并使用轻量级 GNN，系统最大限度地降低了计算开销。
• 受试者依赖的阈值设定： 事件检测机制利用基于方差的、针对特定受试者的阈值，确保了在不同个体和信号条件下的鲁棒性。

实验结果
该方法使用来自 8 名健康受试者的数据集进行了评估，受试者使用带有 8 个电极的 Myo Band 进行了 5 种不同的手势动作（食指指向、中指屈曲、无名指屈曲、V 形手势和握拳）。

• 准确率： 所提方法实现了平均 99% 的分类准确率（在 97.5% 的窗口重叠下达到 99.89%），显著优于研究中引用的包括基于肌肉协同作用的方法和基于时间肌肉激活（TMA）图像的 CNN 在内的现有技术。
• 鲁棒性： 模型展示了强大的泛化能力。即使在减少训练数据（通过将窗口重叠度降至 70%）的情况下，模型仍保持了 0.967 的高 AUC 分数。
• 延迟： 在 M1 Pro CPU 上，整个过程（图构建和预测）的平均时间为 48 毫秒（图生成耗时 3 毫秒，预测耗时 45 毫秒）。这一持续时间明显短于连续事件之间的时间间隔，证实了该系统对实时应用的适用性。
• 对比： 结果表明，通过图网络对时间序列间的相关性进行建模，其性能优于将通道视为独立实体或使用标准 CNN 处理 TMA 图像的方法。

意义与主张
作者声称，他们的基于图的方法为实时手势识别提供了一种鲁棒且高效的解决方案，在准确性和计算效率方面均超越了当前最先进的技术。通过将手势概念化为动态图，该方法成功地揭示了传统分箱或基于网格的深度学习方法难以捕捉的复杂的神经肌肉通信模式。论文指出，该技术对于需要无缝人机交互的应用（如假肢控制和 AR/VR 系统）特别有效。作者总结道，该方法能够在使用有限训练数据的情况下保持高性能，且具有低延迟特性，这标志着在实现残障人士流畅手势识别方面迈出了重要一步。