A Graph Neural Network Model for Real-Time Gesture Recognition Based on sEMG Signals

Resumen Técnico: Un Modelo de Redes Neuronales de Grafos para el Reconocimiento de Gestos en Tiempo Real Basado en Señales de sEMG

Planteamiento del Problema
El reconocimiento preciso e inmediato de gestos manuales es crítico para un control fluido en prótesis de mano avanzadas y sistemas de realidad aumentada (AR) y realidad virtual (VR). Aunque las señales de electromiografía de superficie (sEMG) del antebrazo se utilizan comúnmente para este propósito, los enfoques actuales en tiempo real enfrentan desafíos significativos. Los métodos tradicionales suelen depender de la agrupación (binning) de las señales sEMG y la extracción de características temporales o de dominio de frecuencia para la clasificación mediante algoritmos como Máquinas de Vectores de Soporte (SVM) o Análisis Discriminante Lineal (LDA). Sin embargo, la complejidad computacional derivada de la agrupación continua y la dependencia de estructuras de rejilla regulares a menudo no logran capturar las complejas dependencias espaciales y temporales inherentes a la comunicación neuromuscular. Además, muchos estudios existentes se centran en datos pregrabados en lugar de la predicción real en tiempo real, lo que limita su aplicabilidad en escenarios dinámicos de interacción humano-computadora.

Metodología
Los autores proponen un marco novedoso que modela las señales sEMG como grafos dinámicos para aprovechar las Redes Neuronales de Grafos (GNN) para el reconocimiento de gestos en tiempo real. La metodología consta de cuatro etapas principales:

1. Generación de Grafos:

   • Partición de Datos: Las series temporales continuas de sEMG de $M$ canales (electrodos) se particionan en ventanas superpuestas de longitud $L$.
   • Matriz de Correlación: Dentro de cada ventana, se calcula el coeficiente de correlación de Pearson entre cada par de señales de series temporales. Esto resulta en una matriz de correlación de $M \times M$ $P[n]$.
   • Construcción del Grafo: La matriz de correlación sirve como la matriz de adyacencia para un grafo no dirigido y totalmente conectado $G[n]$. Los nodos representan los electrodos y los pesos de las aristas representan los coeficientes de correlación de Pearson calculados, capturando tanto los patrones de activación muscular individuales como los mutuos. Los bucles de autodirección (self-loops) se fijan en cero.

2. Detección de Eventos:

   • Para identificar segmentos de gestos significativos y evitar regiones de baja relación señal-ruido, el sistema emplea una medida de detección de eventos basada en la norma de Frobenius de la diferencia entre la matriz de señal de la ventana actual y la matriz de una ventana anterior ($\Delta[n, \tau]$).
   • Se establece un umbral dependiente del sujeto basado en la varianza de esta métrica. Solo las ventanas donde la métrica excede el umbral se procesan para la clasificación, asegurando que el modelo se concentre en inicios de gestos significativos.

3. Arquitectura de Clasificación:

   • Los grafos generados, junto con las etiquetas de los gestos, sirven como datos de entrenamiento.
   • Se utiliza una arquitectura GNN sencilla, que consiste en dos capas totalmente conectadas con funciones de activación ReLU.
   • El modelo se entrena utilizando el Descenso del Gradiente Estocástico (SGD) para clasificar gestos manuales basándose en la estructura del grafo, la cual propaga información entre canales para comprender las relaciones contextuales.

4. Pipeline en Tiempo Real:

   • El sistema opera en un bucle: adquisición de nuevos datos, espera de una acumulación específica de muestras ($t_0$), cálculo de la métrica de detección de eventos y, si se detecta un gesto, generación de un grafo y alimentación de este a la GNN entrenada para la predicción.

Contribuciones Clave

• Representación Basada en Grafos: El artículo introduce un método para transformar las series temporales de sEMG en estructuras de grafos donde los nodos son electrodos y las aristas representan correlaciones temporales. Este enfoque cierra la brecha entre los datos brutos de los sensores y las representaciones de gestos significativas, capturando las dinámicas espaciales y temporales de manera más efectiva que los métodos basados en rejillas.
• Eficiencia en Tiempo Real: El marco está diseñado específicamente para una operación de baja latencia. Al filtrar por eventos antes de la construcción del grafo y utilizar una GNN ligera, el sistema minimiza la carga computacional.
• Umbralización Dependiente del Sujeto: El mecanismo de detección de eventos utiliza un umbral específico para cada sujeto basado en la varianza, lo que garantiza la robustez entre diferentes individuos y condiciones de señal.

Resultos Experimentales
El método propuesto fue evaluado utilizando un conjunto de datos de 8 sujetos sanos realizando 5 gestos manuales distintos (señalar con el índice, flexión del dedo medio, flexión del dedo anular, flexión en V y cierre de la mano) utilizando una banda Myo con 8 electrodos.

• Precisión: El método propuesto logró una precisión de clasificación promedio del 99% (específicamente 99.89% con un solapamiento de ventana del 97.5%), superando significativamente las técnicas de vanguardia citadas en el estudio, incluyendo los enfoques basados en sinergias musculares y las CNN basadas en imágenes de Activación Muscular Temporal (TMA).
• Robustez: El modelo demostró capacidades de generalización sólidas. Incluso con datos de entrenamiento reducidos (logrado al disminuir el solapamiento de la ventana al 70%), el modelo mantuvo un alto puntaje de Área Bajo la Curva (AUC) de 0.967.
• Latencia: El tiempo promedio para todo el proceso (construcción del grafo y predicción) fue de 48 ms en una CPU M1 Pro (3 ms para la generación del grafo, 45 ms para la predicción). Esta duración es notablemente más corta que el intervalo de tiempo entre eventos sucesivos, confirmando la idoneidad del sistema para aplicaciones en tiempo real.
• Comparación: Los resultados indican que modelar las correlaciones entre series temporales mediante redes de grafos produce un rendimiento superior en comparación con tratar los canales como entidades independientes o utilizar CNN estándar en imágenes TMA.

Significancia y Reivindicaciones
Los autores afirman que su enfoque basado en grafos ofrece una solución robusta y eficiente para el reconocimiento de gestos en tiempo real, superando los métodos actuales de vanguardia tanto en precisión como en eficiencia computacional. Al conceptualizar los gestos como grafos dinámicos, el método logra desentrañar patrones intrincados en la comunicación neuromuscular que son difíciles de capturar con la agrupación tradicional o los enfoques de aprendizaje profundo basados en rejillas. El artículo postula que esta técnica es particularmente efectiva para aplicaciones que requieren una interacción humano-máquina fluida, como el control de prótesis y sistemas de AR/VR. Los autores concluyen que la capacidad del método para mantener un alto rendimiento con datos de entrenamiento limitados y su baja latencia lo convierten en un paso significativo hacia adelante, con potenciales aplicaciones futuras en el reconocimiento de gestos fluidos para personas con discapacidades.