A Graph Neural Network Model for Real-Time Gesture Recognition Based on sEMG Signals

Résumé Technique : Un modèle de réseau de neurones sur graphes pour la reconnaissance de gestes en temps réel basée sur les signaux sEMG

Énoncé du problème
La reconnaissance précise et immédiate des gestes de la main est cruciale pour un contrôle fluide des prothèses de main avancées, de la réalité augmentée (RA) et des systèmes de réalité virtuelle (RV). Bien que les signaux d'électromyographie de surface (sEMG) provenant de l'avant-bras soient couramment utilisés à cette fin, les approches de temps réel existantes font face à des défis importants. Les méthodes traditionnelles reposent généralement sur le partitionnement des signaux sEMG et l'extraction de caractéristiques temporelles ou fréquentielles pour la classification à l'aide d'algorithmes tels que les machines à vecteurs de support (SVM) ou l'analyse discriminante linéaire (LDA). Cependant, la complexité computationnelle découlant du partitionnement continu et la dépendance aux structures de grille régulières ne parviennent souvent pas à capturer les dépendances spatiales et temporelles complexes inhérentes à la communication neuromusculaire. De plus, de nombreuses études existantes se concentrent sur des données préenregistrées plutôt que sur une véritable prédiction en temps réel, ce qui limite leur applicabilité dans les scénarios d'interaction homme-machine dynamiques.

Méthodologie
Les auteurs proposent un nouveau cadre qui modélise les signaux sEMG comme des graphes dynamiques afin d'exploiter les réseaux de neurones sur graphes (GNN) pour la reconnaissance de gestes en temps réel. La méthodologie se compose de quatre étapes principales :

1. Génération du graphe :

   • Partitionnement des données : Les séries temporelles sEMG continues de $M$ canaux (électrodes) sont partitionnées en fenêtres chevauchantes de longueur $L$.
   • Matrice de corrélation : À l'intérieur de chaque fenêtre, le coefficient de corrélation de Pearson est calculé entre chaque paire de signaux de séries temporelles. Cela produit une matrice de corrélation $M \times M$ notée $P[n]$.
   • Construction du graphe : La matrice de corrélation sert de matrice d'adjacence pour un graphe non orienté et entièrement connecté $G[n]$. Les nœuds représentent les électrodes et les poids des arêtes représentent les coefficients de corrélation de Pearson calculés, capturant ainsi les motifs d'activation musculaire individuels et mutuels. Les boucles sur soi sont fixées à zéro.

2. Détection d'événements :

   • Pour identifier les segments de gestes significatifs et éviter les régions à faible rapport signal sur bruit, le système emploie une mesure de détection d'événements basée sur la norme de Frobenius de la différence entre la matrice de signal de la fenêtre actuelle et celle d'une fenêtre précédente ($\Delta[n, \tau]$).
   • Un seuil dépendant du sujet est établi sur la base de la variance de cette métrique. Seules les fenêtres où la métrique dépasse le seuil sont traitées pour la classification, garantissant que le modèle se concentre sur les déclenchement de gestes significatifs.

3. Architecture de classification :

   • Les graphes générés, accompagnés des étiquettes de gestes, servent de données d'entraînement.
   • Une architecture GNN simple est utilisée, composée de deux couches entièrement connectées avec des fonctions d'activation ReLU.
   • Le modèle est entraîné à l'aide de la descente de gradient stochastique (SGD) pour classifier les gestes de la main en se basant sur la structure du graphe, qui propage l'information entre les canaux pour comprendre les relations contextuelles.

4. Pipeline en temps réel :

   • Le système fonctionne en boucle : acquisition de nouvelles données, attente d'une accumulation spécifique d'échantillons ($t_0$), calcul de la métrique de détection d'événements et, si un geste est détecté, génération d'un graphe et alimentation du GNN entraîné pour la prédiction.

Principales contributions

• Représentation basée sur les graphes : L'article introduit une méthode pour transformer les séries temporelles sEMG brutes en structures de graphes où les nœuds sont des électrodes et les arêtes représentent des corrélations temporelles. Cette approche comble le fossé entre les données brutes des capteurs et les représentations de gestes significatives, capturant les dynamiques spatiales et temporelles plus efficacement que les méthodes basées sur des grilles.
• Efficacité en temps réel : Le cadre est conçu spécifiquement pour un fonctionnement à faible latence. En filtrant les événements avant la construction du graphe et en utilisant un GNN léger, le système minimise la surcharge de calcul.
• Seuillage dépendant du sujet : Le mécanisme de détection d'événements utilise un seuil spécifique au sujet basé sur la variance, assurant la robustesse entre différents individus et conditions de signal.

Résultats expérimentaux
La méthode proposée a été évaluée à l'aide d'un ensemble de données provenant de 8 sujets sains effectuant 5 gestes distincts (index pointé, flexion du majeur, flexion de l'annulaire, flexion en V et fermeture de la main) à l'aide d'un bracelet Myo avec 8 électrodes.

• Précision : La méthode proposée a atteint une précision de classification moyenne de 99 % (spécifiquement 99,89 % avec un chevauchement de fenêtre de 97,5 %), surpassant de manière significative les techniques de pointe citées dans l'étude, y compris les approches basées sur la synergie musculaire et les CNN basées sur des images TMA (Temporal Muscle Activation).
• Robustesse : Le modèle a démontré de fortes capacités de généralisation. Même avec des données d'entraînement réduites (obtenues en abaissant le chevauchement des fenêtres à 70 %), le modèle a maintenu un score AUC élevé de 0,967.
• Latence : Le temps moyen pour l'ensemble du processus (construction du graphe et prédiction) était de 48 ms sur un processeur M1 Pro (3 ms pour la génération du graphe, 45 ms pour la prédiction). Cette durée est notablement plus courte que l'intervalle entre les événements successifs, confirmant l'aptitude du système pour les applications en temps réel.
• Comparaison : Les résultats indiquent que la modélisation des corrélations entre les séries temporelles via des réseaux de graphes produit des performances supérieures par rapport au traitement des canaux comme des entités indépendantes ou l'utilisation de CNN standards sur des images TMA.

Signification et affirmations
Les auteurs affirment que leur approche basée sur les graphes offre une solution robuste et efficace pour la reconnaissance de gestes en temps réel, surpassant les méthodes de pointe actuelles tant en précision qu'en efficacité computationnelle. En conceptualisant les gestes comme des graphes dynamiques, la méthode parvient à dénouer les schémas complexes de la communication neuromusculaire qui sont difficiles à capturer avec les méthodes traditionnelles de partitionnement ou les approches de deep learning basées sur des grilles. L'article pose que cette technique est particulièrement efficace pour les applications nécessitant une interaction homme-machine fluide, telles que le contrôle de prothèses et les systèmes de RA/RV. Les auteurs concluent que la capacité de la méthode à maintenir des performances élevées avec des données d'entraînement limitées et sa faible latence en font une étape importante, avec des applications futures potentielles pour la reconnaissance de gestes fluide pour les personnes en situation de handicap.