Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

Imaginez essayer d'apprendre à une main robotique à faire exactement ce que fait votre propre main, simplement en écoutant les minuscules murmures électriques que vos muscles envoient. C'est le monde du contrôle des prothèses, où les scientifiques utilisent des capteurs pour lire les signaux d'« électromyographie de surface » (sEMG) — le bruit électrique produit lorsque vos muscles se contractent. Considérez ces signaux comme une station de radio chaotique diffusant un mélange de statique et de musique ; l'objectif est de se caler sur la bonne fréquence et de comprendre exactement quelle chanson (ou quel geste de la main) est jouée. Pendant des décennies, les chercheurs ont tenté de construire des « traducteurs » capables de transformer ces murmures électriques en mouvements fluides et naturels pour les membres artificiels. Mais voici le hic : à mesure que le nombre de gestes de la main possibles devient plus grand et plus complexe, les anciens traducteurs commencent à s'embrouiller et à perdre pied plus souvent. Ils sont comme un étudiant essayant de mémoriser un dictionnaire en ne regardant que les lettres individuelles, manquant ainsi la vision d'ensemble de la façon dont les mots s'assemblent.

Maintenant, imaginez si cet étudiant pouvait aussi voir les yeux de la personne regarder l'objet qu'elle veut saisir, ou ressentir le mouvement de son bras qui balance. C'est là que la nouvelle recherche intervient, proposant une manière plus intelligente d'écouter. Au lieu de simplement fixer les signaux musculaires, ce nouveau système agit comme un détective super organisé qui rassemble des indices provenant de multiples sources — l'électricité musculaire, les capteurs de mouvement du bras et même l'endroit où les yeux regardent — pour résoudre le mystère de « quel geste de la main est-ce ? ». Le document présente un nouveau type de logiciel très intelligent appelé EMG-CrossFormer. Il est conçu pour être un maître du multitâche, combinant différents types de données pour comprendre les mouvements de la main mieux que jamais, surtout pour les personnes ayant perdu un bras et ayant besoin d'une prothèse qui ressemble à une partie réelle de leur corps.

La nouvelle boîte à outils du détective : l'EMG-CrossFormer

Les auteurs de ce document, Federico Del Pup, Elisa Tentori et Manfredo Atzori, ont réalisé que l'ancienne méthode de décodage des gestes de la main se heurtait à un mur. Les modèles traditionnels d'apprentissage profond, qui sont comme des ordinateurs puissants mais à l'esprit étroit, sont excellents pour observer de petits détails locaux (comme une seule contraction musculaire) mais peinent à relier les points dans le temps ou entre différents types de signaux. Ils sont comme un chef qui sait couper les oignons parfaitement mais ne sait pas comment les combiner avec le sel et le poivre pour faire une soupe. Lorsque la liste des gestes de la main s'allonge (comme pour 40 mouvements différents), ces anciens modèles commencent à échouer, performant souvent moins bien que des méthodes plus simples et plus anciennes.

Pour corriger cela, l'équipe a construit l'EMG-CrossFormer, un modèle hybride qui agit comme un chef d'orchestre de haute technologie. Au lieu d'un seul musicien jouant d'un seul instrument, ce système réunit différentes « sections » de l'orchestre.

1. Les Musiciens (Encodeurs) : D'abord, il écoute les données brutes. Il possède des « structures dorsales » spéciales (les musiciens) qui lisent les signaux musculaires (sEMG). Il peut même lire des indices supplémentaires comme les données de l'accéléromètre (qui suit comment le bras se déplace dans l'espace) et les données de suivi oculaire (qui montrent où la personne regarde).
2. Le Chef d'Orchestre (Attention croisée/Cross-Attention) : C'est la partie magique. Par le passé, les systèmes se contentaient de jeter tous ces indices en un tas en espérant que cela fonctionne. L'EMG-CrossFormer utilise une technique appelée « attention croisée ». Imaginez le chef d'orchestre demandant à la section des muscles : « Hé, que ressentez-vous ? », puis se tournant vers la section oculaire : « Et vous, où regardent-ils ? ». Le système force ces différents signaux à communiquer entre eux, fusionnant leurs récits en une compréhension parfaite du geste.
3. Le Soliste (Décodeur basé sur des requêtes) : Enfin, le système utilise des « requêtes de gestes apprenables ». Considérez cela comme un ensemble de cartes magiques, chacune représentant un geste spécifique (comme « saisir une tasse » ou « dire bonjour »). Le système demande à ces cartes : « Est-ce que ce geste correspond à l'histoire que nous venons d'entendre ? » et choisit le vainqueur.

Ce qu'ils ont découvert : Le pouvoir du travail d'équipe

Les chercheurs ont testé ce nouveau système sur quatre ensembles de données (collections de données provenant de vraies personnes, avec ou sans bras) appelés NinaPro DB2, DB3, DB7 et DB10. Ils ont opposé l'EMG-CrossFormer à six autres modèles de haut niveau pour voir qui pouvait deviner le mieux les gestes de la main.

Les résultats avec seulement les signaux musculaires :
Lorsqu'ils n'utilisaient que les signaux musculaires (sEMG), le nouveau modèle était déjà le champion, mais la victoire était un peu modeste.

• Sur l'ensemble de données DB2, il a atteint 72,33 % de précision.
• Sur DB3 (qui inclut des amputés), il a atteint 52,48 %.
• Sur DB7, il a atteint 79,16 %.
• Sur DB10, il a obtenu 73,49 %.
  Bien qu'il soit le meilleur, le document note que l'écart entre ce nouveau modèle et le deuxième meilleur est faible. Cela suggère que même le traducteur de muscles le plus intelligent peine lorsque les signaux sont bruyants ou que les gestes sont très similaires.

La magie de l'ajout d'indices supplémentaires :
Ensuite, ils ont activé les capteurs supplémentaires. Lorsque l'on a ajouté les données de l'accéléromètre (suivant le mouvement du bras), les résultats ont grimpé en flèche.

• Sur DB2, la précision est passée à 90,66 %.
• Sur DB3 (amputés), elle a bondi à 80,40 %.
• Sur DB7, elle a atteint 92,79 %.
• Sur DB10, elle a atteint 92,06 %.

Cette amélioration massive suggère que les signaux musculaires seuls ne suffisent pas à raconter toute l'histoire. En ajoutant les indices de « mouvement » de l'accéléromètre, le système a enfin pu distinguer des gestes qui se ressemblent dans les muscles mais qui se ressentent différemment dans le bras.

Le tournant du suivi oculaire :
Ils ont également essayé d'ajouter des données de suivi oculaire (où la personne regarde) au mélange. Curieusement, cela n'a pas toujours amélioré les choses. Sur certains ensembles de données, l'ajout de données oculaires n'a pas beaucoup amélioré le score par rapport à l'utilisation des muscles et du mouvement du bras. Les auteurs suggèrent que le suivi oculaire est meilleur pour prédire ce que vous voulez faire ensuite, plutôt que pour décoder ce que vous êtes actuellement en train de faire. C'est un peu comme essayer de deviner ce que quelqu'un mange en regardant ses yeux ; cela aide, mais ce n'est pas aussi direct que de sentir la nourriture dans sa bouche.

Pourquoi cela importe (et ce que ce n'est pas)

Le document conclut que la combinaison des détails locaux (ce que font les muscles en ce moment) avec le contexte global (comment le bras bouge et où les yeux regardent) est la clé pour déverrouiller les gestes de la main complexes. Le nouveau modèle, EMG-CrossFormer, est conçu pour être flexible. Il peut gérer n'importe quel nombre de signaux, ce qui en fait un outil tourné vers l'avenir pour les prothèses.

Cependant, les auteurs veillent à ne pas survendre les résultats. Ils soulignent que, bien que les chiffres semblent excellents, le système est encore une « boîte noire » — nous savons qu'il fonctionne, mais nous ne comprenons pas totalement pourquoi il fonctionne si bien à l'intérieur de ses couches neuronales. Ils notent également que les tests ont été effectués sur des ensembles de données spécifiques, et que les prothèses du monde réel font face à bien d'autres défis, comme le bruit du signal dû à la sueur ou au mouvement.

Le document exclut explicitement l'idée que les anciens modèles simples soient suffisants pour des tâches complexes ; ils ne peuvent tout simplement pas passer à l'échelle supérieure. Il suggère également que le simple fait de jeter plus de données sur un mauvais système n'aide pas ; c'est la manière dont vous combinez les données (la « stratégie de fusion ») qui compte. Les auteurs proposent que leur méthode d'« attention croisée » est supérieure au simple collage de données, car elle force le système à réellement comprendre la relation entre les différents signaux.

En fin de compte, cette recherche ne prétend pas avoir résolu le problème des prothèses parfaites pour toujours. Au contraire, elle offre un nouveau plan directeur puissant. Elle montre que si nous voulons que les robots bougent comme les humains, nous devons cesser d'écouter une seule voix et commencer à diriger un orchestre complet de signaux. La voie à suivre consiste à construire des systèmes qui ne sont pas seulement intelligents, mais aussi adaptables, capables d'apprendre des muscles, du mouvement et même du regard de la personne qui les porte.