Metric-Based Few-Shot Learning Framework for User-Defined Vocabulary Registration in Electromyography-Based Silent Speech Interfaces

Imaginez essayer de parler à votre ordinateur sans émettre le moindre son. Vous pourriez penser que la « parole silencieuse » n'est qu'un simple chuchotement, mais pour beaucoup de personnes — comme celles qui ne peuvent plus parler en raison d'une blessure ou d'une maladie — chuchoter n'est pas une option. C'est là que l'Électromyographie (EMG) entre en jeu. Considérez l'EMG comme un stéthoscope super sensible pour vos muscles. Lorsque vous essayez de prononcer un mot silencieusement, vos muscles faciaux et de la gorge tressaillent et émettent de minuscules signaux électriques, même si aucun son ne sort. Les capteurs EMG peuvent capturer ces chuchotements électriques.

Maintenant, imaginez enseigner à un ordinateur à comprendre ces minuscules tressaillements musculaires silencieux. Habituellement, vous devriez enseigner à l'ordinateur chaque mot que vous voulez qu'il reconnaisse en lui montrant des centaines d'exemples de vous en train de dire ce mot. C'est comme essayer d'apprendre un nouveau tour à un chien en répétant la commande mille fois jusqu'à ce qu'il finisse par comprendre. Mais que se passerait-il si vous vouliez ajouter un nouveau mot au vocabulaire demain ? Vous devriez recommencer tout le processus d'entraînement, ce qui est lent et agaçant. C'est le problème du « vocabulaire défini par l'utilisateur » : comment permettre à un utilisateur d'ajouter de nouveaux mots facilement sans réentraîner tout le système ?

Entrez dans le Few-Shot Learning (apprentissage à partir de peu d'exemples). C'est une astuce ingénieuse de l'intelligence artificielle où un modèle apprend à reconnaître de nouvelles choses à partir de seulement quelques exemples — parfois un seul ou trois. C'est comme montrer la photo d'un nouveau jouet à un chien une seule fois, et il comprend instantanément : « Oh, c'est une balle ! ». L'objectif de cette recherche est de voir si nous pouvons utiliser cette magie du « few-shot » pour permettre aux gens d'enregistrer de nouveaux mots silencieux sur leurs appareils EMG rapidement et facilement, sans avoir besoin d'un supercalculateur pour tout réentraîner.

---

Le puzzle de la parole silencieuse : Enseigner à un ordinateur à lire dans vos pensées (sans lire dans les pensées)

Dans cette étude, les chercheurs Hyeseong Jeon, Jangjay Sohn et Chang-Hwan de l'Université de Hanyang ont abordé un problème complexe : comment créer un dispositif de parole silencieuse qui vous permet d'ajouter vos propres mots personnalisés sans passer des heures à le réentraîner ? Ils ont proposé un nouveau cadre utilisant le Metric-Based Few-Shot Learning (apprentissage à partir de peu d'exemples basé sur la métrique).

Considérez la façon dont ces systèmes fonctionnent actuellement comme une bibliothèque rigide. Si vous voulez ajouter un nouveau livre (un nouveau mot), vous devez reconstruire tout le système de catalogue de la bibliothèque. La nouvelle méthode proposée ici ressemble davantage à un bibliothécaire intelligent qui a déjà mémorisé la forme de tous les types de livres. Quand vous apportez un nouveau livre, le bibliothécaire n'a pas besoin de reconstruire la bibliothèque ; il regarde simplement le nouveau livre, le compare à la forme de ceux qu'il connaît déjà, et dit : « Ah, cela ressemble à un roman policier ! ».

L'expérience : 20 personnes, 100 mots et un défi silencieux

Pour tester cela, les chercheurs ont réuni 20 volontaires. Ces participants étaient assis devant un écran et articulaient silencieusement 100 mots anglais différents. Pendant ce temps, six minuscules électrodes collées à leur visage et à leur menton enregistraient l'activité électrique de leurs muscles.

Les chercheurs ont divisé ces 100 mots en deux groupes :

1. Les mots du « Système » (80 mots) : Ceux-ci ont été utilisés pour entraîner initialement le cerveau de l'ordinateur. C'est la « bibliothèque » que l'ordinateur apprend.
2. Les mots de l'« Utilisateur » (20 mots) : C'étaient les « nouveaux livres » que l'ordinateur n'avait jamais vus auparavant. L'objectif était de voir si l'ordinateur pouvait reconnaître ces nouveaux mots après n'en avoir vu que quelques exemples (un, deux, trois ou quatre).

Ils ont testé quatre différentes stratégies de « bibliothécaire intelligent » (algorithmes) pour voir laquelle était la meilleure pour ce jeu de correspondance :

• Réseau Siamois (Siamese Network) : Compare le nouveau mot directement à chaque exemple qu'il a vu, comme si l'on vérifiait un nouveau visage par rapport à un album photo, un par un.
• Réseau Prototypique (Prototypical Network) : Crée une version « moyenne parfaite » de chaque mot (un prototype) et compare le nouveau mot à cette moyenne.
• Réseau de Correspondance (Matching Network) : Utilise un système d'attention complexe pour pondérer à quel point le nouveau mot ressemble aux exemples.
• Réseau de Relation (Relation Network) : Apprend une règle spécifique pour comparer deux choses.

Ils ont également comparé ces méthodes à une méthode de « Fine-Tuning » (ajustement fin), qui est l'ancienne façon de réentraîner le modèle avec les nouvelles données.

Les grandes découvertes : L'« Moyenne » l'emporte

Les résultats ont été clairs et passionnants. Le Réseau Prototypique a été le champion.

Voici pourquoi il a gagné : au lieu d'essayer de mémoriser chaque exemple d'un mot, il a compris l'« essence » ou la « forme moyenne » des mouvements musculaires de ce mot. Lorsqu'un utilisateur voulait ajouter un nouveau mot, le système prenait simplement les quelques exemples fournis par l'utilisateur, les faisait la moyenne pour créer un « prototype », et stockait celui-ci. Lorsque l'utilisateur essayait de dire ce mot à nouveau, le système vérifiait simplement si le nouveau mouvement musculaire ressemblait à ce prototype.

• Succès en One-Shot : Lorsque le système n'a vu qu'un seul exemple d'un nouveau mot, le Réseau Prototypique l'a reconnu 82,85 % du temps.
• Succès en Three-Shot : Lorsqu'il en a vu trois, la précision est montée à 90,17 %.

En comparaison, la méthode de « Fine-Tuning » (réentraînement de tout le modèle) a eu du mal. Avec un seul exemple, elle n'a réussi qu'environ 66 % du temps. Il s'avère que tenter de réentraîner un cerveau géant avec seulement quelques exemples le rend confus, alors que la simple création d'une référence « moyenne » fonctionne bien mieux.

Pourquoi cela importe pour vos futurs gadgets

L'étude suggère que cette approche est parfaite pour les appareils de bord (edge devices) — les petits gadgets que nous portons, comme les montres intelligentes ou les aides auditives.

• Pas de réentraînement nécessaire : Vous n'avez pas besoin d'envoyer des données vers un serveur cloud ou d'attendre une mise à jour massive. L'appareil stocke simplement le « prototype » de votre nouveau mot.
• Économie d'espace : Vous n'avez pas besoin de sauvegarder une nouvelle version complète du logiciel pour chaque nouveau mot ajouté. Vous sauvegardez juste un minuscule vecteur mathématique (le prototype).
• Fonctionne avec moins de données : Même si le système n'avait appris que 40 mots au départ (au lieu de 80), le Réseau Prototypique a quand même mieux performé que les autres méthodes avec 80 mots. Cela signifie que le système n'a pas besoin d'une immense bibliothèque pour commencer ; il peut apprendre à partir d'un ensemble plus restreint et tout de même bien gérer les nouveaux mots.

Les limites et l'avenir

Bien que les résultats soient prometteurs, les auteurs précisent avec prudence qu'il s'agissait d'une expérience contrôlée avec des volontaires sains en laboratoire. Ils ont utilisé une liste spécifique de 100 mots anglais. Ils ne prétendent pas que cela fonctionne parfaitement pour toutes les langues ou pour les personnes ayant des troubles de la parole pour le moment. De plus, bien que les mathématiques indiquent que cela devrait fonctionner sur de petits appareils, ils n'ont pas encore testé cela sur du matériel portable réel pour voir la vitesse d'exécution ou la consommation de batterie.

Cependant, l'idée centrale est solide : en utilisant une approche par « prototype », nous pouvons créer des interfaces de parole silencieuse qui sont flexibles, rapides et prêtes à vous permettre d'ajouter vos propres commandes personnalisées sans le tracas de séances d'entraînement interminables. C'est une étape vers un futur où votre appareil comprendra vos pensées silencieuses, peu importe les nouveaux mots que vous déciderez de lui enseigner.