Multimodal Surface EMG Hand Gesture Recognition Using Query-Based Transformers for Prosthetic Control

Stellen Sie sich vor, Sie versuchen, einer Roboterhand beizubringen, genau das zu tun, was Ihre eigene Hand macht, indem Sie nur auf die winzigen elektrischen Flüstern hören, die Ihre Muskeln aussenden. Dies ist die Welt der prothetischen Steuerung, in der Wissenschaftler Sensoren verwenden, um „Oberflächen-Elektromyographie“-Signale (sEMG) zu lesen – das elektrische Rauschen, das entsteht, wenn sich Ihre Muskeln zusammenziehen. Betrachten Sie diese Signale wie einen chaotischen Radiosender, der eine Mischung aus statischem Rauschen und Musik spielt; das Ziel ist es, sich einzutunen und genau herauszufinden, welches Lied (oder welche Handgeste) gerade gespielt wird. Jahrzehntelang haben Forscher versucht, „Übersetzer“ zu bauen, die diese elektrischen Flüstern in flüssige, natürliche Bewegungen für künstliche Gliedmaßen verwandeln. Aber hier liegt der Haken: Wenn die Anzahl der möglichen Handgesten größer und komplexer wird, beginnen die alten Übersetzer verwirrt zu sein und lassen öfter mal den Ball fallen. Sie sind wie ein Schüler, der versucht, ein Wörterbuch auswendig zu lernen, indem er nur einzelne Buchstaben betrachtet, und dabei das große Ganze übersieht, wie Wörter zusammenpassen.

Stellen Sie sich nun vor, dieser Schüler könnte auch die Augen der Person sehen, die das Objekt betrachtet, das sie greifen möchte, oder die Bewegung des Arms spüren, der schwingt. Hier setzt die neue Forschung an und schlägt eine intelligentere Art des Zuhörens vor. Anstatt nur auf die Muskelsignale zu starren, agiert dieses neue System wie ein super organisierter Detektiv, der Hinweise aus mehreren Quellen sammelt – Muskelelektrizität, Armbewegungssensoren und sogar die Blickrichtung der Augen –, um das Rätsel „Welche Handgeste ist das?“ zu lösen. Das Paper stellt eine neue Art von gehirngesetzter Software namens EMG-CrossFormer vor. Es ist darauf ausgelegt, ein Meister des Multitaskings zu sein, indem es verschiedene Arten von Daten kombiniert, um Handbewegungen besser als je zuvor zu verstehen, insbesondere für Menschen, die einen Arm verloren haben und eine Prothese benötigen, die sich wie ein echter Teil ihres Körpers anfühlt.

Das neue Werkzeug des Detektivs: EMG-CrossFormer

Die Autoren dieser Arbeit, Federico Del Pup, Elisa Tentori und Manfredo Atzori, erkannten, dass die alte Art, Handgesten zu dekodieren, an eine Wand stieß. Traditionelle Deep-Learning-Modelle, die wie leistungsstarke, aber engstirnige Computer sind, sind großartig darin, kleine, lokale Details (wie ein einzelnes Muskelzucken) zu betrachten, haben aber Schwierigkeiten, die Verbindung über die Zeit oder über verschiedene Arten von Signalen hinweg herzustellen. Sie sind wie ein Koch, der Zwiebeln perfekt schneiden kann, aber nicht weiß, wie er sie mit Salz und Pfeffer kombiniert, um eine Suppe zuzubereiten. Wenn die Liste der Handgesten lang wird (wie etwa 40 verschiedene Bewegungen), versagen diese alten Modelle oft und schneiden sogar schlechter ab als einfachere, ältere Methoden.

Um dies zu beheben, entwickelte das Team den EMG-CrossFormer, ein hybrides Modell, das wie ein hochtechnologischer Orchesterdirigent agiert. Anstatt dass nur ein Musiker ein einzelnes Instrument spielt, bringt dieses System verschiedene „Sektionen“ des Orchesters zusammen.

1. Die Musiker (Encoder): Zuerst hört es auf die Rohdaten. Es besitzt spezielle „Backbones“ (die Musiker), die die Muskelsignale (sEMG) lesen. Es kann sogar zusätzliche Hinweise wie Beschleunigungsdaten (die verfolgen, wie sich der Arm im Raum bewegt) und Eye-Tracking-Daten (die zeigen, wohin die Person schaut) lesen.
2. Der Dirigent (Cross-Attention): Dies ist der magische Teil. In der Vergangenheit haben Systeme diese verschiedenen Hinweise einfach auf einen Haufen geworfen und gehofft, dass es klappt. EMG-CrossFormer verwendet eine Technik namens „Cross-Attention“. Stellen Sie sich den Dirigenten vor, der die Muskel-Sektion fragt: „Hey, was fühlt ihr?“, und sich dann der Augen-Sektion zuwendet: „Und du, wohin schauen sie?“ Das System zwingt diese verschiedenen Signale dazu, miteinander zu kommunizieren, und verschmilzt ihre Geschichten zu einem perfekten Verständnis der Geste.
3. Der Solist (Query-Based Decoder): Schließlich verwendet das System „lernbare Gesten-Queries“. Denken Sie an diese als einen Satz magischer Karten, von denen jede eine bestimmte Handgeste repräsentiert (wie „einen Becher greifen“ oder „Hallo winken“). Das System fragt diese Karten: „Passt diese Geste zu der Geschichte, die wir gerade gehört haben?“ und sucht sich den Gewinner aus.

Was sie fanden: Die Kraft der Teamarbeit

Die Forscher testeten dieses neue System an vier verschiedenen Datensätzen (Sammlungen von Daten realer Menschen, sowohl mit als auch ohne Arme) namens NinaPro DB2, DB3, DB7 und DB10. Sie stellten den EMG-CrossFormer gegen sechs andere Top-Modelle zur Probe, um zu sehen, wer die Handgesten am besten errät.

Die Ergebnisse mit nur Muskelsignalen:
Wenn sie nur die Muskelsignale (sEMG) verwendeten, war das neue Modell bereits der Champion, aber der Sieg war etwas bescheiden.

• Auf dem DB2-Datensatz erreichte es eine Genauigkeit von 72,33 %.
• Auf DB3 (welches Amputierte einschließt), erreichte es 52,48 %.
• Auf DB7 erreichte es 79,16 %.
• Auf DB10 erzielte es 73,49 %.
  Obwohl es das beste war, stellt das Paper fest, dass der Abstand zwischen diesem neuen Modell und dem zweitbesten klein ist. Dies deutet darauf hin, dass selbst der intelligenteste rein muskuläre Übersetzer Schwierigkeiten hat, wenn die Signale verrauscht oder die Gesten sehr ähnlich sind.

Die Magie des Hinzufügens weiterer Hinweise:
Dann schalteten sie die zusätzlichen Sensoren ein. Als sie Beschleunigungsdaten (Verfolgung der Armbewegung) hinzufügten, schossen die Ergebnisse in die Höhe.

• Auf DB2 sprang die Genauigkeit auf 90,66 %.
• Auf DB3 (Amputierte) stieg sie auf 80,40 %.
• Auf DB7 erreichte sie 92,79 %.
• Auf DB10 erreichte sie 92,06 %.

Diese massive Verbesserung deutet darauf hin, dass Muskelsignale allein nicht ausreichen, um die ganze Geschichte zu erzählen. Durch das Hinzufügen der „Bewegungs“-Hinweise vom Beschleunigungssensor konnte das System schließlich zwischen Gesten unterscheiden, die in den Muskeln ähnlich aussehen, sich aber im Arm unterschiedlich anfühlen.

Der Eye-Tracking-Twist:
Sie versuchten auch, Eye-Tracking-Daten (wo die Person hinschaut) in die Mischung einzubringen. Interessanterweise machte das Hinzufügen von Eye-Tracking-Daten die Dinge nicht immer besser. Bei einigen Datensätzen verbesserte das Hinzuverfolgen der Augen die Punktzahl gegenüber der Nutzung von nur Muskeln und Armbewegung nicht wesentlich. Die Autoren vermuten, dass dies daran liegen könnte, dass Eye-Tracking besser darin ist vorherzusagen, was man als Nächstes tun möchte, als zu dekodieren, was man gerade tut. Es ist ein wenig so, als würde man versuchen zu erraten, was jemand isst, indem man seine Augen beobachtet; es hilft, aber es ist nicht so direkt wie das Gefühl für das Essen im Mund.

Warum das wichtig ist (und was es nicht ist)

Das Paper kommt zu dem Schluss, dass die Kombination von lokalen Details (was die Muskeln gerade machen) mit globalem Kontext (wie sich der Arm bewegt und wohin die Augen schauen) der Schlüssel zum Entschlüsseln komplexer Handgesten ist. Das neue Modell, EMG-CrossFormer, ist darauf ausgelegt, flexibel zu sein. Es kann jede Anzahl von Signalen verarbeiten, was es zu einem zukunftssicheren Werkzeug für Prothesen macht.

Die Autoren sind jedoch vorsichtig, die Ergebnisse nicht überzubewerten. Sie weisen darauf hin, dass das System zwar beeindruckende Zahlen liefert, aber immer noch eine „Black Box“ ist – wir wissen, dass es gut funktioniert, aber wir verstehen nicht vollständig, warum es innerhalb seiner neuronalen Schichten so gut funktioniert. Sie merken auch an, dass die Tests an spezifischen Datensätzen durchgeführt wurden und reale Prothesen mit viel mehr Herausforderungen konfrontiert sind, wie etwa Signalrauschen durch Schweiß oder Bewegung.

Das Paper schließt explizit die Idee aus, dass alte, einfache Modelle für komplexe Aufgaben ausreichen; sie können schlichtweg nicht skalieren. Es legt zudem nahe, dass es nicht hilft, einfach nur mehr Daten in ein schlechtes System zu werfen; entscheidend ist die Art und Weise, wie man die Daten kombiniert (die „Fusionsstrategie“). Die Autoren schlagen vor, dass ihre „Cross-Attention“-Methode der Methode des bloßen Aneinanderfügens von Daten überlegen ist, weil sie das System dazu zwingt, die Beziehung zwischen den verschiedenen Signalen wirklich zu verstehen.

Letztendlich behauptet diese Forschung nicht, das Problem perfekter Prothesen für immer gelöst zu haben. Stattdessen bietet sie einen leistungsstarken neuen Bauplan. Sie zeigt, dass wir, wenn Roboter wie Menschen sich bewegen sollen, aufhören müssen, nur auf eine Stimme zu hören, und staten müssen, ein ganzes Orchester von Signalen zu dirigieren. Der Weg nach vorn besteht darin, Systeme zu bauen, die nicht nur intelligent, sondern auch anpassungsfähig sind – bereit, von den Muskeln, der Bewegung und sogar dem Blick der Person zu lernen, die sie trägt.