A Graph Neural Network Model for Real-Time Gesture Recognition Based on sEMG Signals

Technische Samenvatting: Een Graph Neural Network Model voor Real-Time Gebarenherkenning op basis van sEMG-signalen

Probleemstelling
Nauwkeurige en onmiddellijke handgebarrecognitie is cruciaal voor naadloze controle in geavanceerde handprothesen, augmented reality (AR) en virtual reality (VR) systemen. Hoewel oppervlakte-elektromyografie (sEMG) signalen van de onderarm veel voor dit doel worden gebruikt, kampen bestaande real-time benaderingen met aanzienlijke uitdagingen. Traditionele methoden vertrouwen doorgaans op het binnen van sEMG-signalen en het extraheren van temporele of frequentiedomein-kenmerken voor classificatie met behulp van algoritmen zoals Support Vector Machines (SVM's) of Lineaire Discriminante Analyse (LDA). De computationele complexiteit die voortvloeit uit continue binning en de afhankelijkheid van regelmatige rasterstructuren, slaagt er echter vaak niet in om de complexe ruimtelijke en temporele afhankelijkheden die inherent zijn aan neuromusculaire communicatie te vangen. Bovendien richten veel bestaande studies zich op vooraf opgenomen data in plaats van op echte real-time voorspelling, wat hun toepasbaarheid in dynamische mens-computerinteractiescenario's beperkt.

Methodologie
De auteurs stellen een nieuw framework voor dat sEMG-signalen modelleert als dynamische grafen om Graph Neural Networks (GNN's) te benutten voor real-time gebarenherkenning. De methodologie bestaat uit vier primaire stadia:

1. Grafengeneratie:

   • Data-partitionering: Continue sEMG-tijdreeksen van $M$ kanalen (elektroden) worden gepartitioneerd in overlappende vensters van lengte $L$.
   • Correlatiematrix: Binnen elk venster wordt de Pearson-correlatiecoëfficiënt berekend tussen elk paar tijdreeks-signalen. Dit resulteert in een $M \times M$ correlatiematrix $P[n]$.
   • Grafconstructie: De correlatiematrix dient als de adjacency matrix voor een ongerichte, volledig verbonden graaf $G[n]$. De knopen vertegenwoordigen de elektroden en de randgewichten vertegenwoordigen de berekende Pearson-correlatiecoëfficiënten, waarbij zowel individuele als wederzijdse spieractivatiepatronen worden gevangen. Self-loops worden op nul gezet.

2. Event Detectie:

   • Om betekenisvolle gebarensegmenten te identificeren en regio's met een lage signaal-ruisverhouding te vermijden, gebruikt het systeem een event detectie-maatstaf gebaseerd op de Frobenius-norm van het verschil tussen de signaalmatrix van het huidige venster en de matrix van een vorig venster ($\Delta[n, \tau]$).
   • Een onderwerp-afhankelijke drempelwaarde wordt vastgesteld op basis van de variantie van deze metriek. Alleen vensters waarbij de metriek de drempelwaarde overschrijdt, worden verwerkt voor classificatie, wat ervoor zorgt dat het model zich concentreert op significante gebarenontstaan (onsets).

3. Classificatie Architectuur:

   • De gegenereerde grafen, samen met de gebarenlabels, dienen als trainingsdata.
   • Er wordt een eenvoudige GNN-architectuur gebruikt, bestaande uit twee volledig verbonden lagen met ReLU-activatiefuncties.
   • Het model wordt getraind met Stochastic Gradient Descent (SGD) om handgebaren te classificeren op basis van de graafstructuur, die informatie tussen kanalen propageert om contextuele relaties te begrijpen.

4. Real-Time Pipeline:

   • Het systeem werkt in een lus: het verzamelt nieuwe data, wacht op een specifieke accumulatie van samples ($t_0$), berekent de event detectie-metriek, en indien een gebaar wordt gedetecteerd, genereert een graaf en voert deze in de getrainde GNN voor voorspelling.

Belangrijkste Bijdragen

• Graaf-gebaseerde Representatie: Het artikel introduceert een methode om ruwe sEMG-tijdreeksen te transformeren naar graafstructuren waarbij knopen elektroden zijn en randen temporele correlaties vertegenwoordigen. Deze benadering overbrugt de kloof tussen ruwe sensordata en betekenisvolle gebarenrepresentaties, waarbij ruimtelijke en temporele dynamiek effectiever wordt gevangen dan met rastergebaseerde methoden.
• Real-Time Efficiëntie: Het framework is specifiek ontworpen voor lage latentie-werking. Door te filteren voor events vóór de grafconstructie en een lichtgewicht GNN te gebruiken, minimaliseert het systeem de computationele overhead.
• Onderwerp-afhankelijke Drempelwaarde: Het event detectie-mechanisme maakt gebruik van een variantie-gebaseerde, onderwerp-specifieke drempelwaarde, wat robuustheid garandeert over verschillende individuen en signaalcondities heen.

Experimentele Resultaten
De voorgestelde methode werd geëvalueerd met een dataset van 8 gezonde proefpersonen die 5 verschillende handgebaren uitvoerden (wijzen, middelvinger flexie, ringvinger flexie, v-flexie en hand sluiten) met behulp van een Myo band met 8 elektroden.

• Nauwkeurigheid: De voorgestelde methode behaalde een gemiddelde classificatienauwkeurigheid van 99% (specifiek 99,89% met 97,5% vensteroverlap), wat de state-of-the-art technieken die in de studie worden aangehaald, waaronder spier-synergie-gebaseerde benaderingen en Temporal Muscle Activation (TMA) beeld-gebaseerde CNN's, aanzienlijk overtreft.
• Robuustheid: Het model vertoonde sterke generalisatiecapaciteiten. Zelfs met gereduceerde trainingsdata (bereikt door de vensteroverlap te verlagen naar 70%), behield het model een hoge Area Under the Curve (AUC) score van 0,967.
• Latentie: De gemiddelde tijd voor het gehele proces (grafconstructie en voorspelling) was 48 ms op een M1 Pro CPU (3 ms voor grafgeneratie, 45 ms voor voorspelling). Deze duur is aanzienlijk korter dan het tijdsinterval tussen opeenvolgende gebeurtenissen, wat bevestigt dat het systeem geschikt is voor real-time toepassingen.
• Vergelijking: De resultaten wijzen erop dat het modelleren van de correlaties tussen tijdreeksen via grafen netwerken superieur is aan het behandelen van kanalen als onafhankelijke entiteiten of het gebruik van standaard CNN's op TMA-beelden.

Betekenis en Claims
De auteurs beweren dat hun graaf-gebaseerde benadering een robuuste en efficiënte oplossing biedt voor real-time gebarenherkenning, die zowel in nauwkeurigheid als in computationele efficiëntie de huidige state-of-the-art methoden overtreft. Door gebaren te conceptualiseren als dynamische grafen, slaagt de methode erin de complexe patronen in neuromusculaire communicatie te ontrafelen die moeilijk te vangen zijn met traditionele binning of rastergebaseerde deep learning-benaderingen. Het artikel stelt dat deze techniek bijzonder effectief is voor toepassingen die een naadloze mens-machine interactie vereisen, zoals prothesebesturing en AR/VR-systemen. De auteurs concluderen dat het vermogen van de methode om een hoge prestatie te behouden met beperkte trainingsdata en de lage latentie, het een belangrijke stap voorwaarts maakt, met potentiële toekomstige toepassingen voor vloeiende gebarenherkenning voor personen met een beperking.