Impact of Kernel Dimensionality on the Generalizability and Efficiency of Convolutional Neural Networks to Decode Neural Drive from High-density Electromyography Signal

Deze studie toont aan dat het verhogen van de complexiteit van CNN-architecturen door het gebruik van 3D-kernen geen significant voordeel biedt voor de generaliseerbaarheid bij het decoderen van neurale aandrijving uit HD-sEMG-signalen, waardoor efficiëntere 1D- of 2D-modellen de voorkeur verdienen voor praktische toepassingen.

De kern

De Kern: Hoe slim moet je 'oortjes' zijn om spiergedachten te lezen?

Stel je voor dat je een spier wilt begrijpen alsof het een orkest is. Elke spier bestaat uit honderden kleine muzikanten (motorische eenheden) die allemaal een beetje geluid maken (elektrische signalen) als ze bewegen. Als je op je spier kijkt met speciale sensoren (HD-sEMG), hoor je een enorm luid en rommelig geluid van al die muzikanten tegelijk.

De uitdaging voor wetenschappers is: Hoe haal je het individuele gedrag van elke muzikant uit dat rommelige geluid? Dit noemen ze "neurale drive" decoderen. Het is alsof je probeert te horen wat de eerste viool speelt terwijl de hele orkestband losbarst.

Vroeger gebruikten wetenschappers ingewikkelde wiskundige formules (zoals BSS) om dit te doen. Maar die zijn traag en moeten vaak opnieuw worden ingesteld als de spier moe wordt of als je een andere spier gebruikt.

Deze studie kijkt naar een nieuwere, snellere oplossing: Kunstmatige Intelligentie (AI), specifiek een type dat "Convolutional Neural Networks" (CNN's) heet. Je kunt je deze AI voorstellen als een super-gevoelige luisteraar die leert om uit het rommelige geluid de echte melodie te halen.

Het Experiment: 1D, 2D en 3D Oortjes

De onderzoekers wilden weten: Hoe "diep" of "breed" moet deze luisteraar kijken om het beste resultaat te krijgen? Ze bouwden drie versies van deze AI, elk met een ander type "oortjes" (kernen):

1. De 1D Luisteraar (De Tijd-Expert):
   • Hoe het werkt: Deze kijkt alleen naar het geluid in de tijd. Alsof je alleen naar de noten op een partituur kijkt, van links naar rechts.
   • Vergelijking: Een detective die alleen kijkt naar de volgorde van gebeurtenissen.
2. De 2D Luisteraar (De Ruimte-Expert):
   • Hoe het werkt: Deze kijkt naar het geluid op de spieroppervlakte. Alsof je kijkt naar een kaart van de spier en ziet waar de geluiden vandaan komen.
   • Vergelijking: Een detective die kijkt naar de locatie van de muzikanten in de zaal.
3. De 3D Luisteraar (De Super-Expert):
   • Hoe het werkt: Deze kijkt naar tijd én ruimte tegelijk. Hij ziet de hele film, niet alleen de foto's of de geluidslijn.
   • Vergelijking: Een detective die zowel de tijdlijn als de locatie van elke muzikant in 3D in zijn hoofd heeft.

De Vraag: Is de "Super-Expert" (3D) altijd beter?

De verwachting was: "Hoe meer informatie je gebruikt (tijd + ruimte), hoe slimmer de AI wordt." Maar de onderzoekers twijfelden: Is die extra slimheid het extra zware werk waard?

Wat Vonden Ze? (De Verassende Resultaten)

Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaagse taal:

1. De "Super-Expert" is niet altijd de slimste

Je zou denken dat de 3D AI (die alles ziet) het beste zou zijn. En inderdaad, soms was hij iets nauwkeuriger. Maar... het verschil was vaak heel klein.

• De 1D en 2D versies deden bijna net zo goed als de 3D versie.
• De les: Je hoeft niet per se een "supercomputer" te bouwen om een goed resultaat te krijgen. Soms is een simpele luisteraar (1D) of een ruimtelijke kijker (2D) al voldoende.

2. De prijs van slimheid: Snelheid

Hier wordt het interessant.

• De 3D AI is als een Formule 1-auto: Hij kan razendsnel over een complex circuit, maar hij heeft een enorme motor nodig en verbruikt veel brandstof.
  • Op een gewone computer (CPU) was hij zeer traag (4,1 milliseconden per meting).
• De 1D AI is als een fiets: Simpel, licht en heel snel.
  • Op een gewone computer was hij razendsnel (0,5 milliseconden).
• De les: Als je een apparaat wilt maken dat op een arm of been zit (zoals een prothese), heb je vaak geen zware computer. Dan is de snelle, simpele 1D of 2D AI veel praktischer dan de zware 3D AI.

3. De "Valse Alarm" Probleem

De onderzoekers merkten iets grappigs bij de 3D AI: Soms dacht hij dat de spier bewoog, terwijl de persoon helemaal stil zat.

• Vergelijking: De 3D AI is zo enthousiast dat hij soms een ruisje in de wind aanziet voor een gesprek. De 1D AI was rustiger en maakte minder van zulke fouten.
• Voor een robotarm die je bestuurt, wil je niet dat hij plotseling beweegt als je niets doet.

4. Hoeveel data heb je nodig?

Je zou denken dat de complexe 3D AI veel meer voorbeelden nodig heeft om te leren dan de simpele 1D AI.

• Verrassing: Ze hadden allemaal ongeveer evenveel oefening nodig om goed te worden. De 3D AI werd niet veel beter door meer data, maar hij kostte wel meer rekenkracht.

Conclusie: Wat betekent dit voor de toekomst?

De onderzoekers concluderen dat we niet blindelings moeten denken dat "complexer = beter" is.

• Voor de praktijk: Als je een Neuraal-Machine Interface wilt bouwen (bijvoorbeeld een robotarm die reageert op je gedachten), hoef je niet de zwaarste, duurste 3D AI te gebruiken.
• Een 1D of 2D AI is vaak net zo goed, werkt veel sneller op gewone apparaten, en maakt minder fouten als je stilstaat.

Samengevat in één zin:
Je hoeft geen Ferrari te huren om naar de supermarkt te gaan; een goede fiets (de 1D of 2D AI) is vaak sneller, goedkoper en doet precies wat je nodig hebt.

Technische samenvatting

Probleemstelling

Convolutionele neurale netwerken (CNN's) tonen veelbelovende resultaten bij het decoderen van neurale aandrijving (neural drive) uit hoogdichtheidssurface elektromyografie (HD-sEMG) signalen. Echter, de invloed van de dimensionaliteit van de convolutie-kernen (1D, 2D en 3D) op de generaliseerbaarheid (het vermogen om te werken op nieuwe data, intensiteiten en spieren) en de rekenkundige efficiëntie van deze netwerken is nog niet systematisch onderzocht.

Bestaande methoden op basis van Blind Source Separation (BSS) zijn nauwkeurig maar vereisen frequente recalibratie en zijn niet robuust genoeg voor diverse omstandigheden. Hoewel CNN's een alternatief bieden, is het onduidelijk of het verhogen van de architecturale complexiteit (bijv. het gebruik van 3D-kernen in plaats van 1D) de prestaties daadwerkelijk verbetert of alleen de rekentijd en complexiteit onnodig verhoogt. Dit is cruciaal voor de ontwikkeling van betrouwbare en inzetbare neurale-machine interfaces (NMI's).

Methodologie

De studie vergeleek drie CNN-architecturen die identiek waren in structuur, maar verschilden in de dimensionaliteit van hun convolutie-kernen:

1. 1D CNN: Extrahert temporale kenmerken.
2. 2D CNN: Extrahert ruimtelijke kenmerken.
3. 3D CNN: Extrahert spatiotemporale kenmerken.

Data en Experimenteel Ontwerp:

• Dataset: Er werden HD-sEMG-signalen gebruikt van isometrische knie-extensie en enkel-plantairflexie bij verschillende intensiteiten (10%, 25%, 30%, 50% MVC).
• Training: Een trainingsdataset bestond uit 20 opnames van 5 gezonde proefpersonen (2 sessies, 2 spieren: vastus lateralis en vastus medialis).
• Validatie: Twee onafhankelijke evaluatiedatasets werden gebruikt:
  • Dataset A: 7 proefpersonen, enkelspier (gastrocnemius medialis - GM), drie intensiteiten (cross-intensiteit generalisatie).
  • Dataset B: 6 proefpersonen, drie spieren (GM, gastrocnemius lateralis - GL, soleus - SOL) bij één intensiteit (cross-spier generalisatie).
• Referentie: De "gouden standaard" voor de neurale aandrijving werd gegenereerd met een BSS-algoritme (DEMUSE/CKC), wat resulteerde in Cumulative Spike Trains (CST's).
• Input: HD-sEMG signalen werden gesegmenteerd in vensters van 40 samples (20 ms) met een stapgrootte van 20 samples.
• Training: De modellen werden getraind met variërende trainingsdatasetgroottes (van 1 tot 19 subsets) om het verzadigingspunt te bepalen.

Evaluatiemetrics:

• Generaliseerbaarheid: Gemeten via de correlatiecoëfficiënt ($R$) tussen de door de CNN gedecodeerde CST en de BSS-referentie, en de Root Mean Square Error (RMSE).
• Efficiëntie: Gemeten als de inferentietijd per sample op zowel CPU als GPU-platforms.

Belangrijkste Resultaten

1. Generaliseerbaarheid over Intensiteiten en Spieren:

• Alle drie de CNN-architecturen toonden een sterke generaliseerbaarheid over verschillende contractie-intensiteiten en spieren.
• Cross-intensiteit: De prestaties varieerden afhankelijk van de intensiteit. Bij lage intensiteit (10% MVC) presteerde de 3D CNN het beste qua correlatie ($R$), maar had de grootste fouten (RMSE). Bij hoge intensiteit (50% MVC) presteerde de 1D CNN het beste. Bij 30% MVC presteerden 2D en 3D CNN's beter dan de 1D CNN.
• Cross-spier: De 3D CNN behaalde over het algemeen de hoogste correlatie, maar de prestaties varieerden sterk per spier. De gastrocnemius lateralis (GL) spier toonde consistent de slechtste prestaties en de grootste variabiliteit tussen proefpersonen, ongeacht het model.
• Verzamelpunt (Saturation): Alle modellen bereikten verzadiging in generaliseerbaarheid bij een relatief kleine trainingsdataset (ongeveer 5 tot 11 subsets), wat aangeeft dat complexe modellen niet per se enorme hoeveelheden data nodig hebben om goed te generaliseren.

2. Rekenkundige Efficiëntie:

• CPU: De 3D CNN was aanzienlijk minder efficiënt, met een inferentietijd van 4,1 ms per sample. De 1D en 2D CNN's waren veel sneller (respectievelijk 0,5 ms en 0,6 ms).
• GPU: Met GPU-versnelling daalden de tijden voor alle modellen naar een vergelijkbaar bereik (0,8 - 1,2 ms), waarbij de 3D CNN de grootste relatieve verbetering liet zien (ongeveer 70% reductie ten opzichte van CPU).
• Conclusie: De extra complexiteit van 3D CNN's legt een zware last op CPU-systemen, maar is goed te managen op GPU-systemen.

3. Artefacten:

• Een belangrijke bevinding was dat de 2D en 3D CNN's vaker vals-positieve voorspellingen maakten tijdens rustperiodes (false positives) vergeleken met de 1D CNN, die de referentie nauwkeuriger volgde zonder dergelijke artefacten.

Belangrijkste Bijdragen

1. Systematische Vergelijking: De eerste studie die 1D, 2D en 3D CNN's systematisch vergelijkt voor HD-sEMG-decodering met betrekking tot generaliseerbaarheid en efficiëntie.
2. Uitdaging van Aannames: De resultaten weerleggen de aanname dat complexere architecturen (3D) altijd superieure prestaties leveren. Een goed ontworpen 1D of 2D CNN kan vergelijkbare generaliseerbaarheid bereiken met veel lagere rekentijd.
3. Praktische Richtlijnen: De studie biedt praktische richtlijnen voor het ontwerpen van NMI-systemen. Voor toepassingen zonder GPU (zoals draagbare protheses) is een 1D of 2D CNN de voorkeur vanwege de lage latentie.
4. Data-efficiëntie: Het aantonen dat CNN's voor neurale aandrijving al kunnen generaliseren met beperkte trainingsdata, wat cruciaal is voor klinische toepassingen waar data verzamelen moeilijk is.

Betekenis en Conclusie

De studie concludeert dat het verhogen van de dimensionaliteit van convolutie-kernen niet noodzakelijkerwijs leidt tot superieure generaliseerbaarheid in de decodering van neurale aandrijving. Hoewel de 3D CNN onder ideale omstandigheden (hoge signaal-ruisverhouding) marginaal betere correlaties liet zien, kwam dit ten koste van een aanzienlijke toename in rekencomplexiteit en een verhoogde gevoeligheid voor vals-positieven tijdens rust.

De 2D CNN bleek een bijzonder robuust compromis: het bood sterke generaliseerbaarheid (vooral bij cross-spier en middelhoge intensiteiten) met een rekenkosten die veel lager was dan die van de 3D CNN en vergelijkbaar was met de 1D CNN op GPU-systemen.

De bevindingen ondersteunen het gebruik van zorgvuldig ontworpen 1D of 2D CNN's als een effectief en efficiënt alternatief voor complexere 3D-modellen in praktische neurale-machine interfaces, waarbij een balans wordt gevonden tussen decoderingsprestaties en computerefficiëntie.