Reducing the Complexity of Deep Learning Models for EEG Analysis on Wearable Devices

Technische Samenvatting: De Complexiteit van Deep Learning-modellen voor EEG-analyse op Wearable-apparaten Verminderen

Probleemstelling
Wearable healthcare-apparaten vormen een snelgroeiende sector binnen het Internet of Things (IoT) en bieden continue monitoring van vitale functies zoals ECG en EEG. Hoewel Deep Neural Networks (DNN's) de voorkeursaanpak zijn geworden voor het analyseren van complexe biologische signalen zoals EEG voor taken zoals de detectie van epileptische aanvallen, wordt hun implementatie op wearable-apparaten ernstig belemmerd door beperkte middelen. Wearable-systemen vertrouwen doorgaans op geminiaturiseerde processoren en kleine batterijen, die niet beschikken over de rekenkracht, de energiecapaciteit en de geheugenbandbreedte die nodig zijn om state-of-the-art DNN's in realtime uit te voeren. Hoewel het offloaden van gegevens naar de cloud een veelgebruikte workaround is, introduceert dit problemen met betrekking tot energieverbruik, gegevensprivacy, beveiliging en de noodzaak van constante connectiviteit. Daarom is er een kritieke behoefte om DNN's aan te passen voor "edge processing" binnen het wearable-apparaat zelf, waarbij een balans wordt gezocht tussen hoge nauwkeurigheid en extreme computationele efficiëntie.

Methodologie
Deze studie onderzoekt de haalbaarheid van het implementeren van state-of-the-art DNN-modellen voor EEG-analyse op hulpbronnenbeperkte wearable-apparaten. Het onderzoek richt zich op de detectie van epileptische aanvallen met behulp van de TUSZ-dataset, die 20 bipolaire EEG-kanalen bevat, resampled op 200 Hz en gesegmenteerd in vensters van 4 seconden. De methodologie bestaat uit een drieledige aanpak voor complexiteitsvermindering:

1. Modelselectie: De auteurs evalueerden verschillende architecturen, waaronder ResNet18, ChronoNet, 2D-CNN-LSTM, ResNet-GRU, ResNet-BiLSTM en ResNet-LSTM. De ResNet-LSTM architectuur werd gekozen als de baseline vanwege de superieure prestaties in het balanceren van nauwkeurigheid en executiesnelheid. Dit model maakt gebruik van een front-end ResNet-gebaseerde CNN voor ruimtelijke kenmerkextractie en een back-end LSTM voor het leren van temporele afhankelijkheden.
2. Parameterkwantisatie: De studie onderzocht het verminderen van de bitbreedte van modelparameters en activaties om de geheugenvoetafdruk te verkleinen en de inferentie te versnellen.
   • Post-Training Quantization (PTQ): De auteurs vergeleken Statische Kwantisatie (PTSQ) en Dynamische Kwantisatie (PTDQ). Ze stelden vast dat uniforme 8-bit kwantisatie over het gehele netwerk voor significante degradatie van de nauwkeurigheid zorgde. Door middel van granulaire experimentatie bepaalden zij dat het CNN-component zeer gevoelig is voor reductie van de bitbreedte, terwijl de LSTM robuuster is. Een optimale configuratie werd geïdentificeerd met behulp van 13-bit precisie voor de CNN en 8-bit precisie voor de LSTM.
   • Binarisatie (LQ-Net): De studie paste verder de state-of-the-art LQ-Net methode toe, die gebruikmaakt van niet-uniforme multi-level binarisatie om parameters te reduceren naar 4 bits.
3. Elektrodereductie: In het besef dat klinische EEG-opstellingen vaak 20+ elektroden gebruiken, wat onpraktisch is voor wearables, onderzochten de auteurs de impact van het verminderen van het aantal ingangskanalen. Zij testten verschillende combinaties van elektroden, waarbij prioriteit werd gegeven aan diegenen die het meest gevoelig zijn voor epileptische signalen, om het minimale aantal vereist te bepalen om de diagnostische nauwkeurigheid te behouden.

Belangrijkste Resultaten
De toepassing van deze technieken voor complexiteitsvermindering leverde significante verbeteringen in efficiëntie op met minimale impact op de prestaties:

• Optimale Configuratie: Het ResNet-LSTM model bereikte de hoogste baseline-nauwkeurigheid (90,40% AUROC) onder de geteste architecturen.
• Impact van Kwantisatie:
  • Door een hybride precisie-aanpak te gebruiken (13-bit CNN, 8-bit LSTM), werd de modelgrootte verminderd van 15,75 MB naar 6,4 MB (een reductie van 59%). De executietijd verbeterde met 3,4× vergeleken met de 32-bit baseline.
  • Het toepassen van LQ-Net binarisatie (4-bit) reduceerde de modelgrootte verder naar 2,3 MB en verhoogde de executiesnelheid met 4,1×, hoewel dit gepaard ging met een daling van 5% in AUROC (van ~90,33% naar 86,12%).
• Elektrodereductie: Het reduceren van de input van 20 kanalen (19 elektroden) naar 8 kanalen (10 elektroden) resulteerde in een AUROC van 89,23%, een verwaarloosbare daling ten opzichte van de volledige opstelling. Deze configuratie behoudt een hoge nauwkeurigheid terwijl het de datavolume en hardwarecomplexiteit aanzienlijk verlaagt.
• Gecombineerde Optimalisatie: Door de 8-kanaals input, 16-bit inputgegevens, 13-bit CNN-gewichten en 8-bit LSTM/FC-gewichten te combineren, bereikte het uiteindelijke geoptimaliseerde model:
  • Een 61% reductie in netwerkomvang.
  • Een 80% reductie in netwerkinputgrootte.
  • Een 70% versnelling in de netwerkinferentietijd.
  • Een afname van de AUROC van minder dan 1% en een afname van 2,1% in de False Positive Rate (FPR).

Betekenis en Claims
Het artikel claimt dat deze bevindingen de expliciete trade-offs demonstreren tussen nauwkeurigheid en complexiteitsreductie bij het aanpassen van DNN-gebaseerde online EEG-analyse voor wearable-apparaten. De auteurs stellen dat hun aanpak bewijst dat de implementatie van geavanceerde deep learning-modellen op edge-apparaten haalbaar is zonder afhankelijk te zijn van cloud-offloading. Door een optimale netwerkconfiguratie te identificeren en selectieve kwantisatie en elektrodereductie toe te passen, tonen zij aan dat het mogelijk is om een 3× reductie in modelgrootte en een 5× reductie in executietijd te bereiken met minder dan 1% verlies aan nauwkeurigheid.

De betekenis van dit werk ligt in de praktische bijdrage aan het Internet of Medical Things (IoMT). Het biedt een pad voor het creëren van lichtgewicht, draagbare en energiezuinige wearable-apparaten die in staat zijn tot continue, realtime neurologische monitoring. Deze vooruitgang is cruciaal voor het verbeteren van de autonomie, privacy en responsiviteit van geautomatiseerde gezondheidsdiensten, met name voor hoog-risicopatiënten die constante toezicht op aanvallen buiten klinische omgevingen vereisen. Het artikel stelt expliciet dat het geen nieuwe DNN-architecturen voorstelt, maar eerder bestaande methoden evalueert onder specifieke beperkingen van complexiteitsreductie om toekomstige hardware- en software-integratie in wearable gezondheidstechnologie te begeleiden.