Reducing the Complexity of Deep Learning Models for EEG Analysis on Wearable Devices

Sintesi Tecnica: Riduzione della Complessità dei Modelli di Deep Learning per l'Analisi EEG su Dispositivi Indossabili

Definizione del Problema
I dispositivi sanitari indossabili rappresentano un settore in rapida crescita dell'Internet delle Cose (IoT), offrendo il monitoraggio continuo di segni vitali come ECG ed EEG. Sebbene le Reti Neurali Profonde (DNN) siano diventate l'approccio privilegiato per l'analisi di segnali biologici complessi come l'EEG per compiti quali la rilevazione delle crisi epilettiche, la loro implementazione su dispositivi indossabili è gravemente ostacolata dai vincoli di risorse. I sistemi indossabili si affidano tipicamente a processori miniaturizzati e batterie piccole, privi della potenza computazionale, della capacità energetica e della larghezza di banda della memoria necessarie per eseguire DNN allo stato dell'arte in tempo reale. Sebbene l'offloading dei dati al cloud sia un comune espediente, ciò introduce problemi relativi al consumo energetico, alla privacy dei dati, alla sicurezza e alla necessità di una connettività costante. Di conseguenza, esiste una necessità critica di adattare le DNN per l' "elaborazione edge" all'interno del dispositivo stesso, bilanciando l'alta accuratezza con l'estrema efficienza computazionale.

Metodologia
Questo studio investiga la fattibilità dell'implementazione di modelli DNN allo stato dell'arte per l'analisi EEG su dispositivi indossabili con risorse limitate. La ricerca si concentra sulla rilevazione delle crisi epilettiche utilizzando il dataset TUSZ, che contiene 20 canali EEG bipolari ricampionati a 200 Hz e segmentati in finestre di 4 secondi. La metodologia prevede un approccio a tre pilastri per la riduzione della complessità:

1. Selezione del Modello: Gli autori hanno valutato diverse architetture, tra cui ResNet18, ChronoNet, 2D-CNN-LSTM, ResNet-GRU, ResNet-BiLSTM e ResNet-LSTM. L'architettura ResNet-LSTM è stata selezionata come baseline grazie alla sua prestazione superiore nel bilanciare accuratezza e velocità di esecuzione. Questo modello utilizza una parte front-end basata su CNN ResNet per l'estrazione delle caratteristiche spaziali e una parte back-end LSTM per l'apprendimento delle dipendenze temporali.
2. Quantizzazione dei Parametri: Lo studio ha esplorato la riduzione della larghezza di bit dei parametri e delle attivazioni del modello per ridurre l'impronta di memoria e accelerare l'inferenza.
   • Quantizzazione Post-Training (PTQ): Gli autori hanno confrontato la Quantizzazione Statica (PTSQ) e la Quantizzazione Dinamica (PTDQ). Hanno riscontrato che una quantizzazione uniforme a 8 bit su l'intera rete causava una significativa degradazione dell'accuratezza. Attraverso una sperimentazione granulare, hanno determinato che la componente CNN è altamente sensibile alla riduzione della larghezza di bit, mentre la LSTM è più robusta. Una configurazione ottimale è stata identificata utilizzando una precisione a 13 bit per la CNN e una precisione a 8 bit per la LSTM.
   • Binarizzazione (LQ-Net): Lo studio ha inoltre applicato il metodo all'avanguardia LQ-Net, che utilizza una binarizzazione multi-livello non uniforme per ridurre i parametri a 4 bit.
3. Riduzione degli Elettrodi: Riconoscendo che le configurazioni EEG cliniche utilizzano spesso più di 20 elettrodi, il che è impraticabile per i dispositivi indossabili, gli autori hanno investigato l'impatto della riduzione del numero di canali di input. Hanno testato varie combinazioni di elettrodi, dando priorità a quelli più sensibili ai segnali epilettici, per determinare il set minimo richiesto per mantenere l'accuratezza diagnostica.

Risultati Chiave
L'applicazione di queste tecniche di riduzione della complessità ha prodotto miglioramenti significativi nell'efficienza con un impatto minimo sulle prestazioni:

• Configurazione Ottimale: Il modello ResNet-LSTM ha raggiunto la più alta accuratezza baseline (90,40% AUROC) tra le architetture testate.
• Impatto della Quantizzazione:
  • Utilizzando un approccio a precisione ibrida (CNN a 13 bit, LSTM a 8 bit), la dimensione del modello è stata ridotta da 15,75 MB a 6,4 MB (una riduzione del 59%). Il tempo di esecuzione è migliorato di 3,4× rispetto alla baseline a 32 bit.
  • Applicando la binarizzazione LQ-Net (4 bit), la dimensione del modello è stata ulteriormente ridotta a 2,3 MB e la velocità di esecuzione è aumentata di 4,1×, sebbene ciò abbia comportato un calo del 5% nell'AUROC (da ~90,33% a 86,12%).
• Riduzione degli Elettrodi: Ridurre l'input da 20 canali (19 elettrodi) a 8 canali (10 elettrodi) ha prodotto un AUROC del 89,23%, una diminuzione trascurabile rispetto alla configurazione completa. Questa configurazione mantiene un'alta accuratezza riducendo significativamente il volume dei dati e la complessità dell'hardware.
• Ottimizzazione Combinata: Combinando l'input a 8 canali, i dati di input a 16 bit, i pesi della CNN a 13 bit e i pesi di LSTM/FC a 8 bit, il modello finale ottimizzato ha ottenuto:
  • Una riduzione del 61% della dimensione della rete.
  • Una riduzione dell'80% della dimensione di input della rete.
  • Un'accelerazione del 70% nel tempo di inferenza della rete.
  • Una diminuzione dell'AUROC inferiore all'1% e una diminuzione del 2,1% del tasso di falsi positivi (FPR).

Significatività e Rivendicazioni
Il documento sostiene che questi risultati dimostrano i trade-off espliciti tra accuratezza e riduzione della complessità quando si adattano le DNN per l'analisi EEG online su dispositivi indossabili. Gli autori affermano che il loro approccio prova la fattibilità dell'implementazione di sofisticate DNN su dispositivi edge senza fare affidamento sull'offloading al cloud. Identificando una configurazione di rete ottimale e applicando una giudiziosa quantizzazione e riduzione degli elettrodi, lo studio mostra che è possibile ottenere una riduzione di 3× nella dimensione del modello e una riduzione di 5× nel tempo di esecuzione con una perdita di accuratezza inferiore all'1%.

La significatività di questo lavoro risiede nel suo contributo pratico all'Internet delle Cose Mediche (IoMT). Esso fornisce una via per la creazione di dispositivi indossabili leggeri, portatili ed efficienti dal punto di vista energetico, capaci di un monitoraggio neurologico continuo e in tempo reale. Questo progresso è fondamentale per migliorare l'autonomia, la privacy e la reattività dei servizi sanitari automatizzati, in particolare per i pazienti ad alto rischio che richiedono una costante sorveglianza delle crisi al di fuori degli ambienti clinici. Il documento dichiara esplicitamente di non proporre nuove architetture DNN, ma piuttosto di valutare i metodi esistenti sotto specifici vincoli di riduzione della complessità per guidare la futura integrazione hardware e software nella tecnologia sanitaria indossabile.