Generative versus Discriminative Approaches for Class-Incremental Learning of EMG Signals: Effectiveness of Scale Mixture Modeling

Sintesi Tecnica: Approcci Generativi rispetto a quelli Discriminativi per l'Apprendimento Class-Incremental di Segnali EMG

Definizione del Problema
I sistemi di riconoscimento del movimento basati su elettromiografia (EMG) affrontano un limite critico nella distribuzione pratica: è impraticabile predefinire tutte le possibili classi di movimento richieste da un utente. Di conseguenza, i sistemi devono supportare l'apprendimento class-incrementale (class-incremental learning), in cui nuove classi di movimento vengono aggiunte sequenzialmente durante l'operatività, mantenendo al contempo la capacità di riconoscere le classi precedentemente apprese. Questo paradigma introduce due sfide primarie:

1. Catastrophic Forgetting (Dimenticanza Catastrofica): Il fenomeno per cui l'apprendimento di nuovi dati di classe sovrascrive la conoscenza precedentemente acquisita, portando a una significativa degradazione dell'accuratezza sulle classi vecchie.
2. Costo di Memoria: Le contromisure contro la dimenticanza, come il replay dei dati, richiedono spesso la conservazione dei dati di addestramento passati, il che aumenta l'uso della memoria. Ciò è particolarmente problematico per i dispositivi edge con risorse computazionali e di archiviazione limitate.

Sebbene i modelli discriminativi basati sul deep learning siano ampiamente utilizzati per l'estrazione delle caratteristiche, essi tipicamente aggiornano uno spazio di caratteristiche condiviso quando si apprendono nuove classi, il che interrompe le rappresentazioni delle classi precedentemente apprese. Al contrario, i modelli generativi stimano le distribuzioni condizionate alla classe con parametri indipendenti dalla classe, offrendo teoricamente un vantaggio strutturale per l'apprendimento incrementale, sebbene la loro efficacia nel dominio EMG rimanga scarsamente esplorata.

Metodologia
Gli autori hanno condotto una valutazione comparativa sistematica di otto metodi di apprendimento class-incrementale su quattro diversi dataset EMG (che variano da 6 a 16 classi di movimento). I metodi spaziano tra approcci generativi e discriminativi, includendo tecniche di deep e non-deep learning:

• Modelli Generativi:
  • Scale Mixture Classification Model (SMCM): Il modello proposto dagli autori, che cattura la variabilità del segnale EMG utilizzando distribuzioni di miscela di scala (più pesanti delle Gaussiane) e modella ogni classe con parametri completamente indipendenti. La conoscenza viene compressa in distribuzioni a posteriori dei parametri, eliminando la necessità di memorizzare dati passati.
  • Streaming Linear Discriminant Analysis (SLDA): Un modello probabilistico che utilizza distribuzioni Gaussiane con una matrice di covarianza condivisa tra tutte le classi.
• Modelli Discriminativi:
  • Incremental Support Vector Machine (ISVM): Un metodo di non-deep learning che conserva i vettori di supporto per sopprimere la dimenticanza.
  • Metodi di Deep Learning: Approcci rappresentativi di tre categorie:
    • Regolarizzazione: Learning without Forgetting (LwF).
    • Architetturale: Copy Weights with Re-init+ (CWR+).
    • Replay: Experience Replay (ER), Average Gradient Episodic Memory (AGEM) e Deep Generative Replay (DGR).
• Baseline: JOINT (addestramento su tutti i dati, limite superiore) e NONE (fine-tuning solo sui nuovi dati, limite inferiore).

Protocollo di Valutazione
Lo studio ha utilizzato la validazione incrociata leave-one-trial-out su quattro dataset. I task sono stati definiti aggiungendo incrementalmente due classi per ogni task. Le prestazioni sono state misurate tramite:

1. Accuratezza di Classificazione: Accuratezza media su tutte le classi apprese dopo ogni task.
   o. Backward Transfer (BWT): Una metrica che quantifica la dimenticanza catastrofica (valori negativi indicano dimenticanza).
2. Costo di Memoria: Spazio di archiviazione totale richiesto (parametri del modello + eventuali buffer di dati trattenuti) in byte.

Risultati Chiave

• Generativo vs. Discriminativo: I modelli generativi (SMCM e SLDA) hanno dimostrato una stabilità superiore. All'aumentare del numero di task, i metodi basati sul deep learning (LwF, CWR+, DGR, AGEM) hanno subito una significativa degradazione dell'accuratezza e valori di BWT fortemente negativi, comparabili alla baseline "NONE".
• Prestazioni di SMCM: SMCM ha ottenuto il compromesso più favorevole. Ha mantenuto un'accuratezza elevata e stabile attraverso tutti i dataset (ad es. 94,84% sul Dataset I, 68,51% sul Dataset IV) con un costo di memoria minimo. Ha superato SLDA, in particolare nei dataset con un numero maggiore di classi (Dataset IV), dove la matrice di covarianza condivisa di SLDA ha portato a maggiori cali di accuratezza.
• Efficienza della Memoria: I metodi che comprimono la conoscenza in parametri (SMCM, SLDA) richiedono significativamente meno memoria rispetto ai metodi basati sul replay (ER) o a quelli che conservano i vettori di supporto (ISVM). Sebbene ER abbia raggiunto un'accuratezza comparabile a SMCM, ha incorso costi di memoria sostanzialmente più elevati a causa della ritenzione dei dati.
• Soppressione della Dimenticanza: SMCM e SLDA hanno esibito valori di BWT vicini allo zero (ad es. -0,033 a -0,082), indicando una stabile ritenzione della conoscenza passata. Al contrario, i metodi di deep learning senza replay dei dati hanno mostrato valori di BWT bassi fino a -0,937.

Significatività e Rivendicazioni
Il documento sostiene che per l'apprendimento class-incrementale basato su EMG, particolarmente in condizioni di dispositivi edge con vincoli di memoria, i modelli generativi con parametri indipendenti dalla classe offrono vantaggi sistematici rispetto agli approcci discriminativi.

Nello specifico, lo studio evidenzia:

1. Vantaggio Strutturale: L'indipendenza dei parametri di classe nei modelli generativi impedisce la perturbazione delle rappresentazioni delle classi esistenti quando vengono aggiunte nuove classi, sopprimendo efficacementamente la dimenticanza catastrofica senza la necessità di replay dei dati.
2. Superiorità della Modellazione a Miscela di Scala: Il proposto SMCM supera i modelli generativi standard basati su Gaussiane (SLDA) catturando la variabilità del segnale EMG attraverso distribanze di miscela di scala. Ciò fornisce rappresentazioni con code più pesanti che gestiscono meglio la variabilità del segnale e la discriminazione inter-classe, specialmente all'aumentare del numero di classi.
3. Insight di Progettazione Pratica: Per l'implementazione edge, lo studio suggerisce che progettare modelli generativi su misura per le caratteristiche del segnale sia più efficace rispetto all'applicazione di contromisure generiche alla dimenticanza basate sul deep learning. SMCM è identificato come la soluzione ottimale, raggiungendo il miglior equilibrio tra alta accuratezza di classificazione, efficace soppressione della dimenticanza e basso ingombro di memoria.

Gli autori segnalano i limiti, tra cui la natura offline della valutazione (escludendo l'analisi del tempo di inferenza e del consumo energetico) e l'uso di dimensioni dei task e ordinamenti delle classi fissi, suggerendo che il lavoro futuro dovrebbe affrontare la valutazione online su veri dispositivi edge.