Applicability of memorization indicators for early spotting of overfitting while recalibrating sEMG-decoders on low sample sizes

Sintesi Tecnica: Applicabilità degli Indicatori di Memorizzazione per l'Individuazione Precoce dell'Overfitting nei Decoder sEMG

Problematica
I modelli di deep learning per l'elettromiografia di superficie (sEMG) richiedono una ricalibrazione specifica per il soggetto per tenere conto delle variazioni individuali in fattori quali età, genere e posizionamento degli elettrodi. Tuttavia, i vincoli pratici limitano il numero di ripetizioni di movimento che un utente può eseguire durante la calibrazione, creando un regime a basso numero di campioni. In questo contesto, le tecniche standard di mitigazione dell'overfitting, come l'early stopping basato su un set di validazione, sono spesso impraticabili perché l'acquisizione di ulteriori dati non trattenuti prolunga il processo di calibrazione o non è disponibile. Di conseguenza, esiste il rischio che l'affinamento (fine-tuning) di un decoder pre-addestrato su dati limitati porti all'overfitting, degradando potenzialmente le prestazioni rispetto al modello non calibrato. Il documento affronta la necessità di indicatori in grado di rilevare un apprendimento non riuscito o l'overfitting utilizzando solo i dati di addestramento esistenti, senza richiedere campioni di validazione aggiuntivi.

Metodologia
Gli autori hanno condotto un esperimento di transfer learning utilizzando il database NinaPro 2 (49 classi di movimento, 12 canali). Il design sperimentale prevedeva due fasi:

1. Pre-addestramento: Una rete neurale convoluzionale 1D (1D-CNN) compatta è stata pre-addestrata su dati provenienti da 20 soggetti. L'architettura consisteva in tre blocchi 1D-CNN seguiti da tre strati densi (fully connected) con attivazione ReLU, progettata per essere sufficientemente leggera per l'inferenza su hardware edge.
2. Affinamento (Calibrazione): Il modello pre-addestrato è stato affinato su dati di 10 nuovi soggetti (21–30). Per simulare condizioni a basso numero di campioni, il modello è stato addestrato su 1-4 ripetizioni per soggetto. Sono state confrontate due strategie di fine-tuning:
   • Riaffinamento Parziale (Partial Retraining): Solo gli ultimi due strati densi sono stati sbloccati.
   • Riaffinamento Totale (Full Retraining): Tutti i parametri del modello sono stati ri-addestrati (presumibilmente più soggetti a overfitting).

Indicatori di Memorizzazione
Invece di monitorare la perdita di validazione (validation loss), lo studio ha tracciato le statistiche di attivazione delle unità rettificate lineari (ReLU) nell'ultimo strato nascosto (256 neuroni) utilizzando esclusivamente i dati di addestramento. La metrica primaria è stata il Tasso di Attivazione Media (MAR - Mean Activation Rate), calcolato come la proporzione di campioni in cui l'output di un neurone era maggiore di zero. Sono state introdotte metriche distributive aggiuntive, inclusi il 25°, il 50° (mediana) e il 75° percentile dei tassi di attivazione, nonché il coefficiente di variazione. Queste metriche sono state calcolate sul primo batch (64 campioni) di ogni epoca durante il fine-tuning.

Risultati Chiave

• Prestazioni Baseline: Il modello pre-addestrato ha raggiunto un'accuratezza di test di 0,34 sui soggetti di pre-addestramento, ma è sceso a 0,065 sui soggetti non visti, confermando la necessità della ricalibrazione.
• Differenziazione degli Esiti di Apprendimento: Lo studio ha osservato una chiara divergenza nel comportamento di attivazione tra un fine-tuning riuscito e uno fallito:
  • Calibrazione Riuscita: I modelli che hanno migliorato l'accuratezza di test (tipicamente quelli con solo gli ultimi strati sbloccati) hanno mostrato un cambiamento leggermente positivo o stabile nel MAR durante le epoche iniziali.
  • Calibrazione Fallita (Overfitting): I modelli che non sono riusciti a generalizzare o che hanno degradato le prestazioni (tipicamente quelli con tutti gli strati ri-addestrati) hanno mostrato una diminuzione significativa e costante del MAR.
• Correlazione: È stata trovata una forte relazione qualitativa in cui un calo dell'accuratezza di test durante il fine-tuning era accompagnato da una riduzione dei tassi di attivazione dell'ultimo strato nascosto. Tale tendenza è stata osservabile già dopo 5 epoche.
• Metriche Distribuzionali: Mentre il MAR forniva una separazione chiara, il coefficiente di variazione e le distribuzioni dei quantili hanno offerto ulteriori approfondimenti. Il coefficiente di variazione è aumentato durante gli scenari di overfitting, mentre inizialmente è diminuito nei modelli di successo prima di aumentare man mano che il divario di generalizzazione si ampliava.

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima prova empirica che gli indicatori di memorizzazione basati sull'attivazione possono servire come strumento affidabile per l'individuazione precoce dell'overfitting in contesti di calibrazione sEMG a basso numero di campioni. La principale significatività risiede nel fatto che questi indicatori:

1. Non Richiedono Dati di Validazione: Sono calcolati esclusivamente dai dati di addestramento, rendendoli ideali per scenari in cui l'acquisizione di ulteriori ripetizioni è impraticabile.
2. Offrono Rilevamento Precoce: I cambiamenti nei tassi di attivazione precedono o accompagnano il degrado delle prestazioni, consentendo un possibile early stopping o un intervento.
3. Sono Leggeri: Le metriche sono computazionalmente economiche, adatte al monitoraggio in tempo reale su dispositivi edge.

Gli autori mantengono un tono modesto riguardo ai loro risultati, notando che la scala assoluta del MAR dipende dalle proprietà del dataset (es. numero di classi, configurazione di registrazione) e dall'architettura. Pertiché, non propongono soglie universali ma dimostrano la fattibilità dell'uso di queste statistiche come indicatori relativi all'interno dell'esperimento. Il lavoro suggerisce che, sebbene i risultati attuali siano promettenti per architetture compatte, sono necessarie ricerche future per validare questi indicatori su reti più grandi e profonde e su dataset diversificati per stabilire intervalli di riferimento standardizzati.