Federated Learning of Spiking Neural Networks under Heterogeneous Temporal Resolutions

Sintesi Tecnica: Apprendimento Federato di Reti Neurali a Spike in Condizioni di Risoluzioni Temporali Eterogenee

Enunciato del Problema
L'Apprendimento Federato (FL) consente l'addestramento collaborativo di modelli su dispositivi periferici decentralizzati preservando la privacy dei dati. Tuttavia, nelle applicazioni di serie temporali, i dispositivi periferici operano spesso sotto vincoli hardware ed energetici variabili, portando alla raccolta di dati a risoluzioni temporali diverse (frequenze di campionamento). Questa eterogeneità temporale pone una sfida fondamentale: i parametri appresi da dati a una determinata risoluzione temporale non si trasferiscono necessariamente direttamente a un'altra. Di conseguenza, la media federata standard (FedAvg), che aggrega in modo ingenuo i parametri del modello, diventa inefficace poiché confonde modelli operanti a scale temporali diverse, potenzialmente degradando le prestazioni del modello globale. Sebbene la letteratura esistente affronti l'eterogeneità nella distribuzione dei dati (ad esempio, lo squilibrio delle classi) e i cambiamenti di risoluzione temporale nelle Reti Neurali a Spike (SNN) non federate, esiste un vuoto nell'affrontare specificamente il disallineamento della risoluzione temporale in un contesto federato per reti profonde con stato e SNN.

Metodologia
Gli autori propongono FedTA (Apprendimento Federato con Adattamento della Risoluzione Temporale), un framework progettato per allineare i modelli addestrati su risoluzioni temporali eterogenee prima dell'aggregazione.

• Struttura del Framework: FedTA integra un meccanismo di adattamento nel ciclo standard FedAvg. Prima che i modelli locali vengano aggregati sul server, vengono adattati dalla loro risoluzione temporale specifica del client ($T_k$) a una risoluzione centrale del server ($T_c$). Viceversa, il modello globale aggiornato viene adattato nuovamente da $T_c$ alla risoluzione locale $T_k$ di ciascun client prima della distribuzione.
• Ambito di Adattamento: L'adattamento viene applicato esclusivamente ai parametri dinamici ($\phi$) dei neuroni (ad esempio, tassi di decadimento della membrana, matrici di transizione di stato). I pesi sinaptici ($W$) e le statistiche di normalizzazione ($\psi$) rimangono inalterati durante questo processo.
• Modelli di Neurone: Lo studio valuta due famiglie di neuroni:
  1. Leaky Integrate-and-Fire (LIF): Un modello SNN standard.
  2. Modelli di Spazio di Stato Diagonali a Dinamica Lineare (LD-SSM): Una linea di base non a spike con transizioni di stato lineari.
     Per ciascuna famiglia, gli autori confrontano una variante Standard (addestramento diretto dei parametri dinamici) con una variante $\Delta$, che impiega una riparametrizzazione exp-log per mappare esplicitamente la risoluzione temporale locale su un parametro addestrabile ($\Delta_{log}$).
• Algoritmi di Adattamento: Vengono integrati tre specifici metodi di adattamento:
  1. FedTA-Int (Integrale): Derivato dalla teoria degli SSM lineari, questo metodo adatta i parametri utilizzando una trasformazione integrale ($A_{r2} = A_{r1}^\rho$).
  2. FedTA-Eul (Eulero): Un'approssimazione del primo ordine derivata dagli SSM lineari ($A_{r2} = I + \rho(A_{r1} - I)$).
  3. FedTA-$\Delta$: Specifico per le varianti $\Delta$, questo metodo applica uno spostamento additivo al parametro di risoluzione temporale logaritmica ($\Delta_{log, r2} = \Delta_{log, r1} + \ln(\rho)$), dove $\rho$ è il rapporto tra le risoluzioni temporali.

Principali Contributi

1. Framework Innovativo: Il documento introduce il primo framework di apprendimento federato che affronta esplicitamente l'eterogeneità della risoluzione temporale per SNN e reti profonde con stato.
2. Strategie di Adattamento: Propone e integra tre distinti metodi di adattamento delle dinamiche (Integrale, Eulero e spostamento $\Delta$) per colmare il divario tra le risoluzioni temporali specifiche del client e quelle globali.
3. Valutazione Completa: Il framework è stato valutato su due dataset di benchmark neuromorfici (SHD e DVS-Gesture) in due scenari di client (numeri variabili di client per risoluzione) e molteplici configurazioni di modelli di neuroni.

Risultati

• Recupero dell'Accuratezza: I metodi di adattamento proposti recuperano sostanzialmente l'accuratezza persa a causa del disallineamento temporale. Sul dataset SHD, la combinazione di Standard-SSM e FedTA-Int ha raggiunto la massima accuratezza in tutti gli scenari e risoluzioni. Sul dataset DVS-Gesture, le prestazioni sono variate, con $\Delta$-LIF combinato con FedAvg che spesso ha prodotto i migliori risultati, sebbene le varianti FedTA abbiano generalmente superato il FedAvg ingenuo in contesti eterogenei.
• Confronto dei Metodi:
  • Per le dinamiche lineari (SSM), il metodo Integrale (FedTA-Int) ha superato significativamente il metodo Eulero, in linea con l'aspettativa teorica secondo cui Eulero è un'approssimazione del primo ordine meno accurata.
  • Per le dinamiche non lineari (LIF), sia il metodo Integrale che quello Eulero hanno funzionato come approssimazioni. Le varianti $\Delta$ hanno mostrato risultati misti, a volte performando in modo comparabile o leggermente inferiore a FedAvg a seconda della risoluzione target ($T_c$).
• Impatto della Risoluzione Centrale: Le prestazioni sono state generalmente più elevate quando la risoluzione centrale del server ($T_c$) corrispondeva alla risoluzione del client più fine ($T_c=1$) o alla risoluzione intermedia ($T_c=2$), minimizzando il disallineamento medio.
• Sovraccarico Computazionale: Il costo computazionale dei passaggi di adattamento (FedTA-Int, FedTA-Eul, FedTA-$\Delta$) è stato trascurabile rispetto al FedAvg di base. I tempi di addestramento sono rimasti entro una deviazione standard rispetto alla baseline.
• Efficienza Energetica: Il $\Delta$-LIF con FedAvg ha offerto un compromesso convincente, raggiungendo un'alta accuratezza con un consumo energetico significativamente inferiore e tempi di addestramento più rapidi rispetto ai modelli basati su SSM, sfruttando la natura sparsa e binaria delle SNN.

Significato e Affermazioni
Il documento afferma che FedTA consente a ciascun client di addestrarsi alla propria risoluzione temporale locale rimanendo compatibile con un modello globale, risolvendo efficacemente il problema del disallineamento temporale nei contesti federati. Gli autori evidenziano che:

• FedTA-Int è particolarmente efficace per modelli con dinamiche di stato lineari, poiché le ipotesi del metodo di adattamento si allineano con la struttura del modello.
• I modelli basati su LIF (SNN) dimostrano robustezza in diversi contesti e offrono un rapporto superiore tra efficienza energetica e accuratezza, rendendoli attraenti per dispositivi periferici con risorse limitate.
• Il framework è un passo promettente verso un apprendimento federato robusto in condizioni di eterogeneità temporale, sebbene gli autori notino con modestia che i metodi di adattamento per le dinamiche non lineari (come LIF) sono approssimazioni e che il lavoro futuro dovrebbe esplorare adattamenti su misura per le dinamiche dei neuroni non lineari e le interazioni con altre forme di eterogeneità dei dati (ad esempio, squilibrio delle classi).