Federated Learning of Spiking Neural Networks under Heterogeneous Temporal Resolutions

Technische Samenvatting: Federated Learning van Spiking Neural Networks onder Heterogene Temporele Resoluties

Probleemstelling
Federated Learning (FL) maakt collaboratieve modeltraining mogelijk over gedecentraliseerde randapparaten, waarbij de gegevensprivacy wordt behouden. In tijdreeks-toepassingen opereren randapparaten echter vaak onder verschillende hardware- en energiebeperkingen, wat leidt tot het verzamelen van gegevens met verschillende temporele resoluties (samplefrequenties). Deze temporele heterogeniteit vormt een fundamentele uitdaging: parameters die zijn geleerd uit gegevens met één temporele resolutie, zijn niet noodzakelijkerwijs direct overdraagbaar naar een andere. Bijgevolg wordt standaard Federated Averaging (FedAvg), dat modelparameters naief aggregeert, inefficiënt omdat het modellen die opereren op verschillende temporele schalen met elkaar verward, wat de prestaties van het globale model kan verslechteren. Hoewel bestaande literatuur zich bezighoudt met heterogeniteit in gegevensverdeling (bijvoorbeeld class-ongelijkheid) en veranderingen in temporele resolutie in niet-federale Spiking Neural Networks (SNN's), bestaat er een lacune in het aanpakken van mismatch in temporele resolutie specifiek binnen een federale setting voor stateful diepe netwerken en SNN's.

Methodologie
De auteurs stellen FedTA (Federated Learning met Temporele Resolutie Adaptatie) voor, een framework dat is ontworpen om modellen die zijn getraind op heterogene temporele resoluties uit te lijnen voordat ze worden geaggregeerd.

• Frameworkstructuur: FedTA integreert een adaptatiemechanisme in de standaard FedAvg-lus. Voordat lokale modellen op de server worden geaggregeerd, worden ze aangepast van hun client-specifieke temporele resolutie ($T_k$) naar een centrale serverresolutie ($T_c$). Omgekeerd wordt het bijgewerkte globale model aangepast van $T_c$ terug naar de lokale resolutie $T_k$ van elke client voordat het wordt gedistribueerd.
• Scope van Adaptatie: De adaptatie wordt uitsluitend toegepast op de dynamische parameters ($\phi$) van de neuronen (bijvoorbeeld membraanvervalraten, statetransitiematrixen). Synaptische gewichten ($W$) en normalisatiestatistieken ($\psi$) blijven tijdens dit proces onveranderd.
• Neuronmodellen: De studie evalueert twee families van neuronen:
  1. Leaky Integrate-and-Fire (LIF): Een standaard SNN-model.
  2. Linear-Dynamics Diagonal State Space Models (LD-SSM): Een niet-spiking baseline met lineaire statetransities.
     Voor elke familie vergelijken de auteurs een Standaardvariant (directe training van dynamische parameters) met een $\Delta$-variant, die een exp-log herparametrisering gebruikt om de lokale temporele resolutie expliciet af te beelden op een trainbare parameter ($\Delta_{log}$).
• Adaptatiealgoritmen: Drie specifieke adaptatiemethoden zijn geïntegreerd:
  1. FedTA-Int (Integral): Afgeleid van lineaire SSM-theorie, past deze methode parameters aan met behulp van een integraaltransformatie ($A_{r2} = A_{r1}^\rho$).
  2. FedTA-Eul (Euler): Een benadering van de eerste orde, afgeleid van lineaire SSM's ($A_{r2} = I + \rho(A_{r1} - I)$).
  3. FedTA-$\Delta$: Specifiek voor de $\Delta$-varianten past deze methode een additieve verschuiving toe op de logaritmische temporele resolutieparameter ($\Delta_{log, r2} = \Delta_{log, r1} + \ln(\rho)$), waarbij $\rho$ de verhouding van temporele resoluties is.

Belangrijkste Bijdragen

1. Nieuw Framework: Het artikel introduceert het eerste federated learning-framework dat expliciet temporele resolutie-heterogeniteit voor SNN's en stateful diepe netwerken aanpakt.
2. Adaptatiestrategieën: Het stelt drie distincte dynamische adaptatiemethoden voor en integreert deze (Integral, Euler en $\Delta$-shift) om de kloof tussen client-specifieke en globale temporele resoluties te overbruggen.
3. Uitgebreide Evaluatie: Het framework wordt geëvalueerd op twee neuromorfe benchmarkdatasets (SHD en DVS-Gesture) over twee client-scenario's (variërend aantal clients per resolutie) en meerdere configuraties van neuronmodellen.

Resultaten

• Herstel van Nauwkeurigheid: De voorgestelde adaptatiemethoden herstellen aanzienlijk nauwkeurigheid die verloren is gegaan door temporele mismatch. Op de SHD-dataset bereikte de combinatie van Standard-SSM en FedTA-Int de hoogste nauwkeurigheid in alle scenario's en resoluties. Op de DVS-Gesture-dataset varieerden de prestaties, waarbij $\Delta$-LIF gecombineerd met FedAvg vaak de beste resultaten opleverde, hoewel FedTA-varianten over het algemeen beter presteerden dan naieve FedAvg in heterogene settings.
• Vergelijking van Methoden:
  • Voor lineaire dynamica (SSM) presteerde de Integral-methode (FedTA-Int) significant beter dan de Euler-methode, in overeenstemming met de theoretische verwachting dat Euler een minder nauwkeurige benadering van de eerste orde is.
  • Voor niet-lineaire dynamica (LIF) dienden zowel de Integral- als de Euler-methode als benaderingen. De $\Delta$-varianten vertoonden wisselende resultaten, soms vergelijkbaar presterend met of licht onder FedAvg, afhankelijk van de doelresolutie ($T_c$).
• Impact van Centrale Resolutie: De prestaties waren over het algemeen het hoogst wanneer de centrale serverresolutie ($T_c$) overeenkwam met de fijnste clientresolutie ($T_c=1$) of de intermediaire resolutie ($T_c=2$), waardoor de gemiddelde mismatch werd geminimaliseerd.
• Rekenkundige Overhead: De rekenkosten van de adaptatiestappen (FedTA-Int, FedTA-Eul, FedTA-$\Delta$) waren verwaarloosbaar in vergelijking met de baseline FedAvg. De trainingstijden bleven binnen één standaarddeviatie van de baseline.
• Energie-efficiëntie: $\Delta$-LIF met FedAvg bood een overtuigende afweging, waarbij hoge nauwkeurigheid werd bereikt met aanzienlijk lager energieverbruik en snellere trainingstijden in vergelijking met op SSM gebaseerde modellen, gebruikmakend van het schaarse, binaire karakter van SNN's.

Betekenis en Claims
Het artikel stelt dat FedTA het mogelijk maakt voor elke client om te trainen op zijn lokale temporele resolutie terwijl het compatibel blijft met een globaal model, waardoor het probleem van temporele misalignement in federale settings effectief wordt opgelost. De auteurs benadrukken dat:

• FedTA-Int bijzonder effectief is voor modellen met lineaire statedynamica, omdat de aannames van de adaptatiemethode overeenkomen met de modelstructuur.
• Op LIF gebaseerde modellen (SNN's) robustheid tonen in verschillende settings en een superieure afweging bieden tussen energie-efficiëntie en nauwkeurigheid, waardoor ze aantrekkelijk zijn voor randapparaten met beperkte middelen.
• Het framework een veelbelovende stap is naar robuust federated learning onder temporele heterogeniteit, hoewel de auteurs bescheiden opmerken dat de adaptatiemethoden voor niet-lineaire dynamica (zoals LIF) benaderingen zijn en dat toekomstig werk gericht moet zijn op maatwerkadaptatie voor niet-lineaire neurale dynamica en interacties met andere vormen van gegevensheterogeniteit (bijvoorbeeld class-ongelijkheid).