🤖 machine learning

Federated Learning of Spiking Neural Networks under Heterogeneous Temporal Resolutions

Dieser Beitrag stellt ein Framework für das federierte Lernen von Spiking Neural Networks vor, das die Herausforderung heterogener zeitlicher Auflösungen über Edge-Geräte hinweg wirksam adressiert, indem es Anpassungsmethoden entwickelt, um an verschiedenen Zeitskalen erlernte Neuronenparameter zu integrieren, wodurch die durch zeitliche Inkonsistenzen verlorene Genauigkeit wiederhergestellt wird, während gleichzeitig eine kollaborative Trainingsdurchführung ohne Weitergabe roher Daten ermöglicht wird.

Ursprüngliche Autoren: Sanja Karilanova, Subhrakanti Dey, Ayça Özçelikkale

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sanja Karilanova, Subhrakanti Dey, Ayça Özçelikkale

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Freunden vor, die versuchen, gemeinsam eine neue Tanzroutine zu lernen, wobei sie jedoch alle das Tutorial-Video mit unterschiedlichen Geschwindigkeiten ansehen.

Das Problem: Das Dilemma zwischen „Zeitlupe" und „Vorspulen"
In der Welt der künstlichen Intelligenz, speziell für Geräte wie Smartwatches oder Sensoren (sogenannte „Edge-Geräte"), gibt es eine besondere Art von computerbasiertem, gehirnähnlichem System namens Spiking Neural Network (SNN). Diese sind extrem energieeffizient und perfekt für batteriebetriebene Geräte geeignet.

Normalerweise lernen diese Geräte gemeinsam mit einer Methode namens Federated Learning. Stellen Sie sich dies als Gruppenprojekt vor, bei dem jeder auf seinem eigenen Computer lernt und seine „Notizen" (Modell-Updates) an einen Lehrer (den Server) sendet, um einen einzigen Master-Leitfaden zu erstellen. Jeder behält seine privaten Daten (wie Ihre persönlichen Gesundheitsdaten) auf seinem eigenen Gerät.

Es gibt jedoch einen Haken: die Zeitauflösung.

Gerät A (eine High-End-Smartwatch) könnte Bewegungen 100 Mal pro Sekunde aufzeichnen.
Gerät B (ein günstiger Sensor) könnte nur 25 Mal pro Sekunde aufzeichnen, um Batterie zu sparen.

Wenn der Lehrer einfach die Notizen von Gerät A und Gerät B mittelt, ist das Ergebnis ein Chaos. Es ist, als würde man versuchen, ein Zeitlupe-Video mit einem vorspulten Video zu mitteln; die Tanzschritte passen nicht zusammen. Der Artikel nennt dies temporale Heterogenität, und sie führt dazu, dass das endgültige Modell der Gruppe schlecht performt.

Die Lösung: Der „Zeit-Übersetzer" (FedTA)
Die Autoren schlagen ein neues Framework namens FedTA (Federated Learning mit Temporal Resolution Adaptation) vor.

Anstatt die Notizen einfach zu mitteln, agiert der Lehrer wie ein universeller Übersetzer für die Zeit.

Vor dem Treffen: Der Lehrer nimmt die Notizen der „langsamen" Geräte und dehnt sie mathematisch so aus, dass sie der „schnellen" Geschwindigkeit entsprechen, und umgekehrt.
Das Treffen: Da nun alle dieselbe „Zeitsprache" sprechen, kann der Lehrer ihre Notizen sicher mitteln, um einen perfekten Master-Leitfaden zu erstellen.
Zurücksenden: Wenn der Master-Leitfaden zurück zu den Geräten geht, übersetzt der Lehrer ihn zurück in die spezifische Zeitgeschwindigkeit, die jedes Gerät versteht.

Auf diese Weise muss der günstige Sensor keine Hardware-Upgrades durchführen, um mit dem teuren Gerät mitzuhalten, und das teure Gerät muss nicht verlangsamen. Sie können alle effektiv gemeinsam lernen.

Die Werkzeuge: Drei Arten zu übersetzen
Der Artikel testet drei verschiedene „Übersetzungsmethoden", um herauszufinden, welche am besten funktioniert:

Die „Schritt"-Methode (Euler): Eine einfache, schnelle Näherung. Es ist, als würde man die Mitte einer Kurve erraten, indem man eine gerade Linie zeichnet. Sie ist schnell, aber nicht perfekt genau.
Die „Flächen"-Methode (Integral): Eine präzisere Berechnung, die die gesamte Kurve betrachtet. Es ist, als würde man die tatsächliche Fläche unter der Kurve messen. Dies erwies sich als die genaueste Methode für die „glatten" Arten von Neuronen.
Die „Log"-Methode (Delta): Dies ist ein cleverer Trick für eine bestimmte Art von Neuron, bei der die „Zeitgeschwindigkeit" eine Zahl ist, die man einfach addieren oder subtrahieren kann. Es ist, als würde man die Lautstärke eines Radios ändern, indem man einfach am Regler dreht, anstatt das Radio neu zu bauen.

Was sie herausfanden
Die Forscher testeten dies an zwei realen Datensätzen:

SHD: Erkennung gesprochener Ziffern (wie das Hören von „Null" oder „Eins").
DVS-Gesture: Erkennung von Handbewegungen aus einer Kamera, die nur Lichtänderungen sieht (wie ein Bewegungssensor).

Die Ergebnisse:

Genauigkeit: Die „Zeit-Übersetzer"-Methoden funktionierten viel besser als das blinde Mitteln von allem. In vielen Fällen stellten sie fast die gesamte Genauigkeit wieder her, die aufgrund der unterschiedlichen Geschwindigkeiten verloren gegangen war.
Die beste Kombination: Für die glatten, nicht-spikenden Modelle war die „Flächen"-Methode (Integral) der Champion. Für die spikenden Modelle (die wie echte biologische Neuronen funktionieren), funktionierten die „Log"-Methode oder einfaches Mitteln überraschend gut.
Effizienz: Das wichtigste Ergebnis ist, dass diese „Übersetzung" fast keine zusätzliche Zeit oder Batterieleistung erfordert. Es ist, als würde man ein winziges Untertitel zu einem Film hinzufügen; der Film läuft genauso schnell, aber jetzt versteht es jeder.

Das Fazit
Dieser Artikel zeigt, dass nicht jedes Gerät in einem Netzwerk identisch sein muss. Wir können günstige, langsame Sensoren mit teuren, schnellen mischen und dennoch ein intelligentes, genaues KI-System aufbauen. Der Schlüssel liegt darin, einen „Zeit-Übersetzer" zu verwenden, um sicherzustellen, dass alle auf dem gleichen Stand sind, bevor sie ihr Wissen teilen.

Technischer Zusammenfassung: Federated Learning von Spiking Neural Networks unter heterogenen zeitlichen Auflösungen

Problemstellung
Federated Learning (FL) ermöglicht das kollaborative Training von Modellen über dezentrale Edge-Geräte hinweg unter Wahrung der Datenschutzintegrität. In Zeitreihenanwendungen arbeiten Edge-Geräte jedoch häufig unter variierenden Hardware- und Energiebeschränkungen, was zur Erfassung von Daten mit unterschiedlichen zeitlichen Auflösungen (Abtastraten) führt. Diese zeitliche Heterogenität stellt eine fundamentale Herausforderung dar: Parameter, die aus Daten mit einer bestimmten zeitlichen Auflösung gelernt wurden, lassen sich nicht notwendigerweise direkt auf eine andere übertragen. Folglich wird das standardmäßige Federated Averaging (FedAvg), das Modellparameter naiv aggregiert, ineffektiv, da es Modelle, die auf unterschiedlichen Zeitskalen operieren, vermischt, was potenziell die Leistung des globalen Modells verschlechtert. Während die bestehende Literatur sich mit der Heterogenität der Datenverteilung (z. B. Klassenungleichgewicht) und Änderungen der zeitlichen Auflösung in nicht-federierten Spiking Neural Networks (SNNs) befasst, besteht eine Lücke in der Behandlung von Diskrepanzen der zeitlichen Auflösung speziell innerhalb eines federierten Settings für zustandsbehaftete tiefe Netzwerke und SNNs.

Methodik
Die Autoren schlagen FedTA (Federated Learning with Temporal Resolution Adaptation) vor, ein Framework, das darauf ausgelegt ist, Modelle, die auf heterogenen zeitlichen Auflösungen trainiert wurden, vor der Aggregation abzugleichen.

Framework-Struktur: FedTA integriert einen Anpassungsmechanismus in die Standard-FedAvg-Schleife. Bevor lokale Modelle auf dem Server aggregiert werden, werden sie von ihrer client-spezifischen zeitlichen Auflösung ( $T_k$ ) an eine zentrale Server-Auflösung ( $T_c$ ) angepasst. Umgekehrt wird das aktualisierte globale Modell vor der Verteilung von $T_c$ an die lokale Auflösung $T_k$ jedes Clients angepasst.
Umfang der Anpassung: Die Anpassung wird ausschließlich auf die dynamischen Parameter ( $\phi$ ) der Neuronen angewendet (z. B. Membran-Abklingraten, Zustandsübergangsmatrizen). Synaptische Gewichte ( $W$ ) und Normalisierungsstatistiken ( $\psi$ ) bleiben während dieses Prozesses unverändert.
Neuronenmodelle: Die Studie bewertet zwei Familien von Neuronen:
1. Leaky Integrate-and-Fire (LIF): Ein Standard-SNN-Modell.
2. Linear-Dynamics Diagonal State Space Models (LD-SSM): Ein nicht-spikendes Basismodell mit linearen Zustandsübergängen.
  Für jede Familie vergleichen die Autoren eine Standard-Variante (direktes Training der dynamischen Parameter) mit einer $\Delta$ -Variante, die eine Exp-Log-Reparametrisierung verwendet, um die lokale zeitliche Auflösung explizit auf einen trainierbaren Parameter ( $\Delta_{log}$ ) abzubilden.
Anpassungsalgorithmen: Drei spezifische Anpassungsmethoden sind integriert:
1. FedTA-Int (Integral): Abgeleitet aus der linearen SSM-Theorie, passt diese Methode Parameter mittels einer Integraltransformation an ( $A_{r2} = A_{r1}^\rho$ ).
2. FedTA-Eul (Euler): Eine Näherung erster Ordnung, abgeleitet aus linearen SSMs ( $A_{r2} = I + \rho(A_{r1} - I)$ ).
3. FedTA- $\Delta$ : Speziell für die $\Delta$ -Varianten wendet diese Methode eine additive Verschiebung auf den logarithmischen Parameter der zeitlichen Auflösung an ( $\Delta_{log, r2} = \Delta_{log, r1} + \ln(\rho)$ ), wobei $\rho$ das Verhältnis der zeitlichen Auflösungen ist.

Hauptbeiträge

Neues Framework: Das Papier stellt das erste federierte Lern-Framework vor, das sich explizit mit der Heterogenität der zeitlichen Auflösung für SNNs und zustandsbehaftete tiefe Netzwerke befasst.
Anpassungsstrategien: Es werden drei verschiedene Methoden zur Anpassung der Dynamik (Integral, Euler und $\Delta$ -Shift) vorgeschlagen und integriert, um die Lücke zwischen client-spezifischen und globalen zeitlichen Auflösungen zu schließen.
Umfassende Evaluation: Das Framework wird auf zwei neuromorphen Benchmark-Datensätzen (SHD und DVS-Gesture) in zwei Client-Szenarien (variierende Anzahl von Clients pro Auflösung) und mehreren Neuronenmodell-Konfigurationen evaluiert.

Ergebnisse

Genauigkeitswiederherstellung: Die vorgeschlagenen Anpassungsmethoden stellen erheblich Genauigkeit wieder her, die durch zeitliche Diskrepanzen verloren ging. Auf dem SHD-Datensatz erreichte die Kombination aus Standard-SSM und FedTA-Int die höchste Genauigkeit über alle Szenarien und Auflösungen hinweg. Auf dem DVS-Gesture-Datensatz variierte die Leistung, wobei $\Delta$ -LIF in Kombination mit FedAvg oft die besten Ergebnisse lieferte, obwohl FedTA-Varianten in heterogenen Settings im Allgemeinen dem naiven FedAvg überlegen waren.
Methodenvergleich:
- Für lineare Dynamiken (SSM) schnitt die Integral-Methode (FedTA-Int) signifikant besser ab als die Euler-Methode, was der theoretischen Erwartung entspricht, dass Euler eine weniger genaue Näherung erster Ordnung ist.
- Für nicht-lineare Dynamiken (LIF) dienten sowohl Integral- als auch Euler-Methode als Näherungen. Die $\Delta$ -Varianten zeigten gemischte Ergebnisse, performten manchmal vergleichbar oder leicht schlechter als FedAvg, je nach Zielauflösung ( $T_c$ ).
Einfluss der zentralen Auflösung: Die Leistung war im Allgemeinen am höchsten, wenn die zentrale Server-Auflösung ( $T_c$ ) mit der feinsten Client-Auflösung ( $T_c=1$ ) oder der mittleren Auflösung ( $T_c=2$ ) übereinstimmte, wodurch die durchschnittliche Diskrepanz minimiert wurde.
Rechenoverhead: Die Rechenkosten der Anpassungsschritte (FedTA-Int, FedTA-Eul, FedTA- $\Delta$ ) waren im Vergleich zum Baseline-FedAvg vernachlässigbar. Die Trainingszeiten blieben innerhalb einer Standardabweichung des Baselines.
Energieeffizienz: $\Delta$ -LIF mit FedAvg bot einen überzeugenden Kompromiss und erreichte eine hohe Genauigkeit bei deutlich geringerem Energieverbrauch und kürzeren Trainingszeiten im Vergleich zu SSM-basierten Modellen, wobei die spärliche, binäre Natur von SNNs genutzt wurde.

Bedeutung und Behauptungen
Das Papier behauptet, dass FedTA es jedem Client ermöglicht, in seiner lokalen zeitlichen Auflösung zu trainieren und dabei mit einem globalen Modell kompatibel zu bleiben, wodurch das Problem der zeitlichen Fehlausrichtung in federierten Settings effektiv gelöst wird. Die Autoren heben hervor, dass:

FedTA-Int besonders effektiv für Modelle mit linearen Zustandsdynamiken ist, da die Annahmen der Anpassungsmethode mit der Modellstruktur übereinstimmen.
LIF-basierte Modelle (SNNs) Robustheit über verschiedene Settings hinweg demonstrieren und ein überlegenes Verhältnis von Energieeffizienz zu Genauigkeit bieten, was sie für ressourcenbeschränkte Edge-Geräte attraktiv macht.
Das Framework ein vielversprechender Schritt hin zu robustem Federated Learning unter zeitlicher Heterogenität ist, wobei die Autoren jedoch bescheiden anmerken, dass die Anpassungsmethoden für nicht-lineare Dynamiken (wie LIF) Näherungen darstellen und zukünftige Arbeiten maßgeschneiderte Anpassungen für nicht-lineare Neuronendynamiken sowie Interaktionen mit anderen Formen der Datenheterogenität (z. B. Klassenungleichgewicht) untersuchen sollten.

Technischer Zusammenfassung: Federated Learning von Spiking Neural Networks unter heterogenen zeitlichen Auflösungen

Mehr davon