FBFL: A Field-Based Coordination Approach for Data Heterogeneity in Federated Learning

Die Arbeit stellt FBFL vor, einen neuartigen, auf Feldkoordinierung basierenden Ansatz für das Federated Learning, der durch dezentrale, räumlich organisierte Hierarchien und personalisierte Leader-Election-Verfahren nicht nur die Herausforderungen nicht-identisch verteilter (non-IID) Daten effektiv löst, sondern auch die Skalierbarkeit und Ausfallsicherheit gegenüber zentralisierten Architekturen wie FedAvg, FedProx und Scaffold verbessert.

Das Wesentliche

Das große Problem: Der „Einheitsbrei" funktioniert nicht

Stell dir vor, du möchtest ein Genie (einen KI-Modell) erziehen, das alle Arten von Dingen erkennt. Normalerweise würde man alle Bücher, Bilder und Daten aus der ganzen Welt in einen riesigen Raum (einen zentralen Server) werfen und dort alles zusammenlernen lassen.

Das Problem:

1. Datenschutz: Niemand möchte seine privaten Fotos oder Gesundheitsdaten in einen zentralen Raum werfen.
2. Lokale Unterschiede: Ein KI-Modell, das in New York trainiert wurde, versteht vielleicht nicht gut, wie das Wetter in den Alpen ist. Ein Modell, das nur Autos auf Autobahnen gesehen hat, erkennt vielleicht keine Fahrräder im Stadtverkehr.

Die Lösung, die man bisher hatte, heißt Federated Learning (FL).

• Die Idee: Die Daten bleiben auf den Geräten der Nutzer (z. B. Handys). Jedes Handy lernt etwas für sich und schickt nur die „Erkenntnisse" (die mathematischen Gewichte) an einen zentralen Lehrer (Server). Der Lehrer mischt alles zusammen und schickt den neuen, besseren Mix zurück.
• Das Problem dabei: Wenn die Handys sehr unterschiedliche Daten haben (z. B. eines sieht nur Katzen, das andere nur Hunde), verwirrt sich der zentrale Lehrer. Das Ergebnis ist ein „Durchschnitts-Modell", das weder Katzen noch Hunde richtig gut erkennt. Außerdem ist der zentrale Lehrer ein „Einzelner Punkt des Versagens": Wenn er ausfällt, bricht das ganze System zusammen.

Die neue Lösung: FBFL (Feld-basiertes Lernen)

Die Autoren dieses Papers schlagen eine völlig neue Methode vor: FBFL. Statt eines einzigen Lehrers im Himmel nutzen sie das Prinzip eines „Feldes", ähnlich wie ein Ameisenhaufen oder ein Schwarm Vögel funktioniert.

Hier ist die Erklärung mit einer Metapher:

1. Die „Feld"-Metapher: Ein unsichtbares Gitter

Stell dir vor, über der Stadt liegt ein unsichtbares, dynamisches Gitter (ein Feld). Dieses Feld kennt die Position jedes Handys.

• Das Prinzip: Das Feld sagt nicht „Alle kommen zum Zentrum". Es sagt: „Du bist hier, und du bist dort. Ihr seid nah beieinander, also lernt zusammen."
• Der Vorteil: Es gibt keinen Chef. Die Geräte organisieren sich selbst.

2. Die Wahl der „Nachbarschafts-Ältesten" (Leader Election)

In einem normalen FL-System gibt es einen Server. In FBFL wählen die Geräte in ihrer Nachbarschaft automatisch lokale Anführer (Leader).

• Wie das funktioniert: Stell dir vor, in jedem Stadtviertel wird spontan ein „Nachbarschafts-Ältester" gewählt. Dieser Älteste sammelt die Lern-Ergebnisse von allen Häusern in seiner Nähe.
• Warum das hilft: Ein Ältester im ländlichen Bereich sammelt Daten von Bauernhöfen (vielleicht viele Tiere, wenig Autos). Ein Ältester in der Innenstadt sammelt Daten von Cafés und Büros (viele Menschen, Verkehr).
• Das Ergebnis: Statt eines einzigen, verwirrten Durchschnittsmodells entstehen spezialisierte Modelle. Das Modell für das Dorf ist perfekt für das Dorf, das für die Stadt perfekt für die Stadt. Das nennt man Personalisierung.

3. Selbstorganisation und Robustheit

Was passiert, wenn ein „Ältester" (ein Server) ausfällt?

• Bei alten Methoden: Das ganze System hängt fest, bis der Server wieder da ist.
• Bei FBFL: Das Feld ist wie Wasser. Wenn ein Stein (ein Gerät) wegfällt, fließt das Wasser einfach weiter. Die Nachbarn merken sofort: „Hey, unser Ältester ist weg!" und wählen sofort einen neuen aus der Gruppe. Das System stabilisiert sich selbst, ohne dass jemand eingreifen muss.

Was haben die Forscher getestet?

Sie haben ihre Methode an drei bekannten Datensätzen getestet (ähnlich wie Schulbücher für KI):

1. MNIST: Zahlen erkennen (0-9).
2. Fashion-MNIST: Kleidung erkennen (T-Shirts, Schuhe).
3. Extended MNIST: Buchstaben erkennen.

Sie haben die Daten so aufgeteilt, dass sie nicht gleichmäßig verteilt waren (z. B. manche Geräte hatten nur ungerade Zahlen, andere nur gerade). Das ist wie in der echten Welt: Nicht jeder sieht das Gleiche.

Die Ergebnisse:

• In einer einfachen Welt (gleiche Daten): FBFL war genauso gut wie die alten Methoden.
• In einer schwierigen Welt (unterschiedliche Daten): FBFL war deutlich besser. Es schaffte es, trotz der Unterschiede hohe Genauigkeit zu erreichen, während die alten Methoden (wie FedAvg) versagten oder sehr langsam wurden.
• Bei Ausfällen: Als sie simulierten, dass zwei Server ausfielen, hat sich das FBFL-System sofort neu organisiert und weitergelernt, ohne dass die Leistung einbrach.

Zusammenfassung in einem Satz

FBFL ist wie ein intelligentes Schwarm-Verhalten für KI: Statt alle Daten in einen zentralen Topf zu werfen, lassen sie die Geräte in ihrer Nachbarschaft zusammenarbeiten, wählen lokale Köche, die spezialisierte Gerichte kochen, und sorgen dafür, dass die Küche weiterläuft, selbst wenn einer der Köche ausfällt.

Das macht das Lernen privater, robuster und effizienter, besonders wenn die Daten auf den Geräten sehr unterschiedlich sind.

Technische Zusammenfassung

Titel und Autoren

Titel: FBFL: A Field-Based Coordination Approach for Data Heterogeneity in Federated Learning
Autoren: Davide Domini, Gianluca Aguzzi, Lukas Esterle, Mirko Viroli
Veröffentlicht in: Logical Methods in Computer Science (LMCS), Band 22, Ausgabe 1, 2026.

---

1. Problemstellung

Federated Learning (FL) hat sich als vielversprechende Lösung etabliert, um Machine-Learning-Modelle unter Wahrung der Datenschutzanforderungen zu trainieren, indem die Daten lokal auf den Endgeräten bleiben. Trotz dieser Vorteile steht FL in realen Szenarien vor erheblichen Herausforderungen:

• Nicht-IID-Daten (Non-Independent and Identically Distributed): In der Praxis sind Daten auf Geräten oft nicht gleichverteilt. Geräte in unterschiedlichen räumlichen Umgebungen erfassen unterschiedliche Datenverteilungen (z. B. verschiedene Verkehrsmuster in Stadtteilen). Herkömmliche FL-Ansätze, die ein globales Modell für alle Geräte anstreben, leiden unter dieser Heterogenität, was zu einer Verschlechterung der Modellleistung und langsamer Konvergenz führt.
• Zentralisierte Architektur und Single Point of Failure: Die meisten FL-Implementierungen basieren auf einer zentralen Aggregationsinstanz (Server). Dies führt zu Engpässen, Skalierungsproblemen und einem kritischen Ausfallrisiko, wenn der Server ausfällt.
• Fehlende räumliche Berücksichtigung: Bestehende Peer-to-Peer- oder dezentrale Ansätze ignorieren oft die räumliche Verteilung der Geräte. Dabei ist anzunehmen, dass Geräte in räumlicher Nähe ähnliche Datenverteilungen aufweisen (räumliche Autokorrelation).

2. Methodik: Field-Based Federated Learning (FBFL)

Die Autoren schlagen FBFL vor, einen neuartigen Ansatz, der Konzepte der Aggregate Computing (insbesondere Computational Fields) mit Federated Learning verbindet.

Kernkonzepte:

• Computational Fields (Felder): Globale Datenstrukturen, die Werte auf Geräte (Knoten) abbilden und sich über Zeit und Raum entwickeln. Statt einer zentralen Steuerung wird das Systemverhalten deklarativ definiert und automatisch in lokales Verhalten übersetzt.
• Selbstorganisierende Hierarchie: FBFL nutzt ein hybrides Architekturmuster, das auf Peer-to-Peer-Interaktionen basiert, aber dynamisch Leader (Aggregatoren) wählt.
  • Leader Election: Ein verteilter Algorithmus wählt Leader basierend auf der räumlichen Nähe aus.
  • Regionenbildung: Das Netzwerk organisiert sich selbst in Regionen um diese Leader. Innerhalb einer Region haben die Geräte ähnliche Datenverteilungen.
  • Personalisierte Modelle: Anstatt eines einzigen globalen Modells werden spezialisierte regionale Modelle trainiert, die optimal auf die Datenverteilung der jeweiligen Subregion zugeschnitten sind.

Algorithmischer Ablauf (pro Runde):

1. Leader Election: Verteilter Prozess zur Auswahl von Aggregatoren (Leader) basierend auf einem Einflussradius und Distanzmetriken (z. B. Hop-Distanz oder physische Distanz).
2. Lokales Training: Jedes Gerät trainiert sein lokales Modell auf seinen lokalen Daten.
3. Modell-Sharing: Geräte senden ihre lokalen Modell-Updates an ihren zugewiesenen Leader über einen „Forward Chain" (Pfad im Netzwerk).
4. Regionale Aggregation: Jeder Leader aggregiert die Modelle seiner Region (z. B. mittels gewichteter Durchschnittsbildung) zu einem regionalen Modell.
5. Dissemination: Das neue regionale Modell wird an alle Geräte in der Region zurückgesendet.

Die Implementierung nutzt das Framework ScaFi (Scala DSL für Aggregate Computing), um diese Koordinationsmuster (Gradienten, Sammlungen, Leader-Wahl) deklarativ zu beschreiben.

3. Wichtige Beiträge

1. Neue Abstraktion für FL: Einführung von „Feld-basierten Koordinationsmustern" zur Lösung von Nicht-IID-Problemen durch räumlich basierte Personalisierung.
2. Selbstorganisierende Architektur: Entwicklung einer dezentralen, hierarchischen Struktur, die sich automatisch an Topologieänderungen (z. B. Geräteausfälle) anpasst, ohne manuelle Eingriffe.
3. Formalisierung: Mathematische Formulierung des Problems und des verteilten Algorithmus, der die Bildung von „Feldern von Machine-Learning-Modellen" beschreibt.
4. Umfassende Evaluation: Vergleich mit State-of-the-Art-Algorithmen (FedAvg, FedProx, Scaffold) unter verschiedenen Bedingungen.

4. Ergebnisse und Evaluation

Die Evaluation erfolgte auf den Datensätzen MNIST, FashionMNIST und Extended MNIST in einer simulierten Umgebung (Alchemist Simulator).

• Szenario IID (Homogene Daten):

  • FBFL erreicht eine Leistung, die mit dem zentralisierten Standard FedAvg vergleichbar ist.
  • Dies beweist, dass die dezentrale Feld-Koordination keine signifikanten Nachteile bei homogenen Daten hat.

• Szenario Non-IID (Heterogene Daten):

  • Unter starken Nicht-IID-Bedingungen (z. B. Label-Skew durch harte Partitionierung oder Dirichlet-Verteilung) übertrifft FBFL deutlich FedAvg, FedProx und Scaffold.
  • Während Baseline-Methoden bei stark heterogenen Daten (z. B. Extended MNIST mit 9 Regionen) bei ca. 50% Genauigkeit stagnieren, erreicht FBFL konsistent über 95% Genauigkeit.
  • Der Ansatz skaliert besser mit der Anzahl der Regionen, da er lokale Modelle optimiert, anstatt ein globales Optimum zu erzwingen.

• Resilienz und Fehlertoleranz (RQ3):

  • In einem Experiment wurden zwei Leader-Knoten simuliert ausgefallen.
  • Das System stabilisierte sich automatisch neu: Es wurden neue Leader gewählt, und die Lernprozesse setzten sich fort, ohne dass die Gesamtperformance langfristig einbrach.
  • Dies demonstriert die Robustheit der selbstorganisierenden Architektur gegenüber Single Points of Failure.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Integration von Aggregate Computing in Federated Learning eine effektive Lösung für die Skalierbarkeit und Heterogenität in realen IoT- und Edge-Computing-Szenarien bietet.

• Paradigmenwechsel: Statt eines „One-Size-Fits-All"-Modells ermöglicht FBFL die Bildung personalisierter Modellzonen, die die räumliche Korrelation von Daten nutzen.
• Robustheit: Die Architektur ist inhärent fehlertolerant und benötigt keine zentrale Instanz, was sie ideal für dynamische Umgebungen (z. B. autonome Fahrzeuge, Smart Cities) macht.
• Zukunftsausblick: Die Autoren sehen Potenzial in der Weiterentwicklung zu „Space-Fluidity" (dynamische Anpassung der Regionen basierend auf Datenähnlichkeit statt nur räumlicher Distanz) und der Integration ressourcenschonender Techniken (sparse neural networks).

Zusammenfassend stellt FBFL einen signifikanten Fortschritt dar, der die Lücke zwischen theoretischer FL-Forschung und den praktischen Anforderungen an dezentrale, robuste und datenheterogene Systeme schließt.