ASFL: An Adaptive Model Splitting and Resource Allocation Framework for Split Federated Learning

Die vorgestellte Arbeit schlägt ein adaptives Split-Federated-Learning-Framework (ASFL) vor, das durch die Kombination von serverseitigem Training, adaptiver Modellaufteilung und Ressourcenallokation die Konvergenzgeschwindigkeit verbessert und die Gesamtverzögerung sowie den Energieverbrauch im Vergleich zu bestehenden Methoden um bis zu 75 % bzw. 80 % reduziert.

Das Wesentliche

Das große Problem: Die müden Schüler und der leere Lehrer

Stell dir vor, du hast eine riesige Klasse von Schülern (die Kunden oder Smartphones), die gemeinsam ein sehr schwieriges Rätsel lösen müssen (ein KI-Modell trainieren).

In der klassischen Methode (Federated Learning) muss jeder Schüler das ganze Rätsel allein zu Hause lösen. Das Problem: Die Schüler haben nur kleine Taschenrechner und wenig Batterieladung. Wenn das Rätsel zu schwer wird, sind sie schnell erschöpft, brauchen ewig und ihre Batterien sind leer, bevor sie fertig sind.

Der Lehrer (der Server) sitzt im Klassenzimmer und wartet nur darauf, dass die Schüler ihre Lösungen einsammeln. Er hat aber einen riesigen Supercomputer und unbegrenzte Energie. Er wird kaum genutzt!

Die Lösung: ASFL – Ein adaptiver Teamwork-Ansatz

Die Autoren dieses Papiers schlagen eine neue Methode vor, die sie ASFL nennen. Man kann sich das wie ein dynamisches Baustellen-Team vorstellen, bei dem sich die Aufgaben ständig anpassen.

1. Das Puzzle wird geteilt (Adaptive Model Splitting)

Statt dass jeder Schüler das ganze Puzzle macht, wird es in zwei Hälften geteilt:

• Der untere Teil bleibt beim Schüler (z. B. die ersten Puzzleteile).
• Der obere Teil geht zum Lehrer (die letzten Puzzleteile).

Das Geniale daran: In den bisherigen Methoden war diese Teilung starr festgelegt. Bei ASFL ist sie adaptiv. Das bedeutet:

• Wenn der Schüler heute müde ist oder sein Internet schlecht ist, gibt er mehr Teile an den Lehrer ab.
• Wenn der Lehrer gerade viel zu tun hat oder der Schüler fit ist, macht der Schüler mehr selbst.
• Die Teilung passt sich also jeder Runde neu an, genau wie ein flexibles Team, das sich je nach Wetter und Energielevel der Mitglieder neu organisiert.

2. Der Lehrer hilft aktiv (Ressourcen-Nutzung)

Der Lehrer nutzt seinen starken Supercomputer, um den oberen Teil des Puzzles zu bearbeiten. Er berechnet nicht nur, sondern hilft aktiv beim Lösen. Das entlastet die Schüler enorm.

3. Der unsichere Draht (Funknetzwerk)

Da alles über das Internet (Funk) läuft, können Nachrichten verloren gehen oder verzerrt ankommen (wie wenn man in einer lauten Fabrik schreit und der andere nur "Mmmh" versteht).

• Das ASFL-System ist darauf vorbereitet. Wenn eine Nachricht (ein "Zwischenergebnis") kaputt ankommt, wird sie verworfen und nicht als Fehler gewertet, sondern einfach neu versucht oder ignoriert, ohne das ganze Team zu stoppen.
• Das System verteilt die "Sprechzeit" (Bandbreite) und die "Lautstärke" (Sendeleistung) der Schüler intelligent, damit niemand schreit, der es nicht braucht, und niemand flüstert, der gehört werden muss.

Wie funktioniert das im Detail? (Die Magie dahinter)

Die Forscher haben einen Algorithmus entwickelt (den OOE-BCD), der wie ein super-organisierter Taktgeber arbeitet:

1. Beobachten: Er schaut sich an: Wie schnell ist das Internet? Wie viel Batterie hat der Schüler? Wie schwer ist das Rätsel gerade?
2. Anpassen: Er entscheidet sofort: "Heute macht Schüler A mehr, Schüler B weniger. Der Lehrer übernimmt jetzt den mittleren Teil."
3. Optimieren: Er sorgt dafür, dass alle zusammen so schnell wie möglich fertig werden, ohne dass jemand die Batterie verliert.

Was bringt das? (Die Ergebnisse)

Die Autoren haben das System getestet (mit Bildern von Katzen und Hunden als Trainingsdaten). Die Ergebnisse waren beeindruckend:

• Schneller: Das Team kam bis zu 75 % schneller zum Ziel als bei den alten Methoden.
• Energiesparender: Die Schüler mussten bis zu 80 % weniger Energie verbrauchen.
• Robuster: Selbst wenn das Internet schwankt oder die Schüler sehr unterschiedliche Daten haben (manche haben nur Bilder von Katzen, andere nur von Hunden), funktioniert das System besser als die Konkurrenz.

Zusammenfassung in einem Satz

ASFL ist wie ein kluges Orchester, bei dem sich die Musiker (Schüler) und der Dirigent (Server) ständig absprechen, wer gerade welche Note spielt, damit das Konzert (das KI-Training) so schnell und energieeffizient wie möglich zu Ende geht, selbst wenn einige Instrumente (Internetverbindungen) mal nicht perfekt klingen.

Damit wird künstliche Intelligenz nicht nur schneller, sondern auch umweltfreundlicher und praktikabler für unsere kleinen Geräte im Alltag.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderungen des Split Federated Learning (SFL) in drahtlosen Netzwerken. Während SFL die Vorteile von Federated Learning (Datenschutz) und Split Learning (Nutzung von Server-Ressourcen) kombiniert, bestehen in der Praxis folgende Probleme:

• Ressourcenbeschränkungen: Clients (z. B. Smartphones) haben oft begrenzte Rechenleistung und Energie, was zu hohen Verzögerungen und hohem Energieverbrauch beim Training führt.
• Unterauslastung des Servers: Der zentrale Server ist in herkömmlichen FL-Ansätzen oft unterausgelastet, obwohl er über leistungsstarke Hardware (GPUs) verfügt.
• Dynamische Kanalbedingungen: In drahtlosen Netzen führen Fading und Paketfehler zu einer Verschlechterung der Lernleistung, da SFL in jedem Trainingsrunden-Update Zwischenwerte (Intermediate Outputs) und Gradienten übertragen muss.
• Starre Modellteilung: Bestehende Ansätze verwenden oft eine vordefizierte, statische Aufteilung des Modells (Cut-Layer), die nicht an die aktuellen Kanalbedingungen oder die Ressourcen der Clients angepasst werden kann. Dies führt zu ineffizientem Datentransfer und suboptimaler Konvergenz.

Das Ziel ist es, ein Framework zu entwickeln, das die Lernleistung (Konvergenzrate) maximiert und gleichzeitig die Gesamtverzögerung und den Energieverbrauch minimiert, indem es die Modellteilung und die Ressourcenallokation dynamisch anpasst.

2. Methodik: Das ASFL-Framework

Die Autoren schlagen ASFL (Adaptive Split Federated Learning) vor, ein Framework, das drei Hauptphasen pro Trainingsrunde durchläuft:

1. Adaptive Modellteilung (Adaptive Model Splitting):

   • Anstatt eine feste Schicht für die Aufteilung zwischen Client und Server zu wählen, wird in jeder Runde dynamisch entschieden, welche Schichten lokal und welche auf dem Server verarbeitet werden.
   • Wenn sich die Aufteilung ändert, werden nur die Parameter der betroffenen mittleren Schichten zwischen Client und Server ausgetauscht, was den Overhead reduziert.
   • Es wird sichergestellt, dass mindestens die erste Schicht lokal bleibt (Datenschutz).

2. Ressourcenallokation:

   • Ressourcenblöcke (RBs): Zuweisung von Frequenzressourcen an Clients.
   • Sendeleistung: Optimierung der Sendeleistung der Clients.
   • Berücksichtigung von Paketfehlern: Das Framework modelliert explizit die Paketfehlerrate (PER) aufgrund von Kanalbedingungen. Fehlerhafte Pakete werden vom Server verworfen, was die Lernleistung beeinflusst.

3. Optimierungsproblem:

   • Das Ziel ist die Minimierung der erwarteten durchschnittlichen langfristigen Modellabweichungen (als Proxy für die Konvergenzrate), unter Einhaltung von Langzeit-Verzögerungs- und Energieverbrauchsbeschränkungen.
   • Das Problem ist nicht-konvex und gekoppelt (Modellteilung, RB-Zuweisung und Sendeleistung beeinflussen sich gegenseitig).

3. Schlüsselbeiträge und Algorithmen

• Theoretische Konvergenzanalyse:
  Die Autoren leiten eine obere Schranke für die Konvergenzrate von ASFL her. Sie quantifizieren, wie sich die Entscheidungen zur Modellteilung, RB-Zuweisung und Sendeleistung auf die Konvergenz auswirken. Dabei wird der Einfluss von Paketfehlern (durch die Variable $\beta_n^r$) mathematisch integriert.

• OOE-BCD Algorithmus (Online Optimization Enhanced Block Coordinate Descent):
  Um das komplexe Optimierungsproblem zu lösen, wird ein iterativer Algorithmus vorgeschlagen, der das Problem in drei Teilprobleme zerlegt:

  1. Modellteilung (Online Optimization): Unter Verwendung von Lyapunov-Optimierung wird ein virtuelles Warteschlangen-System eingeführt, um die Langzeit-Beschränkungen für Verzögerung und Energie zu erfüllen. Ein „Drift-plus-Penalty"-Ansatz ermöglicht es, die Entscheidungen online und ohne Kenntnis zukünftiger Kanalzustände zu treffen.
  2. RB-Zuweisung: Wird als ganzzahliges Optimierungsproblem formuliert und effizient gelöst.
  3. Sendeleistungs-Allokation: Durch Einführung Hilfsvariablen wird das nicht-konvexe Problem linearisiert und iterativ gelöst.

• Stabilitätsnachweis:
  Es wird bewiesen, dass der Algorithmus die Langzeit-Beschränkungen einhält und die Leistungslücke (Performance Gap) gegenüber der optimalen Lösung begrenzt ist.

4. Ergebnisse

Die Evaluation erfolgte auf den Datensätzen CIFAR-10 und CIFAR-100 mit den Modellen VGG-19 und ResNet-50. Der Algorithmus wurde mit fünf Baselines verglichen: FedAvg, SL (Split Learning), SFL, ACC-SFL und EPSL.

• Konvergenzgeschwindigkeit: ASFL konvergiert schneller als alle Baselines.
• Verzögerung und Energie:
  • Reduktion der Gesamtverzögerung um bis zu 75 %.
  • Reduktion des Gesamtenergieverbrauchs um bis zu 80 %.
• Robustheit: Das Framework zeigt hohe Robustheit gegenüber nicht-IID (nicht unabhängig und identisch verteilten) Daten und dynamischen Kanalbedingungen.
• Overhead: Der durch die adaptive Teilung verursachte Overhead (Austausch von Schichtparametern) macht nur einen kleinen Teil der Gesamtverzögerung aus (ca. 20 % am Ende des Trainings).
• Realwelt-Test: Experimente mit einem realen Massive MIMO-Datensatz (RENEW/FDD) bestätigten die Effektivität des Ansatzes unter realen Fading-Bedingungen.

5. Bedeutung und Fazit

Das Paper leistet einen wesentlichen Beitrag zur effizienten Implementierung von SFL in drahtlosen Umgebungen.

• Paradigmenwechsel: Es bewegt sich weg von statischen Modellteilungen hin zu einer dynamischen, adaptiven Strategie, die sich an die Netzwerkbedingungen anpasst.
• Praktische Relevanz: Durch die Berücksichtigung von Paketfehlern und die gemeinsame Optimierung von Kommunikation und Lernen macht es SFL für ressourcenbeschränkte Endgeräte in realen Funknetzen praktikabel.
• Effizienz: Die signifikante Reduktion von Latenz und Energieverbrauch bei gleichzeitiger Verbesserung der Genauigkeit zeigt, dass die Nutzung der Server-Ressourcen in Kombination mit intelligenter Ressourcenallokation ein Schlüssel zur Skalierbarkeit von Federated Learning ist.

Zukünftige Arbeiten sollen sich auf heterogene Modellteilungen für Geräte mit unterschiedlicher Hardware-Ausstattung konzentrieren.