🤖 machine learning

Subspace Optimization for Efficient Federated Learning under Heterogeneous Data

Dieser Artikel stellt die Subspace-Optimierung für Federated Learning (SSF) vor, eine Methode, die den durch Datenheterogenität verursachten Drift durch Optimierung in einem niedrigdimensionalen Unterraum mit Backfill-ähnlichen Updates zur Bewahrung von Restinformationen mildert und dadurch im Vergleich zu bestehenden Ansätzen eine hohe Genauigkeit bei deutlich reduziertem Kommunikations- und Speicheraufwand erzielt.

Ursprüngliche Autoren: Shuchen Zhu, Zhengyang Huang, Yuqi Xu, Peijin Li

Veröffentlicht 2026-04-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shuchen Zhu, Zhengyang Huang, Yuqi Xu, Peijin Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein massives Gruppenprojekt vor, bei dem Hunderte von Studierenden (Clients) versuchen, gemeinsam ein riesiges Puzzle zu lösen, sie aber aufgrund von Datenschutzregeln ihre tatsächlichen Puzzleteile nicht austauschen können. Stattdessen senden sie nur Notizen an einen Lehrer (den Server) darüber, wie sie denken, dass das Puzzle aussehen sollte.

Dies ist Federated Learning. Normalerweise verwenden sie eine Methode namens „FedAvg", bei der jeder nur seine beste Vermutung sendet und der Lehrer diese mittelt. Doch es gibt ein Problem: Da jeder Studierende einen anderen Satz von Puzzleteilen hat (heterogene Daten), weichen ihre Vermutungen voneinander ab. Sie beginnen, völlig unterschiedliche Puzzles zu lösen, und das Endergebnis wird unübersichtlich.

Um dies zu beheben, haben kluge Forscher eine Methode namens SCAFFOLD entwickelt. Es ist, als würde man jedem Studierenden eine „Korrektur-Notiz" vom Lehrer geben, um sie auf demselben Kurs zu halten. Allerdings sind diese Korrektur-Notizen riesig – wie das Versenden eines 100-seitigen Handbuchs für jede einzelne Aktualisierung. Wenn die Studierenden kleine, alte Telefone verwenden (ressourcenbeschränkte Geräte), können sie diese schweren Handbücher nicht tragen, und die Internetverbindung wird verstopft.

Hier kommt die neue Methode ins Spiel: SSF (Subspace-SCAFFOLD).

So funktioniert SSF, erklärt durch eine einfache Analogie:

Das „Skizzenbuch" versus der „vollständige Bauplan"

Stellen Sie sich vor, die Studierenden versuchen, eine riesige, detaillierte Stadtlandkarte (das große KI-Modell) zu zeichnen.

Der alte Weg (SCAFFOLD): Jedes Mal, wenn ein Studierende eine Änderung vornimmt, sendet er dem Lehrer einen vollständigen, hochauflösenden, 100-seitigen Bauplan der gesamten Stadt. Der Lehrer prüft ihn, sendet eine massive Korrektur-Notiz zurück, und der Studierende aktualisiert seine Zeichnung. Es ist genau, aber zu schwer für ihre Rucksäcke und das Internet.
Der „Subspace"-Weg (FedSub): Um Platz zu sparen, senden die Studierenden nur eine winzige, 5-seitige Skizze der Hauptstraßen der Stadt. Dies ist schnell und leicht. Aber, wenn der Lehrer versucht, eine Korrektur-Notiz basierend auf dieser winzigen Skizze zu senden, gerät der Studierende in Verwirrung, weil die Skizze keine Details über Parks oder Gebäude zeigt. Wenn sich die Form der Skizze jede Woche ändert, werden die alten Korrektur-Notizen nutzlos, und der Studierende verirrt sich.
Der SSF-Weg: Dies ist der clevere Mittelweg.
1. Die Skizze: Die Studierenden senden nur die 5-seitige Skizze (den niedrigdimensionalen Unterraum) an den Lehrer. Dies spart enorme Datenmengen und Batterie.
2. Das versteckte Gedächtnis: Hier liegt der Trick: Obwohl sie nur die Skizze senden, behält der Studierende den vollständigen 100-seitigen Bauplan im Kopf (oder auf einer Festplatte im Hintergrund).
3. Der „Backfill"-Trick: Wenn der Lehrer eine Korrektur basierend auf der Skizze sendet, wendet der Studierende diese Korrektur auf die Skizze an und verwendet eine spezielle „Backfill"-Technik, um den versteckten vollständigen Bauplan zu aktualisieren.
4. Das Ergebnis: Der Studierende bleibt auf dem richtigen Pfad (genau wie bei der schweren SCAFFOLD-Methode), muss aber nur das leichte Skizzenbuch für die Kommunikation tragen.

Warum ist das eine große Sache?

Die Arbeit behauptet, dass SSF ein „Dreifach-Bedrohungs"-Problem im modernen KI löst:

Berechnung: Es ist schneller, weil die Mathematik an der kleinen Skizze durchgeführt wird, nicht an der riesigen Karte.
Speicher: Es benötigt weniger Platz auf dem Gerät, da die schwere Arbeit im Hintergrund erledigt wird und nicht im aktiven Speicher.
Kommunikation: Es sendet winzige Nachrichten statt riesiger Dateien.

Der „Stabilitäts"-Test

Die Forscher testeten dies mit zwei Szenarien:

Ein Mathe-Spielzeug-Problem: Sie simulierten Studierende mit sehr unterschiedlichen Daten. Sie stellten fest, dass die Methode „Nur-Skizze" (FedSub) schließlich verwirrt wurde und abstürzte (divergierte), wenn die Skizzen zu groß wurden oder sich zu oft änderten, während SSF stabil blieb und weiter besser wurde, fast so gut wie die schwere, langsame Methode.
Echte Bilderkennung (CIFAR-100): Sie testeten es an einer echten Aufgabe zur Bilderkennung. SSF war der zweitbeste Performer, schlug die Standardmethode (FedAvg) und die „Nur-Skizze"-Methode, lag jedoch leicht hinter der schweren, langsamen Methode (Full-SCAFFOLD).

Das Fazit

Die Arbeit argumentiert, dass SSF das Beste aus beiden Welten ist. Es ermöglicht Studierenden, auf kleinen Geräten effizient zusammenzuarbeiten, ohne die „Korrektur-Notizen" zu verlieren, die sie davon abhalten, vom Kurs abzukommen. Es beweist, dass man sich nicht zwischen schnell/leicht und genau/stabil entscheiden muss; man kann beides haben, indem man die „schwere" Information im Hintergrund versteckt hält und nur die „leichte" Version sendet.

Was die Arbeit nicht behauptet:

Sie behauptet nicht, dass dies für medizinische Diagnosen oder klinische Anwendungen funktioniert.
Sie behauptet nicht, dass dies alle KI-Probleme in der Zukunft lösen wird.
Sie konzentriert sich strikt auf die Mathematik und Informatik, um Federated Learning schneller und leichter zu machen, während es genau bleibt.

1. Problemstellung

Das Papier adressiert die "dreifache Herausforderung", der sich Federated Learning (FL) im Zeitalter großer Modelle (mit hunderten Millionen bis Milliarden Parametern) gegenübersehen muss:

Berechnung: Lokale Trainingsschritte sind rechenintensiv.
Speicher: Das Speichern vollständiger Modellzustände und Hilfsvariablen auf ressourcenbeschränkten Edge-Geräten ist untragbar.
Kommunikation: Die Übertragung volldimensionaler Updates über begrenzte Bandbreiten ist ineffizient.

Diese Herausforderungen werden durch Datenheterogenität (Non-IID) verschärft. In Non-IID-Szenarien weichen lokale Ziele vom globalen Ziel ab, was zu "Client Drift" führt.

Bestehende Lösungen & Einschränkungen:
- Heterogenitätskorrektur (z. B. SCAFFOLD): Nutzt Kontrollvariablen zur Korrektur des Drifts, erfordert jedoch das Speichern und Übermitteln volldimensionaler Hilfszustände, wodurch Effizienzgewinne für große Modelle zunichte gemacht werden.
- Kompression (z. B. Quantisierung): Reduziert die übertragenen Bits, erfordert jedoch oft volldimensionale Fehlerpuffer, was die Speichernutzung nicht verringert.
- Subraum-/Low-Rank-Methoden: Reduzieren die Dimensionalität zur Effizienzsteigerung, verfügen aber typischerweise nicht über prinzipielle Mechanismen zur Korrektur von Client Drift. Naive Kombinationen werfen häufig historische Korrekturinformationen weg, wenn sich der Subraum ändert, was zu Instabilität führt.

Die Lücke: Es existiert kein Algorithmus, der eine native Heterogenitätskorrektur innerhalb eines niedrigdimensionalen Subraums durchführt und gleichzeitig die Robustheit volldimensionaler Methoden wie SCAFFOLD bewahrt.

2. Methodik: Subspace-SCAFFOLD (SSF)

Die Autoren schlagen SSF vor, einen Algorithmus, der die Heterogenitätskorrektur direkt in einen niedrigdimensionalen Optimierungs-Subraum integriert.

Kernmechanismen

Subraum-Projektion:
- In jeder Runde $t$ wird eine gemeinsame zufällige orthonormale Projektionsmatrix $P_t \in \mathbb{R}^{r \times d}$ (wobei $r \ll d$ ) generiert.
- Die Optimierung (lokale Updates und Aggregation) erfolgt strikt im $r$ -dimensionalen Subraum.
- Gradienten werden projiziert: $g_{proj} = P_t g$ .
Projizierte Kontrollvariablen (Heterogenitätskorrektur):
- SSF imitiert den SCAFFOLD-Mechanismus, arbeitet jedoch mit projizierten Größen.
- Clients halten lokale Kontrollvariablen $c_i$ und der Server hält eine globale Kontrollvariable $c$ .
- Die lokale Update-Richtung wird unter Verwendung der Differenz zwischen projizierten lokalen und globalen Kontrollvariablen korrigiert: $P_t g - c_{i, proj} + c_{proj}$ .
Residualerhaltendes Auffüllen (Key Innovation):
- Im Gegensatz zu Standard-Subraum-Methoden, die Informationen außerhalb des aktiven Subraums verwerfen, führt SSF einen volldimensionalen Kontrollzustand ( $c_i$ und $c$ ) weiter.
- Update-Regel: Wenn sich der Subraum ändert, werden die Kontrollvariablen wie folgt aktualisiert:
  $c^{t+1} = (I - P_t^\top P_t)c^t + P_t^\top P_t (\text{neue Gradienteninformation})$
- Dies bedeutet, dass das orthogonale Komplement (Residuum) der Kontrollvariable unverändert erhalten bleibt, während nur die Komponente des aktiven Subraums aktualisiert wird.
- Auffüllen (Backfill): Nach dem Subraum-Update wird das Vollraum-Modell wiederhergestellt, indem die neuen projizierten Koordinaten mit dem erhaltenen Residuum kombiniert werden: $x^{t+1} = P_t^\top x^{t+1}_{proj} + x^t_{res}$ .

Algorithmus-Ablauf

Zerlegung: Der Server teilt das Modell und die Kontrollvariablen in projizierte und residuale Teile auf.
Lokale Schritte: Clients rekonstruieren das Vollmodell unter Verwendung des broadcasteten Subraum-Modells und des Residuums des Servers. Sie berechnen Gradienten im Vollraum, projizieren diese und führen heterogenitätskorrigierte Updates im Subraum durch.
Aggregation: Der Server aggregiert die projizierten Endpunkte im Subraum.
Auffüllen & Aktualisierung: Der Server hebt das Modell zurück in den Vollraum und aktualisiert die Kontrollvariablen, wobei die Residuenkomponenten erhalten bleiben.

3. Hauptbeiträge

Algorithmen-Design (SSF):
- Der erste FL-Algorithmus, der eine native Heterogenitätskorrektur in einem niedrigdimensionalen Subraum durchführt.
- Führt ein Auffüll-Update ein, das residuale Komponenten von Kontrollvariablen beibehält und sicherstellt, dass historische Drift-Korrekturinformationen nicht verloren gehen, wenn sich der Subraum dreht oder ändert.
Theoretische Analyse:
- Beweist, dass SSF unter Standardannahmen bezüglich Glattheit und beschränkter Varianz eine nicht-asymptotische Konvergenzrate von $\tilde{O}(1/T + 1/\sqrt{NKT})$ erreicht.
- Diese Rate entspricht der linearen Beschleunigung von volldimensionalem SCAFFOLD und zeigt, dass Subraum-Beschränkungen das asymptotische Konvergenzverhalten bezüglich Client Drift nicht verschlechtern.
- Die Analyse gilt ohne die Annahme einer Unabhängigkeit zwischen dem zufälligen Projektionsoperator und stochastischen Gradienten.
Empirische Validierung:
- Demonstriert sowohl an einem kontrollierten Matrix-Regression-Testproblem als auch an einem Deep-Learning-Benchmark (CIFAR-100 mit ResNet-110).
- Zeigte, dass SSF Speicher-, Kommunikations- und Berechnungskosten erheblich reduziert, während die Genauigkeit mit volldimensionalem SCAFFOLD vergleichbar bleibt.

4. Experimentelle Ergebnisse

Testproblem (Matrix-Regression)

Robustheit: Unter variierenden Heterogenitätsniveaus (niedrig, mittel, hoch) übertraf SSF konsistent FedSub (eine Baseline-Subraum-Methode ohne Residualerhaltung) und FedAvg.
Stabilität: FedSub zeigte bei höheren Subraum-Dimensionen ( $r=50$ ) numerische Instabilität und Divergenz (NaN-Fehler) aufgrund des Verlusts orthogonaler Informationen. SSF blieb über alle Dimensionen hinweg stabil.
Genauigkeit: Mit einem Subraum-Verhältnis von $r/d = 0,2$ erreichte SSF relative Fehler, die sehr nahe an Full-SCAFFOLD lagen und deutlich besser waren als Full-FedAvg.

Deep Learning (CIFAR-100 / ResNet-110)

Rangfolge: Full-SCAFFOLD > SSF > FedAvg > FedSub.
Leistung: SSF erreichte eine finale Testgenauigkeit von 45,43 % und übertraf FedAvg (34,35 %) und FedSub (23,17 %) mit großem Abstand.
Effizienz: SSF reduzierte erfolgreich Kommunikations- und Speicher-Overhead, während die Robustheit von SCAFFOLD gegenüber Datenheterogenität erhalten blieb.

5. Bedeutung und Auswirkung

Überbrückung der Lücke: SSF löst die fundamentale Spannung zwischen Robustheit (Umgang mit Non-IID-Daten) und Effizienz (Umgang mit großen Modellen). Es beweist, dass keine volldimensionalen Hilfszustände erforderlich sind, um Client Drift effektiv zu korrigieren.
Skalierbarkeit: Durch die Reduzierung des Kommunikations- und Speicherbedarfs von $O(d)$ auf $O(r)$ (wobei $r \ll d$ ) unter Beibehaltung theoretischer Konvergenzgarantien macht SSF Federated Learning für große Modelle auf ressourcenbeschränkten Edge-Geräten realisierbar.
Theoretische Einsicht: Der "residualerhaltende" Mechanismus bietet ein neues Paradigma für die Subraum-Optimierung und zeigt, dass die Aufrechterhaltung eines volldimensionalen Speichers für Kontrollvariablen (auch wenn nur teilweise darauf zugegriffen wird) für die Stabilität in dynamischen Subraum-Umgebungen entscheidend ist.

Zusammenfassend bietet SSF eine praktische und theoretisch fundierte Lösung für den Einsatz von großskaligem, heterogenem Federated Learning und erreicht das "Beste aus beiden Welten": die Effizienz von Subraum-Methoden und die Robustheit der Kontrollvariablen-Korrektur.