🤖 machine learning

Subspace-Constrained Federated Learning with Low-Rank Adaptation

Dieses Paper schlägt ein unterraum-regularisiertes Federated-Learning-Ziel vor, um geometrische Fehlausrichtungen in heterogenen Client-Daten während des LoRA-Fine-Tunings zu mildern, wobei durch umfangreiche Experimente an RoBERTa-large und SmolLM-360M nachgewiesen wird, dass dieser Ansatz die Konvergenz und Genauigkeit durch das Erzwingen einer nahezu perfekten Basisüberlappung über die Clients hinweg signifikant verbessert.

Ursprüngliche Autoren: Neranjan Senarath, Rohit Muralitharan, Sadia Asif

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Neranjan Senarath, Rohit Muralitharan, Sadia Asif

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von 10 Freunden vor, die versuchen, gemeinsam eine neue Tanzroutine zu lernen, aber sie befinden sich alle in verschiedenen Räumen (dies ist Federated Learning). Sie können ihre privaten Videoaufnahmen vom Üben nicht teilen (Datenschutz/Privacy), und sie können dem zentralen Coach nur kurze Textnachrichten senden, die ihre Bewegungen beschreiben (Kommunikationsbeschränkungen).

Um Zeit und Bandbreite zu sparen, senden sie nicht ihre gesamte Tanzroutine. Stattdessen senden sie nur ein paar Schlüsselschritte oder „Feinabstimmungen“, die sie erfunden haben, um den Tanz zu verbessern. Dies ähnelt LoRA (Low-Rank Adaptation), einer Technik, die es ermöglicht, große Aufgaben zu lernen, indem man nur einen winzigen, effizienten Teil des Modells anpasst.

Das Problem: Tanzen in verschiedene Richtungen

Die Arbeit identifiziert ein verborgenes Problem: Da jeder Freund zu einem anderen Lied oder Stil übt (heterogene Daten), erfinden sie Bewegungen, die in völlig unterschiedliche Richtungen zeigen.

Freund A erfindet eine Bewegung, bei der er sich nach links dreht.
Freund B erfindet eine Bewegung, bei der er sich nach rechts dreht.
Freund C erfindet einen Sprung nach vorne.

Wenn der Coach all diese Bewegungen sammelt, um einen „Globalen Tanz“ zu erstellen, heben sie sich gegenseitig auf. Eine Drehung nach links hebt eine Drehung nach rechts auf; der Sprung geht im Chaos verloren. Die Arbeit nennt dies „Silent Cancellation“ (Stille Auslöschung). Der Coach sieht zwar viel Mühe von allen Beteiligten, aber das Endergebnis ist schwach, weil die Bewegungen gegeneinander kämpfen.

Die Lösung: Die „Gemeinsame Referenz“-Regel

Die Autoren schlagen eine neue Regel vor, die Subspace-Regularized LoRA genannt wird.

Stellen Sie sich vor, der Coach gibt jedem vor dem Üben ein gemeinsames Referenzvideo der „idealen“ Bewegung. Die Regel lautet: „Ihr könnt eure eigenen neuen Bewegungen erfinden, aber sie müssen sehr nah an der Richtung dieses gemeinsamen Referenzvideos bleiben.“

Dies ist die Subspace-Beschränkung (Subspace Constraint). Sie verhindert sie nicht am Lernen; sie lenkt sie nur sanft, damit ihr „Tanzboden“ mit dem aller anderen abgestimmt bleibt.

Anstatt dass Freund A wild nach links dreht und Freund B wild nach rechts, passen beide ihre Drehungen so an, dass sie näher an der Referenzrichtung des Coaches liegen.
Wenn der Coach ihre Bewegungen kombiniert, verstärken sie sich gegenseitig, anstatt sich aufzuheben.

Was sie getestet haben

Die Forscher testeten diese Idee an zwei verschiedenen „Tänzern“ (KI-Modellen):

RoBERTa-large: Ein sehr großes, komplexes Modell.
SmolLM-360M: Ein kleineres, kompakteres Modell.

Sie simulierten 10 Freunde (Clients) mit unterschiedlichen Daten und führten das Experiment 24 Mal durch, um sicherzugehen.

Die Ergebnisse

1. Der „Alignment“-Score (Haben sie zusammen getanzt?)
Das Team maß, wie gut die Bewegungen der Freunde aufeinander abgestimmt waren.

Alte Methoden: Die Bewegungen der Freunde waren teilweise abgestimmt (ca. 96 % bis 99 % Überschneidung).
Neue Methode: Die Bewegungen der Freunde waren fast perfekt abgestimmt (99,99 % Überschneidung). Sie tanzten alle auf exakt demselben „Boden“.

2. Der Leistungs-Score (Sah der Tanz gut aus?)

Beim großen Modell (RoBERTa): Die neue Methode war ein riesiger Erfolg. Da die Bewegungen perfekt aufeinander abgestimmt waren, war der finale Tanz viel besser als zuvor. Die Genauigkeit stieg signifikant an und die „Fehler“ (Loss) gingen zurück.
Beim kleinen Modell (SmolLM): Hier war das Ergebnis überraschend. Obwohl die neue Methode diese perfekte Abstimmung von 99,99 % erreichte, verbesserte sich die finale Tanzbewertung im Vergleich zu den alten Methoden nicht wesentlich. Das kleine Modell schien auch mit ein wenig Fehlabstimmung gut zurechtzukommen.

Das wichtigste Fazit

Die Arbeit beweist, dass geometrische Ausrichtung (sicherzustellen, dass alle in die gleiche allgemeine Richtung bewegen) real ist und mit ihrer neuen Regel erreicht werden kann.

Die Arbeit warnt jedoch auch: Perfekte Ausrichtung garantiert nicht immer eine bessere Endpunktzahl.

Bei dem großen, komplexen Modell war die Ausrichtung der Schlüssel, um eine bessere Leistung freizusetzen.
Bei dem kleineren Modell fand die Ausrichtung zwar perfekt statt, führte aber nicht zu einer massiven Steigerung der Punktzahl.

Kurz gesagt: Die Autoren haben ein System gebaut, das KI-Modelle dazu zwingt, sich in der Richtung ihrer Lern-Updates zu „einig zu werden“. Dies verhindert, dass sie gegeneinander kämpfen. Es funktioniert brillant für große Modelle, aber für kleinere Modelle ist die Übereinstimmung in der Richtung allein nicht das einzige, worauf es ankommt, um eine hohe Punktzahl zu erreichen.

Technisches Resümee: Subraum-beschränktes föderiertes Lernen mit Low-Rank-Adaption

1. Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Training über dezentrale Clients hinweg, ohne Rohdaten teilen zu müssen, steht jedoch vor erheblichen Herausforderungen, wenn die Client-Datenverteilungen heterogen sind. In Standard-Federated Averaging (FedAvg) führt statistische Heterogenität zu „Client Drift“, wobei die lokalen Modellaktualisierungen divergieren, was Instabilität und eine langsame Konvergenz verursacht.

Mit dem Aufkommen großer Fundamentallmodelle ist Low-Rank Adaptation (LoRA) zu einer populären Technik für das parametereffiziente Fine-Tuning im FL geworden. LoRA beschränkt die Gewichtsaktualisierungen ( $\Delta W$ ) auf eine Low-Rank-Zerlegung ($BA$), was Kommunikations- und Rechenkosten reduziert. Dieses Paper stellt jedoch die Hypothese auf, dass unter heterogenen Datenverteilungen verschiedene Clients Low-Rank-Aktualisierungen lernen, die unterschiedliche Subräume aufspannen. Wenn diese geometrisch falsch ausgerichteten Aktualisierungen naiv auf dem Server aggregiert werden, können sie sich teilweise gegenseitig aufheben – ein Phänomen, das als „Silent Cancellation“ (stille Auslöschung) bezeichnet wird. Diese strukturelle Auslöschung reduziert die effektive Magnitude der globalen Aktualisierung, was die Konvergenz behindert, selbst wenn einzelne Clients substanzielle lokale Fortschritte erzielen.

2. Methodik

Die Autoren schlagen Subspace-Regularized LoRA (Subspace-Reg) vor, ein Framework, das darauf ausgelegt ist, lokale Client-Aktualisierungen mit einem gemeinsamen globalen Referenzsubraum abzugleichen.

2.1 Zielfunktion

Jeder Client $k$ optimiert eine Subraum-regulierte Zielfunktion, die einen proximalen Alignment-Penalty enthält. Die Funktion lautet:
$L_k^{SR}(w_k) = \min_{A_k, B_k} \left\{ L_k(w_k) + \frac{\mu}{2} \|B_k A_k - \Delta W_g^{(t)}\|_F^2 + \frac{\lambda}{2} (\|A_k\|_F^2 + \|B_k\|_F^2) \right\}$
Wobei:

$L_k(w_k)$ der lokale Verlust ist.
$\Delta W_g^{(t)}$ die aktuelle globale Low-Rank-Aktualisierung (Server-Referenz) ist.
$\mu$ die Stärke des Subraum-Alignments steuert.
$\lambda$ die Low-Rank-Faktoren reguliert.
Der Frobenius-Norm-Term die lokalen Aktualisierungen dazu zwingt, nahe an der Referenzaktualisierung des Servers zu bleiben, was eine konstruktive Aggregation begünstigt.

2.2 Algorithmus

Das Training folgt einer Standard-FL-Struktur mit Modifikationen:

Initialisierung: Der Server initialisiert eine globale Low-Rank-Basis $B_g$ mit orthonormalen Spalten.
Server-Schritt: Der Server sampelt Clients, berechnet eine globale Referenzaktualisierung mittels SVD der gewichteten Summe vorangegangener Client-Aktualisierungen und überträgt (broadcastet) das Modell sowie die Referenzbasis.
Client-Schritt: Jeder Client initialisiert seine lokalen Faktoren basierend auf der globalen Referenz und führt $E$ $E$ lokale Epochen durch. Der lokale Gradientenabstieg minimiert die Subraum-regulierte Verlustfunktion, welche Folgendes beinhaltet:
- Den primären Task-Verlust.
- Einen Term, der die Abweichung des Produkts $B_k A_k$ von der globalen Referenz $B_g A_g$ bestraft.
- Einen optionalen Term, der die Abweichung der Basis $B_k$ von $B_g$ bestraft.
Aggregation: Clients senden ihre Aktualisierungen ( $\Delta W_k = B_k A_k$ ) an den Server, welcher sie aggregiert und das globale Modell aktualisiert.

3. Theoretische Analyse

Das Paper liefert eine theoretische Analyse, um zu verstehen, wie die Subraum-Ausrichtung die Konvergenz unter Heterogenität beeinflusst.

Geometrische Auslöschungsschranke (Geometric Cancellation Bound): Die Autoren leiten her, dass das Quadrat der normierten aggregierten Aktualisierung von den Kreuztermen zwischen den Client-Aktualisierungen abhängt. Unter Heterogenität werden diese Kreuzterme negativ, wenn die Aktualisierungen falsch ausgerichtet sind, was die effektive Aktualisierungsgröße reduziert (Silent Cancellation).
Konvergenzgarantien: Unter Standardannahmen (Glattheit, beschränkte Heterogenität, beschränkte Varianz und beschränkte Low-Rank-Updates) beweist das Paper eine Konvergenzschranke für die durchschnittliche quadratische Gradientennorm.
- Die Schranke enthält einen Term $C_1 \sigma^2 / \mu^2$ , der den Alignment-Penalty darstellt.
- Im Gegensatz zu Standard-LoRA-FedAvg, das unter einem festen Auslöschungsterm leidet, erlaubt Subspace-Reg, diesen Penalty durch Erhöhung des Alignment-Parameters $\mu$ beliebig klein zu machen.
- Die Autoren leiten Bedingungen für $\mu$ und die Anzahl der Kommunikationsrunden $T$ ab, um eine Ziel-Gradientengenauigkeit $\epsilon$ zu erreichen.

4. Experimentelle Ergebnisse

Die Methode wurde auf zwei vortrainierten Modellen (RoBERTa-large und SmolLM-360M) mit dem HellaSwag-Datensatz in einem Non-IID-Setting (10 Clients, Dirichlet $\beta=0.5$ ) evaluiert. Die Experimente wurden über 3 zufällige Seeds (42, 43, 44) durchgeführt, was insgesamt 24 Durchläufen entspricht.

4.1 Performance auf RoBERTa-large

Subspace-Reg übertraf alle Baselines (FedAvg, SVD Redistribution und FedSVD) signifikant:

Genauigkeit (Accuracy): Erreichte die höchste mittlere Best-Accuracy (0.454 ± 0.023) und die mittlere Endgenauigkeit (0.429 ± 0.111), womit es die beste Baseline (FedSVD) um eine Marge von ~0.118 in der Best-Accuracy übertraf.
Verlust (Loss): Erreichte den niedrigsten finalen Loss (1.363).
Ausrichtung (Alignment): Erreichte eine nahezu perfekte Basis-Überlappung (Basis Overlap ≈ 0.9999), verglichen mit 0.958–0.991 bei den Baselines.

4.2 Performance auf SmolLM-360M

Die Ergebnisse auf SmolLM-360M zeigten, dass die Genauigkeitsgewinne modellabhängig sind:

Genauigkeit: FedAvg erreichte die höchste Genauigkeit (0.581), während Subspace-Reg mit 0.564 den zweiten Platz belegte.
Ausrichtung: Trotz fehlender Verbesserung der Genauigkeit behielt Subspace-Reg eine nahezu perfekte Basis-Überlappung (0.99989) bei, konsistent mit den RoBERTa-Ergebnissen.
Fazschluss: Die geometrische Ausrichtung war erfolgreich, führte jedoch für dieses spezifische Modell nicht zu Verbesserungen der Downstream-Genauigkeit.

4.3 Wichtige diagnostische Erkenntnisse

Basis-Überlappung vs. Kosinus-Ähnlichkeit: Während SVD-basierte Methoden höhere Kosinus-basierte Metriken (Client-Global Cosine, Pairwise Cosine) erzielten, brachten sie nicht die gleichen Genauigkeitsverbesserungen wie Subspace-Reg auf RoBERTa. Die Autoren identifizieren die Basis-Überlappung (direkte Subraum-Ausrichtung) als die entscheidende Diagnosegröße, nicht die Kosinus-Ähnlichkeit.
Robustheit: Die nahezu perfekte Basis-Überlappung war über alle Seeds und beide Modelle hinweg konsistent, was die Hypothese der geometrischen Ausrichtung validiert, selbst wenn die Downstream-Performance variierte.

5. Bedeutung und Ansprüche

Das Paper beansprucht die folgenden Beiträge und Bedeutungen:

Identifikation von Silent Cancellation: Es hebt hervor, dass die Subraum-Fehlausrichtung in LoRA-basiertem FL zu einer destruktiven Aggregation führt – ein Phänomen, das zuvor wenig erforscht wurde.
Subraum-regulierte Zielfunktion: Es schlägt einen proximalen Alignment-Penalty vor, der explizit fordert, dass lokale Aktualisierungen nahe an einem globalen Referenzsubraum bleiben, und erweitert damit das Konzept von FedProx von der Parameter-Magnitude auf die geometrische Struktur.
Theoretische Verbesserung: Es liefert eine Konvergenzschranke, die zeigt, dass der Fehlausrichtungs-Penalty abstimmbar ist, was eine streng bessere Garantie als Standard-LoRA-FedAvg unter Heterogenität bietet.
Empirische Validierung: Es demonstriert, dass die vorgeschlagene Methode konsistent eine nahezu perfekte Basis-Überlappung (≈0.9999) erreicht. Bei RoBERTa-large führt dies zu erheblichen Genauigkeitsgewinnen. Bei SmolLM-360M wird bestätigt, dass die geometrische Ausrichtung unabhängig von der Downstream-Genauigkeit erreicht werden kann, was darauf hindeutet, dass die Vorteile der Ausrichtung modellabhängig sind.
Diagnostische Einsicht: Die Arbeit etabliert die Basis-Überlappung als einen relevanteren Indikator für die Aggregationsqualität als die Kosinus-Ähnlichkeit in föderierten LoRA-Settings.

Die Autoren kommen zu dem Schluss, dass die Subraum-Ausrichtung zwar ein robuster geometrischer Mechanismus ist, ihr Einfluss auf die endgültige Task-Performance jedoch von der spezifischen Modellarchitektur und Kapazität abhängt, was weitere Untersuchungen darüber rechtfertigt, warum diese Vorteile zwischen Modellen variieren.