💻 computer science

Efficient Zeroth-Order Federated Finetuning of Language Models on Resource-Constrained Devices

Dieses Paper schlägt eine neuartige Zero-Order-Federated-Learning-Methode vor, die Modelle in Blöcke aufteilt und Störungen strategisch zuweist, um eine effiziente Wiederverwendung intermediärer Aktivierungen zu ermöglichen, wodurch eine 3-fache Reduzierung des Rechenaufwands für das Fine-Tuning großer Sprachmodelle auf ressourcenbeschränkten Geräten erreicht wird, während gleichzeitig die Speicher- und Kommunikationsvorteile von Federated Learning beibehalten werden.

Ursprüngliche Autoren: Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohamed Aboelenien Ahmed, Kilian Pfeiffer, Ramin Khalili, Heba Khdr, Jörg Henkel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein riesiges, unglaublich intelligentes Robotergehirn (ein Large Language Model) und möchten ihm einen neuen Trick beibringen. Normalerweise benötigt man, um dieses Gehirn zu lehren, einen massiven Supercomputer mit enorm viel Speicher und viel Zeit. Aber was wäre, wenn Sie dieses Gehirn mit tausenden kleinen, schwachen Geräten wie Smartphones oder Smart-Home-Gadgets lehren wollten, ohne jemals deren private Daten an einen zentralen Computer zu senden? Dies nennt man Federated Learning (Föderiertes Lernen).

Das Problem ist, dass diese kleinen Geräte zu schwach sind, um die „Backpropagation“-Methode (die Standardmethode des KI-Lernens) zu bewältigen, die eine große Menge an temporären Daten erfordert. Wenn sie es versuchen, gehen ihnen die Ressourcen aus und sie stürzen ab.

Die alte Lösung: Zeroth-Order Optimization (ZO)

Um das Speicherproblem zu lösen, entwickelten Forscher eine Methode namens Zeroth-Order Optimization (ZO).

Die Analogie: Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einem nebligen Tal zu finden (den besten Weg, um den Roboter zu lehren), ohne eine Landkarte zu sehen. Die alte Methode des Lehrens (Backpropagation) ist wie ein GPS, das Ihnen genau sagt, in welche Richtung es bergab geht. Die ZO-Methode ist wie das Tasten mit einem Stock. Man stochert in zufällige Richtungen, um zu fühlen, ob es bergauf oder bergab geht.
Der Haken: Um eine gute Vorstellung davon zu bekommen, in welche Richtung es bergab geht, muss man den Boden viele, viele Male in verschiedene Richtungen stochern. Während dies Speicher spart (da man keine GPS-Karte benötigt), ist es sehr langsam und rechenintensiv, weil man so oft stochert.

Die neue Lösung: FedSPZO

Die Autoren dieser Arbeit schlagen eine neue Methode namens FedSPZO (Federated Split-Perturbation Zeroth-Order Optimization) vor. Sie haben einen cleveren Weg gefunden, den „Stocher-Prozess“ viel schneller zu machen, ohne an Genauigkeit zu verlieren.

So haben sie es gemacht, unter Verwendung der Zwei-Stufen-Küchen-Analogie:

Die Aufteilung der Küche: Stellen Sie sich das Robotergehirn als eine Küche mit zwei Abschnitten vor:
- Abschnitt A (Die Vorbereitungsstation): Ein großer Bereich, in dem Zutaten gehackt und gemischt werden. Dies ist der „erste Block“ des Modells.
- Abschnitt B (Der Ofen): Ein kleinerer Bereich, in dem das eigentliche Kochen stattfindet. Dies ist der „zweite Block“.
Der alte Weg (Ineffizient): Um herauszufinden, wie man die gesamte Küche verbessern kann, würde die alte Methode die gesamte Küche (Vorbereitungsstation und Ofen) zufällig verändern und dann das Essen probieren. Dann würde sie die Küche wieder verändern, und wieder, und wieder. Da die Küche riesig ist, dauert es sehr lange, das Essen nach jeder winzigen Änderung zu probieren.
Der FedSPZO-Weg (Effizient):
- Schritt 1: Sie verändern nur die Vorbereitungsstation (Abschnitt A) ganz leicht. Den Ofen (Abschnitt B) lassen sie exakt gleich.
- Schritt 2: Sie nehmen das Ergebnis der Vorbereitungsstation und lassen es viele, viele Male durch den Ofen laufen, wobei sie jedes Mal nur winzige zufällige Änderungen nur am Ofen vornehmen.
- Die Magie: Da sich die Vorbereitungsstation nicht verändert hat, muss die Küche die Zutaten nicht jedes Mal neu „hacken“, wenn sie den Ofen testen. Sie können einfach die bereits gehackten Zutaten (Zwischenaktivierungen) wiederverwenden und sich nur darauf konzentrieren, den Ofen zu testen.
- Das Ergebnis: Sie bekommen eine sehr genaue Vorstellung davon, wie man den Ofen (und die Vorbereitungsstation indirekt) verbessern kann, und das mit weit weniger einzelnen „Probier-Schritten“ als zuvor.

Was haben sie herausgefunden?

Die Forscher haben dies an mehreren berühmten KI-Modellen (wie RoBERTa, OPT und LLaMA) getestet und fanden heraus:

Geschwindigkeit: Ihre neue Methode war bis zu 3-mal schneller (im Sinne von Rechenoperationen) als andere ähnliche „Stocher-Methoden“.
Speicher: Sie verbraucht immer noch sehr wenig Speicher, was sie perfekt für kleine Geräte wie Telefone macht, genau wie die ursprüngliche „Stocher-Methode“.
Kommunikation: Sie sendet nur winzige Mengen an Daten an den zentralen Server zurück (nur Zahlen, nicht das ganze Gehirn), was ideal für langsame Internetverbindungen ist.
Genauigkeit: Der Roboter lernte die neuen Tricks fast so gut wie die standardmäßigen, schweren Methoden, mit nur einem minimalen Leistungsabfall.

Das Fazle Fazit

Betrachten Sie FedSPZO als eine kluge Art, einen riesigen Roboter mithilfe eines Schwarms kleiner, schwacher Geräte zu lehren. Anstatt von jedem Gerät zu verlangen, eine massive, speicherintensive Berechnung durchzuführen, teilen sie die Aufgabe in zwei Teile auf. Sie erledigen die schwere Arbeit einmal und nutzen diese Arbeit dann, um viele kleine Änderungen schnell zu testen. Dies ermöglicht es, leistungsstarke KI auf Geräten zu trainieren, die das normalerweise nicht bewältigen könnten, und spart Zeit, Akku und Daten.

Technisches Resümee: Effizientes Zeroth-Order Federated Finetuning von Sprachmodellen auf ressourcenbeschränkten Geräten

1. Problemstellung

Federated Learning (FL) bietet einen datenschutzorientierten Rahmen für das Finetuning von Large Language Models (LLMs) über verteilte Datenquellen hinweg. Die Bereitstellung dieser Modelle auf ressourcenbeschränkten Edge-Geräten stößt jedoch auf erhebliche Hürden:

Speicherbeschränkungen: First-Order-Methoden (z. B. Standard-Backpropagation) und parametereffiziente Techniken wie LoRA erfordern das Speichern intermediärer Aktivierungen für die Gradientenberechnung. Dies führt zu Speicherabdrücken (z. B. ~4 GB für RoBERTa-large), die die Kapazitäten der meisten Edge-Geräte übersteigen.
Kommunikationsaufwand: Das Übertragen vollständiger Modellparameter oder sogar von Low-Rank-Adaptationsmatrizen (LoRA) verursacht beträchtliche Upload-Kosten, was besonders in Umgebungen mit geringer Bandbreite problematisch ist.
Einschränkungen durch Zeroth-Order (ZO): Während Zeroth-Order-Optimierungsmethoden (ZO) wie MeZO die Notwendigkeit von Backpropagation durch Vorwärtsläufe und pseudozufällige Perturbationen eliminieren, leiden sie unter langsamer Konvergenz und hohem Rechenaufwand. Um stabile Gradientenschätzungen zu erreichen, benötigen bestehende ZO-FL-Methoden eine große Anzahl von Perturbationen pro Trainingsschritt, was zu übermäßig vielen Forward-Only-Operationen (FLOPs) führt.

Es besteht ein kritischer Zielkonflikt: Aktuelle ZO-Methoden sind speichereffizient, aber rechenintensiv, während First-Order-Methoden recheneffizient, aber speicherintensiv sind.

2. Methodik: FedSPZO

Die Autoren schlagen Federated Split-Perturbation Zeroth-order Optimization (FedSPZO) vor, ein neuartiges Framework, das darauf ausgelegt ist, die Rechenlast von ZO-FL zu reduzieren und gleichzeitig dessen Speicher- und Kommunikationsvorteile zu bewahren.

Kernmechanismus: Split-Perturbation-Strategie

FedSPliegt die sequentielle kompositionelle Struktur neuronaler Netze aus, indem das Modell in zwei aufeinanderfolgende Blöcke aufgeteilt wird: $f_1$ (der erste, größere Block) und $f_2$ (der zweite, kleinere Block), sodass $y = f_2(\theta_2; f_1(\theta_1; B))$ .

Asymmetrische Perturbationsbudgets: Anstatt die gesamte Architektur mit der gleichen Anzahl an Perturbationen zu versehen, weist FedSPZO dem zweiten, kleineren Block ( $f_2$ $f_{2}$ ) ein höheres Perturbationsbudget zu.
- Block 1 ( $\theta_1$ ): Wird mit $P_1$ Richtungen perturbiert.
- Block 2 ( $\theta_2$ ): Wird mit $P_2$ Richtungen perturbiert, wobei $P_2 = 2 \times P_1 \times P_s$ .
Aktivierungs-Wiederverwendung (Activation Reuse): Der entscheidende Effizienzgewinn ergibt sich aus der Wiederverwendung intermediärer Aktivierungen.
1. Der Client perturbiert $\theta_1$ in einer einzigen Richtung ( $+z_1$ ) und führt einen Vorwärtslauf durch $f_1$ durch, um die intermediäre Ausgabe $+y_l$ zu generieren.
2. Dieses einzelne $+y_l$ dient dann als Input für $P_s$ verschiedene Perturbationen von $\theta_2$ (sowohl in positiver als auch in negativer Richtung).
3. Der Prozess wird für die negative Richtung von $\theta_1$ ( $-z_1$ ) wiederholt, wodurch $-y_l$ generiert wird, welches wiederum für einen weiteren Satz von $P_s$ Perturbationen von $\theta_2$ wiederverwendet wird.
Gradientenschätzung:
- Der Gradient für $\theta_2$ wird unter Verwendung der Differenzen der Verluste aus den $P_2$ Perturbationen geschätzt, die alle denselben Input aus $f_1$ teilen.
- Der Gradient für $\theta_1$ wird durch Mittelung der Verlustdifferenzen über die multiplen Perturbationen von $f_2$ geschätzt, was effektiv das durch die Stochastik der $f_2$ -Perturbationen eingeführte Rauschen reduziert.

Kommunikationsprotokoll

FedSPZO behält ein kommunikationseffizientes Design bei:

Client-Seite: Clients führen $K$ lokale Trainingsschritte durch. Sie laden keine Modellparameter hoch. Stattdessen laden sie nur skalare Gradientenwerte ( $G_1, G_2$ ) und Random Seeds ( $S_1, S_2$ ) hoch, die zur Regeneration der Perturbationsvektoren verwendet werden.
Server-Seite: Der Server rekonstruiert die exakten Client-Modelle, indem er die Perturbationsvektoren aus den empfangenen Seeds regeneriert und die skalaren Updates anwendet. Dies eliminiert die Notwendigkeit für Clients, Modellgewichte zu übertragen, und reduziert den Upload-Overhead im Vergleich zu parameterbasiertem FL um Größenordnungen.

3. Zentrale Beiträge

FedSPZO-Framework: Eine neuartige ZO-FL-Methode, die das Modell in zwei Blöcke partitioniert und dem tiefer liegenden, kleineren Block ein größeres Perturbationsbudget zuweist. Dies nutzt die Wiederverwendung intermediärer Aktivierungen, um das gesamte Netzwerk mit weniger Vorwärtsbewertungen zu aktualisieren.
Recheneffizienz: Die Methode erreicht eine bis zu 3-fache Reduktion der Rechenleistung im Vergleich zu State-of-the-Art ZO-FL-Baselines (speziell Fang et al., 2022, und Li et al., 2025), während sie die Speicher- und Kommunikationsvorteile von ZO beibehält.
Umfassende Evaluierung: Umfangreiche Experimente mit RoBERTa-large, OPT-1.3B und LLaMA-3-3.2B Modellen über mehrere Datensätze (SST-2, RTE, WiC, MultiRC, SQuAD, BoolQ) zeigen, dass FedSPZO die Gesamtzahl der GFLOPs signifikant reduziert und dabei eine Genauigkeit erreicht, die mit First-Order-Backpropagation vergleichbar ist (mit geringfügigen Einbußen).
Ablationsanalyse: Die Autoren führten Studien zur Modellteilung, zu Perturbationsbudgets und zur unabhängigen blockweisen Gradientenberechnung durch, welche validieren, dass die Split-Perturbation-Strategie einer unabhängigen Block-Schätzung oder einheitlichen Perturbationsschemata überlegen ist.

4. Experimentelle Ergebnisse

Die Evaluierung vergleicht FedSPZO mit First-Order-Methoden (FedAvg, FedAvg+LoRA) und anderen ZO-FL-Methoden (FedZO, DecomFL).

Speichereffizienz: FedSPZO behält einen inferenzähnlichen Speicherbedarf bei. Für RoBERTa-large mit einer Kontextlänge von 256 benötigt es ~1,75 GB, während FedAvg ~4,9 GB und LoRA ~3,9 GB benötigt. Dies macht FedSPZO für Edge-Geräte praktikabel, bei denen LoRA und Standard-FL nicht möglich sind.
Kommunikationsaufwand: FedSPZO reduziert die Upload-Kosten im Vergleich zu LoRA um mehr als drei Größenordnungen. Während LoRA Low-Rank-Matrizen (~Hunderte von MB) hochlädt, überträgt FedSPZO lediglich skalare Gradienten und Seeds (Kilobytes bis Megabytes).
Rechenkosten:
- Im Vergleich zu FedAvg(LoRA) erfordert FedSPZO eine höhere Gesamtrechenleistung (ca. 17× mehr) aufgrund der inhärent langsameren Konvergenzrate von ZO-Methoden.
- Im Vergleich zu anderen ZO-Methoden ist FedSPZO signifikant effizienter. Es reduziert die Berechnung um den Faktor 2,1 bis 3 im Vergleich zu DecomFL und FedZO über verschiedene Modelle und Datensätze hinweg.
Genauigkeit: FedSPZO erreicht eine Genauigkeit, die mit FedAvg(LoRA) vergleichbar ist, mit nur geringfügigen Verschlechterungen (z. B. <1 % auf SST-2, ~4 % auf RTE für RoBERTa). Es schneidet etwas schlechter ab als das volle FedAvg (Backpropagation), welches als obere Grenze dient, aber die Differenz wird im Kontext der Ressourcenbeschränkungen als gering eingestuft.
Trainingszeit: In einer simulierten Edge-Umgebung (Jetson Orin Nano) ist FedSPZO (2,6 Stunden für RoBERTa/SST-2) langsamer als LoRA (0,45 Stunden), aber drastisch schneller als DecomFL (6 Stunden) und FedZO (166 Stunden).

5. Bedeutung und Ansprüche

Das Paper positioniert FedSPZO als einen pragmatischen Kompromiss für ressourcenbeschränkte Umgebungen.

Für Edge-Geräte: Es wird als bevorzugte Wahl präsentiert, wenn Speicher und Kommunikationsbandbreite die primären Engpässe sind – Szenarien, in denen LoRA und Standard-Backpropagation scheitern.
Abwägung: Die Autoren räumen ein, dass FedSPZO die Rechenkosten von ZO nicht eliminiert, aber signifikant mildert. Es bietet einen gangbaren Weg für das Finetuning von LLMs auf Geräten, auf denen das Speichern von Aktivierungen für die Backpropagation unmöglich und das Übertragen vollständiger Modellupdates zu kostspielig ist.
Zukunftsausblick: Die Autoren merken an, dass FedSPZO zwar die Recheneffizienz gegenüber bestehenden ZO-Methoden verbessert, aber in der reinen Geschwindigkeit noch hinter First-Order-Methoden zurückliegt. Zukünftige Arbeiten zielen darauf ab, ZO auf Inference-only-Beschleunigern mit geringerer Präzision zu untersuchen, um diese Lücke weiter zu schließen.

Das Paper kommt zu dem Schluss, dass FedSPZO erfolgreich die hohen Speicher-/Kommunikationskosten der First-Order-FL von den hohen Rechenkosten der traditionellen ZO-FL entkoppelt und so das Finetuning von LLMs in Szenarien ermöglicht, die zuvor als nicht realisierbar galten.