💬 NLP

PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity

PreLort adressiert die Herausforderungen des föderierten Fine-Tunings unter Rang-Heterogenität durch die Einführung einer Präfix-verschachtelten LoRA-Formulierung mit segmentweiser Aggregation und Multi-Trunkations-Training, wodurch sichergestellt wird, dass Clients mit niedrigerem Rang von den reichhaltigeren Repräsentationen von Clients mit höherem Rang profitieren und gleichzeitig eine überlegene Genauigkeit sowie Effizienz im Vergleich zu bestehenden Methoden erreichen.

Ursprüngliche Autoren: Muhammad Waseem, Nurbek Tastan, Andrej Jovanovic, Nicholas D. Lane, Nils Lukas, Karthik Nandakumar, Samuel Horvath

Veröffentlicht 2026-06-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Muhammad Waseem, Nurbek Tastan, Andrej Jovanovic, Nicholas D. Lane, Nils Lukas, Karthik Nandakumar, Samuel Horvath

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einer Gruppe von Menschen beizubringen, eine großartige Geschichte zu schreiben. Sie haben einen sehr intelligenten, vortrainierten „Basis“-Schreiber (das Large Language Model), der alles über Grammatik und Fakten weiß, aber er muss einen spezifischen Stil für Ihr Projekt lernen.

In einer idealen Welt hätten alle in Ihrer Gruppe die gleiche Gehirnleistung und das gleiche Gedächtnis, um diesen neuen Stil zu lernen. Aber in der realen Welt (Federated Learning) haben einige Leute leistungsstarke Computer (hoher Rang), während andere alte Telefone mit begrenztem Speicherplatz haben (niedriger Rang).

Das Problem: Das „Einheitsmaß“-Chaos

Das Paper nennt dies Rank Heterogeneity (Rang-Heterogenität).

Wenn man versucht, die Lernfortschritte aller direkt zu kombinieren, ist das so, als würde man versuchen, ein ganzes Orchester mit einem Soloviolinisten zu mischen.

Der alte Weg (Zero-Padding): Um sie passend zu machen, sagen Sie dem Soloviolinisten, er solle so tun, als stünde ein ganzes Orchester hinter ihm, aber er spielt einfach nur Stille für die fehlenden Instrumente. Wenn wir die Leistung der Gruppe mitteln, verwässert die „Stille“ des Solisten die brillante Musik des Orchesters. Das Ergebnis ist ein matschiger, verwirrter Klang.
Die Fehlausrichtung: Selbst wenn man versucht, sie mathematisch zu mischen, konzentrieren sich die leistungsstarken Lernenden vielleicht auf das Ende des Liedes, während die leistungsschwächeren Lernenden sich auf den Anfang konzentrieren. Wenn man sie mischt, passen Anfang und Ende nicht zusammen.

Die Lösung: PreLort (Prefix-Nested LoRA)

Die Autoren schlagen eine neue Methode namens PreLort vor. Denken Sie daran, den Lernprozess wie eine russische Matroschka-Puppe oder einen Schichtkuchen zu organisieren.

1. Das geschachtelte Training (Die „Schichtkuchen“-Strategie)

Anstatt die leistungsstarken Lernenden den ganzen Kuchen lernen zu lassen und die leistungsschwächeren Lernenden nur ein winziges Stück, zwingt PreLort jeden dazu, zuerst die unteren Schichten des Kuchens zu lernen.

Wie es funktioniert: Jeder Schüler, unabhängig von seiner Leistung, wird darauf trainiert, den „Kern“ der Aufgabe (die unteren Schichten) zu beherrschen.
- Die Low-Rank-Schüler lernen nur die untere Schicht.
- Die High-Rank-Schüler lernen die untere Schicht plus die mittleren und oberen Schichten.
Die Magie: Die leistungsstarken Schüler werden gezwungen, sicherzustellen, dass die untere Schicht perfekt ist, bevor sie ihre schicken oberen Schichten hinzufügen. Dies stellt sicher, dass die „untere Schicht“ (der Präfix) die wichtigste, gemeinsam geteilte Information enthält, über die sich alle einig sind.

2. Die segmentweise Aggregation (Die „Intelligente Misch“-Strategie)

Wenn es an der Zeit ist, das Lernen aller zu kombinieren, schüttet der Server (der Lehrer) nicht einfach alles in einen Eimer. Stattdessen mischt er die Schichten separat.

Die untere Schicht: Der Lehrer mischt die untere Schicht von jedem (sowohl vom Solisten als auch vom Orchester). Da jeder diese Schicht gut gelernt hat, wird sie zu einem superstarken Fundament.
Die mittlere Schicht: Der Lehrer mischt nur die mittlere Schicht von den Schülern, die sie tatsächlich gelernt haben (das Orchester). Er bezieht die „Stille“ des Solisten hier nicht mit ein.
Die obere Schicht: Nur die leistungsstärksten Schüler tragen hierzu bei.

Warum das funktioniert

Indem man die „wichtigen Dinge“ in die gemeinsamen unteren Schichten (den Präfix) zwingt und nur die „zusätzliche Kapazität“ in die oberen Schichten fließen lässt, löst PreLort zwei Probleme:

Keine Verwässerung: Die leistungsschwächeren Schüler werden bei der Mischung der oberen Schichten nicht durch „Stille“ (Zero-Padding) untergehen.
Perfekte Ausrichtung: Alle einigen sich darauf, was die unteren Schichten bedeuten, sodass das endgültige Modell stabil und kohärent bleibt, selbst wenn einige Schüler nur die unteren Schichten beigetragen haben.

Die Ergebnisse

Das Paper testete dies an verschiedenen „Schreibern“ (TinyLlama und Qwen) und verschiedenen Aufgaben (Anweisungen schreiben, Nachrichten klassifizieren).

Bessere Genauigkeit: Die Modelle schrieben besser und verstanden Anweisungen genauer als bisherige Methoden.
Bessere Effizienz: Sie erreichten diese Ergebnisse, ohne das Modell größer oder langsamer machen zu müssen.
Stabilität: Die Methode funktionierte konsistent, egal ob die Gruppe aus einer Mischung von sehr leistungsstarken und sehr schwachen Computern bestand.

Kurz gesagt: PreLort verhindert, dass die „schwachen“ Schüler die „starken“ zurückhalten, indem es sicherstellt, dass alle die Grundlagen gemeinsam meistern, und dann nur den „starken“ Schülern erlaubt, ihr zusätzliches Flair obenauf zu setzen, ohne das gemeinsame Fundament zu verunreinigen.

Technisches Resümee: PreLort – Prefix-Nested LoRA für das föderierte Fine-Tuning unter Rang-Heterogenität

1. Problemstellung

Federated Learning (FL) ermöglicht das kollaborative Training von Large Language Models (LLMs), ohne Rohdaten zu teilen, steht jedoch vor erheblichen Herausforderungen, wenn Basismodelle mittels parametereffizienter Fine-Tuning-Methoden (PEFT) wie Low-Rank Adaptation (LoRA) angepasst werden. Ein primäres Hindernis ist die Rang-Heterogenität: In realistischen Cross-Device-Szenarien verfügen Clients über unterschiedliche Rechen- und Speicherbeschränkungen, was dazu führt, dass sie LoRA-Adapter mit unterschiedlichen Rängen ( $r$ ) initialisieren.

Bestehende Lösungen für heterogenes föderiertes LoRA konzentrieren sich primär auf die Aggregationsphase und verwenden häufig Zero-Padding, um Adapter unterschiedlicher Ränge vor der Mittelwertbildung anzugleichen. Die Autoren identifizieren jedoch eine grundlegende Einschränkung dieser Ansätze: Repräsentations-Fehlausrichtung (Representation Misalignment). Selbst wenn die Aggregation mathematisch definiert ist, führt die Kombination unabhängig trainierter Modelle mit unterschiedlichen Rängen zu Inkonsistenzen. Speziell profitieren Clients mit niedrigerem Rang nicht von den Updates höherrangiger Clients, da die Informationen nicht hierarchisch über die Rang-Dimensionen verteilt sind. Zero-Padding verwässert zudem die Beiträge hochrangiger Clients durch die Einführung von nullwertigen Segmenten, was zu einer suboptimalen Nutzung der gemeinsam genutzten Low-Rank-Repräsentationen führt.

2. Methodik: PreLort

Die Autoren schlagen PreLort (Prefix-Nested LoRA) vor, ein Framework, das die Rang-Heterogenität adressiert, indem es die Trainingsdynamik und die Aggregationsregeln gemeinsam strukturiert. Die Kernphilosophie besteht darin, die Adapter-Dimensionen in einer Präfix-Hierarchie zu organisieren, um sicherzustellen, dass die niedrigeren Rang-Dimensionen aufgabenrelevante Informationen kodieren, die über alle Clients hinweg geteilt werden, während höhere Dimensionen die inkrementelle Kapazität erfassen.

2.1 Verschachtelte Low-Rank-Struktur

PreLort erzwingt eine Präfix-strukturierte Organisation der Adapter-Dimensionen. Für einen Client mit Rang $r_k$ sind nur die ersten $r_k$ Dimensionen aktiv. Entscheidend ist, dass der Adapter während des lokalen Trainings nicht ausschließlich unter seinem vollen Rang optimiert wird. Stattdessen wird er unter multiplen trunkierten Konfigurationen (Präfix-Sub-Rängen) optimiert.

Mechanismus: Ein Client mit Rang $r_k$ wird darauf trainiert, nicht nur bei $r_k$ , sondern auch bei allen niedrigeren Rang-Stufen, die in der Federation vorhanden sind ( $r \in \{r \mid r \le r_k\}$ ), gut zu performen.
Ziel: Dies zwingt das Modell dazu, aufgabenrelevante Signale in den führenden (Low-Rank) Dimensionen zu konzentrieren, wodurch sichergestellt wird, dass diese Dimensionen auch bei einer Trunkierung informativ und nützlich bleiben.

2.2 Lokale Trainingsstrategie

Der lokale Zielwert für einen Client $k$ ist definiert als der Durchschnitt der Cross-Entropy-Verluste, die über alle gültigen Präfix-Sub-Ränge $R_k$ berechnet werden:
$\mathcal{L}_k = \frac{1}{|R_k|} \sum_{r \in R_k} \mathcal{L}_{CE}(f(\cdot; \theta, r), \mathcal{D}_k)$
In der Praxis beinhaltet jeder Trainingsschritt einen Full-Rank Forward/Backward-Pass sowie zusätzliche Durchläufe für alle Sub-Ränge. Diese Strategie stellt sicher, dass die Präfix-Segmente explizit auf der gleichen Granularität optimiert werden, die auch während der Aggregation verwendet wird, was eine konsistente Hierarchie fördert, in der die niedrigeren Dimensionen die kritischsten Informationen erfassen.

2.3 Segmentweise Aggregation

Um die durch Zero-Padding verursachte Verwässerung zu vermeiden, führt PreLort eine segmentweise Aggregationsregel ein, die im Gradienten- (Update-) Raum operiert.

Prozess: Anstatt alle Clients für jede Dimension zu mitteln, aggregiert der Server die Gradienten für jedes Rang-Segment $[r_{l-1}, r_l)$ nur über die Teilmenge der Clients, deren Rang $r_k$ ausreicht, um zu diesem Segment beizutragen (d. h. $r_k \ge r_l$ ).
Formel: Für das $l$ -te Segment ist der aggregierte Gradient:
$\nabla A_{global}^{r_{l-1}:r_l} = \frac{\sum_{k: r_k \ge r_l} n_k \nabla A_k^{r_{l-1}:r_l}}{\sum_{k: r_k \ge r_l} n_k}$
Vorteil: Dies verhindert die Signalverwässerung durch Zero-Padding niedriger Rang-Clients und stellt sicher, dass höhere Rang-Dimensionen nur von Clients aktualisiert werden, die tatsächlich über die Kapazität verfügen, sie zu lernen, während die niedrigeren Dimensionen von der gesamten Population profitieren.

3. Kernbeiträge

Das Paper skizziert drei primäre Beiträge:

Identifizierung von Repräsentations-Fehlausrichtung: Die Autoren zeigen auf, dass der Mangel an strukturierter Ausrichtung über die Rang-Dimensionen hinweg eine zentrale Einschränkung aktueller heterogener föderierter LoRA-Methoden ist, was zu inkonsistenten Repräsentationen führt.
Verschachtelte Formulierung und vereinheitlichte Strategie: Sie schlagen eine verschachtelte Low-Rank-Formulierung vor, die eine gemeinsame Präfix-Struktur erzwingt. Dies wird mit einer vereinheitlichten Trainings- und Aggregationsstrategie kombiniert, die eine konsistente Aggregation über heterogene Ränge hinweg ohne Zero-Padding ermöglicht.
Empirische Validierung: Die Methode wird konsistent über bestehende heterogene föderierte LoRA-Methoden auf Instruktions-Tuning-Benchmarks hinweg als überlegen gegenübergestellt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PreLort auf zwei Basismodellen (TinyLlama-1.1B und Qwen2.5-0.5B) über drei Datensätze: Alpaca, Databricks-dolly-15 und 20 Newsgroups.

Leistungsmetriken: PreLort übertraf die Baselines (ZeroPad, HetLoRA, FLoRA) konsistent in der Genauigkeit (MMLU, 20 Newsgroups) und den ROUGE-L Scores.
- Bei TinyLlama-1.1B erreichte PreLort 33,86 % Genauigkeit auf MMLU (Dolly) und 30,76 % auf Alpaca und übertraf damit die nächstbesten Baselines.
- Bei Qwen2.5-0.5B erreichte es 39,85 % Genauigkeit auf MMLU (Dolly).
Perplexität: PreLort erzielte die niedrigste Perplexität auf Dolly und NewsGroup für beide Basismodelle, was eine überlegene Token-Level-Likelihood demonstriert.
Rang-Robustheit: Die Analyse zeigte, dass PreLort eine stabile Performance über verschiedene Präfix-Trunkierungsstufen hinweg beibehält. Im Gegensatz dazu zeigten Baselines wie "Nested Aggregation Only" Instabilitäten, insbesondere bei höheren Rängen, was bestätigt, dass Aggregation allein ohne das verschachtelte Trainingsziel unzureichend ist.
Dimensionale Wichtigkeit pro Dimension: Die Visualisierung der Dimensionswichtigkeit ergab, dass PreLort das aufgabenrelevante Signal in den führenden Dimensionen konzentriert (eine strukturierte Verteilung), während das Standardtraining eine uniforme Verteilung liefert. Diese hierarchische Priorisierung ermöglicht stabile Updates über heterogene Ränge hinweg.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass PreLort einen Paradigmenwechsel in der Adressierung von Rang-Heterogenität darstellt: Anstatt sie als Post-hoc-Aggregationsproblem zu behandeln, wird sie durch die Strukturierung des Trainingsprozesses selbst gelöst.

Kernargument: Die Autoren argumentieren, dass die Adressierung von Rang-Heterogenität nicht nur eine verbesserte Aggregation, sondern auch eine strukturierte Ausrichtung der Repräsentationen über die Ränge hinweg erfordert.
Effizienz: Die Methode ermöglicht es Clients mit niedrigem Rang, von den reichhaltigeren Informationen der höherrangigen Clients zu profitieren, da die Präfix-Dimensionen konsistent gelernt und aggregiert werden.
Einschränkungen: Die Autoren räumen ein, dass die verschachtelte Trainingsstrategie aufgrund multipler Forward/Backward-Durchläufe pro Batch etwa 40 % zusätzlichen Rechenaufwand verursacht. Sie merken zudem an, dass die Effektivität von ausreichenden lokalen Optimierungsschritten abhängt; bei sehr begrenzten lokalen Epochen lernt das Modell die gut ausgerichteten Low-Rank-Präfix-Repräsentationen möglicherweise nicht vollständig.

Zusammenfassend zeigt PreLort, dass Rang-Heterogenität in föderiertem LoRA am besten dadurch gehandhabt wird, dass sowohl die Art und Weise, wie Adapter trainiert werden (via nested prefix optimization), als auch die Art und Weise, wie ihre Updates aggregiert werden (via segment-wise rules), gemeinsam strukturiert werden, was zu ausgerichteten, robusten Präfix-Repräsentationen führt, die bestehende heterogene Aggregationsmethoden übertreffen.