💬 NLP

Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning

Dieses Paper führt die Maximal-Update Adaptation ( $\mu$ A) ein, ein theoretisches Framework, das definiert, wie optimale Lernraten mit dem LoRA-Rang und der Initialisierung skalieren, was es Praktikern ermöglicht, optimierte Lernraten von effizienten LoRA-Experimenten auf das Full-Finetuning über verschiedene Aufgaben hinweg zu übertragen.

Ursprüngliche Autoren: Nan Chen, Soledad Villar, Soufiane Hayou

Veröffentlicht 2026-02-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nan Chen, Soledad Villar, Soufiane Hayou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, unglaublich talentierten Koch (ein großes KI-Modell), der bereits gelernt hat, tausende von Gerichten zu kochen. Nun möchten Sie ihm ein ganz spezielles neues Rezept beibringen, wie zum Beispiel „wie man das perfekte Sushi macht“.

Sie haben zwei Möglichkeiten, dies zu tun:

Full Finetuning (FFT): Sie übergeben dem Koch ein leeres Notizbuch und sagen ihm, er solle sein gesamtes Kochbuch neu schreiben, wobei er nur die Sushi-Teile behält. Das ist leistungsstark, erfordert aber eine riesige Küche, viel Zeit und ein massives Budget.
LoRA (Low-Rank Adaptation): Anstatt das ganze Buch umzuschreiben, geben Sie dem Koch einen kleinen Klebezettel (den „Adapter“) und sagen ihm, er solle ihn oben auf die bestehenden Seiten kleben. Sie schreiben nur die neuen Sushi-Anweisungen auf diese Zettel. Das ist günstig, schnell und verbraucht sehr wenig Speicherplatz.

Das Problem? Die Klebezettel kommen in unterschiedlichen Größen (genannt Ranks). Manchmal verwenden Sie einen winzigen 4x4 Zoll großen Zettel; ein anderes Mal einen riesigen 1024x1024 Zoll großen Zettel. Das Papier stellt eine einfache, aber knifflige Frage: Wenn Sie die Größe des Klebezettels ändern, müssen Sie dann auch die Geschwindigkeit ändern, mit der der Koch schreibt?

In der Welt der KI ist das „Wie schnell der Koch schreibt“ die Lernrate (Learning Rate). Wenn Sie zu schnell schreiben, werden die Notizen unordentlich und der Koch wird verwirrt (das Training bricht ab). Wenn Sie zu langsam schreiben, wird nichts geschafft.

Die große Entdeckung: „Die Goldene Regel der Klebezettel“

Die Autoren dieser Arbeit erkannten, dass die Menschen jahrelang raten mussten, welche Schreibgeschwindigkeit bei jeder Änderung der Größe des Klebezettels angemessen war. Wenn sie von einem kleinen Zettel zu einem großen wechselten, mussten sie oft von vorne beginnen und die Geschwindigkeit neu erraten.

Sie entwickelten eine neue Theorie namens Maximal-Update Adaptation (µA). Denken Sie an dies als ein „Universelles Handbuch“, das Ihnen genau sagt, wie Sie die Schreibgeschwindigkeit basierend auf der Zettelgröße und der Art, wie Sie angefangen haben zu schreiben, festlegen.

Sie fanden heraus, dass es zwei Hauptszenarien (oder Regime) gibt, je nachdem, wie Sie Ihre Klebezettel einrichten:

Szenario 1: Die „Schrumpfende Geschwindigkeit“-Regel

Wie es funktioniert: Sie beginnen damit, die Notizen zufällig auf einer Seite zu schreiben, während die andere Seite leer bleibt.
Das Problem: Wenn Sie den Klebezettel größer machen (den Rank erhöhen), müssen Sie Ihre Schreibgeschwindigkeit erheblich verlangsamen.
Die Analogie: Stellen Sie sich vor, Sie streichen eine Wand. Wenn Sie einen winzigen Pinsel (kleiner Rank) verwenden, können Sie schnell malen. Wenn Sie zu einer riesigen Rolle wechseln (großer Rank), müssen Sie sich viel langsamer bewegen, sonst spritzt überall Farbe herum.
Das Ergebnis: Jedes Mal, wenn Sie die Größe des Zettels verdoppeln, müssen Sie die Geschwindigkeit halbieren. Das macht das Tuning mühsam, da Sie die Geschwindigkeit jedes Mal neu berechnen müssen, wenn Sie die Zettelgröße ändern.

Szenario 2: Die „Magische Konstante“-Regel (Der Durchbruch)

Wie es funktioniert: Sie beginnen damit, die Notizen auf der anderen Seite zu schreiben (eine andere Initialisierungsmethode) und verwenden einen spezifischen Skalierungsfaktor.
Die Entdeckung: In diesem Setup ändert sich die Schreibgeschwindigkeit nicht, egal wie groß der Klebezettel ist. Ob Sie einen winzigen 4x4 Zoll Zettel oder einen riesigen 1024x1024 Zoll Zettel verwenden, die perfekte Geschwindigkeit ist exakt dieselbe.
Die Analogie: Es ist wie ein selbstregulierender Stift. Egal wie groß das Papier ist, der Stift findet automatisch den perfekten Fluss. Sie müssen nicht raten; die Geschwindigkeit ist „rank-invariant“ (rang-invariant).

Die Superkraft: Die Geschwindigkeit von den Notizen auf das ganze Buch übertragen

Der aufregendste Teil der Arbeit ist das, was bei Szenario 2 passiert.

Die Autoren entdeckten, dass die „Magische Konstante“ Geschwindigkeit für die kleinen Klebezettel (LoRA) exakt dieselbe ist wie die perfekte Geschwindigkeit für das Umschreiben des gesamten Kochbuchs (Full Finetuning).

Warum ist das so wichtig?
Normalerweise ist das Tuning eines Full Finetuning (das Umschreiben des ganzen Buches) teuer und langsam, weil Sie einen massiven Computer benötigen.

Alter Weg: Sie versuchen, die Geschwindigkeit auf dem großen Computer zu optimieren, scheitern, versuchen es erneut und verschwenden Geld.
Neuer Weg (µA): Sie nutzen einen kleinen, günstigen Computer, um die Geschwindigkeit auf den winzigen Klebezetteln (LoRA) zu optimieren. Sobald Sie die perfekte Geschwindigkeit dort gefunden haben, können Sie genau diese Geschwindigkeit auf das teure Full Finetuning-Projekt kopieren, und es wird perfekt funktionieren.

Zusammenfassung der Thesen der Arbeit

LoRA ist knifflig: Die Änderung der Größe des Adapters (Rank) zerstört normalerweise Ihre Einstellungen zur Lerngeschwindigkeit, was dazu führt, dass Sie alles neu abstimmen müssen.
Es gibt eine Lösung: Durch die Wahl der richtigen Art der Initialisierung und der Skalierung der Notizen können Sie einen „Sweet Spot“ finden, an dem die Lerngeschwindigkeit unabhängig von der Adaptergröße gleich bleibt.
Der Transfer: Dieses spezifische Setup ermöglicht es Ihnen, die perfekte Lerngeschwindigkeit in einem kleinen, günstigen LoRA-Experiment zu finden und diese sofort auf ein massives, teures Full Finetuning-Projekt anzuwenden, ohne neu abstimmen zu müssen.
Beweis: Die Autoren haben dies an vielen verschiedenen Arten von KI-Aufgaben getestet (Schreiben, Sehen von Bildern, Lösen von Matheaufgaben und Erstellen von Kunst) und festgestellt, dass ihr „Universelles Handbuch“ jedes Mal funktionierte.

Kurz gesagt: Die Arbeit liefert uns eine zuverlässige Karte, um durch die verwirrende Welt des KI-Tunings zu navigieren, wodurch wir Zeit und Geld sparen, indem wir auf kleinen Modellen testen und die Ergebnisse dann selbstbewusst auf riesige Modelle übertragen können.

Technisches Resümee: Skalierung der Lernrate über LoRA-Ränge und Transfer auf Full Finetuning

Problemstellung

Low-Rank Adaptation (LoRA) ist eine Standardmethode für das parametereffiziente Finetuning (PEFT) großer Modelle, bei der eine Low-Rank-Faktorisierung $\alpha BA$ zu den eingefrorenen vortrainierten Gewichten hinzugefügt wird. Die Trainingsdynamik von LoRA ist jedoch hochgradig sensitiv gegenüber Hyperparameter-Interaktionen, insbesondere dem Initialisierungsschema (welcher Faktor randomisiert vs. auf Null gesetzt wird), dem rangabhängigen Skalierungsmultiplikator $\alpha$ und der Lernrate $\eta$ .

Praktiker stehen vor einer signifikanten Herausforderung: Die optimale Lernrate ist nicht invariant gegenüber Änderungen des LoRA-Rangs $r$ . Das Ändern des Rangs oder der Wechsel zwischen Standard-Designentscheidungen (z. B. $Init[A]$ vs. $Init[B]$, oder $\alpha=1$ vs. $\alpha=r^{-1}$ ) führt oft dazu, dass eine zuvor optimale Lernrate suboptimal wird, was ein kostspieliges Re-Tuning erforderlich macht. Zudem bleibt unklar, wie Lernraten von LoRA-Konfigurationen auf Full Finetuning (FFT) übertragen werden können, ein Prozess, der rechenintensiv ist. Die zentrale Frage, die adressiert wird, lautet: Wie hängt die optimale Lernrate $\eta$ vom Adapter-Rang $r$ und der Modellbreite $n$ unter verschiedenen LoRA-Konfigurationen ab?

Methodik

Die Autoren führen Maximal-Update Adaptation ( $\mu A$ ) ein, einen theoretischen Rahmen, der von der Maximal-Update-Parametrisierung ( $\mu P$ ) inspiriert ist, welche im Pretraining verwendet wird. Die Analyse erfolgt im gemeinsamen Grenzwert, in dem sowohl die Modellbreite $n$ als auch der LoRA-Rang $r$ gegen Unendlich streben ( $n, r \to \infty$ ).

Theoretischer Rahmen

Stabilität und nicht-verschwindende Updates: Der Rahmen definiert „stabile Merkmalslernung“ als ein Regime, in dem Merkmals-Updates beschränkt bleiben ( $O(1)$ ), um Explosionen zu verhindern, aber gleichzeitig nicht-verschwindend sind ( $\Theta(1)$ ), um sicherzustellen, dass das Lernen nicht stagniert.
Zerlegung von Updates: Das Merkmals-Update $\Delta Z_B$ wird in drei Terme ( $\delta_1, \delta_2, \delta_3$ ) zerlegt, die lineare Updates eines Faktors bei festem anderen Faktor sowie multiplikative Updates beider Faktoren repräsentieren. Die Theorie analysiert die asymptotische Skalierung dieser Terme unter verschiedenen Initialisierungsschemata.
Annahmen: Die Analyse nimmt beschränkte Vorwärts-/Rückwärts-Signale an und nutzt eine SignSGD-Optimizer-Abstraktion (ein handhabbares Proxy für Adam), um geschlossene Skalierungsregeln abzuleiten.
Initialisierungsschemata:
- Init[A]: $A$ wird zufällig initialisiert ( $A \sim \mathcal{N}(0, 1/n)$ ), $B=0$ .
- Init[B]: $B$ wird zufällig initialisiert ( $B \sim \mathcal{N}(0, 1/r)$ ), $A=0$ .
Skalierungsmultiplikatoren: Die Studie untersucht gängige Wahlmöglichkeiten für den Multiplikator $\alpha$ , einschließlich konstanter Werte ( $\alpha=1$ ) und rangabhängiger Werte ( $\alpha=r^{-1}$ ).

Ableitung der Skalierungsregeln

Durch Erzwingen der Bedingung $\Delta Z_B = \Theta(1)$ leiten die Autoren explizite Skalierungsvorschriften für $\eta$ als Funktion von $n$ und $r$ ab:

Für Init[A]: Die optimale Lernrate hängt von sowohl $n$ als auch $r$ ab. Speziell gilt: Wenn $\alpha=1$ , dann $\eta \propto n^{-1/2}r^{-1/2}$ . Wenn $\alpha=r^{-1}$ , dann $\eta \propto n^{-1/2}$ (ranginvariant).
Für Init[B]: Mit $\alpha=1$ skaliert die optimale Lernrate als $\eta \propto n^{-1}$ und ist unabhängig vom Rang $r$ . Entscheidend ist, dass diese Skalierung der theoretischen Anforderung für Full Finetuning einer linearen Schicht unter denselben Annahmen entspricht.

Zentrale Beiträge

$\mu A$ -Framework: Einführung eines theoretischen Rahmens zur Charakterisierung der LoRA-Finetuning-Dynamik im gemeinsamen $n, r \to \infty$ Limit, der Bedingungen für maximale (stabile) Adaptation definiert.
Identifizierung zweier Regime:
- Rangabhängiges Regime: Unter $Init[A]$ mit konstantem $\alpha$ skaliert die optimale Lernrate invers mit dem Rang (z. B. $\eta \propto r^{-1/2}$ ).
- Ranginvariantes Regime: Unter $Init[B]$ mit $\alpha=1$ ist die optimale Lernrate invariant gegenüber Rangänderungen.
LoRA-zu-FFT Transfer: Identifizierung einer spezifischen Konfiguration ($Init[B]$ mit $\alpha=1$ ), bei der die optimale Lernraten-Skalierung ( $\eta \propto n^{-1}$ ) mit der von Full Finetuning übereinstimmt. Dies liefert eine notwendige Bedingung für den Transfer von Lernraten von LoRA zu FFT ohne Re-Tuning.
Empirische Validierung: Umfangreiche Experimente über diverse Aufgaben (Sprache, Vision, Vision-Language, Bildgenerierung, Reinforcement Learning) und Architekturen (Llama, Qwen, RoBERTa, ViT, Stable Diffusion) validieren die abgeleiteten Skalierungsregeln.

Ergebnisse

Die experimentellen Ergebnisse stimmen konsistent mit den theoretischen Vorhersagen überein:

Init[A] mit $\alpha=1$ : Wenn der Rang $r$ steigt, sinkt die optimale Lernrate. Bei einer $4\times$ Erhöhung des Rangs sinkt die optimale Lernrate um etwa das $2\times$ (konsistent mit $\eta \propto r^{-1/2}$ ).
Init[A] mit $\alpha=r^{-1}$ : Die optimale Lernrate ist annähernd ranginvariant, wenngleich der stabile Bereich schmal ist.
Init[B] mit $\alpha=1$ : Die optimale Lernrate ist ranginvariant und stimmt bei den meisten Modellen eng mit der optimalen Lernrate für Full Finetuning überein.
Transferierbarkeit: Lernraten, die auf LoRA unter der Konfiguration $Init[B], \alpha=1$ optimiert wurden, lassen sich zuverlässig auf Full Finetuning übertragen, was die Kosten für die Hyperparameter-Suche bei FFT drastisch reduziert.
RLVR-Sensitivität: In Reinforcement Learning mit Verifiable Rewards (RLVR) führen suboptimale Lernraten nicht nur zu einer Verschlechterung der Leistung, sondern erhöhen auch die Trainingszeit signifikant (um das 2- bis 4-fache), da Modelle in explorativen Phasen stecken bleiben. Die $\mu A$ -Regeln helfen dabei, stabile Regionen zu identifizieren, um dies zu vermeiden.

Bedeutung und Behauptungen

Das Paper beansprucht, einen prinzipienbasierten Ansatz zur Auswahl der Lernrate in LoRA zu liefern, der über heuristische Regeln hinausgeht. Durch die Charakterisierung des gemeinsamen Limits von Breite und Rang erklären die Autoren, warum bestimmte Konfigurationen rangabhängige Lernraten erfordern, während andere dies nicht tun.

Die primäre Bedeutung liegt in der Transferierbarkeit von Hyperparametern. Die Autoren zeigen, dass Praktiker durch die Wahl der korrekten Initialisierung ($Init[B]$) und Skalierung ( $\alpha=1$ ) in der Lage sind:

Vermeidung von Re-Tuning der Lernraten beim Ändern der LoRA-Ränge.
Direkter Transfer der optimalen Lernrate von einem Low-Rank-LoRA-Experiment auf ein Full Finetuning-Setup, was signifikante Rechenressourcen spart.

Die Autoren merken bescheiden an, dass die Theorie asymptotisch ist und in endlichen $(n, r)$ -Settings sensitiv gegenüber Rauschen sein kann, sowie dass die abgeleitete Matching-Bedingung notwendig, aber nicht bewiesen hinreichend für alle Transfer-Szenarien ist. Die empirischen Belege deuten jedoch auf eine starke Übereinstimmung zwischen Theorie und Praxis über verschiedene Domänen hinweg hin.