🔢 mathematics

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

Dieser Artikel führt das Konzept der „Optimierer-Modell-Konsistenz" ein und zeigt, dass die Verwendung desselben Optimierers sowohl für das Vor-Training als auch für das vollständige Fine-Tuning katastrophales Vergessen reduziert und den Lern-Vergessen-Trade-off im Vergleich zu anderen Optimierern oder LoRA verbessert, während gleichzeitig aufgezeigt wird, dass bestimmte Optimierer wie Muon aufgrund einer Tendenz zum auswendigen Lernen bei Reasoning-Aufgaben schlechter abschneiden können.

Ursprüngliche Autoren: Yuxing Liu, Jianyu Wang, Tong Zhang

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuxing Liu, Jianyu Wang, Tong Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten Schüler, der Jahre damit verbracht hat, jedes Buch in einer riesigen Bibliothek zu lesen (dies ist das Pretraining). Er hat allgemeines Wissen, Grammatik und gelernt, wie man über die Welt nachdenkt. Jetzt möchten Sie ihm eine spezifische neue Fähigkeit beibringen, wie das Lösen von Matheaufgaben oder das Schreiben von Computercode (dies ist das Supervised Finetuning oder SFT).

Die große Herausforderung lautet: Wie bringen Sie ihm diese neue Fähigkeit bei, ohne dass er alles vergisst, was er in der Bibliothek gelernt hat? Wenn er sich zu sehr auf die neue Mathematik konzentriert, könnte er beginnen, zu vergessen, wie man eine einfache Geschichte schreibt. Dies wird als „Learning-Forgetting-Tradeoff" (Handel zwischen Lernen und Vergessen) bezeichnet.

Diese Arbeit entdeckt eine überraschende Regel dafür, wie man diesen Schüler am besten unterrichtet, und sie hat damit zu tun, wie Sie ihn unterrichten, nicht nur was Sie ihm beibringen.

Die Hauptentdeckung: „Derselbe Lehrer, derselbe Stil"

Die Autoren fanden heraus, dass der beste Weg, die neue Fähigkeit zu lehren, darin besteht, den exakt gleichen Lehrstil (Optimizer) zu verwenden, der während der Jahre des Bibliothekslesens eingesetzt wurde.

Die Analogie: Stellen Sie sich vor, der Schüler hat das Lesen mit einer bestimmten Methode gelernt, sagen wir „Methode A" (wie eine bestimmte Art, Text zu markieren und Notizen zu machen). Wenn Sie versuchen, ihm Mathematik mit „Methode B" beizubringen (eine völlig andere Art des Markierens und Notierens), gerät der Schüler in Verwirrung. Er mag die Mathematik lernen, aber er beginnt, seine Lesefähigkeiten zu vergessen, weil die neue Methode mit der Art kollidiert, wie sein Gehirn durch jahrelange Übung vernetzt ist.
Die Erkenntnis: Wenn Sie bei „Methode A" für den Mathematikunterricht bleiben, lernt der Schüler die Mathematik und behält seine Lesefähigkeiten intakt. Die Arbeit nennt dies „Optimizer-Model Consistency" (Konsistenz zwischen Optimierer und Modell).

Warum passiert das? (Die „Gehirnform"-Theorie)

Die Arbeit erklärt, dass verschiedene Lehrmethoden das Gehirn des Schülers (die internen Gewichte des Modells) tatsächlich auf unterschiedliche Weise formen.

Verschiedene Formen: Einige Lehrmethoden (wie AdamW, die gebräuchlichste) trainieren das Gehirn, „spärlich" oder „effizient" zu sein, wie eine Bibliothek, in der Bücher ordentlich mit leeren Räumen dazwischen organisiert sind. Andere Methoden (wie Muon, eine neuere, ausgefeilte Methode) trainieren das Gehirn, „dicht" zu sein, wie eine Bibliothek, in der Bücher eng aneinandergedrängt sind.
Die Diskrepanz: Wenn Sie das Gehirn jahrelang als „spärlich" trainieren und dann plötzlich zu einer „dichten" Lehrmethode für Mathematik wechseln, muss das Gehirn in Panik geraten, um seine gesamte Struktur neu zu ordnen. Dieses Durcheinander bringt es dazu, alte Bücher fallen zu lassen (Vergessen).
Die Übereinstimmung: Wenn Sie die „spärliche" Methode auch für Mathematik weiterverwenden, fügt das Gehirn einfach neue Bücher zu den bestehenden Regalen hinzu. Es muss die Bibliothek nicht neu aufbauen, sodass es weniger vergisst.

Die LoRA-Überraschung

Es gibt einen beliebten Abkürzungsweg namens LoRA (Low-Rank Adaptation). Stellen Sie sich LoRA vor als ein kleines, separates Notizbuch für den Schüler, in das er Matheantworten schreibt, ohne seine Hauptbibliotheksbücher zu berühren. Viele Leute dachten, dies sei der beste Weg, um Vergessen zu vermeiden.

Die Wendung der Arbeit: Die Autoren fanden heraus, dass LoRA zwar gut ist, vollständiges Neutrainieren (das Umschreiben des gesamten Gehirns) unter Verwendung der gleichen Lehrmethode wie zuvor jedoch tatsächlich noch besser ist.

Die Analogie: LoRA ist wie das Tragen eines separaten Notizbuchs. Es funktioniert, aber wenn Sie denselben Lehrstil verwenden, um Ihr Hauptgehirn neu zu schreiben, können Sie die neue Mathematik und die alten Lesefähigkeiten noch effektiver bewahren als nur mit einem Nebennotizbuch.

Der Fall des „Auswendiglerners" (Muon)

Die Arbeit untersuchte auch eine spezifische, fortgeschrittene Lehrmethode namens Muon.

Das Gute: Muon ist großartig in der Bibliotheksphase (Pretraining). Es hilft dem Schüler, Fakten unglaublich gut auswendig zu lernen.
Das Schlechte: Wenn es darum geht, neue Denkfähigkeiten (wie Mathematik) mit sehr wenigen Daten zu lernen, neigt Muon dazu, ein „Auswendiglerner" zu sein. Es versucht, die spezifischen Matheaufgaben auswendig zu lernen, die es sieht, anstatt die zugrunde liegenden Muster zu verstehen.
Das Ergebnis: Wenn Sie Muon für die gesamte Reise verwenden (Bibliothek + Mathematik), könnte der Schüler zwar hervorragend Fakten aufsagen können, aber Schwierigkeiten haben, neue, ungesehene Matheaufgaben zu lösen. Sie haben die Beispiele auswendig gelernt, aber nicht die Logik verstanden.

Zusammenfassung in einfacher Sprache

Konsistenz ist der Schlüssel: Um eine neue Fähigkeit zu lernen, ohne alte zu vergessen, verwenden Sie weiterhin denselben Lernalgorithmus (Optimizer), mit dem das Modell ursprünglich trainiert wurde.
Wechseln Sie nicht den Stil: Das Ändern des Lernalgorithmus auf halbem Weg zwingt das Modell, sein „Gehirn" neu zu organisieren, was dazu führt, dass es altes Wissen verliert.
Vollständiges Neutrainieren > Abkürzungen: Manchmal ist ein vollständiges Neutrainieren mit dem richtigen Algorithmus besser als die Verwendung von Abkürzungen wie LoRA, da es besser mit der ursprünglichen Struktur des Modellgehirns übereinstimmt.
Vorsicht vor übermäßigem Auswendiglernen: Einige fortgeschrittene Algorithmen (wie Muon) sind großartig im Auswendiglernen, aber möglicherweise schlechter darin, neue Muster zu lernen, wenn die Daten knapp sind.

Die Arbeit kommt zu dem Schluss, dass Sie, wenn Sie das beste Gleichgewicht zwischen dem Lernen neuer Dinge und dem Erinnern alter Dinge wünschen, bei demselben Lehrer bleiben sollten, mit dem Sie begonnen haben.

Technische Zusammenfassung: Konsistenz zwischen Optimierer und Modell

Problemstellung

Im Trainingsparadigma von Large Language Models (LLMs) durchlaufen Modelle eine Vorabtrainingsphase auf massiven Korpora, gefolgt von einer Supervised Fine-Tuning (SFT)-Phase auf kleineren, hochwertigen Datensätzen, um spezifische Fähigkeiten zu erwerben. Eine kritische Herausforderung bei SFT ist der Trade-off zwischen Lernen und Vergessen: Das Modell muss neues, aufgaben spezifisches Wissen erlernen, während es die während des Vorabtrainings erworbenen allgemeinen Sprachfähigkeiten bewahrt.

Obwohl verschiedene Optimierer (z. B. AdamW, Muon) und parameter-effiziente Methoden (z. B. LoRA) eingesetzt werden, ist unklar, welche Kombination den optimalen Ausgleich zwischen dem Erlernen neuer Aufgaben und der Minimierung katastrophalen Vergessens bietet. Die bestehende Literatur liefert widersprüchliche Intuitionen; einige Studien deuten darauf hin, dass LoRA aufgrund seiner Low-Rank-Natur inhärent weniger vergisst, während andere die Bedeutung der Wahl des Optimierers betonen. Diese Arbeit untersucht, ob die Wahl des Optimierers bei SFT von dem beim Vorabtraining verwendeten Optimierer entkoppelt oder mit diesem abgestimmt werden sollte.

Methodik

Die Autoren verwenden eine Kombination aus empirischen Experimenten und theoretischer Analyse, um den Zusammenhang zwischen der Wahl des Optimierers und der Modellleistung während SFT zu untersuchen.

Empirische Experimente

Modelle und Datensätze: Die Experimente wurden an GPT-2-small (von Grund auf neu vortrainiert) und Llama-2-7B durchgeführt. Das Vorabtraining nutzte den OpenWebText-Datensatz. SFT wurde an drei unterschiedlichen Aufgaben durchgeführt: MetaMathQA (mathematisches Schlussfolgern), Alpaca (Befolgung von Anweisungen) und Magicoder (Codegenerierung).
Vergleichene Optimierer: Die Studie vergleicht AdamW, Muon (ein matrixstrukturierter Optimierer) und SGD. Zudem wird LoRA (Low-Rank Adaptation) mit verschiedenen Rängen ( $r=4, 8, 32, 64, 128, 256$ ) evaluiert.
Bewertungsmetrik: Die Autoren definieren eine Pareto-Frontier, um den Trade-off zwischen Lernen und Vergessen zu visualisieren.
- Vergessen: Gemessen durch den Validierungsverlust auf dem Vorabtrainingsdatensatz (OpenWebText) oder den Rückgang bei allgemeinen Fähigkeits-Benchmarks. Ein niedrigerer Verlust deutet auf weniger Vergessen hin.
- Lernen: Gemessen durch den Validierungsverlust bei der neuen SFT-Aufgabe oder die aufgabenspezifische Genauigkeit. Ein niedrigerer Verlust/höhere Genauigkeit deutet auf besseres Lernen hin.
- Protokoll: Für jeden Trainingsalgorithmus wurde eine Grid-Suche über Lernraten durchgeführt, um die Pareto-Frontier zu identifizieren, um einen fairen Vergleich der Grenzen des Algorithmus sicherzustellen, anstatt nur eine einzelne Hyperparameter-Einstellung zu betrachten.
Synthetische Analyse: Um zu verstehen, warum bestimmte Optimierer sich unterschiedlich verhalten, führten die Autoren ein synthetisches Experiment mit einem korrupten Sprachkorpus durch. Sie ordneten die Token-Reihenfolge in sauberen Sequenzen zufällig um, um sprachliche Muster zu zerstören und das Modell zu zwingen, sich auf Auswendiglernen zu verlassen. Dies ermöglichte es ihnen, zwischen der Fähigkeit eines Optimierers, Muster zu erlernen, und seiner Tendenz, Daten auswendig zu lernen, zu unterscheiden.

Theoretische Analyse

Die Arbeit bietet einen theoretischen Rahmen basierend auf matrixinduzierten Normen (folgend Pethick et al., 2025).

Optimierer als Regularisierer: Die Autoren postulieren, dass Optimierer nicht nur zu einer Lösung konvergieren, sondern die Gewichte und Aktivierungen des Modells formen. Spezifisch regularisiert ein Optimierer, der von einer Norm $\|\cdot\|_{\alpha, \beta}$ $∥ \cdot ∥_{α, β}$ abgeleitet ist, Eingabe-Aktivierungen implizit durch $\|\cdot\|_\alpha$ $∥ \cdot ∥_{α}$ und Ausgabe-Aktivierungen durch $\|\cdot\|_\beta$ $∥ \cdot ∥_{β}$ .
- AdamW (abgeleitet von $A_{1,\infty}$ ) regularisiert Eingaben über $\|\cdot\|_1$ , was zu spärlichen Aktivierungen führt.
- Muon (abgeleitet von $A_{2,2}$ ) regularisiert Eingaben über $\|\cdot\|_2$ , was zu dichteren Aktivierungen führt.
Approximation des Vergessens: Mithilfe einer Taylor-Reihenentwicklung wird die Zunahme des Vorabtrainingsverlusts (Vergessen) nach SFT als proportional zum erwarteten quadratischen Norm des auf Vorabtrainings-Eingaben angewendeten Gewichts-Updates angenähert ( $\mathbb{E}[\|\Delta W x\|_2^2]$ ).
Konsistenz-Hypothese: Die Theorie legt nahe, dass zur Minimierung des Vergessens das SFT-Update ( $\Delta W$ ) mit der Krümmung der durch das Vorabtraining etablierten Verlustlandschaft übereinstimmen sollte. Diese Ausrichtung wird erreicht, wenn der SFT-Optimierer derselben Familie (gleiche $\alpha, \beta$ ) angehört wie der Vorabtrainings-Optimierer.

Wichtige Ergebnisse

1. Konsistenz zwischen Optimierer und Modell

Das zentrale Ergebnis ist die Konsistenz zwischen Optimierer und Modell: Das vollständige Fine-Tuning mit dem gleichen Optimierer (oder derselben Familie von Optimierern), der beim Vorabtraining verwendet wurde, erzielt konsistent den besten Trade-off zwischen Lernen und Vergessen.

AdamW-Vorabtraining: Wenn AdamW für das Vorabtraining verwendet wird, übertrifft das vollständige Fine-Tuning mit AdamW das vollständige Fine-Tuning mit Muon oder SGD und schneidet auch besser ab als LoRA bei allen Aufgaben (Mathematik, Code, Anweisungen).
Muon-Vorabtraining: Ebenso erzielt das vollständige Fine-Tuning mit Muon, wenn Muon für das Vorabtraining verwendet wurde, den besten Trade-off im Vergleich zur Verwendung von AdamW oder SGD für SFT.
Vergleich mit LoRA: Im Gegensatz zur Intuition, dass LoRA weniger vergisst, zeigt die Analyse der Pareto-Frontier, dass für jeden LoRA-Checkpoint ein vollständiger Fine-Tuning-Checkpoint (unter Verwendung desselben Optimierers) existiert, der sowohl besseres Lernen (niedrigerer Aufgabenverlust) als auch weniger Vergessen (niedrigerer Vorabtrainingsverlust) erreicht. Dies gilt, wenn eine angemessene Lernraten-Sweep betrachtet wird.

2. Leistung von Muon bei Schlussfolgerungsaufgaben

Während Muon oft überlegene vortrainierte Checkpoints erzeugt (niedrigerer Vorabtrainingsverlust), verschlechtert sich seine Leistung im Vergleich zu AdamW, wenn es auf Schlussfolgerungsaufgaben (z. B. MetaMathQA) feinabgestimmt wird.

Auswendiglernen vs. Musterlernen: Das synthetische Experiment ergab, dass Muon korrupte (musterlose) Daten schneller auswendig lernt als AdamW oder SGD.
Implikation: Bei SFT, wo Daten knapp sind, kann Muons Tendenz, Auswendiglernen gegenüber dem Erwerb von Mustern zu priorisieren, das Erlernen komplexer Schlussfolgerungsfähigkeiten behindern und zu einer schlechteren Endleistung bei Aufgaben führen, die Generalisierung erfordern, trotz seiner starken Vorabtrainingsmetriken.

3. Die Rolle der Lernraten

Die Arbeit hebt hervor, dass der Trade-off zwischen Lernen und Vergessen stark von der Lernrate abhängt. Frühere Studien, die nahelegten, dass LoRA weniger vergisst, fixierten die Lernrate oft auf diejenige, die für die Aufgabe optimal war. Wenn die Lernrate durchsucht wird, kann das vollständige Fine-Tuning einen überlegenen Trade-off einfach durch Senkung der Lernrate erreichen, eine Strategie, die LoRA in diesem spezifischen Kontext nicht so effektiv replizieren kann.

Bedeutung und Behauptungen

Die Arbeit behauptet, Konsistenz zwischen Optimierer und Modell als grundlegendes Prinzip für das LLM-Training zu etablieren:

Vereinheitlichte Metrik: Der Trade-off zwischen Lernen und Vergessen über die gesamte Pipeline von Vorabtraining bis SFT ist eine umfassendere Metrik zur Bewertung eines Optimierers als die Vorabtrainingsleistung allein.
Praktische Anleitung: Um Vergessen zu minimieren und gleichzeitig das Aufgabenlernen zu maximieren, sollten Praktiker dieselbe Familie von Optimierern für SFT verwenden wie für das Vorabtraining.
Neubewertung von Muon: Obwohl Muon ein leistungsstarker Vorabtrainings-Optimierer ist, kann sein Update-Mechanismus (Full-Rank, $L_2$ -Regularisierung) dazu neigen, bei SFT-Regimen mit wenig Daten zu übermäßiger Memorisation zu führen, insbesondere bei Schlussfolgerungsaufgaben. Dies legt nahe, dass eine dedizierte, potenziell andere Fine-Tuning-Strategie für Muon-vortrainierte Modelle erforderlich sein könnte, um ihr volles Potenzial auszuschöpfen.
Theoretische Einsicht: Die Arbeit schließt die Lücke zwischen dem Design von Optimierern (Normen) und dem Modellverhalten (Spärlichkeit der Aktivierungen) und bietet eine theoretische Erklärung dafür, warum Konsistenz bei der Wahl des Optimierers wichtig ist.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Experimente aufgrund von Rechenbeschränkungen hauptsächlich an kleineren Modellen (GPT-2, Llama-2-7B) durchgeführt wurden und dass die theoretischen Beweise auf vereinfachenden Annahmen (z. B. block-diagonale Hessische Matrizen) beruhen. Sie schlagen vor, dass zukünftige Arbeiten diese Erkenntnisse auf größere Modelle skalieren und Optimierer untersuchen sollten, die speziell entwickelt wurden, um die Memorisationstendenzen matrixstrukturierter Optimierer während SFT zu mildern.