💬 NLP

Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting

Dieser Artikel zeigt, dass die Voreingenommenheit der Pretraining-Optimierung zugunsten flacherer Minima durch Methoden wie Sharpness-Aware Minimization, große Lernraten oder verkürzte Annealing-Perioden das katastrophale Vergessen erheblich mindert und die Downstream-Leistung über verschiedene Modellgrößen und Nachtrainingsaufgaben hinweg verbessert.

Ursprüngliche Autoren: Ishaan Watts, Catherine Li, Sachin Goyal, Jacob Mitchell Springer, Aditi Raghunathan

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ishaan Watts, Catherine Li, Sachin Goyal, Jacob Mitchell Springer, Aditi Raghunathan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Meisterkoch (das KI-Modell), indem Sie ihn Millionen verschiedener Gerichte probieren lassen (Pretraining). Das Ziel ist es, ihn zum bestmöglichen Koch zu machen, bevor Sie ihn in eine spezifische Restaurantküche schicken (Post-Training/Feinabstimmung).

Lange Zeit glaubten Forscher, dass in dieser initialen Trainingsphase nur eines zähle: den Koch so gut wie möglich schmecken zu lassen. Sie gingen davon aus, dass ein Koch, der als „perfekter" Generalist begann, später automatisch ein großartiger Spezialist wäre, egal welche Veränderungen in der Küche stattfanden.

Das Problem: Der „starre" Koch
Diese Arbeit argumentiert, dass diese Annahme falsch ist. Es stellt sich heraus, dass einige Köche so starr darauf trainiert werden, beim allgemeinen Probieren perfekt zu sein, dass sie leicht brechen, wenn man sie auffordert, etwas Neues zu tun.

Stellen Sie sich das wie einen Ball vor, der in einem Tal sitzt.

Der Standardansatz (AdamW): Dieser trainiert den Koch, in einem sehr tiefen, schmalen und scharfen Tal zu sitzen. Er ist sehr gut darin, genau dort zu bleiben, wo er ist. Aber wenn Sie ihn leicht anstoßen (wie etwa wenn man ihn bittet, ein neues Rezept zu lernen oder sein Gedächtnis zu komprimieren, damit es in eine kleinere Tasche passt), rollt er sofort aus dem Tal heraus. Sie „vergessen" alles, was sie wussten.
Die Lösung der Arbeit (Sharpness-Aware): Dieser trainiert den Koch, in einem weiten, flachen Tal zu sitzen. Er mag nicht den absolut tiefsten Punkt des Tals erreichen, aber er ist von flachem Grund umgeben. Wenn Sie ihn anstoßen, fallen sie nicht heraus; sie rollen nur ein wenig und bleiben sicher. Sie sind „robust".

Was die Forscher taten
Das Team testete drei Methoden, um diese „flach-tal"-Köche anstelle von „scharf-tal"-Köchen zu trainieren:

Die „Schüttel"-Methode (SAM): Sie verwendeten eine spezielle Technik namens Sharpness-Aware Minimization. Stellen Sie sich vor, während der Koch lernt, schütteln Sie sanft den Tisch. Wenn der Koch das Essen trotzdem korrekt schmecken kann, während der Tisch wackelt, lernt er, stabil zu sein. Dies zwingt das Modell, diese weiten, flachen Täler zu finden.
Die „Schnelle Spur"-Methode (Hohe Lernraten): Sie ließen den Koch am Anfang schneller und aggressiver lernen. Das ist wie ein Rennen; wenn Sie schnell genug laufen, vermeiden Sie es natürlich, in winzige, tiefe Löcher auf der Straße zu geraten.
Die „Schneller Stopp"-Methode (Kürzeres Annealing): Normalerweise endet das Training, indem man den Koch langsam verlangsamt. Die Forscher fanden heraus, dass das frühe Beenden der Verlangsamung (das Tempo länger hochzuhalten) dem Koch half, in diesem stabilen, flachen Bereich zu bleiben.

Die Ergebnisse
Sie testeten dies an Modellen unterschiedlicher Größe (von klein bis mittelgroß) und stellten fest:

Weniger Vergessen: Wenn diese „flach-tal"-Modelle später aufgefordert wurden, spezifische Aufgaben zu lernen (wie Mathematik oder Programmieren) oder ihr Gedächtnis komprimiert wurde (Quantisierung), um schneller zu laufen, vergaßen sie viel weniger von ihrem ursprünglichen Wissen.
Der „Mid-Training"-Hack: Sie müssen diese spezielle „Schüttel"-Methode nicht während des gesamten Trainingsprozesses anwenden, was teuer ist. Sie fanden heraus, dass die Verwendung nur für die letzten 10 % des Trainings (die „Annealing"-Phase) fast alle Vorteile für einen winzigen Bruchteil der Kosten brachte.
Realwelt-Beweis: Sie testeten dies an einem großen Modell mit einer Milliarde Parametern (OLMo-2-1B). Obwohl das mit dieser Methode trainierte Modell bei allgemeinen Aufgaben zunächst etwas „schwächer" begann, wurde es 31 % besser darin, seine Fähigkeiten zu behalten, nachdem es Mathematik gelernt hatte, und 40 % besser darin, seine Fähigkeiten zu bewahren, nachdem es zur Effizienz komprimiert worden war.

Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass wir KI nicht nur dafür trainieren sollten, am Startpunkt die „Besten" zu sein. Wir sollten sie flexibel und stabil trainieren, damit sie nicht zerbricht, wenn wir ihre Umgebung später ändern.

Es ist der Unterschied zwischen dem Trainieren eines Gymnasten, eine perfekte, starre Pose zu halten (die bricht, wenn der Boden kippt), und dem Trainieren eines Gymnasten, der ein starkes, ausgeglichenes Schwerezentrum hat (das es ihm ermöglicht, sich an jede neue Bewegung anzupassen, ohne zu fallen). Indem wir uns auf dieses „Gleichgewicht" (Flachheit) konzentrieren und nicht nur auf „Perfektion" (Schärfe), erhalten wir KI-Modelle, die viel besser darin sind, neue Dinge zu lernen, ohne die alten zu vergessen.

Technische Zusammenfassung: Scharfheitsbewusstes Pretraining mildert katastrophales Vergessen

Problemstellung

Aktuelle Pretraining-Optimierungsstrategien sind typischerweise darauf abgestimmt, die Qualität des Basismodells zu maximieren, gemessen am Pretraining-Verlust oder der Benchmark-Leistung, unter der Annahme, dass ein stärkeres Basismodell nach nachfolgenden Änderungen wie Fine-Tuning (Post-Training) oder Quantisierung zu einem stärkeren Modell führt. Neuere Arbeiten zeigen jedoch, dass diese Annahme versagen kann: Eine Erweiterung des Pretrainings über einen bestimmten Punkt hinaus kann den Pretraining-Verlust verbessern, während die Downstream-Leistung nach dem Post-Training verschlechtert wird.

Das erkannte Kernproblem besteht darin, dass die Evaluation des Basismodells die Stabilität der Modellfähigkeiten unter Parameter-Updates ignoriert. Modelle, die gegenüber diesen Updates hochsensitiv sind, leiden unter „katastrophalem Vergessen" und verlieren vortrainierte Fähigkeiten unabhängig von ihrer anfänglichen Stärke. Diese Sensitivität ist mit der Geometrie der Verlustlandschaft verknüpft; insbesondere sind Modelle, die zu „scharfen" Minima konvergieren, anfälliger für Leistungsverschlechterungen, wenn Parameter während Downstream-Aufgaben gestört werden.

Methodik

Die Autoren untersuchen drei Pretraining-Optimierungsansätze, die das Modell zu flacheren Minima hin lenken und dadurch die Sensitivität gegenüber lokalen Parameterstörungen reduzieren:

Sharpness-Aware Minimization (SAM): Eine explizite Optimierungsmethode, die die Verlustkrümmung bestraft. SAM sucht nach Parametern $\theta$ , die den maximalen Verlust innerhalb einer Nachbarschaft mit dem Radius $\rho$ minimieren und findet effektiv Minima, die auch bei kleinen Störungen einen niedrigen Verlust aufweisen.
Erhöhte Peak-Learning-Rates: Ein impliziter Ansatz, der auf dem Phänomen „Edge of Stability" basiert, bei dem größere Learning Rates die maximale Eigenvalue der Hesse-Matrix implizit begrenzen und dadurch die Schärfe des Verlusts reduzieren.
Verkürzte Learning-Rate-Annealing: Die Anpassung des Learning-Rate-Schedules, um die Dauer der Abklingphase am Ende des Trainings zu verkürzen, motiviert durch die Erkenntnis, dass die Dynamik in der späten Phase die finale Geometrie der Lösung erheblich beeinflusst.

Die Studie bewertet diese Interventionen über Modellgrößen von 20 Millionen bis 150 Millionen Parametern und validiert sie im großen Maßstab an einem 1-Milliarden-Parameter-Modell (OLMo-2-1B). Die Evaluation konzentriert sich auf zwei primäre Zielkonflikte:

Lernen-Vergessen-Zielkonflikt: Das Gleichgewicht zwischen dem Erwerb neuer Fähigkeiten (Fine-Tuning-Verlust) und dem Beibehalten vortrainierter Fähigkeiten (Pretraining-Verlust nach Fine-Tuning).
Komprimierung-Vergessen-Zielkonflikt: Der Abbau von Fähigkeiten, wenn das Modell durch Quantisierung (z. B. 4-Bit) komprimiert wird.

Die Autoren analysieren zudem die Hesse-Matrix, um zu überprüfen, ob diese Methoden die gerichtete Schärfe entlang der Fine-Tuning-Richtung tatsächlich reduzieren und ob die Taylor-Approximation zweiter Ordnung des Verlusts für Fine-Tuning-Störungen gilt.

Wichtige Beiträge und Ergebnisse

1. Verbesserter Lernen-Vergessen-Zielkonflikt

Über mehr als 80 Pretraining-Läufe und 3.500 Fine-Tuning-Experimente hinweg stellen die Autoren fest, dass scharfheitsbewusste Interventionen den Lernen-Vergessen-Zielkonflikt konsistent verbessern:

SAM-Leistung: Mit SAM vortrainierte Modelle erreichen eine überlegene Pareto-Grenze im Vergleich zum Standard-AdamW. Beispielsweise reduziert SAM auf dem StarCoder-Datensatz das Vergessen um 80 % bei gleichem Fine-Tuning-Verlust.
Skalierungseffekte: Der Vorteil von SAM gegenüber AdamW wächst mit steigendem Pretraining-Token-Budget. Während AdamW-Checkpoints mit mehr Training zunehmend sensitiver werden (katastrophales Overtraining), mildert SAM dies ab und zeigt die stärksten Vorteile in Token-reichen Regimen.
Modellgröße: Die Vorteile bestehen bei Kontrolle des Token-zu-Parameter-Verhältnisses fort und wachsen sogar mit der Modellskalierung (20 Millionen bis 150 Millionen Parameter).

2. Robustheit über Fine-Tuning hinaus

Die durch scharfheitsbewusstes Pretraining vermittelte Robustheit erstreckt sich auf andere Downstream-Störungen:

Quantisierung: Mit SAM trainierte Modelle zeigen bei 4-Bit-Quantisierung eine deutlich geringere Leistungsverschlechterung. In Token-reichen Regimen führt SAM zu einer 2- bis 3-fach geringeren durch Quantisierung verursachten Verlustzunahme im Vergleich zur Basislinie.
Gaußsche Störungen: Mit SAM trainierte Modelle sind weniger empfindlich gegenüber isotropem Gaußschem Rauschen, das zu den Gewichten hinzugefügt wird, was auf eine robustere lokale Geometrie hindeutet.

3. Implizite Methoden und praktische Skalierbarkeit

Learning-Rate-Dynamik: Sowohl höhere Peak-Learning-Rates als auch kürzere Annealing-Perioden verbessern den Lernen-Vergessen-Zielkonflikt, selbst wenn sie zu einem leicht schlechteren Pretraining-Verlust des Basismodells führen.
Intervention in der Mitte des Trainings: Um die Rechenkosten von SAM zu adressieren (die den Rechenaufwand pro Schritt etwa verdoppeln), schlagen die Autoren vor, SAM nur während der Learning-Rate-Annealing-Phase anzuwenden.
- In Experimenten mit OLMo-2-1B reduzierte die Anwendung von SAM nur während der letzten 10 % des Trainings (Mid-Training) das Vergessen um 31 % nach MetaMath-Post-Training und um 40 % nach 4-Bit-Quantisierung im Vergleich zur Standard-Basislinie. Dieser Ansatz erfasst den Großteil des Nutzens bei vernachlässigbarem zusätzlichem Rechenaufwand.

4. Hesse-Matrix-Analyse

Die Arbeit validiert ihre theoretische Intuition durch die Analyse der Hesse-Matrix:

Quadratische Approximation: Die Taylor-Entwicklung zweiter Ordnung des Verlusts dient als vernünftige obere Schranke für das Vergessen, insbesondere für mit SAM trainierte Modelle.
Gerichtete Schärfe: Sowohl SAM als auch höhere Peak-Learning-Rates reduzieren explizit die gerichtete Schärfe ( $\Delta_{FT}^\top H \Delta_{FT} / \|\Delta_{FT}\|^2$ ) entlang der Fine-Tuning-Richtung. Die Reduktion des Vergessens wird durch diese Abflachung der Verlustlandschaft verursacht und nicht durch eine Verringerung der Schrittgröße beim Fine-Tuning.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Parameterempfindlichkeit gegenüber Post-Training-Updates eine kritische, jedoch übersehene Verbindung zwischen Pretraining-Dynamik und Downstream-Leistung darstellt. Die Autoren argumentieren, dass die Standardpraxis, ausschließlich auf die Qualität des Basismodells zu optimieren, unzureichend ist.

Zu den wichtigsten Behauptungen gehören:

Neudefinition der Pretraining-Ziele: Pretraining-Rezepte sollten sowohl für die Qualität des Basismodells als auch für eine geringe Empfindlichkeit gegenüber nachgelagerten Parameteränderungen ausgewählt werden.
Optimierung für die Pipeline: Das Pretraining von Sprachmodellen sollte für die gesamte Modellentwicklungs-Pipeline (einschließlich Fine-Tuning, Alignment und Komprimierung) optimiert werden und nicht isoliert für den Basis-Checkpoint.
Praktische Auswirkungen: Praktiker können erhebliche Robustheitsvorteile erzielen, indem sie scharfheitsbewusste Techniken (wie SAM) selektiv in der späten Trainingsphase (Annealing) einsetzen, anstatt während des gesamten Pretraining-Prozesses, was den Ansatz skalierbar macht.

Die Autoren schließen, dass die Behandlung von Anpassungsfähigkeit und geringer Sensitivität als erstklassige Evaluierungskriterien vortrainierte Modelle zu stärkeren Ausgangspunkten für zukünftige Änderungen machen kann, selbst wenn das Basismodell selbst nach traditionellen Pretraining-Verlustmetriken etwas schwächer erscheint.