Technische Zusammenfassung: Feinabstimmung ohne Vergessen durch verlustadaptive Lernraten

Problemstellung

Die Feinabstimmung großer Sprachmodelle (LLMs) auf neue, aufgaben spezifische Korpora führt häufig zu katastrophalem Vergessen, wobei während des Pretrainings erworbene Fähigkeiten (wie allgemeines Schlussfolgern, Sicherheitsausrichtung und Faktizität) erheblich beeinträchtigt werden. Bestehende Minderungsstrategien lassen sich im Allgemeinen in zwei Kategorien einteilen:

1. Daten-Wiedergabe: Beimischen von Pretrainingsdaten zu Aufgabendaten während der Feinabstimmung. Dies ist oft nicht machbar, da Pretrainingsdaten für moderne LLMs proprietär oder nicht verfügbar sind.
2. Zielmodifikation: Unterdrückung des Einflusses „schwieriger" Tokens oder Sequenzen (jene, die vom vortrainierten Modell mit hohem Verlust bewertet werden) während der Feinabstimmung. Methoden umfassen das Herabstufen des Gewichts von Sequenzen mit hohem Verlust (FLOW), das Maskieren von Tokens mit hoher Entropie (STM) oder das Neugewichten von Verlusten (TALR, DFT).

Die Arbeit identifiziert einen kritischen Fehler bei Ansätzen zur Zielmodifikation: In Szenarien, die den Erwerb neuen Wissens erfordern (z. B. das Erlernen neuer Fakten) oder die Anpassung an ressourcenarme Sprachen, sind genau die „schwierigen" Tokens für das Erlernen der neuen Aufgabe essenziell. Ihre Unterdrückung verbessert zwar die Metriken zum Vergessen, beeinträchtigt jedoch die Leistung bei der Zielaufgabe erheblich und führt zu einem schlechten Pareto-Verhältnis.

Methodik: FINCH

Die Autoren schlagen FINCH (Forgetting-aware Inverse loss schedule) vor, eine Methode, die das Vergessen nicht durch Änderung des Trainingsziels oder der Datenverteilung kontrolliert, sondern durch die Anpassung der Lernrate auf Schritt-für-Schritt-Basis.

Theoretische Grundlage

Der Kerngedanke ist eine theoretische Schranke für das Vergessen pro Schritt. Die Autoren leiten her, dass die Zunahme des Verlusts bei alten Aufgaben ($\Delta L_{old}$) zu jedem Trainingsschritt $i$ durch das Produkt der Lernrate ($\eta_i$) und der Quadratwurzel des aktuellen Mini-Batch-Verlusts ($L_{B_i}$) begrenzt ist:
$$\Delta L_{old}(p_i) \leq C_1 \eta_i \sqrt{L_{B_i}(\theta_i)} + C_2 \eta_i^2 L_{B_i}(\theta_i)$$
Dies impliziert, dass Schritte mit hohem Trainingsverlust (typischerweise zu Beginn der Feinabstimmung oder bei schwierigen Stichproben) die Haupttreiber des Vergessens sind.

Der adaptive Zeitplan

Um die Schranke für das Vergessen pro Schritt während des gesamten Trainings einheitlich zu halten, setzt FINCH die Lernrate umgekehrt proportional zur Quadratwurzel des Mini-Batch-Verlusts:
$$\eta_i = \frac{\kappa}{\sqrt{L_{B_i}(\theta_i)}}$$
In der Praxis wird dies unter Verwendung eines exponentiellen gleitenden Durchschnitts (EMA) der Mini-Batch-Verluste ($\bar{L}_i$) implementiert, um Stabilität zu gewährleisten, mit einer Obergrenze für die maximale Lernrate ($\eta_{max}$) und einem kleinen Epsilon für numerische Stabilität:
$$\eta_i = \min\left( \frac{\eta_{base}}{\sqrt{\bar{L}_i + \epsilon}}, \eta_{max} \right)$$
Schlüsselmechanismus:

• Mini-Batches mit hohem Verlust: Die Lernrate wird reduziert, wodurch die Größe der Updates minimiert wird, die die erhaltenen Fähigkeiten schädigen könnten.
• Mini-Batches mit niedrigem Verlust: Wenn das Modell konvergiert und der Verlust sinkt, erhöht sich die Lernrate, was eine effiziente Optimierung ermöglicht.
• Erhaltung des Ziels: Im Gegensatz zu anderen Methoden lässt FINCH das Trainingsziel (Cross-Entropy) unverändert. Tokens mit hohem Verlust tragen weiterhin zum Lernen bei, wodurch sichergestellt wird, dass das Modell neues Wissen erwerben kann.

Hauptbeiträge

1. Theoretische Schranke: Die Arbeit stellt einen theoretischen Zusammenhang zwischen Vergessen pro Schritt, Lernrate und Trainingsverlust her und zeigt, dass das Vergessen durch $\eta \sqrt{L}$ begrenzt ist.
2. FINCH-Algorithmus: Ein einfacher, datenunabhängiger Lernratenzeitplan, der keinen Zugriff auf Pretrainingsdaten erfordert und keine Änderung des Feinabstimmungsziels notwendig macht.
3. Pareto-Optimierung: FINCH erzielt im Vergleich zu State-of-the-Art-Baselines ein überlegenes Verhältnis zwischen der Genauigkeit der Zielaufgabe und der Erhaltung allgemeiner Fähigkeiten.

Experimentelle Ergebnisse

Die Autoren bewerten FINCH in drei Szenarien, in denen vortrainierte Modelle eine begrenzte Abdeckung aufweisen: Wissenserwerb (TOFU), Wissenschaftliches Schlussfolgern (SciKnowEval) und Anpassung an ressourcenarme Sprachen (Galician Alpaca). Die Experimente wurden an Qwen3-4B und Llama-3-8B durchgeführt.

Leistungsmetriken

• Reduktion des Vergessens: FINCH reduziert das durchschnittliche Vergessen um 93 % im Vergleich zur standardmäßigen überwachten Feinabstimmung (SFT) über alle Aufgaben hinweg.
• Genauigkeit der Zielaufgabe: FINCH erreicht die Genauigkeit der Zielaufgabe der standardmäßigen SFT und von LoRA oder übertrifft sie. Beispielsweise erzielt FINCH beim Wissenserwerb mit Qwen3-4B eine Genauigkeit von 83,3 % (vergleichbar mit 83,5 % bei SFT), während die durchschnittliche Benchmark-Verschlechterung von -9,6 auf +0,1 reduziert wird.
• Erhaltung der Zuverlässigkeit:
  • Faktizität: Auf TruthfulQA reduziert FINCH die Verschlechterung um das 5-Fache im Vergleich zu SFT (von -13,9 auf -2,6 Punkte).
  • Halluzinationserkennung: Auf HaluEval kehrt FINCH die bei SFT beobachtete Verschlechterung um und verbessert die Leistung um +3,3 Punkte.
  • Kalibrierung: FINCH erhält die Vertrauenskalibrierung (gemessen durch den Brier-Score) besser als die standardmäßige SFT, obwohl eine gewisse Verschlechterung bestehen bleibt.

Vergleich mit Baselines

• Methoden zur Zielmodifikation (FLOW, DFT, STM): Diese Methoden reduzieren zwar oft das Vergessen, versagen jedoch beim effektiven Erlernen der neuen Aufgabe, was zu einer signifikant niedrigeren Genauigkeit der Zielaufgabe führt.
• Parameter-effiziente Methoden (LoRA): Obwohl LoRA effektiv das Vergessen reduziert, führt es im Vergleich zu FINCH immer noch zu einer erheblichen Verschlechterung der allgemeinen Fähigkeiten.
• Feste kleine Lernrate: Eine einfache Senkung der Lernrate reduziert zwar das Vergessen, erreicht jedoch keine wettbewerbsfähige Genauigkeit bei der neuen Aufgabe, was bestätigt, dass die adaptive Natur von FINCH entscheidend ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Lernratenzeitpläne ein ungenutztes Werkzeug zur Gestaltung des Modellverhaltens während der Feinabstimmung sind. Durch die dynamische Anpassung der Schrittgroße basierend auf der Schwierigkeit des aktuellen Mini-Batches (wie durch den Verlust reflektiert), ermöglicht FINCH Modellen, neue, schwierige Informationen zu erlernen, ohne vortrainiertes Wissen katastrophal zu überschreiben.

Die Autoren betonen, dass ihr Ansatz datenunabhängig ist, was ihn für moderne LLMs praktikabel macht, bei denen Pretrainingsdaten nicht zugänglich sind. Sie schließen daraus, dass FINCH eine Pareto-optimale Lösung bietet, die eine hohe Leistung bei der Zielaufgabe erzielt und gleichzeitig Faktizität, Halluzinationserkennung und allgemeine Schlussfolgerungsfähigkeiten erhält, und damit Methoden übertrifft, die versuchen, Vergessen durch Unterdrückung schwieriger Beispiele zu mindern.

Anerkannte Einschränkungen:

• Die theoretische Analyse wurde für SGD hergeleitet, obwohl die Experimente AdamW verwenden.
• Obwohl FINCH die Verschlechterung der Kalibrierung reduziert, erhält es die Kalibrierung des vortrainierten Modells nicht vollständig.
• Die Experimente sind aufgrund von Rechenbeschränkungen auf Modelle mit bis zu 8 Milliarden Parametern beschränkt.