🤖 machine learning

Rotation-Preserving Supervised Fine-Tuning

Dieser Beitrag stellt Rotation-Preserving Supervised Fine-Tuning (RPSFT) vor, eine rechnerisch effiziente Methode, die die Generalisierung außerhalb des Trainingsbereichs verbessert und vortrainierte Repräsentationen erhält, indem sie Änderungen in den projizierten Top- $k$ -Singulärvektor-Blöcken von Gewichtsmatrizen während des Fine-Tunings bestraft.

Ursprüngliche Autoren: Hangzhan Jin, Tianwei Ni, Lu Li, Pierre-Luc Bacon, Mohammad Hamdaqa, Doina Precup

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Hangzhan Jin, Tianwei Ni, Lu Li, Pierre-Luc Bacon, Mohammad Hamdaqa, Doina Precup

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochqualifizierten Allround-Experten (ein Large Language Model), der während seiner „Pre-Training"-Phase alles von Kochen über Programmieren bis hin zu Geschichte gelernt hat. Er ist ein Generalisten-Genie.

Nun möchten Sie diesem Experten eine sehr spezifische neue Fähigkeit beibringen, wie etwa das Lösen fortgeschrittener Mathematikaufgaben. Dies nennt man Supervised Fine-Tuning (SFT).

Das Problem: Die Falle der „Über-Spezialisierung"

Wenn Sie diesen Experten intensiv in Mathematik trainieren, wird er darin wirklich gut. Doch es gibt einen Haken: In seinem Bestreben, Mathematik zu meistern, beginnt er, andere Dinge zu „vergessen" oder wird darin schlechter, in denen er zuvor gut war, wie etwa das Schreiben kreativer Geschichten oder das Beantworten von Fragen zum Allgemeinwissen.

Stellen Sie sich einen Meisterkoch vor, der einen Monat lang jeden Tag nur das Schälen von Kartoffeln übt. Er wird zum schnellsten Kartoffelschäler der Welt, aber bis Ende des Monats hat er vergessen, wie man Zwiebeln schneidet oder eine Suppe würzt. Sein Gehirn hat sich physisch so stark umverdrahtet, dass die alten Fähigkeiten verschwunden sind.

In der Welt der KI geschieht dies, weil die interne „Verdrahtung" (die mathematischen Gewichte) des Modells zu stark und in die falschen Richtungen verdreht und gedreht wird. Das Modell verliert seine allgemeine „Form".

Die Lösung: RPSFT (Die „Anker"-Methode)

Die Autoren dieses Papiers schlagen eine neue Methode vor, die Rotation-Preserving Supervised Fine-Tuning (RPSFT) genannt wird.

Hier ist die Analogie:
Stellen Sie sich die interne Verdrahtung des Modells als eine riesige, komplexe 3D-Skulptur vor, die aus Tausenden von Metallstäben besteht. Einige Stäbe sind dick und schwer (diese repräsentieren das wichtigste, allgemeine Wissen, das das Modell gelernt hat). Andere sind dünn und flexibel.

Standard-Training (SFT): Wenn Sie versuchen, dem Modell Mathematik beizubringen, greifen Sie die gesamte Skulptur und verdrehen sie gewaltsam, um sie in die neuen mathematischen Formen zu zwingen. Vielleicht bekommen Sie die Mathematik richtig hin, aber Sie haben die dicken, schweren Stäbe verbogen, die die Skulptur zusammenhalten. Die gesamte Struktur ist nun verzerrt und kann nicht mehr gerade stehen (sie vergisst allgemeine Fähigkeiten).
RPSFT-Training: Diese Methode sagt: „Lassen Sie uns Mathematik beibringen, aber verzerren Sie die dicken, schweren Stäbe nicht."

Bevor das Training beginnt, machen die Forscher einen „Schnappschuss" der wichtigsten Stäbe (der top-Singulärvektoren). Während des Trainings setzen sie einen unsichtbaren Anker an diese spezifischen Stäbe.

Wenn das Mathematik-Training versucht, diese schweren Stäbe zu verdrehen, zieht der Anker sie zurück und sagt: „Nein, bleiben Sie gerade!"
Die anderen flexiblen Stäbe sind jedoch weiterhin frei, sich so viel zu bewegen und zu verdrehen, wie nötig ist, um die Mathematik zu lernen.

Warum dies funktioniert

Durch das Verankern der „schweren Stäbe" lernt das Modell die neue mathematische Fähigkeit, ohne sein allgemeines Gleichgewicht zu verlieren.

Das Ergebnis: Das Modell wird großartig in Mathematik (die Aufgabenanpassung), verliert aber nicht seine Fähigkeit, ein Generalist zu bleiben (die generalisierende Leistung außerhalb des Trainingsbereichs).
Der Bonus: Da die interne Struktur des Modells immer noch stabil und „gesund" ist, ist es einfacher, ihm später noch fortgeschrittenere Fähigkeiten beizubringen (wie Reinforcement Learning), da es durch die erste Trainingsrunde nicht beschädigt wurde.

Was das Papier herausfand

Die Forscher testeten dies an verschiedenen KI-Modellen (wie Llama und Qwen) unter Verwendung von Mathematikaufgaben. Sie stellten fest, dass:

Besseres Gleichgewicht: Modelle, die mit RPSFT trainiert wurden, waren besser in Mathematik und vergaßen das Allgemeinwissen weniger als Modelle, die mit Standardmethoden trainiert wurden.
Weniger Drift: Wenn man in das Modell hineinsah, hatten sich die „schweren Stäbe" nicht annähernd so stark verdreht wie beim Standard-Training.
Stärkeres Fundament: Als sie diese mit RPSFT trainierten Modelle einer zweiten Runde fortgeschrittenen Trainings unterzogen, schnitten sie besser ab als Modelle, die auf die alte Weise trainiert worden waren.

Auf den Punkt gebracht

RPSFT ist wie das Beibringen eines neuen Faches an einen Schüler, indem man ihm erlaubt, hart zu lernen, aber sicherstellt, dass er seine Grundwerte oder sein Allgemeinwissen nicht vergisst. Es verwendet einen „mathematischen Anker", um die wichtigsten Teile des KI-Gehirns daran zu hindern, sich aus der Form zu verdrehen, und stellt sicher, dass es in allen Bereichen intelligent bleibt, nicht nur in dem, das es gerade lernt.

Technische Zusammenfassung: Rotationsbewahrendes Supervised Fine-Tuning (RPSFT)

1. Problemstellung

Supervised Fine-Tuning (SFT) ist eine Standard-Phase nach dem Training für Large Language Models (LLMs), die zur Anpassung von Modellen an spezifische Aufgaben dient. Vorherige Arbeiten zeigen jedoch, dass SFT die Generalisierung außerhalb des Trainingsbereichs (Out-of-Domain, OOD) verschlechtern kann, ein Phänomen, das häufig auf „katastrophales Vergessen" zurückgeführt wird. Neuere Studien deuten darauf hin, dass diese Verschlechterung mit einer geometrischen Drift in den vortrainierten Gewichtsmatrizen zusammenhängt, speziell mit einer übermäßigen Rotation dominanter singulärer Unterräume. Diese dominanten Richtungen sind mit hochvarianzen und hochkrümmungsreichen Strukturen verbunden, die allgemeine Fähigkeiten kodieren.

Die direkte Identifizierung und Bewahrung verlustsensitiver Richtungen mittels Hessian- oder Fisher-Information ist im Maßstab moderner LLMs rechnerisch prohibitiv. Folglich besteht ein Bedarf nach einer effizienten Regularisierungsmethode, die unnötige geometrische Drift während des SFT begrenzt, gleichzeitig aber die Fähigkeit zur Anpassung an die Zielaufgabe erhält, wodurch der Kompromiss zwischen Leistung im Trainingsbereich (In-Domain, ID) und der Bewahrung der OOD-Fähigkeiten verbessert wird.

2. Methodik: Rotationsbewahrendes SFT (RPSFT)

Die Autoren schlagen Rotation-Preserving Supervised Fine-Tuning (RPSFT) vor, eine Regularisierungstechnik, die die dominanten singulären Unterräume der vortrainierten Gewichtsmatrizen verankert.

Kernmechanismus

RPSFT basiert auf der Hypothese, dass die top- $k$ singulären Vektoren der vortrainierten Gewichtsmatrizen signifikant mit Fisher-sensitiven Richtungen überlappen (Richtungen, in denen Aktualisierungen zu starken Anstiegen des OOD-Verlusts führen). Anstatt Parameter einzufrieren oder Gradienten zu projizieren (was starr oder teuer sein kann), fügt RPSFT einen Strafterm zur Standard-SFT-Verlustfunktion hinzu.

Für eine ausgewählte Gewichtsmatrix $W$ mit vortrainierter Initialisierung $W_0$ berechnet die Methode die Basen der top- $k$ linken und rechten singulären Vektoren, $U^{(k)}_0$ und $V^{(k)}_0$ , vorab mittels Singulärwertzerlegung (SVD). Der Regularisierungsterm bestraft die Änderung des projizierten Blocks der Gewichtsmatrix innerhalb dieser Basis:

$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$

Wobei:

$\mathcal{L}_{SFT}$ der Standard-Verlust der negativen Log-Likelihood ist.
$\lambda$ die Regularisierungsstärke ist.
Der Term $\| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$ die Drift der Gewichtsmatrix innerhalb des top- $k$ singulären Unterraums misst.
$\mathcal{M}$ die Menge der ausgewählten Schichten ist (typischerweise alle Schichten beim Full-Parameter-Fine-Tuning).

Designbegründung

Teilweiser Schutz: Im Gegensatz zur Verankerung mit vollem Rang (äquivalent zu $L_2$ -Regularisierung um die initialen Gewichte) verankert RPSFT nur den top- $k$ -Block. Komplementäre Richtungen bleiben frei zur Anpassung, was lernspezifisches Lernen ermöglicht.
Rechnerische Effizienz: Die Methode erfordert die Vorab-Berechnung und Caching der singulären Basen ( $O((m+n)k + k^2)$ Speicher pro Schicht) und die Berechnung des projizierten Blocks während des Trainings ($O(mnk)$ FLOPs pro Evaluation). Die Autoren stellen fest, dass dies im Vergleich zum Standard-SFT nur einen minimalen Overhead hinzufügt, insbesondere wenn die Projektion alle $s$ Schritte berechnet wird.
Theoretische Begründung: Die Autoren analysieren die lokale zweite Ordnungsentwicklung des Verlusts. Sie argumentieren, dass während der Term erster Ordnung die Anpassung antreibt, der Term zweiter Ordnung (Krümmung) das Vergessen antreibt. Da die Fisher-Information (ein Proxy für Krümmung) teuer zu berechnen ist, zeigen sie empirisch, dass die top-singulären Blöcke vortrainierter Gewichte einen signifikanten Anteil (ca. 20 %) der Fisher-projizierten Gradientenenergie erfassen, was sie zu einem gültigen, kostengünstigen strukturellen Proxy für verlustsensitive Richtungen macht.

3. Experimentelles Setup

Die Autoren bewerteten RPSFT über drei Modellfamilien und Skalen hinweg: Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct und Qwen2.5-3B-Instruct.

Trainingsdaten: Supervised Fine-Tuning wurde auf OpenR1-Math (Daten für mathematisches Schlussfolgern) durchgeführt.
Benchmarks: Vergleiche wurden mit Standard-Full-Parameter-SFT, Dynamic Fine-Tuning (DFT), Importance-Weighted SFT (IW) und $L_2$ -Initialisierungsverankerung durchgeführt.
Evaluation:
- In-Domain (ID): Math-Benchmarks (AIME, AMC, MATH-500, etc.).
- Out-of-Domain (OOD): Allgemeine Schlussfolgerung, Sicherheit und Wissens-Benchmarks (GPQA, MMLU-Pro, TruthfulQA, etc.).
- Downstream RL: Die SFT-Checkpoints dienten als Initialisierungen für Reinforcement Learning Fine-Tuning (RLFT) mit DAPO (eine Variante von GRPO).

4. Wichtige Ergebnisse

Kompromiss zwischen In-Domain und Out-of-Domain

RPSFT verbessert den ID/OOD-Kompromiss konsistent. Über alle Modellgrößen hinweg erreichte RPSFT die beste oder wettbewerbsfähige ID-Leistung (Avg@k und Pass@k), während es im Vergleich zum Standard-SFT das OOD-Vergessen signifikant reduzierte.
Vergleich mit Benchmarks: Während DFT und IW eine gewisse OOD-Bewahrung zeigten, litten sie oft unter Unteranpassung an der ID-Aufgabe. RPSFT behielt eine starke ID-Anpassung bei und bewahrte gleichzeitig OOD-Fähigkeiten besser als Standard-SFT. Beispielsweise verbesserte RPSFT auf Llama-8B den OOD Avg@k um +1,83 % gegenüber dem Basismodell, während Standard-SFT ihn um +1,73 % verbesserte, jedoch mit geringerer Robustheit in anderen Metriken.
Rang-Sensitivität: Experimente mit variierendem geschütztem Rang $k$ zeigten, dass mittlere Ränge (z. B. $k=768$ ) den besten Kompromiss bieten. Übermäßig große Ränge (die sich der Verankerung mit vollem Rang nähern) behinderten die Aufgabenanpassung, während $k=0$ zum Standard-SFT zurückkehrte.

Downstream RL-Leistung

Stärkere Initialisierungen: RPSFT-Checkpoints dienten als überlegene Initialisierungen für nachgelagertes RLFT. Modelle, die mit RPSFT initialisiert wurden, erreichten sowohl auf ID- als auch auf OOD-Benchmarks eine höhere finale RL-Leistung als solche, die mit Standard-SFT oder anderen Benchmarks initialisiert wurden.
Bewahrung von Fähigkeiten: Die Verbesserungen der OOD-Bewahrung im SFT-Stadium wurden nicht durch die nachfolgende RL-Stadium verwässert; stattdessen übertrugen sie sich und führten zu konsistent höheren Endpunkten.

Geometrische und Repräsentationsanalyse

Reduzierte Rotation: Die Analyse der Gewichtsraum-Drift zeigte, dass RPSFT die Rotation dominanter linker singulärer Unterräume im Vergleich zu Standard-SFT, DFT und IW signifikant reduzierte.
Stabilität der Hidden States: RPSFT bewahrte die Geometrie der Hidden-Repräsentationen besser. Die Schwerpunkte der Hidden States für RPSFT-tuned-Modelle blieben über verschiedene Benchmarks hinweg näher an den Schwerpunkten des Basismodells, während Standard-SFT und DFT größere Drifts aufwiesen. Dies deutet darauf hin, dass die Einschränkung der Gewichtsraum-Rotation direkt in die Bewahrung des internen Repräsentationsraums des Modells übersetzt wird.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass RPSFT einen einfachen, rechnerisch effizienten Regularizer bietet, der das Vergessen allgemeiner Fähigkeiten während des Supervised Fine-Tuning effektiv mindert.

Mechanismus: Die Arbeit liefert empirische und theoretische Beweise dafür, dass die Bewahrung dominanter vortrainierter singulärer Unterräume die geometrische Rotation reduziert, Hidden-State-Repräsentationen schützt und den Kompromiss zwischen Vergessen und Anpassung verbessert.
Praktikabilität: Im Gegensatz zu Methoden, die Hessian-Schätzung oder komplexe Gradientenprojektionen erfordern, integriert sich RPSFT direkt in Standard-Full-Parameter-SFT-Pipelines, ohne zusätzliche Daten oder Aufgabenabgrenzungen zu benötigen.
Allgemeingültigkeit: Die Methode zeigt konsistente Verbesserungen über verschiedene Modellarchitekturen (Llama und Qwen) und Skalen (3B bis 8B Parameter) hinweg.

Die Autoren schließen, dass die Kontrolle der Drift in vortrainierten singulären Unterräumen eine praktische und effektive Strategie ist, um die OOD-Generalisierung aufrechtzuerhalten und gleichzeitig eine schnelle Aufgabenanpassung zu ermöglichen, was eine stärkere Grundlage für nachfolgende Reinforcement-Learning-Phasen bietet.

6. Einschränkungen

Die Autoren räumen ein, dass RPSFT derzeit eine einheitliche Regel für den geschützten Rang über alle Gewichtsmatrizen hinweg anwendet. Sie schlagen vor, dass zukünftige Arbeiten eine schichtselektive Regularisierung untersuchen könnten (z. B. Fokus auf frühe Self-Attention-Schichten), um den Overhead weiter zu reduzieren. Darüber hinaus konzentrieren sich die aktuellen Experimente auf Mathematik-Trainingsdatensätze und Modelle im Bereich 3B–8B; die Erweiterung auf nicht-mathematische Daten und größere Modellskalen wird als Richtung für zukünftige Forschung identifiziert.