💬 NLP

Proximal Supervised Fine-Tuning

Das Paper stellt Proximal SFT (PSFT) vor, eine auf Trust-Region-Methoden aus dem Reinforcement Learning basierende Feinabstimmungstechnik, die die Generalisierungsfähigkeit von Foundation-Modellen verbessert, indem sie das Abdriften während des Trainings begrenzt und gleichzeitig eine stabile Weiterentwicklung ermöglicht.

Ursprüngliche Autoren: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu

Veröffentlicht 2026-04-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenhong Zhu, Ruobing Xie, Rui Wang, Xingwu Sun, Di Wang, Pengfei Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Wie man KI-Modelle nicht nur „auswendig lernt", sondern wirklich „denkt" – Eine einfache Erklärung der PSFT-Methode

Stellen Sie sich vor, Sie unterrichten einen sehr talentierten Schüler (das KI-Modell), der bereits viel Allgemeinwissen hat. Sie wollen ihn jetzt speziell auf Mathematikprüfungen vorbereiten.

Das Problem: Der „Bully"-Lehrer (Normales SFT)

Bisher gab es eine Standardmethode, das Supervised Fine-Tuning (SFT). Das ist wie ein Lehrer, der dem Schüler sagt: „Lies diese 100 Matheaufgaben und ihre Lösungen auswendig. Wenn du sie im nächsten Test genauso löst, hast du eine 1."

Das Problem dabei ist: Der Schüler lernt die Lösungen auswendig (Rote Learning).

Kein Verständnis: Wenn er eine Aufgabe sieht, die leicht anders formuliert ist (ein neues Thema), ist er ratlos. Er hat nur die alten Muster gelernt.
Verlust des Allgemeinwissens: Weil er sich so sehr auf Mathe konzentriert, vergisst er, wie man höflich spricht oder wie man ein Gedicht schreibt. Er wird zu einem „Mathe-Nerd", der keine Gespräche mehr führen kann.
Panik: Wenn er zu viel lernt, wird er starr. Er traut sich nicht mehr, neue Wege zu gehen, weil er Angst hat, etwas falsch zu machen. In der KI-Sprache nennt man das Entropie-Kollaps (die Vielfalt der Gedanken verschwindet).

Die Lösung: Der „Proximal"-Lehrer (PSFT)

Die Autoren dieses Papers haben eine neue Methode namens Proximal Supervised Fine-Tuning (PSFT) entwickelt. Der Name klingt kompliziert, aber das Prinzip ist genial einfach.

Stellen Sie sich PSFT wie einen weisen Mentor vor, der einen Sicherheitsgurt trägt.

Die Analogie des Sicherheitsgurts:
Normalerweise erlaubt der Lehrer dem Schüler, sich wild zu bewegen und alles zu ändern, um die Matheaufgaben perfekt zu lösen. Das PSFT-Verfahren sagt jedoch:

„Okay, wir wollen Mathe lernen, aber wir ändern deine Art zu denken nur ein kleines bisschen auf einmal. Wir halten dich in einem 'Vertrauensbereich' (Trust Region)."

Wie macht das der Mentor?

Der Vergleich: Der Mentor vergleicht jede neue Antwort des Schülers mit seiner alten, bewährten Art zu denken.
Der Knebel (Clipping): Wenn der Schüler versucht, eine Antwort zu geben, die zu radikal anders ist als vorher (z. B. plötzlich völlig andere Wörter benutzt oder den Denkstil komplett ändert), sagt der Mentor: „Stopp! Das ist zu viel auf einmal." Er schneidet die Änderung ab (das nennt man Clipping).
Das Ergebnis: Der Schüler lernt Mathe, aber er behält dabei seinen ursprünglichen Charakter, seine Höflichkeit und seine Fähigkeit, über andere Dinge nachzudenken.

Warum ist das so wichtig? (Die 3 großen Vorteile)

1. Der Schüler wird nicht „dumm" für andere Dinge
Bei der alten Methode (SFT) vergisst der Schüler oft, wie man ein Gedicht schreibt, wenn er Mathe lernt. Bei PSFT behält er diese Fähigkeiten. Er wird zum Mathe-Genie, bleibt aber gleichzeitig ein guter Gesprächspartner.

2. Er lernt wirklich zu denken, nicht nur zu raten
Weil der Mentor den Schüler nicht zwingt, sofort die perfekte Antwort zu geben, sondern kleine Schritte erlaubt, bleibt der Schüler kreativ. Er behält seine „Neugier" (in der KI: die Entropie). Das ist super wichtig, wenn er später noch mehr lernen soll.

3. Die perfekte Vorbereitung für das „Meister-Training" (RL)
Oft folgt nach dem Lernen (SFT) noch eine Phase, in der der Schüler durch Belohnungen und Bestrafungen lernt, noch besser zu werden (Reinforcement Learning oder RL).

Wenn der Schüler durch SFT schon starr und ängstlich ist (Entropie-Kollaps), kann er im RL-Training nichts Neues mehr ausprobieren. Er ist wie ein Pferd, das schon im Stall festgebunden ist.
Wenn der Schüler durch PSFT trainiert wurde, ist er flexibel und neugierig. Er kann im RL-Training fliegen und noch viel mehr lernen.

Zusammenfassung in einem Satz

PSFT ist wie ein Schutzschild, das verhindert, dass ein KI-Modell beim Lernen einer neuen Fähigkeit (wie Mathe) seine alten Fähigkeiten (wie Höflichkeit oder Kreativität) verliert oder starr wird. Es sorgt dafür, dass das Modell nicht nur die Aufgaben auswendig lernt, sondern wirklich versteht und bereit ist, noch mehr zu lernen.

Das Fazit der Autoren:
Mit PSFT bekommen wir KI-Modelle, die nicht nur in einem engen Fachgebiet gut sind, sondern auch im echten Leben mit uns umgehen können – und das ohne ihre Persönlichkeit zu verlieren.

Titel: Proximal Supervised Fine-Tuning (PSFT)

Veröffentlicht: ICLR 2026

1. Problemstellung

Das Paper adressiert ein zentrales Problem beim Fine-Tuning von Foundation-Modellen: Supervised Fine-Tuning (SFT) führt oft zu einer schlechten Generalisierungsfähigkeit.

Verschlechterung der Vorwissen-Kapazitäten: Während SFT die Leistung auf spezifischen Aufgaben (z. B. Mathematik) verbessert, neigen Modelle dazu, ihre allgemeinen Fähigkeiten (wie logisches Schließen oder Instruktionsbefolgung) zu verlieren.
Entropie-Kollaps (Entropy Collapse): Herkömmliches SFT führt oft zu einer übermäßigen Konzentration der Ausgabeverteilung auf bestimmte Tokens. Dies reduziert die Vielfalt (Entropie) des Modells, was die Fähigkeit zur Exploration in nachfolgenden Reinforcement-Learning (RL)-Phasen einschränkt.
Fehlende Verbindung zu RL: SFT wird oft als reine „Behavior Cloning"-Methode betrachtet, während RL-Methoden wie PPO (Proximal Policy Optimization) und TRPO (Trust Region Policy Optimization) in der RL-Welt etablierte Mechanismen zur Stabilisierung von Policy-Updates bieten, die im SFT-Kontext bisher nicht systematisch genutzt wurden.

2. Methodik: Proximal Supervised Fine-Tuning (PSFT)

Die Autoren schlagen PSFT vor, eine Fine-Tuning-Methode, die die Prinzipien von Trust-Region-Optimierung aus dem RL auf das überwachte Lernen überträgt.

Theoretische Grundlage:
- SFT wird als Sonderfall von Policy-Gradient-Methoden interpretiert, bei dem die Advantage-Funktion ( $\hat{A}_t$ ) konstant positiv ist (hier auf 1 gesetzt), da alle Tokens im Offline-Datensatz als „korrekt" gelten.
- Anstatt die Cross-Entropy-Loss-Funktion direkt zu minimieren, wird ein abgeschnittenes Surrogat-Objektiv (Clipped Surrogate Objective) eingeführt, analog zu PPO.
Die PSFT-Loss-Funktion:
Die Verlustfunktion ist definiert als:
$L_{PSFT}(\theta) = \mathbb{E}_{(s_t, a_t) \sim D} \left[ \min \left( r_t(\theta), \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \right) \right]$
Dabei ist $r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ das Verhältnis der Wahrscheinlichkeiten zwischen der neuen und der alten Policy.
- Trust-Region-Mechanismus: Durch das „Clipping" wird verhindert, dass sich die neue Policy zu stark von der alten Policy entfernt. Dies wirkt als Regularisierung, die übermäßige Änderungen der Token-Wahrscheinlichkeiten unterbindet.
- Dynamische Aktualisierung: Im Gegensatz zu Methoden, die eine feste Referenz-Policy ( $\pi_{ref}$ ) verwenden, wird $\pi_{\theta_{old}}$ während des Trainings dynamisch aktualisiert. Dies ermöglicht ein schrittweises Lernen aus dem Datensatz, ohne in einem zu engen Trust-Region um das Startmodell gefangen zu sein.
Warm-Up-Phase: Um Verzerrungen zu Beginn des Trainings zu minimieren, wird optional eine Warm-Up-Phase eingeführt, in der das Modell zunächst standardmäßig auf dem Datensatz trainiert wird, um $\pi_{\theta_{old}}$ besser an die Datenverteilung anzupassen, bevor der PSFT-Mechanismus voll aktiviert wird.

3. Schlüsselbeiträge

Neue Optimierungsformulierung: Einführung von PSFT, das die Vorteile von Trust-Region-Methoden (aus TRPO/PPO) in den SFT-Kontext überträgt, um Policy-Drift zu kontrollieren.
Verhinderung von Entropie-Kollaps: PSFT verhindert die Überanpassung und den Verlust der Diversität, die bei normalem SFT auftreten, und erhält so die Explorationsfähigkeit für spätere RL-Phasen.
Robuste Generalisierung: Die Methode erhält allgemeine Fähigkeiten (Out-of-Domain-Performance) besser als Standard-SFT, während die Leistung auf der Zielaufgabe (In-Domain) gleichbleibend oder sogar verbessert ist.
Bessere Basis für RL: Modelle, die mit PSFT vortrainiert wurden, dienen als überlegene „Cold-Start"-Punkte für nachfolgende RL-Optimierungen (z. B. GRPO, DPO), da sie eine höhere Entropie und bessere Stabilität aufweisen.

4. Ergebnisse

Die Autoren evaluieren PSFT auf mathematischen Aufgaben, menschlichen Wert-Ausrichtungen (Alignment) und multimodalen Aufgaben (Vision Language Models).

SFT-Phase (Mathematik):
- Entropie: PSFT zeigt eine glattere Entropie-Kurve ohne den drastischen Abfall (Kollaps), der bei Standard-SFT und SFT mit KL-Strafe beobachtet wird.
- In-Domain-Leistung: PSFT erreicht vergleichbare oder leicht bessere Ergebnisse auf Mathematik-Benchmarks (AIME, AMC, MATH-500) im Vergleich zu Standard-SFT.
- Out-of-Domain-Leistung: PSFT übertrifft Standard-SFT deutlich in der Generalisierung auf Aufgaben wie GPQA, ARC-C und IFEval. Während Standard-SFT oft Instruktionsbefolgung (IFEval) oder allgemeines Wissen (MMLU) verschlechtert, bleibt PSFT stabil.
RL-Phase (Nach dem SFT):
- Modelle, die mit PSFT gestartet wurden, zeigen im RL-Training (z. B. mit GRPO) eine schnellere und stabilere Leistungssteigerung.
- Sie erreichen höhere Endwerte sowohl auf In-Domain- als auch auf Out-of-Domain-Benchmarks als Modelle, die mit Standard-SFT gestartet wurden.
- Der „Alignment Tax" (der Verlust an allgemeinen Fähigkeiten durch Alignment-Training) wird signifikant reduziert.
Multimodale Modelle (VLMs):
- PSFT ermöglicht es, Text-basierte Reasoning-Daten (Chain-of-Thought) in Vision-Language-Modelle zu injizieren, ohne die visuellen Fähigkeiten zu zerstören. Standard-SFT führte hier zu einem starken Abfall bei multimodalen Benchmarks (MMMU), während PSFT die Leistung erhielt.

5. Bedeutung und Fazit

Das Paper stellt einen Paradigmenwechsel dar, indem es die Lücke zwischen Supervised Fine-Tuning und Reinforcement Learning schließt.

Praktische Relevanz: PSFT bietet eine einfache, aber effektive Alternative zum Standard-SFT, die keine zusätzlichen RL-Rollouts während des Fine-Tunings erfordert, aber dennoch die Stabilitätsvorteile von PPO nutzt.
Zukunftsfähigkeit: Da PSFT die Entropie des Modells erhält, schafft es eine solide Basis für nachfolgende Optimierungsstufen (RLHF, DPO), was für die Entwicklung robusterer und generalisierbarer KI-Systeme entscheidend ist.
Reproduzierbarkeit: Die Methode ist leicht in bestehenden RL-Frameworks (wie verl) implementierbar, indem man Rollouts durch SFT-Demonstrationen ersetzt und die Advantage-Werte konstant setzt.

Zusammenfassend beweist PSFT, dass durch die Integration von Trust-Region-Constraints in das überwachte Lernen die Nachteile des „Rote-Lernens" (Rote Learning) und des Entropie-Kollapses vermieden werden können, was zu Modellen führt, die sowohl spezialisiert als auch allgemein leistungsfähig sind.