🤖 machine learning

Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning

Das Papier stellt PEAR vor, eine Methode im SFT-Stadium, die Importance Sampling verwendet, um die Trainingsverluste basierend auf der Diskrepanz zwischen Offline-Daten und zukünftigen RL-Richtlinien neu zu gewichten, wodurch die nachgelagerte Reinforcement-Learning-Leistung bei Reasoning-Aufgaben im Vergleich zum Standard-SFT erheblich verbessert wird.

Ursprüngliche Autoren: Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Einen Schüler für die falsche Prüfung trainieren

Stellen Sie sich vor, Sie trainieren einen brillanten Schüler (eine KI), um komplexe Logikrätsel zu lösen. Der Trainingsprozess läuft in zwei klar getrennten Phasen ab:

Phase 1 (SFT – Supervised Fine-Tuning): Der Schüler sitzt im Klassenzimmer und studiert ein Lehrbuch voller gelöster Beispiele. Er merkt sich die Schritte und versucht, die Antworten des Lehrers perfekt zu kopieren.
Phase 2 (RL – Reinforcement Learning): Der Schüler wird in die reale Welt geschickt, um neue Rätsel allein zu lösen. Er erhält sofortiges Feedback: „Richtig!" oder „Falsch, versuchen Sie es erneut." Er lernt durch Experimentieren und passt seine Strategie basierend darauf an, was im Moment tatsächlich funktioniert.

Das Problem:
Normalerweise versuchen Forscher, den Schüler in Phase 1 perfekt zu machen. Sie justieren die Lehrbuchinhalte so, dass der Schüler die bestmögliche Punktzahl im Übungstest erzielt. Sie gehen davon aus: „Wenn der Schüler ein Genie beim Kopieren des Lehrbuchs ist, wird er auch ein Genie beim Lösen neuer Probleme später sein."

Die Entdeckung des Papiers:
Die Autoren fanden heraus, dass diese Annahme oft falsch ist.
Manchmal schneidet ein Schüler, der eine perfekte Punktzahl im Lehrbuch erzielt (das „starke SFT-Modell"), in der realen Welt schlechter ab als ein Schüler, der im Lehrbuch eine etwas niedrigere Punktzahl erreichte.

Warum? Weil das Lehrbuch (Phase 1) und die reale Welt (Phase 2) unterschiedlich sind.

Das Lehrbuch (Verhaltenspolitik): Die Beispiele im Buch wurden von einem bestimmten Lehrer geschrieben. Manchmal nahm dieser Lehrer einen seltsamen, umständlichen Weg zur Antwort oder machte einen kleinen Fehler, den der Schüler kopierte.
Die reale Welt (Zielpolitik): In Phase 2 muss der Schüler seinen eigenen Weg generieren. Wenn er gelernt hat, den seltsamen Weg des Lehrers zu starr zu befolgen, gerät er in die Sackgasse, wenn er selbstständig denken muss.

Die Analogie:
Stellen Sie sich einen Tanzlehrer vor, der einen Schüler unterrichtet.

Standard-Training: Der Lehrer zeigt eine Bewegung. Der Schüler übt sie, bis er die exakte Fußarbeit des Lehrers perfekt nachahmen kann.
Das Problem: Die Fußarbeit des Lehrers könnte auf seinem eigenen einzigartigen Körperbau oder einem bestimmten Stil basieren, der nicht für den Körper des Schülers funktioniert. Wenn der Schüler die Schritte des Lehrers zu perfekt auswendig lernt, könnte er stolpern, wenn er versucht, zu einem anderen Lied oder mit einem anderen Partner zu tanzen.
Das Ergebnis: Der Schüler, der die Schritte perfekt auswendig gelernt hat (hohe SFT-Punktzahl), fällt im Wettbewerb hin. Der Schüler, der den Rhythmus verstanden und die Schritte angepasst hat (niedrigere SFT-Punktzahl, aber bessere Vorbereitung), gewinnt.

Die Lösung: PEAR (Der „zukunftssichere" Lehrer)

Die Autoren schlagen eine neue Methode namens PEAR (Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting) vor.

Anstatt dem Schüler nur zu sagen: „Kopiere diese Antwort perfekt", agiert PEAR wie ein kluger Trainer, der vorausdenkt.

Wie PEAR funktioniert:

Der Trainer prüft die Zukunft: Bevor der Schüler einen bestimmten Schritt aus dem Lehrbuch übt, fragt der Trainer: „Wenn der Schüler diesen Schritt macht, ergibt das Sinn für den Rest des Tanzes?"
Neugewichtung der Lektionen:
- Wenn ein Schritt im Lehrbuch in eine Sackgasse führt (ein Weg, den der Schüler in der realen Welt wahrscheinlich nicht gehen wird), sagt der Trainer: „Machen Sie sich nicht zu viele Sorgen um diesen Teil." (Sie senken die Bedeutung dieser Lektion).
- Wenn ein Schritt im Lehrbuch zu einem erfolgreichen Ergebnis führt, das der Schüler später wahrscheinlich nutzen wird, sagt der Trainer: „Konzentrieren Sie sich stark darauf!" (Sie erhöhen die Bedeutung).

Die Metapher:
Stellen Sie sich das Lehrbuch als eine Karte vor, die von einem Touristen gezeichnet wurde, der sich verlaufen hat.

Standard-SFT zwingt den Schüler, die falschen Abzweigungen des Touristen auswendig zu lernen.
PEAR betrachtet die Karte und sagt: „Dieser Teil des Weges des Touristen führt von einer Klippe herunter. Lassen Sie uns diesen Teil der Lektion ignorieren. Aber dieser Teil führt zum Schatz? Lernen wir diesen Teil zweimal."

Die Ergebnisse

Die Autoren testeten dies an mathematischen Problemen und Logikspielen mit verschiedenen KI-Modellen.

Das Ergebnis: Modelle, die mit PEAR trainiert wurden, erzielten nicht unbedingt die höchsten Punktzahlen im anfänglichen Übungstest. Als sie jedoch in die „reale Welt" (Reinforcement Learning) wechselten, verbesserten sie sich viel schneller und landeten mit deutlich höheren Endpunktzahlen.
Der Gewinn: Bei einigen schwierigen Mathewettbewerben verbesserten die mit PEAR trainierten Modelle ihre Erfolgsrate um bis zu 30 Prozentpunkte im Vergleich zu Modellen, die mit Standardmethoden trainiert wurden.

Die Kernaussage

„Gutes SFT optimiert für SFT, besseres SFT bereitet auf Reinforcement Learning vor."

Trainieren Sie Ihre KI nicht nur darauf, die Vergangenheit perfekt zu kopieren. Trainieren Sie sie darauf, auf die Zukunft vorbereitet zu sein. Das Ziel der ersten Phase ist es nicht, eine perfekte Punktzahl bei den Hausaufgaben zu erzielen; es geht darum, ein Fundament zu schaffen, das die nächste Lernphase (die echte Herausforderung) einfacher und effektiver macht. PEAR ist das Werkzeug, das der KI hilft, die „schlechten Gewohnheiten" der Vergangenheit zu ignorieren, damit sie die „guten Gewohnheiten" der Zukunft lernen kann.

Technische Zusammenfassung: Gutes SFT optimiert für SFT, besseres SFT bereitet auf Reinforcement Learning vor

1. Problemstellung

Das Post-Training von Large Language Models (LLMs) für Schlussfolgerungen folgt typischerweise einem zweistufigen Paradigma: eine Offline-Supervised-Fine-Tuning-Phase (SFT), um einen initialen Checkpoint zu erzeugen, gefolgt von einer Online-Reinforcement-Learning-Phase (RL), um die Leistung weiter zu verbessern. Eine vorherrschende Annahme in aktuellen Pipelines ist, dass die Optimierung der SFT-Phase für maximale Offline-Genauigkeit (z. B. Maximierung der Next-Token-Wahrscheinlichkeit oder Minimierung des Verlusts auf der Trainingsverteilung) natürlicherweise eine stärkere Initialisierung für nachfolgendes RL liefert.

Die Autoren zeigen jedoch, dass diese Annahme fehlerhaft ist. Sie beobachten, dass Modelle, die von „stärkeren" SFT-Checkpoints initialisiert werden (jene mit überlegener Offline-Leistung), nach identischem RL-Training erheblich schlechter abschneiden können als solche, die von „schwächeren" Checkpoints stammen. Dieses Phänomen wird auf eine Verteilungsabweichung zwischen den Offline- und Online-Phasen zurückgeführt:

Offline-SFT: Das Modell lernt aus Daten, die von einer Verhaltenspolitik ( $\pi_\beta$ ) gesampelt wurden, oft ein anderes Modell oder ein statischer Datensatz.
Online-RL: Das Modell lernt aus Rollouts, die von seiner eigenen sich entwickelnden Zielpolitik ( $\pi_\theta$ ) generiert werden.

Standard-SFT wendet eine uniforme Token-Level-Überwachung basierend auf der Verteilung der Verhaltenspolitik an. Bei langfristigen Schlussfolgerungsaufgaben kann dies Übergangsmuster (z. B. Sackgassen-Fortsetzungen) verstärken, die unter der Verhaltenspolitik hochwahrscheinlich, aber unter der Zielpolitik unplausibel sind. Folglich lernt das Modell, Präfixe mit Fortsetzungen zu assoziieren, die es während des Online-RL selten wieder aufgreift, was zu einer suboptimalen Initialisierung führt, die das nachgelagerte Lernen behindert.

2. Methodik: PEAR

Um diese Diskrepanz zu adressieren, schlagen die Autoren PEAR (Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting) vor. PEAR ist eine Methode der SFT-Phase, die den Trainingsverlust neu gewichtet, um das Offline-Ziel besser an die Verteilung der Zielpolitik auszurichten und das Modell effektiv auf die Online-RL-Phase vorzubereiten.

Kernmechanismus

PEAR nutzt Importance Sampling, um die Verteilungsverschiebung zwischen der Verhaltenspolitik ( $\pi_\beta$ ) und der Zielpolitik ( $\pi_\theta$ ) zu korrigieren. Anstatt alle Token im Offline-Datensatz gleich zu behandeln, gewichtet PEAR den Verlust jedes Tokens basierend auf dem Likelihood-Verhältnis zwischen Zielpolitik und Verhaltenspolitik neu.

Die Zielfunktion wird wie folgt modifiziert:
$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$
Wobei:

$\ell_\theta$ der Standard-Token-Verlust ist (z. B. NLL oder KL-Divergenz).
$\text{sg}[\cdot]$ einen Stop-Gradient-Operator bezeichnet, der das Gewicht als festen Koeffizienten behandelt.
$\hat{G}_t$ das numerisch stabilisierte Importance Weight für Token $t$ ist.

Gewichtungsvarianten

PEAR bietet drei Granularitäten zur Berechnung der Gewichte $\hat{G}_t$ :

Sequenz-Level-Gewichtung: Wendet ein einziges globales Importance-Verhältnis ( $w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$ ) auf alle Token in einer Trajektorie an. Dies geht davon aus, dass die Plausibilität der gesamten Sequenz unter der Zielpolitik einheitlich ist.
Token-Level-Gewichtung (Suffix-basiert): Berechnet Gewichte basierend auf dem Suffix-Importance-Verhältnis. Für ein Token $y_t$ wird das Gewicht durch die Wahrscheinlichkeit der verbleibenden Fortsetzung ( $y_{>t}$ ) unter der Zielpolitik relativ zur Verhaltenspolitik bestimmt:
$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$
Dies gewichtet Token herunter, die zu Fortsetzungen führen, die die Zielpolitik unwahrscheinlich generieren würde, und konzentriert das Lernen auf Präfixe, die mit dem zukünftigen Verhalten der Zielpolitik kompatibel sind.
Block-Level-Gewichtung: Um die hohe Varianz inhärenter langfristiger multiplikativer Importance-Gewichte zu mildern, wird die Sequenz in Blöcke partitioniert. Gewichte werden innerhalb jedes Blocks einheitlich berechnet und angewendet, wobei etwas Granularität gegen Stabilität getauscht wird.

Zusätzliche Merkmale

Negative Beispiele: PEAR kann verifizierte Fehlertrajektorien integrieren, indem es einen abstoßenden Term anwendet, der das Modell von negativen Fortsetzungen wegschiebt, während die Konsistenz der Politik gewahrt bleibt.
Black-Box-Anpassung: Wenn die exakte Verhaltenspolitik $\pi_\beta$ nicht verfügbar ist (z. B. bei Closed-Source-Daten), kann PEAR ein Proxy-Modell oder ein Ensemble von Proxies nutzen, um die Log-Wahrscheinlichkeiten der Verhaltenspolitik zu approximieren.
Numerische Stabilisierung: Die Methode verwendet Berechnungen im Log-Raum und Clipping von Log-Verhältnissen, um numerische Instabilität während der Berechnung langer Produktsequenzen zu verhindern.

3. Hauptbeiträge

Empirischer Nachweis der Offline-Online-Entkopplung: Die Arbeit liefert kontrollierte Experimente, die zeigen, dass Offline-Leistung ein unzuverlässiger Proxy für die Leistung nach RL ist. Stärkere SFT-Ziele können aufgrund von Verteilungsabweichungen zu schwächeren finalen RL-Ergebnissen führen.
PEAR-Algorithmus: Die Einführung eines praktischen, einsteckbaren Gewichtungsschemas, das Prinzipien der Off-Policy-Evaluation (OPE) nutzt, um Offline-SFT mit Online-RL-Zielen auszurichten.
Umfassende Evaluation: Ausführliche Tests über mehrere Modellfamilien (Qwen2.5, Qwen3, DeepSeek-distilled) und Größen (0,6B bis 8B) hinweg auf überprüfbaren Schlussfolgerungsaufgaben (Logikspiele, Mathematik-Benchmarks).
Analyse der Parameterdrift: Die Autoren zeigen, dass PEAR-initialisierte Modelle während des nachfolgenden RL-Trainings eine geringere Parameterdrift aufweisen, was darauf hindeutet, dass PEAR den Bedarf des RL-Phasen reduziert, Offline-zu-Online-Fehlausrichtungen zu korrigieren.

4. Experimentelle Ergebnisse

Die Autoren führten Experimente an synthetischen Logikrätseln (SynLogic, Enigmata) und mathematischen Schlussfolgerungs-Benchmarks (AIME-2024/2025, AMC-2023, MATH-500) durch.

Leistungssteigerungen: PEAR schneidet nach RL konsistent besser ab als kanonisches SFT und andere Baselines (einschließlich KL-reguliertes SFT, TALR und verschiedene wahrscheinlichkeitbasierte Ziele).
- Auf AIME-2025 erzielten PEAR-initialisierte Modelle Pass@8-Gewinne von bis zu 30 Prozentpunkten im Vergleich zu Standard-SFT (z. B. Steigerung von 5 % auf 35 % bei DeepSeek-Distill-Qwen-1,5B).
- Auf SynLogic-Logikspielen zeigte PEAR Pass@1-Verbesserungen von bis zu +25 Prozentpunkten (z. B. von 13,1 % auf 38,3 % bei Qwen3-1,7B-Base).
Generalisierung: Die Vorteile von PEAR übertragen sich über verschiedene RL-Aufgabenverteilungen hinweg (z. B. Training auf SynLogic und RL auf Enigmata) und verschiedene RL-Algorithmen (GRPO und DAPO).
Black-Box-Robustheit: Selbst bei Verwendung von Proxy-Modellen zur Approximation der Verhaltenspolitik übertrifft PEAR Standard-SFT signifikant, wobei starke Proxies die White-Box-Leistung erreichen.
Stabilität: PEAR-initialisierte Modelle zeigen während der Online-RL-Phase eine geringere Parameterdrift (gemessen durch Normalized Spectrum Shift) im Vergleich zu mit Standard-SFT initialisierten Modellen, was auf eine effizientere Lernbahn hindeutet.

5. Bedeutung und Behauptungen

Die Arbeit argumentiert, dass das Ziel der Offline-SFT-Phase nicht lediglich darin bestehen sollte, die Offline-Genauigkeit zu maximieren, sondern die Politik für das nachfolgende Online-RL vorzubereiten.

Ganzheitliches Post-Training: Die Autoren behaupten, dass die Gestaltung von SFT-Zielen unter Berücksichtigung des nachgelagerten RL entscheidend ist. Die Isolierungsoptimierung für Offline-Metriken kann kontraproduktiv sein, da sie Verhaltensweisen verstärken kann, die mit den Explorations- und Optimierungsdynamiken der Zielpolitik unvereinbar sind.
Korrektur der Diskrepanz: PEAR dient als konkrete Umsetzung des Prinzips, dass Offline-Training die Besetzungsabweichung zwischen Verhaltens- und Zielpolitik korrigieren muss. Durch Heruntergewichten unplausibler Fortsetzungen und Hochgewichten derer, die mit der Zielpolitik kompatibel sind, schafft PEAR eine effektivere Initialisierung.
Praktische Auswirkungen: Die Ergebnisse deuten darauf hin, dass einfache Gewichtungstrategien auf Basis der Off-Policy-Evaluation erhebliche Verbesserungen der Schlussfolgerungsfähigkeiten bewirken können, ohne komplexe architektonische Änderungen oder zusätzliche Datensammlung zu erfordern, sofern die Wahrscheinlichkeiten der Verhaltenspolitik zugänglich (oder approximiert) sind.

Die Autoren schließen, dass „eine gute Offline-Phase nicht für die Offline-Genauigkeit optimieren sollte, sondern die Politik auf das folgende RL vorbereiten muss", und positionieren PEAR als einen Schritt hin zu ganzheitlicheren LLM-Post-Training-Pipelines.