💬 NLP

Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling

Dieses Papier stellt Prefix-RFT vor, eine hybride Feinabstimmungsmethode, die über Prefix-Sampling supervised fine-tuning und reinforcement fine-tuning synergistisch kombiniert, um die Einschränkungen jedes einzelnen Ansatzes zu überwinden und dabei auf mathematischen Schlussfolgerungsaufgaben überlegene Leistung und Robustheit demonstriert.

Ursprüngliche Autoren: Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Yinghui Xu, Edoardo M. Ponti, Ivan Titov

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Yinghui Xu, Edoardo M. Ponti, Ivan Titov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr klugen, aber unerfahrenen Schüler beizubringen, komplexe mathematische Rätsel zu lösen. Sie haben zwei Hauptmethoden, um ihn zu unterrichten, doch beide haben für sich genommen einen gravierenden Mangel.

Die zwei fehlerhaften Lehrstile

Die „Kopier"-Methode (Supervised Fine-Tuning oder SFT):
Sie setzen den Schüler mit einem Lehrbuch voller perfekter Lösungen vor sich hin. Sie sagen: „Lies dies, lerne es auswendig und schreibe es genau so ab, wie es ist."
- Das Gute: Der Schüler lernt das richtige Format und die Fakten sehr schnell.
- Das Schlechte: Der Schüler wird zu einem Roboter. Wenn er ein leicht abweichendes Rätsel sieht, friert er ein, weil er nur weiß, wie man kopiert, nicht aber, wie man denkt. Er imitiert das Buch, versteht die Logik aber nicht wirklich.
Die „Versuch-und-Irrtum"-Methode (Reinforcement Fine-Tuning oder RFT):
Sie werfen den Schüler ins kalte Wasser. Sie sagen: „Geh und löse diese Rätsel. Wenn du die richtige Antwort findest, gibt es einen goldenen Stern. Wenn du falsch liegst, bekommst du nichts."
- Das Gute: Der Schüler lernt, kreativ zu denken und neue Lösungen zu finden. Er wird sehr gut darin, Probleme zu lösen, die er noch nie gesehen hat.
- Das Schlechte: Ohne Anleitung könnte der Schüler seltsame Gewohnheiten entwickeln. Er könnte anfangen, in einer Mischung aus Sprachen zu sprechen oder bizarre, ineffiziente Wege gehen, nur um einen goldenen Stern zu erhalten. Außerdem ist es sehr schwer, eine schlechte Gewohnheit zu brechen, sobald sie einmal entstanden ist.

Die neue Lösung: Der „Prefix"-Coach (Prefix-RFT)

Die Autoren dieses Papiers schlagen eine neue Methode namens Prefix-RFT vor. Stellen Sie sich dies als einen hybriden Coach vor, der eine „Start-Hinweis"-Strategie anwendet.

So funktioniert es, anhand einer einfachen Analogie:

Stellen Sie sich vor, der Schüler versucht, ein Labyrinth zu lösen.

Der alte Weg (SFT): Sie überreichen ihm eine Karte des gesamten Labyrinths und sagen ihm, er solle den Weg auswendig lernen.
Der alte Weg (RFT): Sie verbinden ihm die Augen und sagen ihm, er solle laufen, bis er den Ausgang findet.
Der neue Weg (Prefix-RFT): Sie geben ihm eine Karte, aber nur für die ersten 20 % des Labyrinths. Sie sagen: „Beginne genau so, wie diese Karte zeigt. Sobald du diesen Punkt erreicht hast, stecke die Karte weg und finde den Rest des Labyrinths selbst heraus."

Warum ist das genial?

Es bietet einen sicheren Start: Indem Sie den Schüler zwingen, den Anfang des Weges des Experten zu folgen, verhindern Sie, dass er sofort in eine Sackgasse gerät (was das RFT-Problem der „seltsamen Gewohnheiten" behebt).
Es zwingt zum eigenständigen Denken: Da der Schüler den Rest des Labyrinths selbst herausfinden muss, wird er nicht einfach zu einem Kopierer. Er muss sein Gehirn nutzen, um die Aufgabe zu Ende zu bringen (was das SFT-Problem der „fehlenden Generalisierung" behebt).
Die „Goldener-Stern"-Logik: Wenn der Schüler den Start des Experten befolgt und eine großartige Lösung für den Rest findet, erhält er eine enorme Belohnung. Dies lehrt das Modell, dass der Start des Experten eine gute Idee war, aber auch der eigene Abschluss des Schülers wertvoll war.

Der „Entropie"-Filter (Das Sicherheitsventil)

Das Papier erwähnt ein kniffliges technisches Detail namens „Entropie-basiertes Clipping". Hier ist die einfache Version:

Manchmal ist die Karte des Experten so unterschiedlich von dem, was der Schüler weiß, dass der Schüler, wenn er versucht, sie zu kopieren, verwirrt werden und sein Gehirn (mathematisch ausgedrückt: die „Gradienten" werden zu groß) brechen könnte.

Um dies zu beheben, lässt der Coach den Schüler nur die Teile der Karte kopieren, bei denen er unsicher ist.

Wenn der Schüler den ersten Schritt bereits perfekt beherrscht, sagt der Coach: „Überspringe das, du weißt es."
Wenn der Schüler bei einem Schritt verwirrt ist, sagt der Coach: „Schau dir hier den Zug des Experten an, hier ist es, wo du lernen musst."

Dies stellt sicher, dass der Schüler nur dort vom Experten lernt, wo er tatsächlich Hilfe benötigt, ohne überfordert zu werden.

Was die Ergebnisse zeigen

Die Autoren testeten dies an mathematischen Problemen (wie dem AIME-Wettbewerb).

Der Kopierer (SFT) war okay, konnte aber keine neuen, schwierigen Probleme bewältigen.
Der Versuch-und-Irrtum-Ansatz (RFT) war gut, geriet aber manchmal in Sackgassen oder entwickelte schlechte Gewohnheiten.
Der Prefix-Coach (Prefix-RFT) schlug beide. Er lernte die Muster des Experten und behielt die Fähigkeit, neue Lösungen zu erkunden.

Tatsächlich, als sie dem Modell eine enorme Anzahl von Versuchen (wie 2.048 Versuche) gaben, um ein einzelnes schwieriges Problem zu lösen, war der Prefix-Coach die einzige Methode, die die Chancen, die Lösung zu finden, signifikant verbesserte. Es bewies, dass diese Methode das Modell nicht nur besser im Kopieren macht, sondern tatsächlich die Obergrenze dessen erhöht, was das Modell zu erreichen vermag.

Auf den Punkt gebracht
Prefix-RFT ist wie das Anbringen eines „Stützrads" für den ersten Teil einer Reise, gefolgt vom Entfernen desselben, damit der Schüler den Rest des Weges selbstständig fahren kann. Es kombiniert die Sicherheit eines Leitfadens mit der Freiheit der Erkundung und führt zu einem Lernenden, der sowohl wissend als auch kreativ ist.

Technische Zusammenfassung: Verschmelzung von überwachtem und verstärktem Fine-Tuning mit Prefix-Sampling

1. Problemstellung

Das Nachtrainieren von Large Language Models (LLM) wird derzeit von zwei unterschiedlichen Paradigmen dominiert: Supervised Fine-Tuning (SFT) und Reinforcement Fine-Tuning (RFT). Jeder Ansatz weist spezifische Einschränkungen auf:

SFT glänzt darin, Demonstrationsdaten nachzuahmen, funktioniert jedoch als Verhaltensklonierung, was häufig zu problematischer Generalisierung und Robustheitsproblemen führt. Es bietet eine dichte Supervision, kann sich jedoch schlecht mit der Leistung in nachgelagerten Aufgaben decken.
RFT (z. B. PPO, GRPO) verbessert die Leistung durch Exploration und zielorientierte Optimierung, leidet jedoch unter spärlichen Belohnungssignalen, Sensitivität gegenüber der initialen Policy und dem Risiko, unerwartete Verhaltensweisen zu erlernen (z. B. Sprachmischung). Jüngste Literatur hinterfragt, ob RFT die intrinsische Fähigkeitsgrenze eines Modells wirklich erhöhen oder lediglich bestehendes Vorwissen verfeinern kann.

Die zentrale Forschungsfrage lautet, wie die prozessbezogene Supervision von SFT und die zielorientierte Optimierung von RFT formal integriert werden können, um ihre komplementären Stärken zu nutzen: SFT zur Erweiterung von Wissensgrenzen und RFT zur Steuerung hin zu robuster Problemlösung.

2. Methodik: Prefix-RFT

Die Autoren schlagen Prefix-RFT vor, einen hybriden Nachtrainierungsansatz, der SFT und RFT innerhalb eines einzigen Optimierungsrahmens vereint.

Einheitliche Sichtweise

Die Arbeit stellt fest, dass SFT und RFT eine konsistente Optimierungsstruktur teilen. Beide aktualisieren die Log-Wahrscheinlichkeit von Sequenzen und unterscheiden sich primär in der Quelle der Sequenz (Experte vs. On-Policy) und dem Gewichtsmechanismus (fest vs. vorteilsgewichtet).

Kernmechanismus

Prefix-RFT integriert Offline-Demonstrationsdatensätze in den RFT-Trainingsloop via Prefix Sampling:

Hybride Trajektorienkonstruktion: Für einen gegebenen Prompt $x$ und eine Demonstration $y^*$ generiert die Policy $\pi_{\theta}$ $N-1$ standardmäßige On-Policy-Rollouts. Für die $N$ -te Sequenz wird ein Prefix $y^*_{<L}$ aus der Demonstration gesampelt. Die Policy generiert dann eine Fortsetzung $y_{\ge L}$ , wodurch eine hybride Trajektorie $y^{(N)} = (y^*_{<L}, y_{\ge L})$ entsteht.
Einheitliches Gradienten-Update: Die hybride Trajektorie wird gemeinsam mit standardmäßigen Rollouts behandelt. Das Gradienten-Update kombiniert Lernen aus Exploration (On-Policy-Token) und Imitation (Prefix-Token).
- Prefix-Token ( $t < L$ ): Werden als „Imitation" behandelt, aber gewichtet durch den Vorteil $\hat{A}_t$ , der aus der gesamten hybriden Trajektorie geschätzt wird. Wenn die hybride Trajektorie eine hohe Belohnung liefert, wird der Prefix verstärkt; andernfalls wird sein Einfluss gedämpft.
- Fortsetzung-Token ( $t \ge L$ ): Werden als standardmäßige „Exploration"-Token behandelt.
Entropie-basiertes Clipping: Um zu verhindern, dass Off-Policy-Demonstrations-Token den Gradienten dominieren (aufgrund von Verteilungsverschiebungen, die zu großen Log-Likelihood-Gradienten führen), aktualisiert die Methode nur die top- $k\%$ (z. B. 20 %) der Prefix-Token mit der höchsten Entropie. Token mit niedriger Entropie werden entweder bereits vom Modell getroffen oder stellen selbstsichere Fehlabstimmungen dar, die zu scharfen, destabilisierenden Überschreibungen führen könnten.
Cosine-Decay-Scheduler: Um Positionsverzerrungen (bei denen Modelle das Ende von Sequenzen selten sehen) zu mildern und Curriculum-Learning zu implementieren, wird die Prefix-Länge $L$ durch einen Scheduler gesteuert. Die Prefix-Länge beginnt lang (hohe Führung) und decays während des Trainings zu kurz (mehr Autonomie), was einen Übergang von SFT zu RFT nachahmt.

3. Hauptbeiträge

Einheitlicher Rahmen: Die Arbeit bietet eine theoretische Vereinheitlichung von SFT und RFT und zeigt, dass diese über ein hybrides Zielobjektiv verschmolzen werden können, anstatt sie als aufeinanderfolgende Stufen zu behandeln.
Prefix-RFT-Algorithmus: Stellt eine einfache, aber effektive Methode vor, Offline-Demonstrationen in RFT einzuspeisen, ohne das Modell starr einzuschränken, sodass es nach überlegenen Fortsetzungen suchen kann, während es von Experten-Prefixes geleitet wird.
Dynamische Gewichtung und Clipping: Schlägt vor, vorteilsbasierte Trajektorien-Level-Vorteile zur dynamischen Gewichtung von Prefix-Updates zu verwenden, und setzt entropiebasiertes Clipping ein, um das Training gegen Off-Policy-Verteilungsverschiebungen zu stabilisieren.
Empirische Validierung: Zeigt, dass Prefix-RFT eigenständiges SFT, RFT und sequenzielle SFT-anschließend-RFT-Baselines sowie neuere parallele Hybridmethoden (z. B. UFT, LUFFY, ReLIFT) übertrifft.

4. Experimentelle Ergebnisse

Die Experimente wurden hauptsächlich an mathematischen Aufgaben (AIME, AMC, MATH-500 usw.) mit Modellen wie Qwen2.5-Math (1.5B, 7B) und LLaMA-3.1-8B durchgeführt.

Leistung: Prefix-RFT übertraf konsistent alle Baselines über sechs mathematische Reasoning-Benchmarks und drei allgemeine Reasoning-Aufgaben. Beispielsweise erreichte Prefix-RFT auf Qwen2.5-Math-7B einen Pass@1-Score von 31,8 auf AIME 2024 und 26,4 auf AIME 2025 und übertraf dabei die beste Baseline (LUFFY) sowie den sequenziellen SFT+RFT-Ansatz.
Reasoning-Grenzen (Pass@k): Entscheidend ist, dass Prefix-RFT die einzige Methode war, die die obere Leistungsgrenze des Modells signifikant erhöhte. Auf AIME 2025 erreichte es einen Pass@2048 von 76,7 %, verglichen mit 70,0 % für das Basismodell und RFT, was darauf hindeutet, dass es die Reasoning-Fähigkeiten des Modells erweitert und nicht nur die Wahrscheinlichkeit bekannter Lösungen erhöht.
Robustheit: Die Methode zeigte eine starke Robustheit über verschiedene Modellgrößen hinweg und war auch bei reduzierten Demonstrationsmengen (bis hinunter zu 1 % der Daten) und unterschiedlicher Qualität der Demonstrationsgeneratoren (von 1.5B bis 32B-Modellen) effektiv.
Generalisierung: Vorläufige Ergebnisse zur Code-Generierung (MBPP+, HumanEval+) bestätigten die Anwendbarkeit der Methode über mathematisches Reasoning hinaus.

5. Analyse und Bedeutung

Die Analyse der Arbeit unterstreicht die komplementäre Natur von SFT und RFT:

Überbrückung der Lücke: Prefix-RFT synthetisiert effektiv die unterschiedlichen Trainingsparadigmen. Es ermöglicht dem Modell, aus Demonstrationen zu lernen (SFT-ähnlich), während es das zielorientierte Zielobjektiv von RFT beibehält.
Dynamischer Übergang: Die Methode induziert einen dynamischen Übergang, bei dem das Modell zu Beginn des Trainings stark auf Prefixes angewiesen ist (hoher Vorteil, lange Prefixes) und sich allmählich hin zu autonomer Exploration verschiebt, während sich seine Fähigkeiten verbessern (abnehmender Vorteil, kürzere Prefixes).
Gezieltes Lernen: Das Modell lernt bei herausfordernden Problemen (bei denen es Schwierigkeiten hat) intensiver aus Demonstrationen und verlässt sich bei einfacheren Problemen mehr auf Selbsterkundung, was die adaptive Natur des Ansatzes validiert.

Bedeutung:
Die Autoren behaupten, dass Prefix-RFT einen „Sweet Spot" zwischen der Stabilität von SFT und der explorativen Kraft von RFT bietet. Durch die formale Integration dieser Paradigmen adressiert die Methode die Einschränkungen der Verhaltensklonierung (SFT) und die Instabilität reinen Reinforcement Learning (RFT). Die Arbeit legt nahe, dass die Behandlung von SFT und RFT als distincte, aufeinanderfolgende Stufen suboptimal ist und dass ein integrierter Ansatz sie effektiv harmonisieren kann, um die Grenzen der Reasoning-Fähigkeiten von LLMs zu erweitern.

Einschränkungen:
Die Autoren weisen darauf hin, dass sich ihre Experimente auf überprüfbare Reasoning-Szenarien mit zuverlässigen Ergebnis-Belohnungen konzentrieren. Obwohl die Ergebnisse zur Code-Generierung eine Übertragbarkeit nahelegen, bleiben breitere offene Generierungsaufgaben und Szenarien mit verrauschten Belohnungen zukünftige Arbeiten. Darüber hinaus verlässt sich die Methode auf externe Demonstrationen, und die systematische Auswahl mehrerer Kandidaten-Demonstrationen bleibt für zukünftige Studien vorbehalten.