🤖 machine learning

Rethinking Expert Trajectory Utilization in LLM Post-training for Mathematical Reasoning

Dieser Beitrag stellt das Plasticity-Ceiling-Framework vor, um nachzuweisen, dass eine sequenzielle SFT-anschließend-RL-Pipeline, die im stabilen oder leicht überangepassten Regime von SFT mit großskaligen Daten initiiert wird, synchronisierte Ansätze übertrifft und die Hypothese „Weniger ist mehr" zur Maximierung mathematischer Schlussfolgerungsfähigkeiten in LLMs widerlegt.

Ursprüngliche Autoren: Bowen Ding, Yuhan Chen, Jiayang Lyv, Jiyao Yuan, Qi Zhu, Shuangshuang Tian, Dantong Zhu, Futing Wang, Heyuan Deng, Fei Mi, Lifeng Shang, Tao Lin

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bowen Ding, Yuhan Chen, Jiayang Lyv, Jiyao Yuan, Qi Zhu, Shuangshuang Tian, Dantong Zhu, Futing Wang, Heyuan Deng, Fei Mi, Lifeng Shang, Tao Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen brillanten Schüler zu einem Meistermathematiker auszubilden. Sie haben zwei Hauptwerkzeuge: ein Lehrbuch (Supervised Fine-Tuning, oder SFT) und ein Fitnessstudio für Problemlösung (Reinforcement Learning, oder RL).

Diese Arbeit ist eine Studie über den besten Weg, diese Werkzeuge einzusetzen, um aus einem klugen Schüler ein Mathematik-Genie zu machen. Die Forscher stellten fest, dass die Reihenfolge, in der Sie sie einsetzen, wie lange Sie das Lehrbuch studieren und die Schwierigkeit der von Ihnen gewählten Probleme die Schlüssel zum Erfolg sind.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die Regel „Zuerst Lehrbuch, dann Fitnessstudio"

Das Problem: Manche Leute dachten, man könne Lehrbuch und Fitnessstudio gleichzeitig mischen (genannt „Synchronisiertes SFT-RL"). Sie hofften, dies wäre schneller.
Die Erkenntnis: Die Arbeit zeigt, dass dies eine schlechte Idee ist. Es ist wie der Versuch, ein Kapitel eines Mathematikbuchs zu lesen, während Sie gleichzeitig auf einem Laufband rennen; Sie landen verwirrt und kommen nicht weit.
Der Gewinner: Die beste Methode ist sequenziell: Lesen Sie zuerst das gesamte Lehrbuch, bis Sie die Konzepte wirklich verstanden haben, dann gehen Sie ins Fitnessstudio, um das Lösen von Problemen selbstständig zu üben. Dieser „Zuerst-Lehrbuch"-Ansatz baut ein solides Fundament auf, das dem Schüler ermöglicht, später ein viel höheres Fähigkeitsniveau zu erreichen.

2. Der „Sweet Spot" für den Wechsel

Das Problem: Wann sollten Sie aufhören, das Lehrbuch zu lesen, und mit dem Fitnessstudio beginnen?
Die Erkenntnis: Sie sollten nicht zu früh wechseln (wenn Sie noch verwirrt sind) oder zu spät (wenn Sie das Buch so gut auswendig gelernt haben, dass Sie nicht mehr kreativ denken können).
Die Analogie: Stellen Sie sich die Lernkurve des Lehrbuchs als einen Hügel vor.

Zu früh (Adaptives Regime): Sie sind noch am Fuße und straucheln. Wenn Sie jetzt ins Fitnessstudio wechseln, fehlen Ihnen die grundlegenden Fähigkeiten, um effektiv zu trainieren.
Zu spät (Schwere Overfitting): Sie haben das Buch so perfekt auswendig gelernt, dass Sie keine neuen Probleme mehr bewältigen können. Sie sind zu einem Roboter geworden, der nur die Antworten im Buch kennt.
Der Sweet Spot (Stabiles Regime): Sie haben den Gipfel des Hügels erreicht. Sie verstehen das Material tiefgründig, sind aber noch nicht zu einem starren Roboter geworden. Dies ist der perfekte Zeitpunkt, um ins Fitnessstudio zu wechseln. Die Arbeit beweist, dass das Stoppen genau dann, wenn das Lehrbuchlernen „stabilisiert" ist, die besten Ergebnisse liefert.

3. Volumen vs. Schwierigkeit (Der „Weniger ist mehr"-Mythos)

Das Problem: Einige Experten behaupteten, dass die Verwendung einer winzigen Menge sehr hochwertiger, schwieriger Probleme besser ist als die Verwendung eines riesigen Haufens von Problemen („Weniger ist mehr").
Die Erkenntnis: Die Arbeit sagt Nein.
Die Analogie:

Datenskala (Volumen): Denken Sie daran als an die Größe des Fitnessstudios. Ein kleines Fitnessstudio (kleiner Datensatz) mag leicht zu füllen sein, aber es begrenzt, wie stark Sie werden können. Ein riesiges Fitnessstudio (riesiger Datensatz) gibt Ihnen den Raum, um massive Stärke aufzubauen. Die Arbeit fand heraus, dass größer besser ist. Die Größe Ihres Datensatzes ist das Hauptelement, das Ihre finale Obergrenze bestimmt.
Datenschwierigkeit: Denken Sie daran als an das Gewicht auf der Langhantel. Sobald Sie ein großes Fitnessstudio haben, hilft das Hinzufügen schwererer Gewichte (schwierigere Probleme), noch stärker zu werden. Aber wenn Sie nur ein winziges Fitnessstudio haben, helfen schwere Gewichte Ihnen nicht, an die Spitze zu gelangen.
Fazit: Holen Sie sich zuerst ein riesiges Fitnessstudio (viele Daten). Dann machen Sie die Gewichte schwerer (schwierigere Daten), um Ihr Training zu optimieren.

4. Der „Kristallkugel"-Indikator

Das Problem: Wie wissen Sie, ob Sie das richtige Lehrbuch und den richtigen Moment für den Wechsel gewählt haben, ohne teure Tests durchzuführen?
Die Erkenntnis: Die Forscher fanden eine einfache Metrik: Der tiefste Punkt Ihres „Validation Loss".
Die Analogie: Stellen Sie sich vor, Sie fahren mit einem Auto einen Berg hinauf. Sie müssen nicht bis zum Gipfel fahren, um zu wissen, wie hoch der Berg ist. Sie müssen nur auf die tiefste Senke der Straße (den minimalen Validation Loss) während Ihres Lehrbuchstudiums schauen. Wenn diese Senke sehr tief ist, sagt sie voraus, dass Sie später im Fitnessstudio einen sehr hohen Gipfel erreichen werden. Es ist eine zuverlässige Kristallkugel für Ihr finales Potenzial.

Zusammenfassung des „Plasticity-Ceiling"-Rahmens

Die Autoren schufen einen Rahmen namens Plasticity-Ceiling:

Die Obergrenze (Ceiling): Die höchstmögliche Punktzahl, die Ihr Modell jemals erreichen kann.
Plastizität: Wie viel Raum für Verbesserungen nach Abschluss des Lehrbuchs noch vorhanden ist.

Die große Lehre:
Um die höchste Obergrenze zu erreichen, müssen Sie:

Die sequenzielle Methode verwenden (Lehrbuch, dann Fitnessstudio).
Das Lehrbuch genau dann beenden, wenn Sie das Stabile Regime erreichen (nicht zu früh, nicht zu spät).
Einen riesigen Datensatz verwenden (Volumen ist König).
Schwierigere Probleme als multiplikativen Bonus verwenden.

Dies verwandelt den Prozess des Trainings von KI von einem Spiel aus „Raten und Prüfen" in eine vorhersehbare, wissenschaftliche Rezeptur.

Technische Zusammenfassung: Neudefinition der Nutzung von Experten-Trajektorien im Post-Training von LLMs für mathematisches Schlussfolgern

Problemstellung

Das Post-Training von Large Language Models (LLMs) für mathematisches Schlussfolgern wird derzeit von zwei Paradigmen dominiert: Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL). Während SFT stark auf Experten-Trajektorien (Prompt-Lösungs-Paare) angewiesen ist, um durch Imitation Schlussfolgerungspriors zu vermitteln, nutzen RL-Methoden (z. B. GRPO, DAPO) typischerweise Belohnungssignale, um Schlussfolgerungspfade zu erkunden, ohne dabei direkt Experten-Trajektorien zu verwenden.

Trotz des Konsenses, dass beide notwendig sind, bleibt der optimale Mechanismus zur Nutzung von Experten-Trajektorien zur Maximierung des finalen Leistungsobergrenze ungelöst. Das Feld steht vor einem „Paradigma-Dilemma":

Synchronisierte Ansätze (Syn-SFT-RL): Neuere Methoden (z. B. UPT, SRFT, LUFFY) integrieren einen Imitationsverlust direkt in die RL-Schleife und behaupten eine überlegene Effizienz. Diese sind jedoch oft durch begrenzte SFT-Datengrößen (z. B. ~46K Stichproben) eingeschränkt und fehlen rigorose Vergleiche mit Baselines, die auf deutlich größeren Datensätzen trainiert wurden.
Sequentielle Ansätze (SFT-anschließend-RL): Der Industriestandard umfasst eine sequenzielle Pipeline. Die Prinzipien, die diesem Ansatz zugrunde liegen, sind jedoch weitgehend empirisch. Kritische Fragen bleiben unbeantwortet bezüglich des optimalen Zeitpunkts für den Wechsel von SFT zu RL, des Einflusses der Datengröße versus Schwierigkeit und ob die Hypothese „Weniger ist mehr" (Verwendung minimaler hochwertiger Daten) für die Maximierung des ultimativen Schlussfolgerungsobergrenze gilt.

Methodik: Das Plastizität-Obergrenze-Framework

Um diese Lücken zu adressieren, schlagen die Autoren das Plastizität-Obergrenze-Framework vor, einen einheitlichen analytischen Ansatz, der die theoretische Post-Training-Leistungsobergrenze ( $A_{post}$ ) in zwei messbare Komponenten zerlegt:

SFT-Leistung ( $P_{sft}$ ): Die nach der SFT-Phase erzielte Leistung bei einer spezifischen Rechenzuweisung ( $x_{sft}$ ).
RL-Plastizität ( $P_{L_{rl}}$ ): Das maximale potenzielle Verbesserungspotenzial, das durch nachfolgendes RL erreichbar ist, definiert als Differenz zwischen der asymptotischen Obergrenze und der SFT-Baseline ( $A_{post} - P_{sft}$ ).

Das Framework modelliert die Post-Training-Leistung als Funktion der RL-Rechenleistung unter Verwendung eines sigmoidalen Gesetzes, was eine quantitative Zerlegung der finalen Obergrenze ermöglicht. Dies erlaubt den Autoren, systematisch zu bewerten, wie SFT-Dateneigenschaften (Größe und Schwierigkeit) und Trainingsdynamiken sowohl das Fundament ( $P_{sft}$ ) als auch den Spielraum für Verbesserungen ( $P_{L_{rl}}$ ) beeinflussen.

Experimentelles Setup

Die Studie führt umfangreiche Benchmarks an Qwen2.5-7B und Llama3.2-3B über sechs mathematische Benchmarks (GSM8K, OlympiadBench, Minerva, MATH, AIME24/25) und aufgabenübergreifende (OOD) Aufgaben (GPQA-Diamond, ARC-C) durch.

Datensätze: Die Autoren erstellen SFT-Datensätze im Bereich von 1K bis 889K eindeutigen Stichproben, abgeleitet von destillierten DeepSeek-R1-Ausgaben. Diese umfassen Größenvarianten (S1K, Uniform102K, SFT889K) und Schwierigkeitsvarianten (Easy102K, Uniform102K, Hard102K).
Baselines: Die Studie vergleicht Pure-SFT, Pure-RL (GRPO, DAPO), Syn-SFT-RL (LUFFY, SRFT, UPT, Prefix-RFT) und die sequenzielle SFT-anschließend-RL-Pipeline.
Metriken: Die Leistung wird über die Pass@1-Genauigkeit gemessen, wobei die Rechenkosten in FLOPs (exaFLOPs) normalisiert werden.

Hauptergebnisse

1. Paradigmenauswahl: Sequentielle Dominanz

Die sequenzielle SFT-anschließend-RL-Pipeline wird als überlegener Standard etabliert.

Einschränkungen von Syn-SFT-RL: Synchronisierte Methoden zeigen Trainingsinstabilität und vorzeitige Konvergenz. Sie sind hochgradig sensitiv gegenüber Modellpriors und skalieren im Vergleich zu sequenziellen Baselines, die auf größeren Datensätzen optimiert wurden, nicht effektiv.
Der Vorteil „Langsam, aber hoch": Pure-SFT zeigt kontinuierliche Verbesserungen bei umfangreichem Training und erreicht einen Peak, der signifikant höher ist als die Obergrenzen von Pure-RL- oder Syn-SFT-RL-Methoden. Entscheidend ist, dass der Übergang zu RL nach SFT-Sättigung weitere Gewinne freisetzt und die höchste Leistungsgrenze erreicht (z. B. 78,1 Punkte bei Qwen2.5-7B vs. 74,3 für Pure-RL).

2. Optimaler Übergangszeitpunkt: SFT-Sättigung

Die optimale Strategie für den Wechsel von SFT zu RL besteht darin, bis zum Stabilen Regime oder Leichten Overfitting-Regime des SFT-Validierungsverlusts zu warten.

Vorzeitiger Wechsel: Ein Wechsel während des Adaptiven Regimes (Unteranpassung) führt zu suboptimalen Obergrenzen, da dem Modell die für die Wiederherstellung durch RL erforderliche grundlegende Kompetenz fehlt.
Schweres Overfitting: Die Fortsetzung von SFT bis in das schwere Overfitting-Regime verursacht einen Kollaps der RL-Plastizität, was sich nachteilig auf die finale Obergrenze auswirkt.
Generalisierung: Das Training von SFT bis zur Sättigung schafft ein robustes Fundament für die Generalisierung auf aufgabenübergreifende (OOD) Bereiche, was Behauptungen widerspricht, dass intensives SFT die Generalisierung verschlechtert.

3. Dateneigenschaften: Größe und Schwierigkeit

Die Studie widerlegt die Hypothese „Weniger ist mehr" im Kontext des SFT-anschließend-RL-Skalierens.

Größe dominiert: Die Datengröße ist der primäre Bestimmungsfaktor der finalen Leistungsobergrenze. Während kleine Datensätze (z. B. S1K) schnelle anfängliche Gewinne erzielen, sättigen sie vorzeitig. Große Datensätze (z. B. SFT889K) bieten sowohl eine höhere realisierte SFT-Leistung als auch eine größere erhaltene RL-Plastizität, was zu einer signifikant höheren Obergrenze führt.
Schwierigkeit als Multiplikator: Die Schwierigkeit der Trajektorien wirkt als Leistungsmultiplikator. Schwierigere Daten (Hard102K) ergeben eine höhere SFT-Leistung und halten eine vergleichbare Plastizität wie einfachere Daten aufrecht, was sie zur überlegenen Wahl macht, wenn die Größe festgelegt ist.
Prädiktiver Indikator: Der Minimale Validierungsverlust der SFT-Phase dient als zuverlässiger, robuster Indikator für die finale Post-Training-Obergrenze und korreliert stark mit der ultimativen Leistung ( $A_{post}$ ).

Bedeutung und Beiträge

Die Arbeit beansprucht, die Optimierung von Experten-Trajektorien von empirischem Raten in einen systematischen, vorhersagbaren Prozess zu verwandeln. Ihre Hauptbeiträge sind:

Das Plastizität-Obergrenze-Framework: Ein theoretischer Mechanismus, der die Post-Training-Leistung in realisierte SFT-Gewinne und nachfolgende RL-Plastizität zerlegt und eine einheitliche Sichtweise für die Paradigmenauswahl bietet.
Rigoroses Benchmarking: Etablierung der sequenziellen SFT-anschließend-RL-Pipeline als rigoroser Standard für Stabilität und Leistung, der synchronisierte Ansätze und reine Methoden übertrifft.
Handlungsanleitende Skalierungsrichtlinien:
- Zeitpunkt: Starten Sie RL bei SFT-Sättigung (Stabiles Regime).
- Datenstrategie: Priorisieren Sie die Datengröße gegenüber der Schwierigkeit, um die Obergrenze zu maximieren; nutzen Sie die Schwierigkeit, um innerhalb begrenzter Größenbeschränkungen zu optimieren.
- Überwachung: Verwenden Sie den Minimalen Validierungsverlust als Proxy für die finale Leistungsobergrenze.

Die Autoren schließen, dass diese Erkenntnisse handlungsanleitende Richtlinien zur Extraktion des maximalen Werts aus Experten-Trajektorien bieten, speziell für mathematische Schlussfolgerungsaufgaben unter Verwendung von R1-artigen Trajektorien. Sie räumen Einschränkungen hinsichtlich der Generalisierung auf nicht-verifizierbare Aufgaben (z. B. kreatives Schreiben) oder alternative Trajektorienstile ein und lassen diese als offene Fragen für zukünftige Arbeiten.