Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models

Technische Zusammenfassung: Mid-Training mit selbstgenerierten Daten verbessert das Reinforcement Learning in Sprachmodellen

Problemstellung
Jüngste Fortschritte bei Large Language Models (LLMs) haben Reinforcement Learning (RL) als leistungsstarke Technik zur Verbesserung von Schlussfolgerungsfähigkeiten hervorgehoben, insbesondere durch Skalierung zur Inferenzzeit. Die Wirksamkeit von RL hängt jedoch stark von den Prioritäten ab, die im Modell vor dem RL-Training etabliert wurden. Die bestehende Literatur legt nahe, dass RL mit überprüfbaren Belohnungen (RLVR) oft eine „verteilungsverschärfende" Wirkung („distributional sharpening") entfaltet, indem es selektiv Verhaltensweisen verstärkt, die bereits im Basismodell vorhanden sind, anstatt genuinely neue Fähigkeiten zu induzieren. Wenn ein Modell keine Exposition gegenüber diversen Problemlösungsansätzen für eine einzelne Aufgabe erfahren hat, kann das nachfolgende RL-Training Schwierigkeiten haben, die Leistung zu verbessern, oder sie unter bestimmten Evaluierungsmetriken (z. B. pass@k) sogar verschlechtern. Die zentrale Herausforderung besteht darin, wie ein Basismodell vor der Anwendung von RL effektiv mit einer reichen Menge diverser Schlussfolgerungsstrategien ausgestattet werden kann, wodurch der RL-Prozess in die Lage versetzt wird, diese Strategien zu kombinieren und zu verfeinern, anstatt lediglich eine schmale Palette bestehender Verhaltensweisen zu verstärken.

Methodik
Die Autoren schlagen ein Mid-Training-Rahmenwerk vor, das als Zwischenschritt zwischen Pre-Training und RL dient. Diese Phase nutzt diverse selbstgenerierte Daten, um das Modell mehreren gültigen Lösungs-Trajektorien für dasselbe Problem auszusetzen.

1. Heuristik-gesteuerte Datengenerierung:

   • Das Rahmenwerk lässt sich von George Pólyas Heuristiken zur Problemlösung inspirieren (z. B. Analogie, Zerlegen & Neuordnen, Rückwärtsarbeiten).
   • Für jede Frage in einem Seed-Datensatz (GSM8K) wird das Basismodell mit spezifischen Heuristik-Beschreibungen und Few-Shot-Beispielen aufgefordert, mehrere Kandidatenantworten zu generieren.
   • Dieser Prozess wird bootstrapped: Das Modell generiert seine eigenen Trainingsdaten, ohne auf Distillation von stärkeren Lehrermodellen angewiesen zu sein.
   • Filterung und Auswahl: Generierte Antworten werden mittels regelbasierter Verifizierer (z. B. Math-Verify) auf Korrektheit gefiltert. Die verbleibenden Kandidaten werden von einem Belohnungsmodell ($R_\phi$) basierend auf der Einhaltung der spezifischen Heuristik bewertet. Die am höchsten bewertete Antwort für jedes Frage-Heuristik-Paar wird ausgewählt.
   • Der resultierende Datensatz ($D_{Pólya}$) enthält $n$ verschiedene Lösungsvarianten pro Frage, wobei $n$ die Anzahl der angewandten Heuristiken darstellt.

2. Mid-Training (Supervised Fine-Tuning):

   • Das Basismodell wird auf $D_{Pólya}$ feinabgestimmt. Im Gegensatz zum Standard-SFT, das eine Frage mit einer einzigen Antwort paart, koppelt dieser Ansatz jede Frage mit $n$ diversen Trajektorien.
   • Das Ziel ist es, die negative Log-Likelihood über diese mehreren Trajektorien zu minimieren, wodurch das Modell ermutigt wird, verschiedenen nächsten-Token-Optionen an Verzweigungspunkten eine nicht zu vernachlässigende Wahrscheinlichkeit zuzuweisen, was effektiv eine N-modale Next-Token-Verteilung erzeugt.

3. Reinforcement Learning:

   • Nach dem Mid-Training durchläuft das Modell ein RL-Training unter Verwendung von Group Relative Policy Optimization (GRPO) auf einem separaten Datensatz (DAPO-Math-17k).
   • Die Studie vergleicht Modelle, die mit unterschiedlichen Anzahlen von Heuristiken initialisiert wurden ($n \in \{1, 2, \dots, 64\}$), mit Baselines: Zero-Shot, Vanilla RL (direkt auf dem Basismodell) und STaR+RL (Self-Taught Reasoner gefolgt von RL).

Theoretische Perspektive
Die Arbeit bietet eine theoretische Analyse, wie Mid-Training Policy-Gradient-Updates beeinflusst:

• Unimodale vs. N-modale Regime: In einem unimodalen Regime (hohe Konfidenz in einen einzelnen Token) führt ein Policy-Gradient-Update zu vernachlässigbaren Änderungen ($\propto \epsilon^2$). Im Gegensatz dazu induziert ein Update in einem N-modalen Regime (Wahrscheinlichkeitsmasse aufgeteilt auf $N$ dominante Modi) konservative, aber spürbare Änderungen ($\propto 1/N$).
• Komposition von Strategien: Die Autoren beweisen, dass bei einem negativen Advantage-Update die von einem gesampelten Token entfernte Wahrscheinlichkeitsmasse vorwiegend auf die verbleibenden $N-1$ dominanten Modi umverteilt wird. Dieser Mechanismus incentiviert das Modell, während des RL zu lernen, verschiedene Problemlösungsansätze innerhalb einer einzigen Antwort zu kombinieren, anstatt auf eine einzige Strategie zu kollabieren.

Hauptergebnisse
Experimente wurden mit Llama 3.2–3B–Instruct und Qwen2.5–7B–Instruct über sechs mathematische Schlussfolgerungs-Benchmarks (Math-500, AIME 2024/2025, AMC 2023, HMMT 2025, OlympiadBench) und domänenübergreifende Aufgaben (HumanEval, MuSR) durchgeführt.

• Leistungssteigerungen: Mid-Training mit diversen selbstgenerierten Daten verbessert die RL-Leistung konsistent, insbesondere bei höheren $k$-Werten (pass@64).
  • Auf Math-500 verbesserte sich pass@64 von 87,76 % (Zero-Shot) auf 88,94 % ($n=64$).
  • Auf AIME 2025 stieg pass@64 von 12,84 % auf 18,66 %.
  • Modelle, die mit höherer Schlussfolgerungsvielfalt mid-getrainet wurden ($n=64$), schnitten auf allen Benchmarks besser ab als sowohl Vanilla-RL- als auch STaR+RL-Baselines.
• Vielfalt vs. Menge: Ein kontrolliertes Experiment zeigte, dass das Lernen mehrerer Ansätze pro Frage (weniger Probleme, mehr Ansätze) größere Vorteile für das RL bringt als das Lernen eines einzigen Ansatzes über eine größere Anzahl von Problemen, gegeben ein festes Trainingsbudget.
• Korrektheit ist essenziell: Mid-Training mit diversen Ansätzen, die zu falschen Antworten führen, verbesserte die RL-Leistung nicht, was darauf hindeutet, dass Korrektheit eine Voraussetzung für die Vorteile der Vielfalt ist.
• Überlegenheit gegenüber Distillation: Die selbstgenerierten Daten wiesen eine höhere Vielfalt auf (Vendi-Score 13,81) im Vergleich zu Daten, die von einem stärkeren Lehrermodell (QwQ-32B, Vendi-Score 10,95) distilliert wurden, was zu einer besseren Downstream-Leistung führte.
• Generalisierung: Trotz des mathematischen Schwerpunkts von Pólyas Heuristiken generalisierten die erlernten Strategien auf Code-Generierung (HumanEval) und narrative Schlussfolgerung (MuSR), mit signifikanten Gewinnen bei mehrstufigen Schlussfolgerungsaufgaben.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass der Hauptbeitrag darin besteht zu demonstrieren, dass die Exposition gegenüber mehreren Problemlösungsansätzen durch selbstgenerierte Daten während des Mid-Trainings die Prioritäten des Modells grundlegend prägt und es dem nachfolgenden RL ermöglicht, diese Strategien effektiv zu kombinieren.

• Mechanismus der Verbesserung: Die Studie geht davon aus, dass RL nicht notwendigerweise „emergente" Schlussfolgerungsfähigkeiten von Grund auf neu erschafft, sondern vielmehr bestehende Verhaltensweisen kombiniert. Mid-Training stellt sicher, dass diese Verhaltensweisen vielfältig sind und für die Kombination verfügbar sind.
• Praktischer Nutzen: Der Ansatz bietet eine einfache, effektive und skalierbare Methode zur Verbesserung von RL, ohne menschliche Annotation oder stärkere Lehrermodelle zu benötigen.
• Theoretische Einsicht: Die Arbeit überbrückt die Lücke zwischen dem empirischen Erfolg von RL und dem theoretischen Verständnis und zeigt, wie N-modale Verteilungen das Kollabieren von Modi verhindern und das Lernen von zusammengesetzten Schlussfolgerungsketten erleichtern.

Die Autoren bleiben bezüglich der Genauigkeit bei einzelnen Stichproben (pass@1) bescheiden und weisen darauf hin, dass ihr Fokus darauf liegt, zu verstehen, wie eine diverse Exposition das RL-Verhalten prägt und die Leistung in Szenarien verbessert, die mehrere Stichprobenversuche erfordern (pass@k). Sie erkennen an, dass, obwohl die Heuristiken mathematisch zentriert sind, die resultierende Generalisierung auf andere Domänen darauf hindeutet, dass das Verfahren latente Fähigkeiten innerhalb des Basismodells aufdeckt und konsolidiert.