How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

1. Problemstellung

Das Papier adressiert zwei kritische Fehlermodi beim Training von Reasoning-Modellen (Modellen, die latente Gedankenketten generieren, bevor sie antworten) unter Verwendung ausschließlich von Output-Level-Supervision:

1. Cold-Start-Stagnation: Wenn die anfängliche Erfolgswahrscheinlichkeit ($p_0$) sehr niedrig ist, scheitern Standard-Verstärkungslernen aus verifizierbaren Belohnungen (RLVR) und seine Varianten (wie GRPO oder Rao-Blackwellized REINFORCE) oft daran, Fortschritte zu erzielen. Das Gradientensignal ist zu schwach, um dem „Cold-Start"-Regime zu entkommen.
2. Rausch-Memorierung: Umgekehrt neigen Methoden, die das Modell aggressiv dazu drängen, die Trainingsverteilung anzupassen (wie Standard-Supervised Fine-Tuning oder Maximum-Likelihood-Schätzung), dazu, Labelfehler und Rauschen auswendig zu lernen, was die Generalisierung und Selbstkonsistenz verringert.

Bestehende Ansätze behandeln diese als separate Probleme. Die Autoren argumentieren, dass dies zwei Enden eines Spektrums sind, das durch das „Commitment" des Modells zum Supervisionssignal gesteuert wird. Sie schlagen einen einheitlichen theoretischen Rahmen vor, um die Geschwindigkeit des Entkommens aus Cold Starts gegen die Robustheit gegenüber Rauschen abzuwägen.

2. Methodik: Der $J_Q$-Loss-Kontinuum

Der Kernbeitrag ist die Definition einer Loss-Familie, $J_Q$, abgeleitet aus dem Tsallis-$q$-Logarithmus. Diese Familie interpoliert zwischen zwei Polen:

• Exploitation-Pol ($q=0$): Entspricht der Maximierung der erwarteten Genauigkeit (äquivalent zu RLVR mit exakt-matching-Belohnungen). Der Loss ist beschränkt ($1 - P_\theta$).
• Dichteschätzungs-Pol ($q=1$): Entspricht der Maximierung der Log-Marginal-Likelihood über latente Trajektorien (äquivalent zu Standard-SFT/ML). Der Loss ist unbeschränkt ($-\log P_\theta$).

Theoretische Kernaussage: Gradientenverstärkung

Alle Mitglieder der $J_Q$-Familie teilen die gleiche Gradientenrichtung pro Beispiel und unterscheiden sich nur durch einen skalaren Verstärkungsfaktor:
$$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$$
Wobei $P_\theta = p_\theta(y^*|x^*)$ die bedingte Erfolgswahrscheinlichkeit des Modells ist.

• Der Parameter $q$ (Commitment): Steuert, wie stark der Gradient für „schwere" Beispiele (niedriges $P_\theta$) verstärkt wird.
  • Niedriges $q$ (nahe 0): Minimale Verstärkung. Das Modell konzentriert sich auf das, was es bereits weiß (rauschrobust), entkommt aber langsam dem Cold Start ($\Omega(1/p_0)$ Zeit).
  • Hohes $q$ (nahe 1): Massive Verstärkung für Beispiele mit niedriger Wahrscheinlichkeit. Das Modell erkundet aggressiv unbekannte Supervision, entkommt schnell dem Cold Start ($\Theta(\log(1/p_0))$ Zeit), riskiert aber die Memorierung von Rauschen.

Gradientenschätzer

Da $P_\theta$ nicht handhabbar ist (es beinhaltet die Summation über alle latenten Trajektorien), leiten die Autoren zwei Monte-Carlo-Schätzer basierend auf der dualen Faktorisierung des Gradienten ab:

1. GARL (Gradient-Amplified RL):

   • Mechanismus: Stichprobenziehung von Trajektorien aus der Prior $p_\theta(z|x^*)$ und Verstärkung des Standard-RL-Gradienten um $(\bar{w}_M)^{-q}$.
   • Eigenschaften: Geringere Varianz, verallgemeinert RB-REINFORCE ($q=0$) und IWAE ($q=1$).
   • Anwendungsfall: Unverzichtbar für Cold-Start-Szenarien, bei denen das Posterior-Sampling keine gültigen Trajektorien liefert.

2. PAFT (Posterior-Attenuated Fine-Tuning):

   • Mechanismus: Importance-Resampling von Trajektorien aus dem Posterior (jene, die mit der Antwort übereinstimmen) und Abschwächung des SFT-Gradienten um $(\bar{w}_M)^{1-q}$.
   • Eigenschaften: Erzeugt semantisch kohärente Gradienten (nur Updates auf gültigen Rationales), weist jedoch aufgrund von Resampling-Rauschen eine höhere Varianz auf. Verallgemeinert den E-Schritt von EM ($q=1$).
   • Anwendungsfall: Stabiler während des Warm-Start-Trainings, verhindert den „Kollaps", der bei GARL auf komplexen Datensätzen beobachtet wird.

3. Hauptbeiträge

1. Einheitlicher theoretischer Rahmen: Das Papier liefert die erste theoretische Darstellung, die Cold-Start-Stagnation und Rausch-Memorierung als einen durch den Parameter $q$ gesteuerten Trade-off vereint.
2. Analyse der Entkommensgeschwindigkeit: Theoretische Beweise (Sätze 5.1 & 5.2) zeigen, dass die Zeit zum Entkommen aus dem Cold Start für $q=0$ als $\Omega(1/p_0)$ skaliert, sich aber für $q=1$ auf $\Theta(\log(1/p_0))$ verbessert. Dies erklärt, warum Standard-RLVR versagt, wenn $p_0$ klein ist.
3. Duale Schätzer (GARL & PAFT): Die Herleitung zweier praktischer, direkt einsetzbarer Schätzer, die Praktikern ermöglichen, das „Commitment"-Level anzupassen, ohne die Modellarchitektur zu ändern.
4. Bias-Varianz-Trade-off: Analyse zeigt, dass zwar hohes $q$ das Lernen beschleunigt, es jedoch einen Schätzer-Bias einführt ($O(q/MP_\theta^{q+1})$), was mittlere Werte von $q$ für optimale Leistung erforderlich macht.

4. Empirische Ergebnisse

Die Autoren bewerteten GARL und PAFT auf drei Reasoning-Benchmarks (FinQA, HotPotQA, MuSiQue) unter Verwendung eines Qwen 3 0.6B-Modells.

• Cold-Start-Leistung:

  • Standard-GRPO und $q=0$ (RB-RLOO) versagten vollständig (0% Genauigkeit) bei Cold-Start-Aufgaben.
  • GARL mit $q=0.75$ entkam erfolgreich dem Cold Start und erzielte signifikante Genauigkeit (z. B. 38,3% maj@16 auf FinQA vs. 0% für GRPO).
  • $q=1$ entkam dem Cold Start, litt jedoch unter höherer Rausch-Memorierung, was zu einer niedrigeren Endgenauigkeit als bei $q=0.75$ führte.

• Warm-Start-Leistung:

  • FinQA: Das Training war über alle $q$ hinweg stabil. GARL bei $q=0.25$ erzielte die besten Ergebnisse (38,7% maj@16) und übertraf GRPO um +11,8 Punkte.
  • HotPotQA & MuSiQue: GARL kollabierte (Validierungsgenauigkeit fiel auf null) während des Trainings bei allen getesteten $q$-Werten, wahrscheinlich aufgrund von Pathwise-Term-Korruption oder Overfitting.
  • PAFT-Stabilität: PAFT kollabierte auf keinem Benchmark. PAFT bei $q=0.75$ erzielte die besten stabilen Ergebnisse auf HotPotQA (47,9% maj@16, +14,4 gegenüber GRPO) und MuSiQue (22,4% maj@16).

• Prompt-Unabhängigkeit: Bemerkenswerterweise übertraf das Cold-Start-GARL-Modell (ohne aufgabenspezifische Prompts trainiert) das Warm-Start-GRPO-Modell (mit Prompts trainiert) in allen Metriken, was darauf hindeutet, dass starkes Commitment ($q \approx 0.75$) dem Modell ermöglicht, die Aufgabenstruktur direkt aus Input-Output-Paaren zu entdecken.

5. Bedeutung und praktische Implikationen

• Lösung des Cold-Start-Engpasses: Das Papier beweist, dass der Engpass bei RLVR nicht nur die Gradientenvarianz ist (adressiert durch Rao-Blackwellisierung), sondern das Fehlen einer Gradientenverstärkung für Beispiele mit niedriger Wahrscheinlichkeit. Eine Erhöhung von $q$ löst dies.
• Dynamische Trainingsstrategie: Die Autoren schlagen ein praktisches Rezept vor:
  • Cold Start: Verwenden Sie GARL mit hohem $q$ ($\approx 0.75$), um das Modell aus dem Null-Belohnungs-Regime zu zwingen.
  • Warm Start: Wenn das Training stabil ist (z. B. FinQA), verwenden Sie GARL mit niedrigem $q$ ($\approx 0.25$), um den Bias zu minimieren. Wenn das Training instabil ist (z. B. HotPotQA), wechseln Sie zu PAFT mit hohem $q$ ($\approx 0.75$), um die Stabilität durch kohärente Gradienten aufrechtzuerhalten.
• Über RLVR hinaus: Dieser Rahmen bietet einen prinzipiellen Weg, um zwischen Reinforcement Learning und Supervised Fine-Tuning zu interpolieren und geht über die starre „SFT dann RL"-Pipeline zu einem kontinuierlichen Spektrum des Commitments hinaus.

Zusammenfassend zeigt das Papier, dass das Commitment zur Supervision ein justierbarer Hyperparameter ist. Durch die Anpassung von $q$ können Praktiker den Trade-off zwischen der Lerngeschwindigkeit (Entkommen aus Cold Starts) und der Robustheit des Lernens (Vermeidung von Rausch-Memorierung) steuern, was zu State-of-the-Art-Leistungen bei komplexen Reasoning-Aufgaben führt.