Technisches Resümee: RASFT (Rollout-Adaptive Supervised Fine-Tuning für Reasoning)

1. Problemstellung

Supervised Fine-Tuning (SFT) ist der Standardansatz zur Anpassung von Large Language Models (LLMs) an Reasoning-Aufgaben durch das Imitieren von Offline-Experten-Demonstrationen. Die Autoren identifizieren jedoch eine kritische Einschränkung dieses Paradigmas: Reasoning ist keine einfache Pfad-Imitationsaufgabe. Ein einzelnes Problem lässt oft mehrere gültige Lösungspfade zu, doch das Standard-SFT behandelt eine einzelne Offline-Experten-Trajektorie als starres Zielverhalten.

Diese starre Imitation kann zu zwei Problemen führen:

1. Überanpassung an Oberflächenformen: Das Modell lernt möglicherweise die spezifische Demonstration auswendig, anstatt die zugrunde liegende Reasoning-Verteilung zu erlernen.
2. Unterdrückung latenter Fähigkeiten: Prätrainierte LLMs besitzen oft reiche, latente Reasoning-Verteilungen. Eine übermäßige Imitation eines einzelnen Expertenpfades kann diese Priors überschreiben und die Fähigkeit des Modells schwächen, selbst vielfältige, korrekte Reasoning-Trajektorien zu generieren.

Bestehende SFT-Varianten (z. B. DFT, ASFT, ProFiT) versuchen dies durch die Reskalierung von Lernsignalen oder die Verankerung an Referenzmodellen zu mildern, bleiben aber weitgehend „demonstrationsintern“. Sie optimieren basierend auf Signalen innerhalb der Offline-Trajektorie, anstatt die Supervision basierend auf der tatsächlichen Fähigkeit der aktuellen Policy zur Lösung des Problems zu kalibrieren.

2. Methodik: RASFT

Die Autoren schlagen Rollout-Adaptive Supervised Fine-Tuning (RASFT) vor, ein policy-bewusstes Framework, das die Expertenführung dynamisch mit dem selbst generierten Reasoning basierend auf der aktuellen Leistung des Modells abwägt.

Kernkomponenten

1. Konstruktion des lokalen Kandidatenpools:
   Für jeden Problem-Prompt $x_i$ konstruiert RASFT einen Pool $G_i$, der Folgendes enthält:

   • Die Offline-Experten-Trajektorie ($y^e_i$).
   • Verifizierte korrekte Trajektorien, die von der aktuellen Policy ($\pi_\theta$) via On-Policy-Rollouts generiert wurden.
   • Hinweis: Inkorrekte Rollouts werden aus den Optimierungszielen herausgefiltert, aber zur Schätzung der Schwierigkeit verwendet.

2. Problembasierte Lösbarkeitsschätzung ($\zeta_i$):
   Das Modell generiert $K$ Rollouts für einen gegebenen Prompt. Ein aufgabenspezifischer Verifizierer (z. B. Abgleich des Endergebnisses bei Mathematik, Assertions-Tests bei Code) bestimmt die Korrektheit. Der Lösbarkeitsindex wird als Erfolgsrate berechnet:
   $$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$$
   wobei $c_{i,k} \in \{0, 1\}$ die Korrektheit angibt. Dieser Score spiegelt wider, wie gut die aktuelle Policy das Problem lösen kann.

3. Adaptive Gewichtung:
   RASFT weist Trajektorien im Kandidatenpool Gewichte basierend auf $\zeta_i$ zu:

   • Gewicht der Experten-Trajektorie ($W_e$): Dynamisch angepasst. Wenn $\zeta_i$ niedrig ist (das Modell hat Schwierigkeiten), erhält die Experten-Trajektorie ein höheres Gewicht, um eine starke korrektive Führung zu bieten. Wenn $\zeta_i$ hoch ist (das Modell ist zuverlässig), wird das Gewicht abgeschwächt, um starre Anpassung zu verhindern und dem eigenen Reasoning des Modells den Vorrang zu geben.
   • Gewicht der selbst generierten Trajektorie ($W_r$): Fest für verifizierte korrekte Rollouts.

4. Policy-Regularisiertes Ziel:
   Um ein übermäßiges Driften von der prätrainierten Verteilung zu verhindern, führt RASFT ein geclipptes inverses Verhältnis zwischen einem eingefrorenen Referenzmodell ($\pi_{ref}$) und der aktuellen Policy ($\pi_\theta$) ein. Die finale Verlustfunktion kombiniert:

   • Normalisierte Trajektoriengewichte ($\bar{W}_{i,j}$).
   • Das gekippte inverse Verhältnis ($Clip(r_{i,j}(\theta))$).
   • Token-level Konfidenz ($p_{\theta}$).

   Das Ziel minimiert einen gewichteten Sequence-to-Sequence-Loss:
   $$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$$
   wobei $\omega_{i,j,t}$ das zusammengesetzte Gewicht ist.

3. Wichtigste Beiträge

Die Arbeit fasst ihre Beiträge wie folgt zusammen:

• Identifizierung einer Einschränkung: Sie hebt hervor, dass bestehende SFT-Varianten an der Policy-Bewusstheit mangeln und nicht unterscheiden können, wann Experten-Imitation notwendig ist versus wann sie zu starrer Pfadanpassung führt.
• Framework-Vorschlag: RASFT wird als ein Rollout-adaptives SFT-Framework vorgestellt, das verifizierte On-Policy-Rollouts nutzt, um die Lösbarkeit von Problemen zu schätzen und so die Expertenführung mit selbst generierten korrekten Trajektorien dynamisch abzuwägen.
• Empirische Validierung: Umfangreiche Experimente zeigen, dass RASFT das Standard-SFT, SFT-Varianten (DFT, ASFT, ProFiT) und repräsentative Reinforcement Learning (RL) Methoden (GRPO, LUFFY) bei mathematischen und Code-Reasoning-Aufgaben übertrifft.

4. Experimentelle Ergebnisse

Die Experimente wurden auf sechs mathematischen Reasoning-Benchmarks (MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023) und zwei Code-Reasoning-Benchmarks (HumanEval, MBPP) unter Verwendung von Modellen aus den Familien Qwen2.5 und Llama-3.2 durchgeführt.

• Leistungssteigerungen: RASFT erreichte konsistent die beste durchschnittliche Performance.
  • Math: Auf Qwen2.5-Math-1.5B erzielte es eine relative Steigerung von 10,9 % (25,00 $\to$ 27,72) gegenüber der besten Baseline.
  • Code: Auf Llama-3.2-3B erzielte es einen Gewinn von 26,9 % (24,93 $\to$ 31,63).
  • Vergleich mit RL: RASFT verbesserte die durchschnittliche mathematische Genauigkeit um 15,9 % (20,25 $\to$ 23,47) im Vergleich zu GRPO.
• Ablationsstudien:
  • Schwierigkeits-Adaptivität: Das Entfernen der adaptiven Gewichtung verursachte einen Abfall des Durchschnittswerts von 27,72 auf 25,53, was bestätigt, dass statische Balance suboptimal ist.
  • On-Policy Rollouts: Das Entfernen von Rollouts (Rückkehr zu statischen Expertengewichten) führte zu einer gleichmäßigen Verschlechterung, was die Notwendigkeit von Online-Feedback unterstreicht.
  • Inverses Verhältnis: Das Entfernen des inversen Verhältnisses reduzierte die Performance, was dessen Rolle bei der Vermeidung von Überanpassung an Offline-Daten und der Bewahrung prätrainierter Priors bestätigt.
  • Transferierbarkeit: RASFT verbesserte die Performance, wenn es mit Standard-SFT und ProFiT integriert wurde, was darauf hindeutet, dass es komplementär zu Token-Level-Rescaling-Methoden ist.
• Trainingsdynamik: RASFT behielt stabilere Trainingsziele und eine geringere Dichte der Parameter-Updates in späteren Phasen im Vergleich zu anderen Methoden bei, was auf eine bessere Bewahrung der prätrainierten Reasoning-Priors hindeutet.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass RASFT eine Verschiebung von statischer Demonstrationsanpassung hin zu policy-adaptiver Supervision darstellt. Ihre Bedeutung liegt in:

1. Brückenschlag zwischen SFT und RL: Es kombiniert die Vorteile von Online-Exploration (Rollouts) und adaptiver Gewichtung, wie sie typischerweise in RL-Methoden vorkommen, behält aber die Stabilität und Einfachheit des SFT-Frameworks bei.
2. Dynamische Kalibrierung: Es kalibriert erfolgreich die Stärke der Experten-Supervision basierend auf der tatsächlichen Fähigkeit des Modells, ein spezifisches Problem zu lösen, und vermeidet so die Unterdrückung der eigenen Reasoning-Verteilung des Modells.
3. Robustheit: Die Methode ist robust über verschiedene Modellskalen und Aufgabenbereiche hinweg und zeigt insbesondere signifikante Gewinne bei schwierigen Benchmarks (z. B. AIME, OlympiadBench), bei denen starre Imitation versagt.

Eingeständliche Einschränkungen der Autoren:

• Rechenaufwand: RASFT ist aufgrund der periodischen Generierung und Verifizierung von On-Policy-Rollouts teurer als Standard-SFT.
• Abhängigkeit von der Verifizierung: Die Methode beruht auf zuverlässigen automatischen Verifizierungssignalen (z. B. Endergebnisse für Mathematik, Testfälle für Code). Die Erweiterung auf offene Reasoning-Aufgaben ohne klare Korrektheitssignale bleibt eine Herausforderung.