Are complicated loss functions necessary for teaching LLMs to reason?

Titel: Sind komplizierte Verlustfunktionen notwendig, um LLMs das logische Schließen beizubringen?

Autoren: Gabriele Carrino, Andrea Sassella, Nicolò Brunello, Federico Toschi & Mark J. Carman (Politecnico di Milano)

---

1. Problemstellung

Große Sprachmodelle (LLMs) haben durch Post-Training-Techniken erhebliche Fortschritte beim logischen Schließen und in mathematischen Aufgaben erzielt. Ein vielversprechender Ansatz ist hier Group Relative Policy Optimization (GRPO), der von DeepSeek eingeführt wurde. GRPO eliminiert die Notwendigkeit eines separaten Wertmodells (Critic), indem es Vorteile (Advantages) basierend auf der relativen Belohnung innerhalb einer Gruppe von Antworten schätzt.

Trotz des Erfolgs wirft die Komplexität der GRPO-Verlustfunktion Fragen auf:

• Sie kombiniert gruppenrelative Vorteilsschätzung, PPO-artiges Clipping (Policy Ratio Clipping) und KL-Regularisierung.
• Es ist unklar, ob alle diese Komponenten für das Erlernen von Reasoning-Fähigkeiten tatsächlich notwendig sind oder ob sie eine Überkonstruktion (Overengineering) darstellen.
• Die Komplexität erschwert die Analyse und die Effizienz des Trainings.

Die Autoren untersuchen, ob diese komplexen Komponenten vereinfacht oder entfernt werden können, ohne die Leistungsfähigkeit des Modells zu beeinträchtigen.

2. Methodik

Die Autoren führen eine systematische Analyse der GRPO-Komponenten durch, indem sie diese isolieren und entfernen, um deren Einfluss auf das Training zu bewerten. Sie vergleichen GRPO mit vereinfachten Varianten und anderen Reinforcement-Learning-Ansätzen:

• GRPO (Basis): Nutzt Gruppenvergleich, PPO-Clipping und KL-Strafe.
• GRPO-pos (Positive-only): Trainiert nur auf Aktionen, die über dem Baseline liegen (negatives Feedback wird ignoriert).
• RGRA (REINFORCE with Group Relative Advantage): Der Kernvorschlag der Arbeit.
  • Behält die gruppenrelative Vorteilsschätzung bei (wichtig für Stabilität).
  • Entfernt das PPO-Clipping und die Policy-Ratio-Terme.
  • Nutzt einen direkten REINFORCE-Gradienten basierend auf den geschätzten Vorteilen.
• REINFORCE (Direct Rewards): Entfernt auch die Vorteilsschätzung und trainiert direkt auf den Roh-Belohnungen.
• RAFT (Rejection Sampling Fine-Tuning): Eine Alternative, die nur die besten Antworten aus einer Stichprobe für ein überwachtes Fine-Tuning (SFT) verwendet.

Experimentelles Setup:

• Modelle: Qwen2.5 (0.5B, 1.5B) und Llama3.2 (1B).
• Trainingsdaten: 1.800 Instanzen aus GSM8K (Grundschulmathematik).
• Benchmarks: Neun verschiedene Benchmarks (GSM8K, MATH, Gaokao, OlympiadBench, CMATH, MMLU-STEM etc.) in Englisch und Chinesisch.
• Belohnungssystem: Format-Belohnung (0.1 Punkte) und Korrektheits-Belohnung (1 Punkt).

3. Wichtige Erkenntnisse & Beiträge

Die Studie identifiziert drei zentrale Erkenntnisse:

1. Negatives Feedback ist unverzichtbar:

   • Methoden, die negatives Feedback ignorieren (wie GRPO-pos oder RAFT), führen zu Instabilität, "Reward Hacking" (das Modell lernt, kurze, triviale Antworten zu geben, um die Belohnung zu maximieren) und einem Zusammenbruch der Leistung, insbesondere bei kleineren Modellen (0.5B).
   • Das Lernen nur auf positiven Beispielen führt zu einer systematischen Verzerrung hin zu Unter-Exploration.

2. Vorteilsschätzung (Advantage Estimation) ist kritisch:

   • Der direkte Einsatz von REINFORCE auf Roh-Belohnungen (ohne Vorteilsschätzung) führt selbst bei größeren Modellen (1.5B) zu Instabilität und Leistungsabfall.
   • Die Normalisierung der Belohnungen innerhalb einer Gruppe (wie in GRPO und RGRA) ist essenziell für ein stabiles Training.

3. PPO-Clipping ist nicht notwendig:

   • Die Entfernung des PPO-Clippings und der Policy-Ratio-Terme (wie in RGRA implementiert) beeinträchtigt die Stabilität nicht.
   • Im Gegenteil: RGRA zeigt oft bessere oder gleichwertige Ergebnisse im Vergleich zum vollständigen GRPO, bei gleichzeitig einfacherer Implementierung und Transparenz.

4. Ergebnisse

Die experimentellen Ergebnisse auf den mathematischen Benchmarks belegen die Überlegenheit des vereinfachten Ansatzes:

• Leistung: RGRA erzielt in den meisten Szenarien die besten Ergebnisse. Auf den englischen Math-Benchmarks übertraf RGRA GRPO in 17 von 27 Einzelvergleichen.
  • Beispiel (Qwen2.5-1.5B auf MATH): GRPO erreichte 44.2%, RGRA erreichte 46.7%.
  • Beispiel (Qwen2.5-1.5B auf Gaokao2023): GRPO erreichte 38.7%, RGRA erreichte 42.6%.
• Stabilität: Während GRPO-pos und RAFT oft instabil waren oder kollabierten (besonders bei 0.5B Modellen), zeigten GRPO und RGRA stabile Trainingskurven mit konsistent steigender Belohnung und Antwortlänge.
• Emergentes Reasoning: Modelle, die mit RGRA oder GRPO trainiert wurden, entwickelten sichtbare Reasoning-Spuren (Schritt-für-Schritt-Lösungen). Modelle mit RAFT oder GRPO-pos lieferten oft nur direkte Endantworten ohne Denkprozess.
• Sprachunabhängigkeit: Die Ergebnisse gelten sowohl für englische als auch für chinesische Mathematik-Benchmarks.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass die Komplexität der aktuellen GRPO-Implementierung teilweise unnötig ist.

• RGRA bietet eine effizientere und transparentere Alternative zu GRPO, indem sie die essenzielle Komponente (gruppenrelative Vorteilsschätzung) beibehält, aber überflüssige PPO-Constraints entfernt.
• Die Ergebnisse widerlegen die Annahme, dass komplexe PPO-Mechanismen für das Erlernen von Reasoning in LLMs zwingend erforderlich sind, sofern das Modell von einer starken Initialisierung ausgeht.
• Dies ebnet den Weg für einfachere, kosteneffizientere Post-Training-Strategien, die dennoch hohe Fähigkeiten im logischen Schließen und in mathematischen Aufgaben fördern.

Zusammenfassend demonstriert die Studie, dass einfachere REINFORCE-basierte Ansätze mit Gruppenvergleich ausreichen, um die Leistung von LLMs in Reasoning-Aufgaben zu maximieren, und dass die Entfernung von PPO-Clipping nicht nur harmlos, sondern potenziell vorteilhaft für die Leistung ist.