Technische Zusammenfassung: Transformation-Augmented GRPO (TA-GRPO)

Problemstellung

Group Relative Policy Optimization (GRPO) hat sich als vorherrschende Methode für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) in Large Language Models (LLMs), insbesondere für komplexe reasoning-Aufgaben, etabliert. Das Paper identifiziert jedoch zwei kritische strukturelle Einschränkungen im Standard-GRPO, die eine effektive Exploration behindern:

1. Gradienten-Vanishing: Wenn eine Trainingsfrage als entweder zu einfach (alle Stichprobenantworten sind korrekt) oder zu schwer (alle sind inkorrekt) wahrgenommen wird, erhält die Gruppe von $G$ Antworten identische Belohnungen. Folglich ist die Standardabweichung der Belohnungen null, was zu null Advantages und keinem Gradientensignal für Modell-Updates führt. Während Dynamic Sampling (DAPO) versucht, dies zu mildern, indem es solche Fragen verwirft, führt dies zu erheblicher Datenverschwendung.
2. Diversity Collapse: Das Modell neigt dazu, sich über alle $G$ Stichprobenantworten hinweg auf ein einziges Reasoning-Muster zu konvergieren. Klassische Entropie-Regularisierung verhindert dies aufgrund des riesigen Aktionsraums von LLMs nicht. Sobald sich die Policy auf einen engen Satz von Reasoning-Trajektorien konzentriert, erbt die Stichprobenverteilung diese Konzentration, und die Zielfunktion fehlt ein Mechanismus, um die Erweiterung des Supports zu belohnen, wodurch der explorierbare Lösungsraum monoton kontrahiert.

Bestehende GRPO-Fortschritte adressieren diese Probleme oft stückweise oder verlassen sich auf das Verwerfen von Daten, anstatt die Ursachen innerhalb des Optimierungsrahmens gemeinsam zu lösen.

Methodik: Transformation-Augmented GRPO (TA-GRPO)

Die Autoren schlagen TA-GRPO vor, eine Policy-Optimierungsmethode, die sowohl Gradienten-Vanishing als auch Diversity Collapse durch Neuformulierung von Fragen adressiert. Der Kerngedanke ist, dass linguistische Perturbationen (Änderungen in Formulierung, Format oder Informationsreihenfolge) die wahrgenommene Schwierigkeit eines Modells verändern und unterschiedliche Lösungsstrategien induzieren können, während die zugrunde liegende Problemsemantik erhalten bleibt.

Der TA-GRPO-Pipeline modifiziert den Standard-GRPO-Prozess wie folgt:

1. Fragentransformation: Für jede ursprüngliche Trainingsfrage $q_0$ generiert das System automatisch $N$ problemäquivalente Neuformulierungen $\{q_n\}_{n=1}^N$ (als „Nachbarn" bezeichnet) unter Verwendung von GPT-4-Turbo. Diese Neuformulierungen bewahren die zugrunde liegende Bedeutung, verändern jedoch die Oberflächenform.
2. Erweiterte Antwortgruppe: Anstatt nur für $q_0$ $G$ Antworten zu sampeln, sampelt das Modell $G$ Antworten für die ursprüngliche Frage und $G$ Antworten für jede der $N$ Nachbarn. Dies erzeugt eine erweiterte Gruppe von $(N+1) \times G$ Antworten.
3. Gemeinsame Advantage-Berechnung: Advantages werden durch gruppenrelative Normalisierung über den gesamten erweiterten Satz von $(N+1) \times G$ Antworten berechnet, anstatt jede Neuformulierung separat zu normalisieren.
   • Milderung von Gradienten-Vanishing: Selbst wenn die ursprüngliche Frage einheitliche Belohnungen liefert, liefern die neuformulierten Nachbarn oft gemischte Belohnungen (einige korrekt, einige inkorrekt) aufgrund verschobener wahrgenommener Schwierigkeit. Die gemeinsame Normalisierung stellt sicher, dass die Standardabweichung nicht null ist und das Gradientensignal erhalten bleibt.
   • Milderung von Diversity Collapse: Die diversen Neuformulierungen evozieren innerhalb derselben Gruppe unterschiedliche Reasoning-Muster und verhindern, dass die Policy in einen einzigen Modus kollabiert.
4. Anker-Importanzverhältnisse: Um sicherzustellen, dass das Modell lernt, die ursprüngliche Frage zu lösen, werden alle Importanzverhältnisse auf die ursprüngliche Frage $q_0$ konditioniert, unabhängig davon, welche Neuformulierung ($q_n$) die spezifische Antwort generiert hat. Dies behandelt die Neuformulierungen als eine surrogate Stichprobenverteilung für $q_0$, gerechtfertigt durch die Annahme, dass problemäquivalente Neuformulierungen ähnliche Reasoning-Trajektorien liefern.

Die Zielfunktion maximiert den abgeschnittenen Surrogat-Verlust über diese erweiterte Gruppe, wobei die Advantages aus der gemeinsamen Normalisierung stammen und die Importanzverhältnisse auf den ursprünglichen Prompt verankert sind.

Hauptbeiträge

Das Paper skizziert vier primäre Beiträge:

• Identifikation übersehener Probleme: Es hebt hervor, dass Gradienten-Vanishing und Diversity Collapse von bestehenden GRPO-Fortschritten weitgehend übersehen werden, die diese oft separat oder durch Datenfilterung adressieren.
• TA-GRPO-Algorithmus: Eine einfache Erweiterung, die beide Probleme gleichzeitig adressiert, indem sie Antworten über eine Frage und ihre neuformulierten Nachbarn zusammenführt, gemeinsame Advantages berechnet und Updates an die ursprüngliche Frage ankernt.
• Empirische Wirksamkeit: Umfassende Experimente zeigen konsistente Verbesserungen bei pass@k über vier LLMs (Qwen3-1.7B/4B, Llama-3.2-1B/3B) hinweg, sowohl auf Wettbewerbs-Benchmarks (AMC, OlympiadBench, AIME24/25) als auch auf Out-of-Distribution-Benchmarks (Minerva, GPQA-Diamond).
• Dateneffizienz: TA-GRPO erreicht eine Leistung, die mit Baselines vergleichbar ist, die mit bis zu 2,5× mehr Daten trainiert wurden, ohne dass zusätzliche hochwertige Trainingsdaten gesammelt werden müssen, und bietet somit eine wirtschaftliche Alternative zur Datenskalierung.

Experimentelle Ergebnisse

Die Autoren bewerteten TA-GRPO unter Verwendung des MATH-Datensatzes (7.498 Fragen) als Trainingsset.

• Diagnose des Trainingssignals: Die Analyse von Trainings-Checkpoints zeigte, dass während Standard-GRPO im Laufe des Trainings zunehmend unter Gradienten-Vanishing (bis zu 93,2 % der Fragen liefern einheitliche Belohnungen) und Diversity Collapse (konzentrierte Embedding-Abstände) leidet, TA-GRPO während des gesamten Trainings einen stabilen Spielraum gemischter Belohnungen und diverser Reasoning-Pfade aufrechterhält.
• Leistungssteigerungen:
  • Auf Wettbewerbs-Benchmarks verbesserte TA-GRPO den durchschnittlichen pass@32 um 5,09 bzw. 5,01 Punkte für Qwen3-1.7B und Qwen3-4B sowie um 3,50 und 5,25 Punkte für Llama-3.2-1B und Llama-3.2-3B.
  • Bemerkenswerte Spitzenverbesserungen umfassten +9,98 auf AIME24 (Qwen3-4B) und +8,58 auf GPQA-Diamond (Qwen3-1.7B).
• Kontrollexperimente:
  • Abgestimmtes Sampling: Im Vergleich zu Baselines, die einfach die Gesamtzahl der gesampelten Antworten erhöhten, um das Budget von TA-GRPO zu erreichen (ohne Neuformulierung), behielt TA-GRPO einen klaren Spielraum (z. B. +6,86 auf AIME24 für Qwen3-4B). Dies bestätigt, dass die Gewinne aus der Diversität des gesampelten Raums und der gemeinsamen Normalisierung stammen, nicht lediglich aus der Stichprobengröße.
  • Datenskalierung: TA-GRPO, trainiert auf 1x Daten, erreichte die Leistung von GRPO-Baselines, die auf 2,5x Daten trainiert wurden, und demonstriert damit eine erhebliche Dateneffizienz.

Bedeutung und Behauptungen

Das Paper positioniert TA-GRPO als eine Methode, die das Paradigma des RL-Nachtrainings verschiebt. Während frühere Arbeiten sich auf die Optimierung der Verlustfunktion oder der Belohnungsachsen konzentrierten, führt TA-GRPO die Eingangsverteilung als dritten Hebel zur Verbesserung der Exploration ein. Durch die Nutzung problemäquivalenter Neuformulierungen ermöglicht die Methode Modellen, aus einer reichhaltigeren Menge von Lösungsversuchen zu lernen, ohne Daten zu verwerfen oder sich auf Entropie-Regularisierung zu verlassen. Die Autoren behaupten, dass dieser Ansatz einen robusten, dateneffizienten Weg zur Verbesserung der Reasoning-Fähigkeiten in LLMs bietet, insbesondere in Szenarien, in denen die Datensammlung kostspielig ist oder wo Standard-GRPO keine ausreichenden Gradientensignale liefert.