Are complicated loss functions necessary for teaching LLMs to reason?

Probleemstelling

Recente vooruitgang in grote taalmodellen (LLMs), zoals de DeepSeek-R1, toont aan dat post-training technieken cruciaal zijn voor het verbeteren van redeneervermogen en wiskundige vaardigheden. Group Relative Policy Optimization (GRPO) is momenteel een toonaangevende methode die prestaties op wiskundige benchmarks aanzienlijk verbetert. GRPO combineert echter drie complexe componenten in zijn verliesfunctie:

1. Groepsrelatieve voordeel-schatting (Group Relative Advantage Estimation): Het elimineren van een apart waarde-model (critic) door voordeel te schatten op basis van een groep antwoorden.
2. PPO-achtige clamping (Clipping): Het beperken van de verhouding tussen het nieuwe en oude beleid om instabiliteit te voorkomen.
3. KL-regularisatie: Het straffen van afwijkingen van een referentiemodel.

De auteurs stellen de vraag of deze complexiteit noodzakelijk is. Is het mogelijk dat bepaalde componenten (zoals de PPO-clipping) overbodig zijn voor het leren van redeneerpatronen, en dat een vereenvoudigde aanpak net zo goed of zelfs beter werkt?

Methodologie

De auteurs voeren een systematische analyse uit van de GRPO-lossfunctie door individuele componenten te isoleren en te verwijderen. Ze evalueren verschillende varianten op basis van de Qwen2.5 (0.5B en 1.5B) en Llama3.2 (1B) modellen, getraind op het GSM8K-dataset.

De geteste varianten zijn:

1. GRPO (Basis): De volledige originele lossfunctie met voordeel-schatting, PPO-clipping en KL-straf.
2. GRPO-pos (Alleen positieve feedback): Training uitsluitend op acties die beter zijn dan de baseline (negatieve feedback wordt genegeerd).
3. RGRA (REINFORCE met Groepsrelatief Voordeel): De voorgestelde vereenvoudiging. Hierbij wordt de PPO-clipping en de policy ratio-term verwijderd, maar wordt de groepsrelatieve voordeel-schatting behouden. Dit resulteert in een REINFORCE-achtige gradiënt.
4. Direct REINFORCE: Training op ruwe beloningen zonder voordeel-schatting.
5. RAFT (Rejection Sampling Fine-Tuning): Een alternatieve aanpak waarbij alleen de beste antwoorden worden geselecteerd voor supervisie.

Experimentele Opzet:

• Datasets: Training op GSM8K; evaluatie op negen benchmarks (GSM8K, MATH, Gaokao, OlympiadBench, AMC23, CMATH, CN-Middle-School, MMLU-STEM, Gaokao2024).
• Beloningssysteem: Een combinatie van format-beloening (0.1 punt) en correctheid (1 punt).
• Groepsgrootte: 8 completions per prompt.

Belangrijkste Bevindingen en Bijdragen

De studie levert drie fundamentele inzichten op over de architectuur van RL-verliesfuncties voor LLMs:

1. Negatieve feedback is onmisbaar:
   Methodes die alleen positieve feedback gebruiken (GRPO-pos) of alleen selecteren (RAFT) leiden tot instabiliteit en "reward hacking". Modellen convergeren naar triviale, korte antwoorden om de beloning te maximaliseren zonder echt te redeneren. Dit geldt vooral voor kleinere modellen (0.5B), maar ook grotere modellen tonen degradatie.

2. Voordeel-schatting (Advantage Estimation) is cruciaal:
   Het verwijderen van de voordeel-schatting (zoals bij Direct REINFORCE) zorgt voor instabiliteit, zelfs bij modellen met sterke initiatiebeleidsregels. De normalisatie binnen een groep is essentieel voor stabiel leren.

3. PPO-achtige clamping is overbodig:
   De meest verrassende bevinding is dat het verwijderen van de PPO-clipping en de policy ratio-termen geen negatief effect heeft op de stabiliteit of prestaties. Sterker nog, de vereenvoudigde methode presteert vaak beter. Dit suggereert dat sterke initiatiebeleidsregels (pre-trained LLMs) minder gevoelig zijn voor de grote updates die PPO-clipping probeert te voorkomen.

De Oplossing: RGRA
Op basis hiervan stellen de auteurs RGRA voor. Dit is een vereenvoudigde variant van GRPO die de groepsrelatieve voordeel-schatting behoudt maar de PPO-beperkingen verwijdert. De lossfunctie is transparanter en efficiënter.

Resultaten

De experimentele resultaten tonen aan dat RGRA superieur is aan de complexe GRPO:

• Prestaties op Wiskundige Benchmarks: RGRA behaalde de hoogste gemiddelde scores op de Engelse wiskundebenchmarks (GSM8K, MATH, etc.), waarbij het GRPO in 17 van de 27 individuele vergelijkingen versloeg.
  • Voorbeeld: Op de Qwen2.5-1.5B behaalde RGRA een gemiddelde score van 38.3 op Engelse benchmarks, tegenover 37.3 voor GRPO.
• Generalisatie: RGRA presteerde consistent beter dan GRPO op Chinese wiskundebenchmarks (CMATH, CN-Middle-School) en STEM-benchmarks.
• Redeneergedrag: Kwalitatieve analyses tonen aan dat RGRA (en GRPO) modellen aanmoedigen om expliciete redeneerstappen te genereren (zoals het herbeoordelen van tussentijdse antwoorden), terwijl methoden zonder negatieve feedback (RAFT/GRPO-pos) direct naar het eindantwoord springen zonder traceerbare logica.
• Stabiliteit: Tijdens het trainen behielden RGRA en GRPO stabiele beloningscurves en responslengtes, terwijl de varianten zonder negatieve feedback of zonder voordeel-schatting instabiel werden of instortten.

Betekenis en Conclusie

Dit paper daagt de huidige consensus uit dat complexe RL-architecturen (zoals volledige PPO-implementaties) noodzakelijk zijn voor het trainen van redenerende LLMs.

• Vereenvoudiging: Het bewijst dat de complexiteit van PPO-clipping niet nodig is wanneer men werkt met sterke initiatiebeleidsregels en groepsrelatieve voordeel-schatting.
• Efficiëntie: RGRA biedt een transparantere en mogelijk efficiëntere alternatief voor GRPO, wat de implementatie en debugging van post-training strategieën vergemakkelijkt.
• Toekomst: De bevindingen suggereren dat de focus bij het verbeteren van redeneervermogen moet liggen op de kwaliteit van de voordeel-schatting en de aanwezigheid van negatieve feedback, in plaats van het toevoegen van extra regularisatietermen voor stabiliteit.

Kortom, de auteurs concluderen dat simplere REINFORCE-gebaseerde benaderingen (zoals RGRA) effectiever kunnen zijn dan de huidige geavanceerde GRPO-varianten voor het verbeteren van redeneervermogen in LLMs.