On the Optimal Reasoning Length for RL-Trained Language Models

Technische Samenvatting: Over de Optimale Redeneerlengte voor met RL getrainde Taalmodellen

Probleemstelling
Reinforcement learning (RL) toegepast tijdens post-training heeft de redeneercapaciteiten van grote taalmodellen (LLM's) aanzienlijk verbeterd, met name door uitgebreide chain-of-thought (CoT) generatie. Een kritiek bijeffect is echter dat met RL getrainde modellen de neiging hebben om steeds verbloemdere (verbose) outputs te produceren, wat zowel de trainings- als de inferentiekosten verhoogt. Hoewel recente literatuur diverse methoden voor lengtecontrole heeft voorgesteld om excessieve generatie te bestraffen, blijft de precieze relatie tussen outputlengte en redeneernauwkeurigheid onduidelijk. Specifiek is het onbekend of de niet-monotone relatie tussen redeneerlengte en correctheid — eerder waargenomen bij test-time interventies op vaste modellen — ook manifest wordt in RL-getrainde policies die alleen verschillen in hun lengtecontrole-configuraties. Bovendien is het onderliggende mechanisme dat de degradatie van nauwkeurigheid in regimes met lange outputs drijft, nog niet volledig gedecomponeerd.

Methodologie
De auteurs voerden een gecontroleerde empirische studie uit om de relatie tussen lengte en nauwkeurigheid te onderzoeken over meerdere modellen en taken heen.

• Modellen en Taken: Experimenten werden uitgevoerd op drie modellen: DeepSeek-R1-Distill-Qwen-1.5B, Qwen3-1.7B, en Qwen3-4B-Base. De taken omvatten wiskundig redeneren (benchmarks: AIME 2024, AIME 2025, AMC, MATH-500) en codegeneratie (HumanEval, MBPP+).
• Trainingsopzet: De training volgde het DAPO-framework met aanpassingen: overmatige beloningsvorming (overlong reward shaping) werd uitgeschakeld om de effecten van specifieke lengtecontrole-methoden te isoleren, en PPO mini-batch groottes werden gelijkgesteld aan de generatie-batchgroottes voor volledig on-policy updates.
• Lengtecontrole-methoden: De studie vergeleken verschillende strategieën voor lengtecontrole door hun primaire hyperparameters te variëren om een familie van policies te genereren met uiteenlopende gemiddelde outputlengtes. De methoden omvatten:
  • Baselines: Sample Avg (GRPO) en Token Avg (DAPO), die gradiënten normaliseren zonder expliciete lengtestraf.
  • Expliciete Straffen: RLOO-LP (beloningsvorming gebaseerd op lengte), ALP (nauwkeurigheid-gebaseerde lengtestraf), en DRPO (lengte-gebaseerde weging binnen het DisCO-framework).
• Evaluatiemetrieken: Naast standaard sample-nauwkeurigheid introduceerden de auteurs een decompositie van de antwoordverdeling:
  • Mode Accuracy (Modus-nauwkeurigheid): Het deel van de problemen waarbij het meest frequent gesamplede antwoord (de modus) correct is. Dit meet de correctheid van het centrum van de distributie.
  • Mode Leakage (Modus-lek): Het gemiddelde deel van de samples dat buiten de modale groep valt. Dit meet de dispersie van samples rond het centrum.

Belangrijkste Resultaten

1. Niet-monotone Lengte–Nauwkeurigheid Relatie: Over alle modellen, benchmarks en lengtecontrole-methoden heen, is de sample-nauwkeurigheid niet-monotoon met betrekking tot de gemiddelde outputlengte. De nauwkeurigheid stijgt aanvankelijk met de lengte, bereikt een piek bij een intermediaire waarde, en vlakt daarna af of daalt naarmate de lengte verder toeneemt. Dit patroon houdt stand voor zowel wiskundig redeneren als codegeneratie.
2. Divergentie tussen Modus en Sample Nauwkeurigheid: Een cruciale bevinding is de divergentie tussen modus-nauwkeurigheid en sample-nauwkeurigheid in regimes met lange outputs. Terwijl de sample-nauwkeurigheid daalt of verzadigt, blijft de modus-nauwkeurigheid verbeteren naarmate de outputlengte toeneemt. Dit geeft aan dat het "centrum" van de antwoordverdeling correcter wordt, zelfs wanneer individuele samples minder betrouwbaar worden.
3. Mechanisme van Degradatie: De daling van de sample-nauwkeurigheid bij lange lengtes wordt gedreven door toegenomen dispersie (mode leakage). In het regime met lange outputs verspreiden samples zich verder weg van een steeds correcter wordende centrale modus. Het netto-effect is dat de winst van een accuratere centrale modus uiteindelijk wordt tenietgedaan door het verlies in concentratie van de samples.
4. U-vormige Dispersie: Mode leakage vertoont in verschillende settings een U-vormige relatie met de lengte. Bij korte lengtes is de leakage hoog door een gebrek aan convergentie op een dominante antwoord. Bij optimale lengtes is de leakage geminimaliseerd. Bij excessieve lengtes stijgt de leakage opnieuw, omdat samples rond een correct maar minder geconcentreerde modus uiteenwaaieren.

Kernbijdragen

• Generalisatie van Niet-monotoniciteit: Het artikel toont aan dat de niet-monotone relatie tussen outputlengte en nauwkeurigheid, die eerder werd gedocumenteerd voor test-time interventies op vaste modellen, ook voortkomt uit een gecontroleerde vergelijking van RL-getrainde policies over meerdere modellen, benchmarks en lengtecontrole-methoden heen.
• Decompositie van de Antwoordverdeling: De auteurs decomponeren de antwoordverdeling in de correctheid van het centrum (modus-nauwkeurigheid) en de dispersie van samples (modus-lek). Ze tonen aan dat langere outputs de eerste verbeteren terwijl ze de tweede vergroten, wat een mechanistische verklaring biedt voor de mysterieuze divergentie tussen modus-nauwkeurigheid en sample-nauwkeurigheid.

Betekenis en Claims
Het artikel beweert de ambiguïteit rond de effectiviteit van lengtecontrole in RL-getrainde redeneermodellen op te lossen. Het stelt vast dat het simpelweg verlengen van redeneren de prestaties niet uniform verbetert; er bestaat een optimale intermediaire lengte. De studie verheldert dat de degradatie van de prestaties bij excessieve lengtes niet komt door het model dat onjuiste redeneerpaden leert (het centrum blijft correct of verbetert), maar eerder doordat het model minder zelfverzekerd of consistent wordt in zijn sampling (toegenomen dispersie).

De auteurs concluderen dat de optimale strafsterkte voor lengtecontrole varieert per methode en model, wat suggereert dat toekomstig werk nodig is om automatische methoden te ontwikkelen voor het identificeren van het optimale lengteregime zonder handmatige hyperparameterzoektochten. Het werk stelt geen nieuwe lengtecontrole-algoritmen voor, maar biedt eerder een diagnostisch kader voor het begrijpen van de trade-offs die inherent zijn aan de huidige methoden.