Technische Samenvatting: Length-Unbiased Sequence Policy Optimization (LUSPO)

1. Probleemstelling

Reinforcement Learning with Verifiable Rewards (RLVR) is een hoeksteen geworden voor het verbeteren van de redeneervaardigheden van Large Language Models (LLMs) en Vision-Language Models (VLMs). Een veelvoorkomende observatie in RLVR-training is dat een toename in responslengte vaak correleert met verbeterde redenering, aangezien modellen leren complexe problemen op te splitsen in gedetailleerde stappen. Echter, het paper identificeert een kritiek gebrek in mainstream RLVR-algoritmen, specifiek Group Relative Policy Optimization (GRPO) en Group Sequence Policy Optimization (GSPO): zij vertonen een inherente responslengte-bias die kan leiden tot "responslengte-collaps", waarbij modellen steeds kortere antwoorden genereren, wat de effectiviteit van de training en de diepgang van de redenering ondermijnt.

De auteurs analyseren de bronnen van deze bias:

• In GRPO: De objectieffunctie middelt token-niveau belangratio's binnen een traject. Deze normalisatie zorgt ervoor dat tokens in kortere responsen zwaarder bijdragen aan de gradiënt-update dan tokens in langere responsen. Als gevolg hiervan wordt het model geprikkeld om beknopt te zijn bij correcte antwoorden; bij onjuiste antwoorden wordt het minder gestraft voor het zijn van lang, wat een instabiele dynamiek creëert.
• In GSPO: Hoewel GSPO de instabiliteit van GRPO in Mixture-of-Experts (MoE) modellen aanpakt door middel van sequentie-niveau belangweging, slaagt het er niet in de lengte-bias op te lossen. Het paper betoogt dat het sequentie-niveau clipping-mechanisme van GSPO, gecombineerd met de "Clip-Higher" operatie, negatieve (onjuiste) samples onevenredig veel afkapt. Dit resulteert in een gradiënt-update die gedomineerd wordt door positieve samples, wat door de onderliggende lengte-bias verder stimuleert om kortere outputs te genereren. Empirisch bewijs laat zien dat terwijl GRPO de responslengte de neiging heeft te vergroten, GSPO vaak een collaps in de responslengte veroorzaakt tijdens de training, met name in dense en VL-modellen.

2. Methodologie: Length-Unbiased Sequence Policy Optimization (LUSPO)

Om de in GSPO inherente lengte-bias te corrigeren, stellen de auteurs Length-Unbiased Sequence Policy Optimization (LUSPO) voor. De kerninnovatie is een principiële modificatie van de GSPO-objectieffunctie.

Theoretische Basis

De auteurs leveren een theoretische analyse die aantoont dat de standaard GSPO-verliesfunctie bevooroordeeld is tegen langere sequenties. Om dit te neutraliseren, schaalt LUSPO de loss van elke sequentie door de eigen lengte ($|y_i|$).

Het Algoritme

De LUSPO-optimalisatie-objectief wordt gedefinieerd als:
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

Waar:

• $s_i(\theta)$ de sequentie-niveau belangratio is (hetzelfde als GSPO).
• $\hat{A}_i$ de groep-gebaseerde advantage-schatting is.
• $|y_i|$ de lengte van de respons is.

Door de geclipte advantage-term te vermenigvuldigen met de sequentielengte $|y_i|$, zorgt het algoritme ervoor dat langere sequenties niet onrechtvaardig worden gestraft tijdens het gradiënt-updateproces. Theoretische gradiëntanalyse bevestigt dat deze modificatie de lengte-afhankelijke bias die in GSPO aanwezig is elimineert, waardoor de grootte van de gradiënt-update proportioneel is aan de sequentielengte in plaats van omgekeerd proportioneel.

3. Belangrijkste Bijdragen

Het paper schetst drie primaire bijdragen:

1. Analyse van Lengte-bias: Een gedetailleerde theoretische en empirische analyse van de objectieffuncties van GRPO en GSPO, die de onderliggende mechanismen verheldert die een inherente responslengte-bias en daaropvolgende lengte-collaps veroorzaken.
2. LUSPO Algoritme: Het voorstel van een nieuwe optimalisatiestrategie die de lengte-bias van GSPO neutraliseert door middel van een eenvoudige modificatie (lengte-schaling), waardoor de verliesfunctie onbevooroordeeld is met betrekking tot de responslengte.
3. Uitgebreide Validatie: Uitgebreide experimenten over diverse architecturen (dense en MoE) en modaliteiten (alleen tekst en vision-language) die aantonen dat LUSPO superieure prestaties en stabiliteit bereikt vergeleken met bestaande methoden.

4. Experimentele Resultaten

De auteurs voerden experimenten uit op Qwen2.5-7B-Base (dense), Qwen3-30B-A3B-Instruct (MoE), en Qwen2.5-VL-7B-Instruct (Vision-Language).

Trainingsdynamiek

• Responslengte: LUSPO voorkomt consistent de responslengte-collaps. Op het Qwen2.5-VL-7B-Instruct model vertoonde GSPO een uitgesproken collaps in de responslengte, terwijl LUSPO stabiele en aanzienlijk langere responsen behield.
• Gradiëntstabiliteit: De methode zorgt voor stabiele trainingsdynamiek in zowel dense als MoE-architecturen, waarbij de instabiliteitsproblemen die vaak geassocieerd worden met RLVR in MoE-modellen worden aangepakt.

Prestatiebenchmarks

• Alleen Tekst Modellen:
  • Qwen2.5-7B-Base: LUSPO verbeterde de nauwkeurigheid met +2,9% op AIME24 en +7,4% op MATH500 vergeleken met GSPO.
  • Qwen3-30B-A3B-Instruct: LUSPO bereikte een verbetering van +6,9% op AIME24 en +17,1% op AIME25 ten opzichte van GSPO.
• Multimodale Modellen:
  • Qwen2.5-VL-7B-Instruct: LUSPO presteerde beter dan zowel GRPO als GSPO over meerdere benchmarks. Opvallend genoeg behaalde het +1,6% hogere nauwkeurigheid dan GRPO en +0,5% hoger dan GSPO op MathVista-Mini. Op LogicVista liet LUSPO een verbetering van +6,0% zien ten opzichte van GSPO.
• Generalisatie: De methode toonde robuustheid over verschillende datasets (ViRL39K en DAPO-MATH-17K), waarbij het consequent GSPO overtrof, zelfs in scenario's waar GSPO geen last had van een ernstige lengte-collaps.

5. Betekenis en Claims

Het paper positioneert LUSPO als een nieuwe, state-of-the-art optimalisatiestrategie voor RLVR-training. De auteurs beweren dat door de fundamentele lengte-bias in sequentie-niveau beleidsoptimalisatie aan te pakken, LUSPO:

• Responslengte-collaps oplost: Het voorkomt de degradatie van de responslengte die het vermogen van het model om complexe redeneringen uit te voeren belemmert.
• Redeneervaardigheden versterkt: Door modellen toe te staan langere, meer coherente responsen te genereren zonder straf, faciliteert LUSPO de exploratie van bredere redeneerpatronen, wat leidt tot verbeterde prestaties op complexe wiskundige en logische taken.
• Brede Toepasbaarheid: De methode is effectief in zowel dense als MoE-architecturen, evenals in zowel tekst-als multimodal settings, wat het een veelzijdige oplossing maakt voor de training van de volgende generatie grote modellen.

De auteurs concluderen dat LUSPO een belangrijke stap voorwaarts vertegenwoordigt in het stabiliseren van RLVR-training en het maximaliseren van het redeneerpotentieel van grote taalmodellen.