Technische Samenvatting: LamPO – Lambda-Style Policy Optimization voor Redenerende Taalmodellen

Probleemstelling

Versterkt leren met verifieerbare beloningen (RLVR) heeft zich ontwikkeld tot een dominant paradigma voor het verbeteren van redeneervermogens in Large Language Models (LLMs) bij taken zoals wiskunde, coderen en wetenschappelijke vraagbeantwoording. Hoewel Group Relative Policy Optimization (GRPO) een standaard, criticus-vrij alternatief voor PPO is geworden door beloningen te normaliseren binnen een bemonsterde groep, lijdt het aan een kritieke beperking: informatiecompressie.

GRPO vat elke groep bemonsterde antwoorden samen tot scalair statistieken (gemiddelde en standaardafwijking) om voordelen te berekenen. Deze benadering gooit fijngestructureerde relationele informatie tussen kandidaat-antwoorden weg. Bij redeneertaken, waar oplossingen slechts subtiel kunnen verschillen in kwaliteit (bijvoorbeeld gedeeltelijk correct versus bijna correct), kan een scalair basisniveau alleen aangeven of een antwoord boven of onder het groepsgemiddelde ligt. Het faalt erin om expliciet te behouden welke specifieke antwoorden een kandidaat overtreft en met hoeveel. Deze beperking is bijzonder ernstig bij schaarse binaire beloningen, waarbij veel incorrecte trajecten identieke feedback ontvangen, wat leidt tot zwakke krediettoewijzing.

Methodologie

De auteurs stellen LamPO (Lambda-Style Policy Optimization) voor, een methode die is ontworpen om de efficiëntie van criticus-vrije optimalisatie te behouden terwijl de verloren relationele structuur binnen antwoordgroepen wordt hersteld.

1. Paarsgewijs Gedecomposeerd Voordeel (PDA)

In plaats van een scalair voordeel te berekenen op basis van groepsstatistieken, vervangt LamPO het groepsrelatieve voordeel door een Paarsgewijs Gedecomposeerd Voordeel. Voor een antwoord $o_i$ binnen een groep van grootte $G$ wordt het voordeel $A_\lambda(o_i)$ berekend als het gemiddelde van paarsgewijze beloningsgaten, gewogen met een betrouwbaarheidsfactor:

$$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$$

Waarbij:

• $R(o_i) - R(o_j)$ het paarsgewijze beloningsgat voorstelt, wat de leerrichting biedt.
• $\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$ het verschil in sequentie-log-kanswaarden is onder het oude beleid.
• $\sigma(\cdot)$ de logistische sigmoidfunctie is die fungeert als een betrouwbaarheidsbewuste weging.
• $\tau$ een temperatuurparameter is die de gevoeligheid van de weging voor log-kansverschillen regelt.

Deze formulatie aggregeert paarsgewijze vergelijkingen en behoudt rangschikkingsinformatie binnen de groep. De weging zorgt ervoor dat vergelijkingen waarbij het beleid meer vertrouwen heeft (groter log-kansverschil) significant meer bijdragen aan de update.

2. Beleiddoel

LamPO behoudt het PPO-achtige afgeknipte surrogaatdoel en de criticus-vrije structuur van GRPO. Het standaardvoordeel $\hat{A}_i$ wordt simpelweg vervangen door het berekende PDA $A_\lambda(o_i)$ in de afgeknipte doelfunctie. Het volledige doel omvat een KL-regularisatieterm tegen een referentiebeleid $\pi_{ref}$.

3. Dichte Referentie-Overlap Beloning

Om beloningschaarste aan te pakken wanneer referentieoplossingen beschikbaar zijn, introduceert LamPO een lichtgewicht hulpbeloning gebaseerd op ROUGE-L.

• De uiteindelijke beloning is een lineaire combinatie: $R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$.
• $R_{ext}$ is de schaarse verifieerbare correctheidsbeloning (0 of 1).
• $R_{sem}$ is de ROUGE-L F1-score tussen de gegenereerde trace en de referentieoplossing.
• $\lambda_{sem}$ regelt de sterkte van dit dichte signaal.

Deze hulpbeloning biedt sequentie-bewuste overlapsignalen, die het schaarse correctheidssignaal aanvullen zonder het te vervangen.

Belangrijkste Bijdragen

1. Identificatie van Beperking: Het artikel identificeert het verlies van relationele informatie binnen groepen in scalair-basis groepsrelatieve optimalisatie als een belangrijke bottleneck in RLVR voor redeneertaken.
2. LamPO-algoritme: Een nieuwe, criticus-vrije beleidsoptimalisatiemethode die Paarsgewijs Gedecomposeerde Voordelen gebruikt met betrouwbaarheidsbewuste weging om rangschikkingsinformatie binnen bemonsterde groepen te behouden.
3. Integratie van Hulpbeloning: Een eenvoudige, effectieve mechanisme om beloningschaarste te verminderen met behulp van ROUGE-L-gebaseerde overlap wanneer referentieredeneertraces beschikbaar zijn.
4. Empirische Validatie: Toont consistente verbeteringen ten opzichte van GRPO en recente RLVR-varianten (DAPO, GSPO, SAPO) aan over meerdere benchmarks en model families.

Experimentele Resultaten

De auteurs evalueerden LamPO op vier redeneerbenchmarks: AIME24, AIME25, MATH-500 en GPQA-Diamond, met drie modelruggengraten: Qwen3-1.7B, Qwen3-4B en Phi-4-mini.

• Prestaties: LamPO presteerde consequent beter dan GRPO en andere baselines (CoT, SimpleRL-Zoo, PRIME, RLPR, DAPO, GSPO) over alle modelgroottes heen.
  • Op Qwen3-1.7B behaalde LamPO de hoogste gemiddelde score (53,60), met opmerkelijke winsten bij wedstrijdachtige wiskundetaken (AIME24: 46,67 versus GRPO's 42,08).
  • Op Qwen3-4B verbeterde LamPO de gemiddelde score met 1,69 punten ten opzichte van GRPO (77,09 versus 75,40).
  • Op Phi-4-mini toonde LamPO vergelijkbare winsten, wat aangeeft dat de methode niet is gekoppeld aan een specifieke modelfamilie.
• Trainingsdynamiek: Trainingscurven onthulden dat LamPO soepelere beloningsverbeteringen en stabielere voltooingslengtes produceert in vergelijking met GRPO. Deze stabiliteit wordt toegeschreven aan het gestructureerde signaal dat door paarsgewijze gaten wordt geboden, wat oscillerende updates veroorzaakt door hoog-variatie scalair normalisatie vermindert, vooral bij kleinere modellen.
• Ablatiestudies:
  • Temperatuur ($\tau$): Een waarde van $\tau=1,5$ leverde de beste resultaten op. Lagere waarden ($\tau=0,5$) maakten de weging te gevoelig, terwijl hogere waarden ($\tau=5,0, 7,0$) de weging te veel gladstreek, waardoor paarsgewijze discriminatie verzwakte.
  • Semantische Beloning: Het verwijderen van de dichte hulpbeloning ($\lambda_{sem}=0,0$) verminderde de prestaties, wat bevestigt dat vormgeving op basis van referentie-overlap de steekproeffefficiëntie verbetert onder schaarse beloningen.

Betekenis en Claims

Het artikel beweert dat LamPO een effectiever mechanisme voor krediettoewijzing biedt voor redeneertaken waar de kwaliteit van oplossingen subtiel varieert. Door over te stappen van scalair groepsstatistieken naar paarsgewijs gedecomposeerde voordelen, biedt LamPO een rijker leersignaal dat expliciet gebruikmaakt van de relatieve ordening van kandidaat-antwoorden.

De auteurs benadrukken dat LamPO de computationele efficiëntie en stabiliteit van het GRPO-kader behoudt (door criticus-vrij te zijn en afgeknipte updates te gebruiken) terwijl het de specifieke zwakte van informatieverlies in groepsrelatieve methoden aanpakt. De integratie van een lichtgewicht ROUGE-L-beloning verbetert verder de trainings efficiëntie wanneer referentiedata beschikbaar is, zonder afbreuk te doen aan de afhankelijkheid van verifieerbare correctheid.

Erkende Beperkingen:

• Computationele Kosten: De paarsgewijze vergelijking introduceert een complexiteit van $O(G^2)$ ten opzichte van de groepsgrootte $G$, hoewel dit als verwaarloosbaar wordt beschouwd voor typische groepsgroottes in RLVR.
• Betrouwbaarheid van Beloningen: De methode is afhankelijk van betrouwbare beloningssignalen; ruisachtige of subjectieve beloningen kunnen fouten in paarsgewijze gaten versterken.
• Reikwijdte Hulpbeloning: De ROUGE-L-beloning vangt lexicaal overlap op in plaats van volledige redeneercorrectheid en vereist referentieoplossingen, die niet voor alle taken bestaan.
• Generalisatie: Experimenten zijn momenteel beperkt tot wiskundig en wetenschappelijk redeneren; generalisatie naar open-ended dialoog of multimodale taken blijft een open vraag.