Technische Samenvatting: Saturation Aware Advantage Reweighting voor Multi-Reward Policy Optimization (SA-MRPO)

1. Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is de standaard geworden voor post-training van large language models (LLM's) om redeneervermogen te verbeteren. Hoewel Group Relative Policy Optimization (GRPO) en varianten daarvan dit proces hebben vereenvoudigd door het elimineren van geleerde waarde-functies, gaan ze doorgaans uit van een enkele scalaire beloning. In de praktijk moeten redeneermodellen meerdere doelstellingen tegelijkertijd vervullen, zoals correctheid, responslengte, format-compliance, veiligheid en uitvoerbaarheid.

De standaardaanpak voor multi-objectieve optimalisatie omvat het opschalen van deze beloningen naar een vaste gewogen som voordat groep-gewijze standaardisatie plaatsvindt. De auteurs identificeren twee fundamentele beperkingen in dit ontwerp:

1. Verlies van Beloningsresolutie: Distincte beloningsprofielen kunnen samenvallen in dezelfde scalaire waarde. Bijvoorbeeld, een rollout met een hoge correctheid maar slechte format zou dezelfde scalaire beloning (en dus hetzelfde voordeel/advantage) kunnen ontvangen als een rollout met slechte correctheid maar perfecte format, mits de gewogen som identiek is.
2. Negeren van Doelstelling-verzadiging (Objective Saturation): Vaste gewichten behandelen alle doelstellingen als even belangrijk gedurende de training, ongeacht hun huidige staat. Als een hulpdoelstelling (bijv. format-compliance) al nabij verzadiging is (opgelost), gaat het optimalisatieproces door met het toewijzen van het gradiëntbudget aan deze doelstelling. Dit leidt de inspanning weg van moeilijkere, onder-geoptimaliseerde doelstellingen (bijv. wiskundige correctheid) die nog aanzienlijke "headroom" hebben voor verbetering.

Bestaande methoden zoals Group reward-Decoupled Policy Optimization (GDPO) pakken het eerste probleem aan door beloningen onafhankelijk te normaliseren, maar falen bij het tweede probleem, omdat ze nog steeds vertrouwen op vaste gewichten die niet adapteren aan het verzadigingsniveau van elke doelstelling.

2. Methodologie: SA-MRPO

De auteurs stellen Saturation Aware Advantage Reweighting voor Multi-Reward Policy Optimization (SA-MRPO) voor. Deze methode behoudt per-doelstelling normalisatie maar herweegt elke doelstelling adaptief op basis van de huidige mate van verzadiging.

Kernmechanisme

Voor een batch rollouts en $n$ beloningsdoelstellingen berekent SA-MRPO een verzadigingsbewuste advantage als volgt:

1. Verzadigingsschatting: Voor elke doelstelling $k$ wordt de verzadigingsratio $s^{(k)}$ geschat met behulp van de batch-gemiddelde beloning $\bar{r}^{(k)}$ relatief aan het bereik van de doelstelling $[r^{(k)}_{min}, r^{(k)}_{max}]$:
   $$s^{(k)} = \frac{\bar{r}^{(k)} - r^{(k)}_{min}}{r^{(k)}_{max} - r^{(k)}_{min}} \in [0, 1]$$
   Een waarde van $s^{(k)}$ nabij 1 geeft aan dat de doelstelling verzadigd is (nabij de maximale beloning), terwijl een waarde nabij 0 duidt op aanzienlijke ruimte voor verbetering.

2. Adaptieve Herweging: De voorgeschreven gewicht $w_k$ voor elke doelstelling wordt gemoduleerd door een verzadigingsfactor die wordt gecontroleerd door een exponent $\gamma \ge 0$:
   $$\tilde{w}_k = w_k (1 - s^{(k)})^\gamma$$
   Naarmate een doelstelling de verzadiging nadert ($s^{(k)} \to 1$), neemt het effectieve gewicht $\tilde{w}_k$ af. Omgekeeld behouden doelstellingen met een lage verzadiging hogere gewichten.

3. Advantage Constructie: De geaggregeerde advantage voor een rollout wordt berekend door de genormaliseerde advantages van individuele doelstellingen op te tellen, gewogen door hun verzadigings-aangepaste gewichten:
   $$\tilde{A}^{(i,j)} = \sum_{k=1}^n \tilde{w}_k A^{(i,j)}_k$$
   waarbij $A^{(i,j)}_k$ de groep-relatieve advantage is voor doelstelling $k$. Deze aggregatie wordt vervolgens over de batch genormaliseerd voordat deze wordt gebruikt in de standaard clipped surrogate objective.

Theoretische Eigenschappen

• Generalisatie: SA-MRPO generaliseert strikt GDPO (wanneer $\gamma=0$) en GRPO (in de single-objective setting).
• Directionele Verandering: In tegen tegenstelling tot eenvoudige herschaling, kan verzadigingsbewuste herweging het teken van een update omkeren. Als een verzadigde doelstelling conflicteert met een onder-geoptimaliseerde doelstelling, kan de verminderde weging op de verzadigde doelstelling ervoor zorgen dat de geaggregeerde advantage van teken verandert, wat effectief de richting van de policy-update verandert om de onverzadigde doelstelling te bevoordelen.
• Conflictbehandeling: De methode erkent dat het prioriteren van een onverzadigde doelstelling een eerder geoptimaliseerde doelstelling kan degraderen als hun gradiënten conflicteren. De auteurs stellen echter dat dit een noodzakelijke afweging is om de algehele prestaties te maximaleren, aangezien de winst uit het verbeteren van de onder-geoptimaliseerde doelstelling zwaarder weegt dan het verlies op de verzadigde een.

3. Belangrijkste Bijdragen

1. Probleemidentificatie: Het artikel identificeert dat scalaire multi-reward optimalisatie lijdt aan verlies van beloningsresolutie en, nog kritischer, de doelstelling-verzadiging negeert, wat leidt tot inefficiënte allocatie van optimalisatie-inspanning.
2. Algoritmevoorstel: SA-MRPO introduceert een mechanisme om genormaliseerde beloningsdoelstellingen dynamisch te herwegen op basis van hun resterende bereikbare beloningsbereik. Het demonstreert dat dit de richting van policy-updates kan veranderen, niet alleen hun grootte.
3. Empirische Validatie: De methode wordt gevalideerd over wiskundig redeneren, adaptief redeneren en codegeneratie. Het verschuift consistent de optimalisatie-inspanning van verzadigde naar onder-geoptimaliseerde doelstellingen, waarbij de laatste verbetert terwijl de prestaties op de eerste behouden blijven.

4. Experimentele Resultaten

De auteurs evalueerden SA-MRPO tegenover GDPO en baseline modellen over diverse instellingen:

• Wiskundig Redeneren: Gebruikmakend van Qwen2.5 modellen (3B en 7B) met twee en drie doelstellingen (correctheid, lengte, format), verbeterde SA-MRPO de nauwkeurigheid ten opzichte van GDPO in 12 van de 15 benchmark-vergelijkingen. Opvallende winsten zijn een verbetering van 5,0% op AIME24 en 3,5% op MATH500 voor het 7B model. Cruciaal is dat deze winsten werden behaald zonder de prestaties op de hulpdoelstelling voor lengte significant te verslechteren.
• Adaptief Redeneren: In een setting met een expliciet verzadigde lengte-doelstelling (waar responses onder een tokenlimiet de maximale beloning ontvangen), verbeterde SA-MRPO de nauwkeurigheid op alle vijf de benchmarks met gemiddeld 3,8%, met een piek van 9,2% op AMC23. De methode stelde het model in staat om extra tokens voor redeneren te gebruiken zodra de lengtebeperking was voldaan, wat een effectieve herallocatie van capaciteit demonstreert.
• Codegeneratie: Op benchmarks zoals APPS en Codeforces, waarbij geoptimaliseerd werd voor zowel uitvoerbaarheid (makkelijker te voldoen) als pass rate (moeilijker), verbeterde SA-MRPO de pass rates op 3 van de 4 benchmarks (tot een winst van 2,3%) terwijl het uitvoerbaarheidsniveau vergelijkbaar bleef met GDPO.
• Hyperparameter Gevoeligheid: Er werd aangetoond dat de verzadigingsexponent $\gamma$ direct de afweging controleert tussen het verbeteren van onder-geoptimaliseerde doelstellingen en het behouden van verzadigde doelstellingen. Matige waarden (bijv. $\gamma=0,5$) boden de beste balans, wat de hoogste gemiddelde nauwkeurigheid opleverde.

5. Betekenis en Claims

Het artikel claimt dat effectieve multi-reward policy optimalisatie meer vereist dan alleen het balanceren van beloningsschalen; het moet rekening houden met de resterende bruikbare verbetering in elke doelstelling.

• Dynamische Allocatie: SA-MRPO biedt een geprincipeerde manier om het gradiëntbudget dynamisch te heralloceren van "opgeloste" problemen naar die welke nog headroom hebben, zonder de onderliggende GRPO policy-update mechanisme te wijzigen.
• Omkering van Updates: De methode is in staat om het teken van een update om te keren, een capaciteit die afwezig is in standaard scalarisatie of fixed-weight decoupling, waardoor de policy actief de verzadigde doelstellingen kan de-prioriteren wanneer deze conflicteren met moeilijkere doelen.
• Algemene Toepasbaarheid: De aanpak blijkt effectief te zijn over verschillende domeinen (wiskunde, adaptief redeneren, code) en model-schalen, wat suggereert dat verzadigingsbewuste herweging een robuuste strategie is voor multi-objective RLVR.

De auteurs concluderen dat toekomstige multi-reward optimalisatiestrategieën expliciet rekening moeten houden met de verzadigingstoestand van doelstellingen om te voorkomen dat optimalisatiecapaciteit verspild wordt aan reeds voldane restricties.