💬 NLP

Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization

Dit artikel introduceert Reward-Decorrelated Policy Optimization (RDPO), een nieuwe methode die gebruikmaakt van Magnitude-Aware Quantile-normalisatie en Mahalanobis-whitening om de schatting van voordelen in multi-beloning versterkt leren te stabiliseren, waardoor de prestaties van het model op instructievolging, schrijven en robuustheid worden verbeterd zonder afbreuk te doen aan redeneer- of programmeervaardigheden.

Oorspronkelijke auteurs: Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot (een AI) traint om tegelijkertijd veel verschillende taken uit te voeren: verhalen schrijven, wiskundeproblemen oplossen, software coderen en strikte instructies volgen. Om de robot te leren, geef je na elke poging feedback (beloningen).

Het probleem is dat deze feedbacksignalen rommelig zijn. Sommige zijn simpele "slaag/vuist" cijfers (zoals een binaire schakelaar), sommige zijn scores van 0 tot 100, en sommige zijn complexe meningen. Bovendien overlappen deze signalen vaak. Een lang antwoord kan bijvoorbeeld punten krijgen voor "gedetailleerd" zijn, maar punten verliezen voor "te woordelijk" zijn, en de "gedetailleerd"-score kan wiskundig gekoppeld zijn aan de "woordelijk"-score.

Wanneer je probeert al deze gemengde scores op te tellen om de robot te vertellen hoe hij moet verbeteren, wordt de training chaotisch. De robot kan in de war raken door één enorme score, de andere negeren, of vastlopen in een lus omdat twee signalen tegen elkaar vechten.

De auteurs van dit artikel stellen een nieuwe methode voor genaamd RDPO (Reward-Decorrelated Policy Optimization) om deze rommel op te lossen. Denk aan RDPO als een tweestaps "Signaalreiniger" die de feedback voorbereidt voordat de robot er van leert.

Stap 1: De "Eerlijkheidsfilter" (Magnitude-Aware Quantile Normalization)

Het Probleem: Stel je voor dat je een klas beoordeelt. Een student krijgt een score van 100, een ander 99, en een derde 0. Als je alleen naar de ruwe getallen kijkt, lijkt het verschil tussen 99 en 100 miniem, maar het verschil tussen 0 en 99 is enorm. Bij AI-training kan het grote verschil in één type beloning (zoals een "slaag/vuist"-controle) alle andere feedback overschaduwen, waardoor de robot zich alleen op dat ene ding richt en alles andere negeert.

De Oplossing: RDPO gebruikt een "Eerlijkheidsfilter" genaamd Magnitude-Aware Quantile Normalization.

Hoe het werkt: In plaats van naar de ruwe getallen te kijken, kijkt het naar de rangorde en de gaten tussen de pogingen. Het comprimeert de enorme gaten (zodat een 100 niet oneindig beter is dan een 99) en strekt de kleine gaten (zodat een 99 en een 100 nog steeds onderscheidbaar blijven).
De Analogie: Stel je een race voor waarbij één renner in 10 seconden finisht en een ander in 100 seconden. Als je alleen naar de tijd kijkt, ziet de tweede renner er vreselijk uit. Maar als je de race normaliseert zodat iedereen wordt beoordeeld op hoe ze hebben gepresteerd relatief aan de groep, krijgt de tweede renner een eerlijke kans om te verbeteren zonder verpletterd te worden door het enorme voorsprong van de eerste renner. Dit zorgt ervoor dat geen enkele "slechte" of "uitbijter"-poging het leerproces van de robot kapert.

Stap 2: De "Ruisreducer" (Mahalanobis Whitening)

Het Probleem: Soms zijn de feedbacksignalen redundant. Stel je voor dat je twee sensoren hebt: één meet "hoeveel de robot sprak" en de andere meet ook "hoeveel de robot sprak". Als je deze twee scores optelt, tel je dezelfde informatie dubbel. Of stel je twee sensoren voor die elkaars tegenpool zijn: de ene zegt "wees langer" en de andere zegt "wees korter". Als je ze gewoon optelt, heffen ze elkaar op en krijgt de robot geen duidelijke richting.

De Oplossing: RDPO gebruikt een "Ruisreducer" genaamd Mahalanobis Whitening.

Hoe het werkt: Het kijkt naar de relatie tussen de verschillende feedbacksignalen. Als twee signalen hetzelfde zeggen (gecorreleerd), verlaagt het het gewicht van één zodat ze niet dubbel tellen. Als ze tegen elkaar vechten, past het ze aan zodat de robot een duidelijke, gebalanceerde instructie krijgt.
De Analogie: Denk aan een band waarbij de drummer en de bassist precies hetzelfde ritme spelen. Het klinkt modderig en redundant. De "Ruisreducer" is als een geluidstechnicus die de bas iets zachter zet, zodat het ritmesectie strak en duidelijk klinkt, in plaats van modderig. Het zorgt ervoor dat de robot leert van unieke informatie, niet van herhaalde ruis.

De Resultaten

De auteurs testten deze methode uit op een groot AI-model genaamd LongCat-Flash. Ze trainden het op vier soorten taken:

Instructievolging: Precies doen wat je vraagt.
Algemeen Schrijven: Goede verhalen of artikelen creëren.
Wiskundig Redeneren: Logische puzzels oplossen.
Coderen: Computerprogramma's schrijven.

Wat gebeurde er?

Schrijven en Instructies: De robot werd aanzienlijk beter in het volgen van instructies en het schrijven van hoogwaardige tekst. Het werd robuuster wanneer het werd geconfronteerd met moeilijke of lastige prompts.
Wiskunde en Coderen: De robot presteerde even goed als de vorige beste methoden. Het werd niet slechter in wiskunde of coderen; het bleef concurrerend terwijl het veel beter werd in de andere taken.

De Conclusie

Het artikel beweert dat door de feedbacksignalen op te schonen (ze eerlijk maken en redundantie verwijderen) voordat de AI leert, het trainingsproces veel stabieler wordt. Dit stelt de AI in staat om beter te worden in complexe, meerdaagse taken (zoals schrijven en regels volgen) zonder zijn vermogen om wiskundeproblemen op te lossen of code te schrijven te verliezen. Het is een slimmere manier om verschillende soorten lof en kritiek te mengen, zodat de AI de juiste lessen leert.

Technische Samenvatting: Reward-Decorrelatiebeleidsoptimalisatie (RDPO)

1. Probleemstelling

In complexe versterkingsleer (RL)-omgevingen voor Grootte Taalmodellen (LLM's) omvat training vaak multi-task settings met gemengde beloningsformuleringen. Een enkele trainingsrun kan diverse doelen omvatten, zoals correctheid, instructieopvolging, voldoening aan rubrieken, scores van voorkeurmodellen en responslengte.

Het samenvoegen van deze heterogene beloningssignalen tot een enkele scalair voordeel stelt twee primaire uitdagingen die de training destabiliseren:

Heterogene Schalen en Verdelingen: Beloningen variëren aanzienlijk in schaal (binair, fractioneel, continu) en vorm van verdeling (scheef, gebonden, vatbaar voor uitschieters). Standaard aggregatiemethoden slagen er vaak niet in om voordelen robuust toe te wijzen op het niveau van de prompt, wat leidt tot situaties waarin een enkele rollout het updatesignaal domineert.
Beloningscorrelatie: Beloningsdimensies binnen een taak zijn vaak gecorreleerd (bijvoorbeeld code-correctheid en responslengte, of voldoening aan rubrieken en voorkeurscores). Het optellen van gecorreleerde beloningen zonder aanpassing introduceert redundante variantie, waardoor het model specifieke variaties "telt" of nuttige signalen opheft, waardoor de effectieve informatie-efficiëntie van het geaggregeerde voordeel afneemt.

Bestaande methoden zoals GRPO (directe sommatie) verduisteren relatieve prestatievariaties, terwijl GDPO (onafhankelijke Z-score-normalisatie) gevoelig blijft voor niet-Gaussische verdelingen op prompt-niveau en geen oplossing biedt voor inter-beloningscorrelaties.

2. Methodologie: Reward-Decorrelatiebeleidsoptimalisatie (RDPO)

De auteurs stellen RDPO voor, een lichtgewicht, tweestaps verwerkingspijplijn voor beloningen die expliciet is ontworpen om de faalmodi van schaalinstabiliteit en correlatieredundantie aan te pakken.

2.1 Diagnostische Maatstaf: Effectieve Informatie-efficiëntie ( $\eta_{eff}$ )

Voordat de oplossing in detail wordt beschreven, introduceert het artikel $\eta_{eff}$ als een diagnostische maatstaf om gemengde beloningsaggregatie te evalueren. Het decomposeert in:

$\eta_{proj}$ (Projectie-efficiëntie): Meet hoe goed de aggregatie overeenkomt met een gelijkmatig gewogen projectie in de gestandaardiseerde beloningsruimte. Het straalt onevenwichtigheden af die worden veroorzaakt door variërende beloningsschalen.
$\eta_{corr}$ (Correlatie-efficiëntie): Kwantificeert de onafhankelijke informatie die behouden blijft na het optellen van gecorreleerde beloningen. Het straalt redundantie af die wordt veroorzaakt door positieve of negatieve lineaire afhankelijkheden tussen beloningsdimensies.

2.2 Stap 1: Magnitude-bewuste Kwantiel (MAQ) Normalisatie

Doel: Om de toewijzing van voordelen op prompt-niveau te stabiliseren over binaire, fractionele en continue beloningen, en de beperkingen van Z-score-normalisatie onder niet-Gaussische omstandigheden aan te pakken.

Mechanisme:

Log-gecomprimeerde Gaten: In plaats van lineaire schaling, berekent MAQ de afstand tussen gesorteerde rollout-scores met behulp van een logaritmische compressiefunctie: $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$ . Dit beperkt de invloed van extreme uitschieters terwijl subtiele onderscheidingen in dichte gebieden behouden blijven.
CDF-toewijzing: Gaten worden genormaliseerd om Cumulatieve Distributiefunctie (CDF)-posities evenredig toe te wijzen.
Inverse Normale Mapping: Waarden worden via de inverse CDF ( $\Phi^{-1}$ ) gemapt naar een standaardnormale verdeling.

Effect: MAQ produceert voordelen die vergelijkbaar zijn over dimensies en minder gevoelig voor pathologische groepsstatistieken (bindingen, scheefheid, uitschieters), waardoor wordt gegarandeerd dat geen enkele rollout de update op prompt-niveau disproportioneel domineert.

2.3 Stap 2: Mahalanobis Whitening

Doel: Om redundante variantie te verminderen tussen gelijktijdig optredende beloningsdimensies binnen een specifieke taaksubruimte.

Mechanisme:

Subruimte-selectie: In multi-task settings observeert een rollout zelden alle beloningsdimensies. RDPO past whitening uitsluitend toe op de geobserveerde beloningssubruimte $S$ voor een gegeven taak.
Lopende Covariantie-schatting: Een Exponentiële Bewegende Gemiddelde (EMA) wordt gebruikt om de covariantiematrix $\hat{\Sigma}_t$ van de MAQ-genormaliseerde voordelen online te schatten, waardoor ruis op batch-niveau wordt gladgestreken.
Whitening-transformatie: Het voordeelvector $A^{(i,j)}$ wordt getransformeerd met de inverse vierkantswortel van de covariantiematrix: $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$ . Dit verschuift de actieve beloningsdimensies naar ongecorreleerde signalen met eenheidsvariantie.
Aggregatie: Het finale scalair voordeel is de som van de ge-whitende dimensies, gevolgd door normalisatie op batch-niveau.

3. Experimentele Opstelling

Model: LongCat-Flash (post-training fase).
Taken: Een geünificeerde mix van vier taaktypen: Wiskundig Redeneren, Codegeneratie, Instructieopvolging en Algemeen Schrijven.
Beloningssubruimten:
- Wiskunde: Wiskundecorrectheid + Lengte.
- Code: Codecorrectheid + Lengte.
- Instructieopvolging: IFEval + Rubrieken.
- Algemeen Schrijven: Lengte + RM (Beloningsmodel) + Rubrieken.
Basislijnen: GRPO (ruwe sommatie), GDPO (Z-score-normalisatie) en het RL-initialisatiemodel.
Validatie: Kleinschalige validatie op een kleiner model van dezelfde familie om de bijdragen van MAQ en Whitening te isoleren voordat wordt geschaald naar LongCat-Flash.

4. Belangrijkste Resultaten

4.1 Kleinschalige Validatie

Op een kleiner intern model presteerde de volledige RDPO-pijplijn beter dan GDPO, GRPO en het initialisatiemodel op verschillende metrieken:

Instructieopvolging: Significante winst op IFEval (83,55% versus 78,56% voor GDPO).
Redeneren & Coderen: Verbeteringen op AIME24, FullStackBench, HumanEval+ en MBPP+.
Componentanalyse: Zowel MAQ (Q) als Whitening (M) leverden complementaire voordelen op. MAQ was bijzonder effectief op verdelingsgevoelige metrieken (bijvoorbeeld AH-Creative), terwijl whitening ondersteuning bood bij correlatiegevoelige settings.

4.2 Geschaalde LongCat-Flash Resultaten

Toen toegepast op LongCat-Flash, toonde RDPO het volgende:

Instructieopvolging & Schrijven: RDPO behaalde de hoogste scores op IFEval (90,39%), GuideBench, SOP-Maze, WritingBench en beide ArenaHard v2 subsets (AH-Creative: 89,00%, AH-Hard: 76,10%). Dit bevestigt het nut van het stabiliseren van voordelen op prompt-niveau en het verminderen van redundantie voor open-ended, voorkeur-gevoelige taken.
Redeneren & Coderen: Resultaten waren over het algemeen concurrerend maar gemengd. RDPO kwam overeen met de beste MATH500-score (98,60%) en bleef concurrerend op AIME2025 en GPQA. In codering leidde RDPO op MBPP+ en LiveCodeBench v6, terwijl GRPO of het initialisatiemodel sterker bleven op FullStackBench en HumanEval+.
Algemene Stabiliteit: De methode slaagde erin om succesvol over te gaan van kleinschalige validatie naar grootschalige training, waarbij stabiele prestaties in redeneren en coderen werden behouden terwijl instructieopvolging en schrijfkwaliteit aanzienlijk werden verbeterd.

5. Betekenis en Claims

Het artikel beweert dat RDPO een robuuste oplossing biedt voor multi-objective RL in LLM post-training door expliciet de dubbele faalmodi van schalinstabiliteit en correlatieredundantie aan te pakken.

Methodologische Bijdrage: Door Magnitude-bewuste Kwantiel-normalisatie te combineren met Mahalanobis-whitening, zorgt RDPO ervoor dat het geaggregeerde voordelenignaal zowel geometrisch consistent is (gelijke bijdrage over dimensies) als informatie-efficiënt (redundante variantie minimaliseren).
Praktische Impact: De methode maakt gelijktijdige optimalisatie van heterogene taken (bijvoorbeeld wiskunde, code, schrijven) mogelijk zonder de trainingsinstabiliteit die doorgaans geassocieerd wordt met gemengde beloningsformuleringen.
Prestaties: De auteurs concluderen dat RDPO instructieopvolging, schrijfkwaliteit en robuustheid tegen moeilijke prompts verbetert, terwijl het over het algemeen concurrerend blijft op evaluaties voor redeneren en coderen, waarmee de effectiviteit ervan als een algemene strategie voor beloningsverwerking in complexe RL-omgevingen wordt gevalideerd.