Technische Samenvatting: Voorbij Modusinstorting: Distributiematching voor Divers Redeneren

1. Probleemstelling

Het artikel identificeert modusinstorting als een fundamentele beperking in on-policy versterkende leermethodes (RL), met name die welke worden gebruikt voor het trainen van Large Reasoning Models (LRM's) via Reinforcement Learning met Verifieerbare Beloningen (RLVR). Hoewel methoden zoals Group Relative Policy Optimization (GRPO) succes hebben geboekt in het oplossen van wiskundige problemen en het genereren van code, vertonen ze de neiging om de waarschijnlijkheidsmassa te concentreren op één enkele traject met een hoge beloning zodra deze is ontdekt. Dit gedrag onderdrukt alternatieve oplossingsstrategieën, stopt exploratie en leidt tot breekbaar redeneren dat niet generaliseert.

De auteurs stellen dat dit fenomeen niet louter een implementatie-artefact is, maar een direct gevolg van het optimalisatiedoel: standaard on-policy RL minimaliseert impliciet de omgekeerde Kullback-Leibler (KL)-divergentie ($D_{KL}(\pi_\theta \| p^*)$). Omgekeerde KL is van nature "moduszoekend", wat de eerste succesvolle traject die wordt aangetroffen versterkt in plaats van een distributie over meerdere diverse oplossingen met hoge beloning te handhaven. Daarentegen vertoont voorwaartse KL-divergentie ($D_{KL}(p^* \| \pi_\theta)$) "modus-dekkend" gedrag, waarbij het beleid wordt aangemoedigd om de volledige ondersteuning van de doeldistributie te matchen, maar is deze doorgaans onberekenbaar omdat deze bemonstering vereist uit de globale, door beloning gewogen distributie.

2. Methodologie: DMPO

Om modusinstorting aan te pakken zonder onberekenbare globale bemonstering te vereisen, stellen de auteurs Distribution-Matching Policy Optimization (DMPO) voor.

Kerninzicht

DMPO benadert de minimalisatie van voorwaartse KL op groepsniveau in plaats van globaal. In plaats van te bemonsteren uit een globale doeldistributie, construeert het algoritme een doeldistributie over een specifieke groep van bemonsterde trajecten voor een gegeven prompt.

Algorithmische Formulering

1. Doeldistributie op Groepsniveau: Voor een groep van $G$ trajecten $\mathcal{O} = \{o_1, \dots, o_G\}$ bemonsterd vanuit het huidige beleid $\pi_{\theta_{old}}$, wordt een doeldistributie $p(o_i | \mathcal{O})$ geconstrueerd evenredig met de exponentiële waarde van hun beloningen (een Boltzmann-distributie):
   $$p(o_i | \mathcal{O}) = \frac{\exp(r(o_i)/\alpha)}{\sum_{j=1}^G \exp(r(o_j)/\alpha)}$$
   Dit is computationeel haalbaar omdat het alleen de partitiefunctie op groepsniveau vereist.

2. Beleidsdistributie op Groepsniveau: Om het beleid op deze doelstelling af te stemmen, definieert de methode een beleidsdistributie $q_\theta(o_i | \mathcal{O})$ gebaseerd op lengte-genormaliseerde log-waarschijnlijkheden om rekening te houden met lengte-bias van trajecten:
   $$q_\theta(o_i | \mathcal{O}) = \frac{\exp(\varphi(o_i))}{\sum_{j=1}^G \exp(\varphi(o_j))}$$
   waarbij $\varphi(o_i)$ de gemiddelde log-kans per token is.

3. Verliesfunctie voor Distributiematching: Het beleid wordt afgestemd op het doel door de divergentie tussen $q_\theta$ en $p$ te minimaliseren. De auteurs gebruiken Middelpuntkwadratische Fout (MSE) in plaats van KL-divergentie voor numerieke stabiliteit, waardoor gradiëntexplosie wordt voorkomen wanneer de beleidswaarschijnlijkheid naar nul nadert:
   $$\mathcal{L}_{DM}(\theta) = \frac{1}{G} \sum_{i=1}^G (p(o_i | \mathcal{O}) - q_\theta(o_i | \mathcal{O}))^2$$

4. Gefuseerd Doel: Het uiteindelijke doel combineert de standaard GRPO-term voor beloningsmaximalisatie met de regularisatie voor distributiematching:
   $$\mathcal{L}_{DMPO}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda \mathcal{L}_{DM}(\theta)$$
   Hierbij drijft $\mathcal{L}_{GRPO}$ exploitatie (beloningsmaximalisatie), terwijl $\mathcal{L}_{DM}$ exploratie afdwingt door te voorkomen dat het beleid instort naar één enkele modus binnen het gebied met hoge beloningen.

3. Belangrijkste Bijdragen

A. DMPO-algoritme

Het artikel presenteert DMPO als een principieel, praktisch oplossing voor modusinstorting. Door voorwaartse KL op groepsniveau te benaderen, bereikt het modus-dekkend gedrag zonder een geleerde partitiefunctie of globale bemonstering te vereisen. De methode is compatibel met bestaande GRPO-frameworks en vereist slechts de toevoeging van één regularisatieterm.

B. MM-NP-Bench

De auteurs introduceren MM-NP-Bench, een multimodale benchmark ontworpen om exploratie in redeneringsmodellen rigoureus te evalueren.

• Bereik: Het breidt de tekstgebaseerde NP-Bench uit om visuele representaties op te nemen van 10 NP-hard combinatorische optimalisatietaken (bijv. TSP, Grafkleuring, Vertex Cover).
• Evaluatie met Dubbele Metriek: Om modusinstorting waarneembaar te maken, gebruikt de benchmark twee metrieken:
  • Succesratio (SR): Meet voldoening aan beperkingen (haalbaarheid).
  • Kwaliteitsratio (QR): Meet optimalisatiekwaliteit ten opzichte van een heuristische basislijn.
  • Betekenis: Modusinstorting manifesteert zich als een hoge SR maar lage QR (het vinden van geldige maar suboptimale oplossingen).
• Infrastructuur: Omvat parametrische generators, regelgebaseerde verifiers en heuristische solvers om bijna-optimale basislijnen te bieden.

C. Empirische Validatie

Het artikel biedt uitgebreide experimenten die aantonen dat DMPO sterke basislijnen (GRPO, GSPO, GPG, FlowRL, enz.) overtreft op meerdere domeinen.

4. Resultaten

Prestaties op Optimalisatietaken

• MM-NP-Bench (Multimodaal): DMPO bereikte een kwaliteitsratio van 43,1%, een relatieve verbetering van 12% ten opzichte van GRPO (38,4%). Het bereikte ook de hoogste succesratio (61,9% versus 55,7%).
• NP-Bench (Alleen tekst): DMPO bereikte een kwaliteitsratio van 43,9%, een relatieve verbetering van 9% ten opzichte van GRPO (40,1%).
• Ablatie: De methode toonde robuustheid ten opzichte van hyperparameterkeuzes ($\lambda \in [0,3, 0,7]$ en $\alpha \in [0,8, 1,2]$).

Generalisatie en Transfer

• Wiskundig Redeneren: Training op optimalisatietaken met DMPO verbeterde de prestaties op benchmarks voor wiskundig redeneren (AIME, AMC, enz.) met 2,0% ten opzichte van GRPO.
• Taken Buiten het Domein: DMPO toonde een verbetering van 2,3% op benchmarks voor visueel redeneren buiten het domein (LogicVista, MathVista, enz.), wat suggereert dat diversiteitsbehoudende training het algemene redeneervermogen verbetert.

Trainingsdynamiek

Analyse van trainingslogs onthulde dat terwijl GRPO lijdt aan "lengte-instorting" (degenereren tot korte, triviale antwoorden) en voortijdige beloningsplateaus, DMPO continue verbetering handhaaft en robuuste redeneerketens behoudt (~400 tokens). DMPO handhaaft een lagere entropie dan GRPO, wat wijst op "gestructureerde diversiteit" (zeker uitvoeren van verschillende logische strategieën) in plaats van stochastische verwarring.

5. Betekenis en Claims

Het artikel stelt dat distributiematching wordt gevestigd als een praktische en principieel onderbouwde aanpak om modusinstorting in on-policy RL te voorkomen. De auteurs betogen dat:

1. Identificatie van Oorzaak: Modusinstorting in RLVR fundamenteel wordt veroorzaakt door de moduszoekende aard van minimalisatie van omgekeerde KL.
2. Haalbare Oplossing: Minimalisatie van voorwaartse KL, traditioneel als onberekenbaar beschouwd, kan effectief worden benaderd op groepsniveau om de diversiteit van oplossingen te behouden.
3. Algemeen Voordeel: Het behoud van diversiteit tijdens training op specifieke optimalisatietaken vertaalt zich naar verbeterde algemene redeneercapaciteiten, wat suggereert dat exploratie een kritiek onderdeel is van robuust redeneren in Large Reasoning Models.

Het werk positioneert DMPO niet louter als een diversiteitsregularisator, maar als een mechanisme dat de ontdekking van oplossingen van hogere kwaliteit mogelijk maakt die door moduszoekende doelen worden gemist, waardoor zowel de optimalisatieprestaties als de robuustheid van redeneren over modaliteiten worden versterkt.