Technische Samenvatting: LaDi-RL

Probleemstelling

Versterkend leren (RL) is een dominant paradigma geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's), met name door de optimalisatie van redeneertrajecten. Bestaande methoden optimaliseren echter voornamelijk beleidsstrategieën over discrete tokensequenties. Deze aanpak creëert een fundamentele mismatch: kritieke redeneerbeslissingen zijn vaak semantisch, globaal en op trajectniveau, terwijl token-niveau optimalisatie vertrouwen stelt op lokale verstoringen.

Deze mismatch leidt tot diversiteitsinstorting, een fenomeen waarbij het beleid van het model de waarschijnlijkheidsmassa concentreert op een smal scala aan redeneerpatronen, waardoor alternatieve strategieën worden onderdrukt. Hoewel token-niveau exploratie lexische varianten kan genereren (bijvoorbeeld "daarom" vervangen door "dus"), heeft het moeite om semantisch verschillende strategieën te ontdekken (bijvoorbeeld overschakelen van algebraïsch naar geometrisch redeneren). Bijgevolg verbeteren RL-geoptimaliseerde modellen vaak pass@1 (nauwkeurigheid bij één steekproef), maar falen ze om de pass@k-prestaties te handhaven of te verbeteren bij grote $k$, wat wijst op een verlies van diverse correcte trajecten.

Bovendien introduceert het verplaatsen van exploratie naar continue latente ruimtes een toewijzingsuitdaging voor krediet. In RL in de latente ruimte treedt het beleid op in een continue latente ruimte, maar worden beloningen pas waargenomen nadat het latente traject is gedecodeerd naar tekst. Een naïeve rollout-strategie verweeft de kwaliteit van het latente redeneren met de kwaliteit van de tekstuele decoding. Een lage beloning kan voortkomen uit een gebrekkig latente traject, of slechts uit een onvolmaakte tekstelijke realisatie van een sound latente, wat leidt tot een ruisig en misleidend leersignaal.

Methodologie: LaDi-RL

De auteurs stellen Latent Diffusion Reasoning with Reinforcement Learning (LaDi-RL) voor, een kader dat exploratie in continue latente ruimte herformuleert met behulp van diffusiemodellen om entropie-instorting te voorkomen.

1. Latent Diffusion-beleid

In plaats van redeneren token voor token te genereren, codeert LaDi-RL een volledig redeneertraject in een compact, continu latent blok (bijvoorbeeld 64 tokens) met behulp van een Variational Autoencoder (VAE). Het beleid wordt geparametriseerd als een diffusiemodel over deze trajectrepresentaties.

• Mechanisme: Het beleid start vanuit ruis en denoest iteratief naar een latente redeneertraject. Dit proces staat gestructureerde exploratie en expressieve distributiemodellering toe, wat op natuurlijke wijze multi-modale redeneerstrategieën ondersteunt.
• Diversiteitsgids: Om instorting verder te voorkomen, introduceren de auteurs een afstotingsgebaseerd gidsmechanisme. Tijdens het denoisen wordt een afstotende kracht toegepast op nabijgelegen latente trajecten, waardoor deze in de latente ruimte uit elkaar worden gedreven. Dit fungeert als een lokale geometrische regularisatie die diversiteit expliciet behoudt zonder uitsluitend te vertrouwen op beleidsentropie.

2. Hiërarchische Latent-Text Rollouts

Om de toewijzingsuitdaging voor krediet aan te pakken, hanteert LaDi-RL een hiërarchische $N \times M$ rollout-strategie:

• Latent Sampling ($N$): Voor een gegeven query steekt het diffusiebeleid $N$ verschillende latente redeneertrajecten.
• Text Decoding ($M$): Voor elk bemonsterd latent traject genereert het tekstbeleid $M$ kandidaat-antwoordteksten.
• Decoder-gemarginaliseerde Beloning: De beloningen van de $M$ tekstvoltooiingen worden geaggregeerd (gemiddeld) om de bruikbaarheid van het onderliggende latente traject te schatten. Deze "decoder-gemarginaliseerde" schatting isoleert de kwaliteit van het latente redeneren van de stochasticiteit van tekstdecoding, waardoor een schoner, lager-variatie beloningssignaal ontstaat voor het optimaliseren van het diffusiebeleid.

3. Gezamenlijke Optimalisatie

Het kader optimaliseert twee heterogene beleidsstrategieën gelijktijdig met behulp van Group Relative Policy Optimization (GRPO):

• Latent Beleid: Geoptimaliseerd met behulp van de gemiddelde beloning van de $M$ teksten die aan elk latent blok zijn gekoppeld. Het doel moedigt het diffusiemodel aan om diverse, hoogwaardige redeneermodi te verkennen.
• Tekstbeleid: Geoptimaliseerd met behulp van de relatieve verschillen tussen de $M$ teksten die uit hetzelfde latent blok zijn gegenereerd. Dit dwingt het tekstbeleid om de optimale tekstuele realisatie te vinden voor een gegeven redeneerstrategie, waardoor het wordt ontkoppeld van de exploratie van nieuwe strategieën.
• Functie voor Verlies: Een gewogen som van de latent- en tekstverliezen zorgt ervoor dat het latent-beleid diverse denkketens verkent terwijl het tekstbeleid een trouwe en effectieve generator blijft.

Belangrijkste Resultaten

De auteurs hebben LaDi-RL geëvalueerd op benchmarks voor codegeneratie en wiskundig redeneren, en het vergeleken met token-niveau RL-baselines (zoals Vanilla GRPO, GRPO met entropievoordelen) en andere methoden voor latent redeneren.

• Prestatiewinst: LaDi-RL behaalde absolute pass@1-verbeteringen van +9,4% op codegeneratie en +5,7% op wiskundig redeneren in vergelijking met token-niveau RL-baselines.
• Behoud van Diversiteit: In tegenstelling tot Vanilla GRPO, dat diversiteitsinstorting vertoont (waarbij pass@k bij grote $k$ daalt onder het basismodel), overtrof LaDi-RL consistent de pass@k-prestaties van het basismodel op alle benchmarks. Bijvoorbeeld, op AIME 2025 behaalde het een absolute verbetering van +13,4 in pass@128.
• Efficiëntie: Door redeneren te comprimeren in een latent blok (64 tokens) voordat het wordt gedecodeerd, reduceerde LaDi-RL het aantal gegenereerde tokens aanzienlijk (bijvoorbeeld van ~3.447 tokens in standaard GRPO naar ~422 tokens in LaDi-RL voor codetaken), wat resulteerde in een reductie van 33% in end-to-end inferentiële tijd.
• Ablatiestudies:
  • Traject versus Token-niveau: Exploratie in de latente trajectruimte leverde aanzienlijk hogere semantische diversiteit op (0,52 versus 0,18–0,22 voor token-niveau) en sterkere prestaties.
  • Diffusie versus VAE: Het op diffusie gebaseerde beleid presteerde beter dan een single-step VAE-sampler, wat het belang van iteratief denoisen aantoont voor het leren van complexe latente redeneerdistributies.
  • Hiërarchische Rollouts: De $N \times M$ structuur was cruciaal; het verhogen van $N$ (latent diversiteit) dreef de semantische diversiteit, terwijl het verhogen van $M$ (tekstgemiddelde) schoner beloningssignalen opleverde.

Betekenis en Claims

Het artikel beweert dat LaDi-RL een principieel alternatief biedt voor token-niveau RL voor het verbeteren van LLM-redeneren. De primaire betekenis ligt in:

1. Mitigatie van Diversiteitsinstorting: Door exploratie te verschuiven van lokale tokenverstoringen naar globale traject-niveau diffusie, behoudt de methode een diverse set oplossingsstrategieën en voorkomt het dat het beleid convergeert naar suboptimale lokale minima.
2. Oplossen van Toewijzing van Krediet: De hiërarchische rollout en de decoder-gemarginaliseerde beloningsschatting ontkoppelen effectief de kwaliteit van redeneren van decodingruis, waardoor een stabiele optimalisatie van latente beleidsstrategieën mogelijk wordt.
3. Efficiëntie en Kwaliteit: De aanpak bereikt state-of-the-art prestaties in zowel nauwkeurigheid (pass@1) als diversiteit (pass@k), terwijl het de rekenkundige overhead aanzienlijk reduceert door middel van latente compressie.

De auteurs concluderen dat latente diffusie een robuust mechanisme biedt voor gestructureerde exploratie, waardoor modellen semantisch verschillende redeneerstrategieën kunnen ontdekken die token-niveau methoden missen, waardoor hogere redeneergrenzen worden bereikt zonder de oplossingsdiversiteit te offeren.