🤖 machine learning

Enhancing Reasoning for Diffusion LLMs via Distribution Matching Policy Optimization

Dit artikel introduceert Distribution Matching Policy Optimization (DMPO), een nieuw reinforcement learning-framework dat de redeneervaardigheden van diffusie-large language models aanzienlijk verbetert door hun beleidsdistributie af te stemmen op een optimale belonings-getilde doelstelling, waarbij substantiële nauwkeurigheidsverbeteringen ten opzichte van bestaande baselines worden bereikt zonder supervised fine-tuning.

Oorspronkelijke auteurs: Yuchen Zhu, Wei Guo, Jaemoo Choi, Petr Molodyk, Bo Yuan, Molei Tao, Yongxin Chen

Gepubliceerd 2026-07-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuchen Zhu, Wei Guo, Jaemoo Choi, Petr Molodyk, Bo Yuan, Molei Tao, Yongxin Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robot hebt die verhalen schrijft, wiskundige problemen oplost en spelletjes speelt. De meeste robots van nu werken als een persoon die een boek leest, woord voor woord, van links naar rechts. Ze kunnen niet vooruitkijken of terugblikken; ze moeten simpelweg het volgende woord raden op basis van de woorden die eraan voorafgingen. Dit is traag, alsof je probeert een enorme puzzel in te vullen terwijl je alleen naar het stukje direct voor je kijkt.

Maak kennis met Diffusion Large Language Models (dLLMs). Dit zijn de nieuwkomers op het gebied. In plaats van woord voor woord te schrijven, beginnen ze met een rommelige, door elkaar gehusselde bende van "mysterie-tokens" (zoals een puzzel waarbij elk stukje bedekt is met mist) en ruimen ze deze langzaam op, waardoor het antwoord in één keer of in een willekeurige volgorde tevoorschijn komt. Dit maakt hen potentieel veel sneller in het denken.

Maar hier zit de adder onder het gras: hoewel deze diffusie-robots snel zijn, zijn ze niet altijd de slimste bij lastige redeneertaken zoals geavanceerde wiskunde of logische puzzels. Om ze slimmer te maken, gebruiken wetenschappers meestal een techniek genaamd Reinforcement Learning (RL). Denk aan dit als een videogame waarin de robot punten krijgt voor een goed antwoord en punten verliest voor een slecht antwoord.

Het Probleem: De "Mode-Seeking" Valstrik

De oude manier om deze robots te trainen (met methoden zoals GRPO) was een beetje als een student die alleen studeert voor het ene antwoord waarvan hij denkt dat het juist is. Als de robot een manier vindt om punten te scoren die "veilig" voelt, stopt hij met exploreren. Hij komt vast te zitten in een sleur en negeert andere slimme oplossingen die net zo goed zouden kunnen zijn. In het artikel noemen de auteurs dit "mode-seeking". Het is als een robot die alleen leert een wiskundig probleem op één specifieke manier op te lossen, en als die weg geblokkeerd wordt, raakt hij in paniek. Het heeft ook de neiging om de "rommelige" maar correcte antwoorden te negeren die anders lijken dan het eerste gevonden antwoord.

Het artikel betoogt dat deze oude manier van alleen maar op zoek gaan naar de hoogste score gebrekkig is voor diffusiemodellen. Het suggereert dat door alleen te focussen op het enkel beste pad, we het unieke vermogen van de robot om vele verschillende paden tegelijkertijd te verkennen, mislopen.

De Oplossing: DMPO (De "Kaart-afgestemde" Robot)

De auteurs stellen een nieuwe methode voor genaamd Distribution Matching Policy Optimization (DMPO).

In plaats van tegen de robot te zeggen: "Zoek gewoon de hoogste score," zegt DMPO: "Hier is de volledige kaart van alle goede antwoorden die je zou kunnen geven. Jouw taak is om te leren die hele kaart te matchen."

Stel je voor dat je een hond probeert te leren om te apporteren.

De Oude Manier: Je gooit een bal, en de hond rent naar de ene plek waar de bal is geland. Als de bal in een struik landt, leert de hond alleen om uit struiken te halen.
De DMPO-Manier: Je laat de hond een kaart zien van elke mogelijke plek waar de bal zou kunnen landen (struiken, gras, zand, water) en zegt: "Leer om van elke van deze plekken te halen, gewogen naar hoe goed de plek is." De hond leert flexibel te zijn en de hele tuin te verkennen, niet alleen een specifieke hoek.

In technische termen gebruikt DMPO een speciale wiskundige truc genaamd Weighted Denoising Cross-Entropy (WDCE). Dit stelt de robot in staat om te leren van zijn eerdere pogingen (zelfs de pogingen die niet perfect waren) zonder alles telkens helemaal opnieuw te hoeven genereren. Het is als een "replay buffer" waar de robot steeds opnieuw zijn oude spelletjes kan bestuderen, waarbij hij leert van zowel de goede als de slechte zetten zonder in de war te raken.

Het Geheime Ingrediënt: De "Gewicht-Baseline"

De auteurs ontdekten een lastig probleem bij het trainen met kleine groepen voorbeelden (kleine "batch sizes"). Soms raakte de robot in de war en begon hij slechte antwoorden te belonen, simpelweg omdat dat de enige waren die hij zag.

Om dit op te lossen, bedachten ze een slimme truc genamed Weight Baseline Subtraction.
Denk aan dit als een leraar die een toets nakijkt. Als een student een vraag goed heeft, krijgt hij een gouden ster. Maar als de leraar alleen die ene vraag heeft gezien, kan hij denken dat alles wat de student deed geweldig was. De "baseline" is als een "standaard van gemiddeld". De leraar trekt de "gemiddelde" score af van de score van de student.

Als de student beter presteerde dan gemiddeld, krijgt hij een grote gouden ster.
Als hij slechter presteerde dan gemiddeld, krijgt hij een "straf" (een negatief gewicht), zelfs als hij technisch gezien wel wat punten heeft behaald.

Dit zorgt ervoor dat de robot niet te enthousiast wordt over middelmatige antwoorden en blijft streven naar de werkelijk uitmuntende resultaten.

De Resultaten: Hoeveel Beter?

De auteurs testten deze nieuwe methode op enkele zeer moeilijke redeneer-benchmarks. Ze pasten DMPO toe op pre-trained modellen (zoals LLaDA-Instruct en Dream-instruct) op twee verschillende manieren:

Directe Toepassing: Ze pasten DMPO direct toe op de basismodellen zonder voorafgaande "huiswerk" (Supervised Fine-Tuning of SFT) op redeneer-datasets. Deze "R1-Zero-achtige" aanpak werd gebruikt om het ruwe potentieel van DMPO duidelijk aan te tonen.
Verbeterde Toepassing: Ze pasten DMPO ook toe op modellen die al een SFT hadden ondergaan om te laten zien dat het een krachtige upgrade is voor modellen die al getraind zijn.

De resultaten waren zeer indrukwekkend over beide opstellingen:

Op een wiskundepuzzel genaamd GSM8K, vertoonde het model dat direct op het pre-trained basismodel werd toegepast (zonder SFT) enorme verbeteringen. Specifiek behaalde DMPO tot wel een 39,63 procentpunt verbetering in nauwkeurigheid ten opzien van eerdere niet-DMPO RL-baselines, en een verbazingwekkende 67,97 procentpunt verbetering ten opzien van het basismodel zelf.
Op een logische puzzel genaamd Sudoku zagen ze enorme winst, waarbij een versie van hun model sprong van een succespercentage van 16,41% naar 80,86% (een verschil van meer dan 64 punten!).
Cruciaal is dat DMPO aanzienlijke prestatiewinsten bleef leveren, zelfs wanneer het werd toegepast op modellen die al een SFT hadden ondergaan, wat bewijst dat het een robuuste methode is die werkt, of je nu vanaf nul begint of voortbouwt op bestaande training.

Het artikel suggereert dat DMPO niet slechts een kleine aanpassing is, maar een fundamentele verschuiving. Het stelt de robot in staat om off-policy te zijn, wat betekent dat hij efficiënt kan leren van oude data, en forward-only, wat betekent dat hij geen dure achterwaartse berekeningen nodig heeft die andere robots vertragen.

De Kernboodschap

De auteurs zijn ervan overtuigd dat deze methode goed werkt voor de specifieke modellen die ze hebben getest (zoals LLaDA en Dream) op deze specifieke redeneertaken. Ze hebben deze verbeteringen gemeten via rigoureuze experimenten op standaard datasets, waarmee ze hebben aangetoond dat DMPO de prestaties kan verhogen, of het nu wordt toegepast op een model dat net is gepre-trained of op een model dat al supervised fine-tuning heeft ondergaan. Echter, ze geven toe dat ze dit nog niet op elk mogelijk type model of taak hebben getest, dus hoewel de resultaten sterk zijn, wordt het volledige potentieel nog steeds verkend.

Kortom, DMPO leert diffusie-robots om te stoppen met het fixeren op één enkel "perfect" antwoord en in plaats daarvan te leren het hele landschap van goede oplossingen te waarderen, waardoor ze slimme, snellere en creatievere probleemoplossers worden.

Technische Samenvatting: Verbeteren van Redeneren voor Diffusie LLM's via Distribution Matching Policy Optimization

Probleemstelling

Diffusie Large Language Models (dLLM's) bieden een veelbelovend alternatief voor autoregressieve LLM's (AR-LLM's) door het mogelijk te maken om in willekeurige volgorde te genereren en potentieel een hogere inferentie-doorvoer te bieden. Het schalen van dLLM's om de redeneerkracht van AR-LLM's te evenaren, blijft echter een aanzienlijke uitdaging. Bestaande Reinforcement Learning (RL) fine-tuning methoden, zoals Group Relative Policy Optimization (GRPO), zijn slecht geschikt voor dLLM's vanwege twee primaire factoren:

Computationele Mismatch: dLLM's vertrouwen op bidirectionele verwerking, wat de schatting van sequentie log-waarschijnlijkheden (vereist voor standaard policy gradient methoden) computationeel duur en vaak onhandelbaar maakt in vergelijking met AR-modellen.
Algoritmische Beperkingen: Huidige RL-benaderingen voor dLLM's vertrouwen vaak op heuristische benaderingen (bijv. mean-field decompositie) die correlaties tussen tokenposities negeren. Bovendien richten zij zich doorgaans op beloningsmaximalisatie, wat de neiging heeft om te optimaliseren voor een enkele beloningsmodus. Dit "mode-seeking" gedrag kan leiden tot reward hacking en een falen in het verkennen van de diverse, hoogwaardige redeneerpaden die dLLM's theoretisch in staat zijn te genereren.

Methodologie: Distribution Matching Policy Optimization (DMPO)

Het artikel stelt Distribution Matching Policy Optimization (DMPO) voor, een principieel RL fine-tuning framework geworteld in Stochastic Optimal Control (SOC). In tegenstelling tot traditionele methoden die de verwachte beloning maximaliseren, streeft DMPO ernaar om de beleidsdistributie van het model af te stemmen op een optimale, belonings-getilte doeldistributie.

Kernframework

Het doel is om een beleid $\pi_\theta$ te leren zodat de geïnduceerde sequentiedistributie $p_\theta(o|q)$ overeenkomt met de optimale distributie $p^*(o|q)$ , gedefinieerd als:
$p^*(o|q) = \frac{1}{Z(q)} p_{ref}(o|q) e^{r(q,o)/\alpha}$
waarbij $p_{ref}$ het pre-trained beleid is, $r$ de beloningsfunctie is, en $\alpha$ een temperatuurparameter is.

Om dit te bereiken, formuleert de auteur het probleem als het minimaliseren van de Forward Kullback-Leibler (KL) divergentie (gelijk aan Cross-Entropy) tussen de doeldistributie en het huidige beleid:
$\min_\theta \mathbb{E}_{q \sim D} \mathbb{E}_{p^*(o|q)} \left[ \log \frac{p^*(o|q)}{p_\theta(o|q)} \right]$
Dit "mass-covering" doel stimuleert het model om diverse hoog-belonende trajecten te verkennen in plaats van te convergeren naar een enkele modus.

Belangrijke Technische Componenten

Weighted Denoising Cross-Entropy (WDCE):
Omdat $p^*$ onhandelbaar is (vanwege de onbekende partitiefunctie $Z(q)$ en het onvermogen om direct uit $p^*$ te samplen), gebruikt DMPO Importance Sampling. Het behandelt samples uit een referentiebeleid $p_v$ (een kopie van het model met een stop-gradient) als gewogen samples uit $p^*$ .
De resulterende verliesfunctie, WDCE, maakt gebruik van het unieke forward (noising) proces van dLLM's. Het berekent de loss met alleen de uiteindelijke schone samples en hun bijbehorende importance weights, waarbij de tussenliggende rollout-trajecten worden weggegooid. Dit maakt WDCE een off-policy en forward-only doelstelling.
Weight Baseline Subtraction:
Een kritieke implementatieuitdaging die is geïdentificeerd, is de instabiliteit van WDCE bij het gebruik van kleine trainingsbatches. In kleine batches kunnen positieve gewichten voor "slechte" reacties (die nog steeds een niet-nul kans hebben onder $p^*$ ) domineren, wat leidt tot incorrecte gradiënt-updates.
Om dit aan te pakken, stellen de auteurs Weight Baseline Subtraction voor, waarbij een baseline gewicht $w_{base}$ wordt afgetrokken van het importance gewicht:
$w_{real} = w - w_{base}$
Drie strategieën voor $w_{base}$ worden voorgesteld:
- Group Weight Baseline: Een constante waarde (1) om convergentie te stimuleren.
- Individual Weight Baseline: Gebaseerd op een negatieve belonings-tilt.
- Model Weight Baseline: Gebaseerd op de eigen importance weights van het huidige model.
  Deze techniek injecteert effectief negatieve gradiënten voor reacties met een lage beloning, waardoor het model wordt voorkomen dat het slechte reacties promoot in scenario's met een lage batchgrootte.
Weighted Direct Discriminative Optimization (WDDO):
Als alternatief voor cross-entropy onderzoekt het artikel een GAN-geïnspireerde doelstelling die van nature negatieve gradiënten voor slechte samples incorporeert, wat het matchen van de distributie verder verbetert.

Belangrijkste Bijdragen

Nieuw RL Framework: De voorstel van DMPO, een distributie-matchende framework specifiek ontworig voor dLLM's, dat het paradigma verschuift van beloningsmaximalisatie naar het matchen van de volledige belonings-getilde beleidsdistributie.
Theoretische Onderbouwing: Afleiding van de WDCE loss met behulp van importance sampling en Stochastic Optimal Control, wat een theoretisch solide methode biedt voor off-policy training zonder dat daarvoor dure sequentie log-waarschijnlijkheidsschattingen nodig zijn.
Praktische Oplossingen: Identificatie van de failure mode bij kleine batches in forward KL-objectieven en de introductie van Weight Baseline Subtraction en WDDO om de training te stabiliseren en de sample-efficiëntie te verbeteren.
Efficiëntie: Demonstratie dat WDCE training mogelijk maakt via het forward proces alleen, wat het hergebruik van rollouts (off-policy) mogelijk maakt en compatibiliteit biedt met snelle inferentie-technieken (bijv. KV-cache), wat de training aanzienlijk versnelt vergeleken met traject-gebaseerde methoden.

Experimentele Resultaten

De auteurs evalueerden DMPO op de LLaDA-8B-Instruct en Dream-7B modellen over vier redeneerbenchmarks: GSM8K, MATH500, Countdown, en Sudoku.

Prestatiewinst: DMPO presteerde consequent beter dan de basismodellen en bestaande RL-baselines (inclusclusief diffu-GRPO, cGRPO, en d1).
- Op Sudoku behaalde DMPO-LLaDA een verbetering van 39,63 procentpunt ten opzichte van de beste niet-DMPO RL-baseline en een verbetering van 67,97 procentpunt ten opzichte van het basismodel.
- Op Countdown werden verbeteringen van tot wel 16,40 procentpunt waargenomen ten opzichte van sterke baselines.
Geen SFT Vereist: De methode behaalde deze resultaten zonder Supervised Fine-Tuning (SFT) op gecureerde datasets, wat het vermogen aantoont om redeneercapaciteiten direct uit pre-trained modellen te schalen.
Trainingsefficiëntie: Vanwege het off-policy karakter en de forward-only computation, bereikte DMPO 2–3x hogere sample-efficiëntie en tot wel 8x snellere rollout sampling (wanneer gecombineerd met snelle d-LLM inferentie) vergeleken met GRPO-achtige methoden. Het bereikte de beloningsniveaus van d1 met slechts 31% van het trainings-computatiebudget.
Stabiliteit: De methode bleef stabiel, zelfs met zeer verouderde data (tot 24x hergebruik van dezelfde rollout batch), een eigenschap die wordt toegeschreven aan de stabiliteit van de sequentie-niveau importance weights die in DMPO worden gebruikt.

Betekenis en Claims

De auteur claimt dat DMPO een belangrijke stap voorwaarts is in het schalen van dLLM's voor redeneertaken. Door weg te bewegen van het paradigma van beloningsmaximalisatie en de computationele bottlenecks van traject-gebaseerde RL, benut DMPO volledig de unieke kenmerken van diffusiemodellen:

Diversiteit: De forward KL-doelstelling voorkomt mode collapse, waardoor dLLM's diverse redeneerpaden kunnen verkennen.
Efficiëntie: Het off-policy, forward-only karakter van WDCE sluit aan bij de hoge doorvoercapaciteit van dLLM-inferentie, wat een pad biedt naar schaalbare RL fine-tuning die computationeel haalbaar is voor grote modellen.
Generaliseerbaarheid: Het framework wordt gepresenteerd als een principieel aanpak die kan worden toegepast op diverse dLLM backbones, zoals bewezen door het succes op zowel LLaDA als Dream architecturen.

De auteurs concluderen dat hoewel het huidige werk zich richt op specifieke modellen en benchmarks, het distributie-matchende framework nieuwe richtingen opent voor het verbeteren van generatieve modellen en het ontwerpen van effectievere weight-baseline technieken voor toekomstig onderzoek.