Technische Samenvatting: dFlowGRPO

Probleemstelling

Discrete Flow-modellen (DFM's) vertegenwoordigen een flexibele klasse van generatieve modellen voor discrete data, die een bredere ontwerpruimte bieden dan Discrete Diffusie Groot Taalmodellen (dLLM's) door ondersteuning voor algemene waarschijnlijkheidspaden en niet-gemaskerde bronverdelingen. Hoewel Versterkend Leren (RL) met succes is toegepast op dLLM's om de gegenereerde kwaliteit te verbeteren, staan bestaande methoden voor de uitbreiding naar algemene DFM's voor aanzienlijke uitdagingen. De belangrijkste hindernis is de moeilijkheid om de log-waarschijnlijkheid van DFM's te schatten, die niet op dezelfde natuurlijke manier kan worden ontbonden als in autoregressieve modellen. Huidige RL-benaderingen voor dLLM's vertrouwen op benaderingen (bijvoorbeeld mean-field of ELBO-gebaseerd) die vaak niet rekening houden met de specifieke conditionele overgangssnelheden en posterieure dynamiek die inherent zijn aan algemene DFM's. Bijgevolg ontbreekt er een unificerend RL-kader dat effectief gebruikmaakt van de volledige trajectinformatie van DFM's, inclusief zowel conditionele overgangssnelheden als posterieure modellen.

Methodologie

De auteurs stellen dFlowGRPO (Discrete Flow-GRPO) voor, een unificerend, snelheidsbewust beleidsoptimalisatiekader dat specifiek is ontworpen voor DFM's. De methodologie verloopt via de volgende kernstappen:

1. MDP-formulering: Het denoising-proces van DFM's wordt geformuleerd als een Markov Decision Process (MDP), waarbij de toestand de huidige tokensequentie en tijdstap omvat, en de actie de overgang naar de volgende toestand is.
2. Afleiding van trajectwaarschijnlijkheid: Een centrale theoretische bijdrage is de afleiding van de volledige trajectwaarschijnlijkheid voor DFM's met behulp van een Euler-sampler. De auteurs bewijzen dat de verhouding van overgangswaarschijnlijkheid tussen het huidige beleid en het oude beleid kan worden uitgedrukt als een product van token-voor-token verwachte posterieure verhoudingen, die worden hergewogen door een snelheidsafhankelijke term.
   • Specifiek wordt de verhouding $r_k(\theta)$ afgeleid als:
     $$r_k(\theta) = \prod_{d \in [D]} \mathbb{E}_{X^d_1 \sim p^{\theta_{old}}_{1|t_k}} \left[ w^{\theta_{old}, d}_{Q,k} \cdot \frac{p^\theta_{1|t_k}(X^d_1|x_{t_k})}{p^{\theta_{old}}_{1|t_k}(X^d_1|x_{t_k})} \right]$$
   • Hierbij is $w^{\theta_{old}, d}_{Q,k}$ een snelheidsafhankelijk gewicht afgeleid van de conditionele overgangssnelheden, en is de tweede term de posterieure verhouding.
3. Efficiënte schatting: Het kader maakt het mogelijk om deze verhouding van overgangswaarschijnlijkheid te schatten met Monte Carlo (MC)-stalen uit het posterieure model, zonder dat extra forward passes nodig zijn. Dit staat de integratie van informatie uit zowel de conditionele overgangssnelheden als het posterieure model in het RL-doel toe.
4. Optimalisatiedoel: Op basis van het GRPO-kader (Group Relative Policy Optimization) optimaliseert dFlowGRPO het beleid met behulp van een afgeknipt doel dat de afgeleide verhouding van overgangswaarschijnlijkheid en een gegroepeerde genormaliseerde voordeel-schatter incorporeert. Het doel omvat een KL-regularisatieterm om beleidsinstorting te voorkomen.

Kernbijdragen

Het artikel schetst drie primaire bijdragen:

1. Unificerend Kader: De voorstelling van dFlowGRPO, een unificerend, snelheidsbewust beleidsoptimalisatiekader voor DFM's dat algemene waarschijnlijkheidspaden en conditionele snelheden ondersteunt door informatie uit zowel de conditionele snelheid als het posterieure model te benutten.
2. Theoretische Afleiding: De afleiding van de verhouding van overgangswaarschijnlijkheid voor het denoising-traject, waarbij wordt aangetoond dat deze kan worden ontbonden in een product van token-voor-token verwachte posterieure verhoudingen die worden hergewogen door een snelheidsafhankelijke term. Deze term blijkt schatbaar via MC-stalen zonder extra forward passes.
3. Empirische Validatie: De toepassing van dFlowGRPO op een multimodaal DFM (FUDOKI), waarbij aanzienlijke verbeteringen worden aangetoond in zowel tekst-naar-afbeeldinggeneratie als multimodale begrijptaken in vergelijking met bestaande RL-methoden.

Experimentele Resultaten

De auteurs hebben dFlowGRPO geëvalueerd met FUDOKI als basismodel over twee domeinen:

• Tekst-naar-Afbeelding Generatie:

  • Geëvalueerd op GenEval, PickScore en DrawBench.
  • Zonder classifier-free guidance (CFG) verbeterde dFlowGRPO de PickScore van FUDOKI van 20,87 naar 23,00 en de GenEval-score van 61% naar 93%.
  • Op de GenEval-benchmark behaalde dFlowGRPO een totaalscore van 0,93, waarmee het andere unificerende multimodale modellen overtrof en gespecialiseerde generatiemodellen evenaarde of overtrof, ondanks het gebruik van minder denoising-stappen (8 NFE's) en geen CFG.
  • De methode toonde robustheid tegen beloningshacking, met consistente verbeteringen over meerdere metrieken (HPSv3, Aesthetic Score, enz.).

• Multimodaal Begrijpen:

  • Geëvalueerd op ScienceQA, POPE, MME-P, SEED, MMB en GQA.
  • Op ScienceQA verhoogde dFlowGRPO de nauwkeurigheid van 75,1% naar 81,1% (met LLM-extractie) en van 54,1% naar 59,1% (zonder LLM-extractie), met minimale beloningshacking.
  • Prestatieverbeteringen werden ook waargenomen op de GQA-, SEED- en MMB-benchmarks.

• Ablatiestudies:

  • MC-stalen: Het verhogen van het aantal MC-stalen (van $n=1$ naar $n=24$) versnelde de trainingsconvergentie en verbeterde de uiteindelijke beloningen.
  • KL-regularisatie: Hoewel training zonder KL-regularisatie hoge beloningen behaalde, mitigeerde het toevoegen van KL-regularisatie ($\beta=0,01$) beloningshacking aanzienlijk en verbeterde het de prestaties op secundaire metrieken.
  • Vergelijking: dFlowGRPO overtrof consistent mean-field-benaderingsmethoden (diffu-GRPO, diffu-GSPO) en online DPO-varianten, die minder stabiel of minder effectief bleken voor algemene waarschijnlijkheidspaden.

Betekenis en Claims

Het artikel claimt dat dFlowGRPO een unificerende en effectieve oplossing biedt voor het toepassen van versterkend leren op algemene discrete flow-modellen, waarmee de beperkingen van eerdere methoden worden aangepakt die beperkt waren tot specifieke dLLM-configuraties of vertrouwden op onnauwkeurige benaderingen. Door de exacte verhouding van overgangswaarschijnlijkheid af te leiden en snelheidsafhankelijke gewichten te incorporeren, maakt het kader gebruik van de volledige structurele informatie van DFM's.

De auteurs positioneren dFlowGRPO als een belangrijke stap voorwaarts in het afstemmen van discrete flow-modellen op menselijke voorkeuren en taakspecifieke doelen, en tonen aan dat RL met succes kan worden toegepast op de bredere klasse van DFM's, niet alleen op gemaskerde diffusiemodellen. De resultaten suggereren dat dFlowGRPO prestaties bereikt die concurrerend zijn met op continue flow gebaseerde modellen die zijn getraind met Flow-GRPO, terwijl het sterke capaciteiten behoudt in begrijptaken. Het artikel merkt bescheiden op dat de evaluatie momenteel beperkt is tot een enkel DFM (FUDOKI) en suggereert dat toekomstig werk deze snelheidsbewuste technieken zou kunnen toepassen op andere dLLM's met alternatieve conditionele snelheden.