💻 computer science

Scaling Reinforcement Learning for Diffusion Models via Velocity Matching

Dit artikel introduceert Reward-based Velocity Matching (RVM), een eenvoudig en computationeel efficiënt trajectvrij framework dat het snelheidsveld van diffusiemodellen direct optimaliseert voor beloningsfijninstelling, waarbij het bestaande likelihood-gebaseerde policy-gradient methoden overtreft terwijl het een verenigd perspectief biedt op recente benaderingen en verbeterde dynamische beloningen voor videogeneratie mogelijk maakt.

Oorspronkelijke auteurs: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

Gepubliceerd 2026-08-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jaemoo Choi, Wei Guo, Yuchen Zhu, Arash Vahdat, Molei Tao, Julius Berner, Yongxin Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de snel evoluerende wereld van kunstmatige intelligentie is een specifieke klasse computerprogramma's ontstaan die prachtige afbeeldingen en realistische video's kunnen creëren vanuit eenvoudige tekstbeschrijvingen. Deze systemen, bekend als diffusiemodellen, werken door te leren een proces van geleidelijke corruptie om te keren. Stel je voor dat je een heldere foto neemt en langzaam ruis toevoegt totdat deze onherkenbaar wordt; deze modellen leren het wiskundige pad om achteruit te gaan, uitgaande van pure ruis en door stap voor stap de ruis zorgvuldig te verwijderen om een samenhangend beeld te onthullen. Hoewel deze hulpmiddelen ongelooflijk krachtig zijn geworden, is het moeilijk gebleken om ze te leren menselijke voorkeuren te volgen—zoals een video natuurlijker laten bewegen of een afbeelding mooier laten lijken. Traditioneel hebben onderzoekers geprobeerd methoden aan te passen die gebruikt worden voor taalmodellen, die vertrouwen op het berekenen van de waarschijnlijkheid van elke mogelijke volgende stap in een sequentie. Omdat het genereren van beeld- en videomateriaal echter miljoenen pixels omvat die gelijktijdig veranderen, is het berekenen van deze waarschijnlijkheden computationeel duur en vaak onmogelijk om met perfecte nauwkeurigheid te doen.

Een team onderzoekers van Georgia Tech en NVIDIA heeft een eenvoudigere, directere manier gevonden om deze modellen te leren wat mensen de voorkeur geven. In plaats van te proberen complexe waarschijnlijkheden te berekenen voor elke kleine stap van het generatieproces, stelden zij een methode voor die zich direct richt op de "snelheid" (velocity) van de afbeelding terwijl deze vorm krijgt. In de taal van deze modellen voorspelt het systeem hoe de afbeelding van het ene moment naar het volgende moet veranderen om het eindresultaat te bereiken. De onderzoekers ontdekten dat ze deze voorspelling simpelweg in de richting konden duwen die leidt naar resultaten van hoge kwaliteit, en weg konden duwen van richtingen die leiden naar slechte resultaten, waarbij ze een beloningssignaal als gids gebruiken. Deze aanpak, die zij reward-based velocity matching noemen, omzeilt de noodzaak voor de ingewikkelde waarschijnlijkheidsberekeningen die eerdere pogingen hadden vertraagd.

De onderzoekers testten dit idee op grootschalige videomodellen, die bijzonder duur zijn om te trainen omdat het maken van een enkele video aanzienlijke rekenkracht vereist. Ze vergeleken hun nieuwe methode met bestaande technieken die vertrouwen op het volgen van het volledige pad van de creatie van de video. De resultaten waren opmerkelijk: hun eenvoudigere methode produceerde video's die niet alleen van betere kwaliteit waren, maar ook slechts een fractie van de rekentijd vereisten. In één specifieke test met een model genaamd Wan2.1, bereikte hun aanpak de hoogste algehele kwaliteitsscores terwijl het slechts ongeveer één twaalfde van de trainingstijd gebruikte die de vorige beste methoden nodig hadden. Dit suggereert dat de complexiteit van de oude methoden onnodig was; de sleutel tot verbetering lag niet in het verfijnen van de wiskundige machinerie van waarschijnlijkheid, maar in hoe de beloningssignalen werden ontworpen en toegepast.

Een cruciaal onderdeel van hun ontdekking betrof het begrijpen van wat de modellen daadwerkelijk optimaliseerden. De onderzoekers ontdekten dat standaard beloningen, die vaak focussen op visuele helderheid of hoe goed de video overeenkomt met een tekstbeschrijving, het model er onbedoeld toe kunnen aanzetten om statische, onbeweeglijke beelden te produceren die weliswaar schoon eruitzien, maar saai zijn. Om dit op te lossen, introduceerden zij een nieuw type beloning dat specifiek beweging bijhield, waardoor de video betekenisvolle beweging bevatte. Toen zij deze bewegingsgerichte beloning aan hun systeem toevoegden, werden de video's aanzienlijk dynamischer zonder hun visuele kwaliteit te verliezen. Deze bevinding benadrukt dat voor deze krachtige modellen de belangrijkste factor niet de complexiteit van het trainingsalgoritme is, maar de helderheid en specificiteit van de doelen die aan de machine worden gesteld.

De studie onthulde ook dat de specifieke wiskundige formule die wordt gebruikt om het model bij te werken, minder belangrijk is dan voorheen werd gedacht. De onderzoekers toonden aan dat hun nieuwe methode wiskundig equivalent is aan verschillende andere recente benaderingen, wat betekent dat de verschillen in prestaties tussen die methoden waarschijnlijk te wijten waren aan de manier waarop zij hun beloningen instelden, in plaats van aan het kernalgoritme zelf. Door de onnodige lagen van waarschijnlijkheidsinschatting weg te strippen, toonden zij aan dat een directe, op snelheid gebaseerde update voldoende is om het model naar betere resultaten te leiden. Deze vereenvoudiging opent de deur voor efficiëntere training, waardoor onderzoekers sneller kunnen itereren en deze technologieën potentieel kunnen opschalen naar nog complexere taken zonder gehinderd te worden door computationele kosten.

Uiteindelijk suggereert dit werk een verschuiving in hoe we denken over het trainen van generatieve AI. In plaats van het probleem te behandelen als een complexe puzzel van waarschijnlijkheidsinschatting, toonden de onderzoekers aan dat het beter kan worden gezien als een directe afstemming van de interne richting van het model op menselijke voorkeuren. Het succes van hun methode, die superieure resultaten behaalde met drastisch verminderde middelen, geeft aan dat de toekomst van efficiënte AI-training ligt in eenvoudigere, directere feedbackloops. Naarmate deze modellen groter worden in omvang en capaciteit, zal het vermogen om ze snel en effectief te verfijnen essentieel zijn, en deze nieuwe aanpak biedt een duidelijk, praktisch pad naar het toegankelijker maken van kunstmatige intelligentie voor menselijke behoeften.

Technische Samenvatting: Schalen van Reinforcement Learning voor Diffusiemodellen via Velocity Matching

Probleemstelling

Reward fine-tuning is een cruciale mechanisme geworden voor het afstemmen van diffusie- en flowmodellen op menselijke voorkeuren en specifieke taakdoelstellingen (bijv. semantische uitlijning, visuele kwaliteit, beweging). Echter, bestaande methoden erven grotendeels de policy-gradient machinery van autoregressieve Large Language Models (LLM's), zoals PPO en GRPO. Deze overdracht is problematisch omdat diffusiemodellen, in tegen tegenstelling tot LLM's, geen tractabele likelihoods bieden voor gegenereerde samples.

Consequent proberen huidige benaderingen deze onhandelbaarheid te omzeilen via twee complexe routes:

Traject-gebaseerde methoden: Deze construeren likelihoods vanuit stochastische één-stap denoising-transities langs een gesampled traject. Dit vereist dure stochastische rollouts, opslag van trajecten, en levert vaak updates met een hoge variantie op omdat de tussenliggende denoising-toestanden stochastisch zijn en niet noodzakelijkerwijs dichter bij het schone eindpunt liggen dan de huidige staat.
ELBO-gebaseerde methoden: Deze benaderen de marginale likelihood van het uiteindelijke sample met behulp van een Evidence Lower Bound (ELBO). Hoewel deze methoden de training ontkoppelen van de volledige rollout-sampler, zijn ze nog steeds geworteld in een likelihood-gebaseerde policy-gradient formulering, waarbij de computationele overhead van het schatten van policy-ratio's en likelihood-approximaties behouden blijft.

De centrale vraag die dit werk stelt, is of likelihood-schatting werkelijk noodzakelijk is voor effectieve reward fine-tuning in diffusiemodellen, of dat de modelupdate kan worden vereenvoudigd door direct te opereren op de natuurlijke trainingsrepresentatie.

Methodologie: Reward-Based Velocity Matching (RVM)

De auteurs stellen Reward-Based Velocity Matching (RVM) voor, een eenvoudige, traject-onafhankelijke update-mechanisme dat direct opereert op het velocity-veld van het diffusiemodel.

Kernobjectief

In plaats van een policy-gradient objectief te construeren en de onhandelbare likelihood-ratio's te benaderen, behandelt RVM reward fine-tuning als een regressieprobleem op het velocity-veld. Gegeven een groep gegenereerde eindpunten $\{x_0^i\}$ , wordt elk sample naar voren verruisd naar een enkele tussenliggende staat $x_t^i$ met een velocity-target $v_i = \epsilon_i - x_0^i$ . De model-velocity $v_\theta(x_t, t)$ wordt bijgewerkt met behulp van een loss-functie bestaande uit twee termen:

$\mathcal{L}_{\text{RVM}} = \frac{1}{2} \mathbb{E} \left[ r_i \| v_\theta(x_t^i, t) - v_i \|_2^2 + \beta(r_i) \| v_\theta(x_t^i, t) - v_{\text{anc}}(x_t^i, t) \|_2^2 \right]$

Waarbij:

$r_i$ (Reward Gewicht): Een gesigneerd voorkeurssignaal afgeleid van de reward $R(x_0^i)$ . Positieve rewards versterken de velocity-richting geassocieerd met het sample (het naar de $v_i$ trekken van $v_\theta$ ), terwijl negatieve rewards deze onderdrukken (het $v_\theta$ wegduwen van $v_i$ ).
$v_{\text{anc}}$ (Anchor Velocity): Een optionele term die drift controleert vanaf een referentie velocity-veld (bijv. een bevroren referentiemodel of een EMA van de huidige policy). Dit voorkomt excessieve policy-drift tijdens fine-tuning.
Efficiëntie: De methode vereist slechts één verruiste staat per sample, waardoor de opslag van volledige denoising-trajecten en de berekening van likelihood-ratio's wordt vermeden.

Theoretische Unificatie

Het artikel demonstreert dat RVM een algemeen framework biedt dat recente fine-tuning methoden als speciale gevallen herstelt:

RAM (Reinforce Adjoint Matching): Wordt getoond als update-equivalent aan RVM wanneer de sampling policy on-policy is ( $\pi_{\text{old}} = \pi_\theta$ ), de anchor de bevroren referentie velocity is ( $v_{\text{anc}} = v_{\text{ref}}$ ), en de anchor-sterkte eenheid is.
DiffusionNFT: Wordt getoond als een speciaal geval van RVM waarbij de anchor een EMA-geüpdatete velocity is en de anchor-sterkte reward-afhankelijk is.
ELBO-gebaseerde Policy Gradients: Het artikel toont aan dat Exact Policy Gradient (EPG) methoden, die vertrouwen op ELBO-approximaties van log-ratio's, exact reduceren tot RVM wanneer de importance weights en tijd-afhankelijke weegfactoren worden weggelaten.

Deze unificatie suggereert dat de specifieke algebraïsche vorm van de velocity-loss minder kritiek is dan het ontwerp van de reward-gewichten en het anchor-mechanisme.

Belangrijkste Bijdragen

Introductie van RVM: Een eenvoudige, traject-onafhankelijke methode die reward-feedback direct integreert in de natuurlijke velocity-matching representatie, waardoor de noodzaak voor policy-ratio schattingen en traject-opslag vervalt.
Theoretische Unificatie: Het bewijs dat RVM recente methoden (RAM, DiffusionNFT) generaliseert en ELBO-gebaseerde policy-gradiënten reduceert tot velocity-regressie, waardoor de focus verschuift van loss-algebra naar reward en anchor ontwerp.
Empirische Efficiëntie en Prestaties: Demonstratie dat velocity-gebaseerde methoden de traject-gebaseerde baselines (FlowGRPO, DanceGRPO) evenaren of overtreffen, terwijl ze de trainingskosten substantieel verlagen.
Inzichten in Reward Design: De identificatie dat standaard voorkeur-rewards voor video-generatie vaak statische outputs bevoordelen. De auteurs introduceren een Dynamic-Tracking (DT) reward gebaseerd op optische flow, die expliciet betekenisvolle beweging stimuleert, wat de dynamische graad en algehele videokwaliteit aanzienlijk verbetert.

Experimentele Resultaten

De auteurs evalueerden RVM over text-to-image (Stable Diffusion 3.5), text-to-video (Wan2.1-T2V-1.3B), en image-to-video (SkyReels-I2V) modellen.

Prestaties: Op Wan2.1-T2V-1.3B behaalde RVM de hoogste VBench Overall score (84.13), waarmee het traject-gebaseerde methoden zoals FlowGRPO (75.91) en DanceGRPO (79.46) overtrof. Opvallend genoeg behaalde RVM een Dynamic Degree van 75.00, vergeleken met 55–58 voor traject-gebaseerde methoden.
Efficiëntie: RVM verminderde de trainingskosten aanzienlijk. Op Wan2.1 vereiste RVM 525 GPU-uren (8×H100), vergeleken met 1.159 voor FlowGRPO en 6.171 voor DanceGRPO/TaRoS. Dit vertegenwoordigt een reductie van 2.2× tot 11.8× in kosten.
Ablatie-studies:
- Loss Varianten: RVM, RAM en DiffusionNFT presteerden vergelijkbaar, wat bevestigt dat de specifieke keuze van de velocity-loss minder belangrijk is dan het reward en anchor ontwerp.
- Reward Design: De toevoeging van de Dynamic-Tracking (DT) reward was de primaire drijfveer voor het verbeteren van de bewegingskwaliteit, waarbij de Dynamic Degree steeg van ~5.5 naar 75.0.
- Few-Step Generatie: RVM fine-tuned modellen vertoonden superieure robuustheid bij agressieve stap-reductie (bijv. 4-staps inferentie), waarbij ze een hoge kwaliteit behielden waar basismodellen scherp degradeerden.

Betekenis en Claims

Het artikel claimt dat schaalbare reward fine-tuning voor diffusiemodellen beter gepositioneerd is in de natuurlijke velocity-representatie dan als likelihood-gebaseerde policy-optimalisatie. De auteurs argumenteren dat de complexiteit van traject-gebaseerde methoden en likelihood-approximaties onnodig is.

Belangrijke conclusies benadrukt door de auteurs zijn:

Eenvoud: Effectieve fine-tuning kan worden bereikt met een eenvoudige velocity-matching loss zonder policy-ratio's of traject-opslag.
Reward boven Loss: De specifieke keuze van de velocity-loss functionaal is secundair; de kritieke factoren zijn hoe rewards worden getransformeerd naar update-gewichten en hoe het model wordt geankerd.
Beweging in Video: Generieke voorkeur-rewards kunnen leiden tot statische video's; expliciete dynamic tracking is essentieel voor hoogwaardige video-generatie.

Het werk suggereert dat toekomstige schaalbaarheid in de post-training van diffusiemodellen zich moet richten op reward specificatie en anchor ontwerp, in plaats van op steeds complexere policy-loss formuleringen.