Technische Samenvatting: Heroverweging van het Ontwerpruimte van Versterkingslering voor Diffusiemodellen

Probleemstelling

Versterkingslering (RL) is een standaardparadigma geworden voor het na-trainen van diffusie- en flow-modellen om ze af te stemmen op menselijke voorkeuren of specifieke taakdoelen (bijvoorbeeld tekst-naar-afbeelding-generatie). Het toepassen van populaire policy-gradient-methoden (zoals PPO of GRPO) op diffusiemodellen is echter fundamenteel uitdagend. In tegenstelling tot autoregressieve Large Language Models (LLM's) bieden diffusiemodellen geen hanteerbare, exacte waarschijnlijkheidsverdelingen, die vereist zijn voor standaard policy-gradient-updates.

Bestaande benaderingen, zoals FlowGRPO, proberen RL-doelstellingen gebaseerd op LLM's aan te passen door ad-hoc waarschijnlijkheidschatters te gebruiken die zijn afgeleid van de volledige reverse sampling-trajectorie. Deze methoden erven vaak complexe engineeringtrucs uit LLM-training (bijvoorbeeld clipping, specifieke advantage-normalisatie) over zonder systematisch te onderzoeken of deze componenten noodzakelijk of effectief zijn voor diffusiemodellen. Bijgevolg lijden huidige methoden onder hoge rekenkosten, trage convergentie en een groot geheugengebruik vanwege de noodzaak om volledige sampling-trajectoires op te slaan voor waarschijnlijkheidsschatting.

Methodologie

De auteurs stellen een systematische ontvlechting voor van het RL-ontwerpruimte voor diffusiemodellen in drie onafhankelijke factoren:

1. Policy-Gradient Doelstellingen: De specifieke verliesfunctie die wordt gebruikt om het beleid bij te werken.
2. Waarschijnlijkheidsschatters: De methode die wordt gebruikt om de onhanteerbare data-waarschijnlijkheid $\pi_\theta(x)$ te benaderen.
3. Rollout Sampling-schema's: De inferentiestrategie (SDE versus ODE) die wordt gebruikt om steekproeven te genereren.

Belangrijkste Methodologische Verschuivingen

• Waarschijnlijkheidsschatting: Het artikel contrasteert Trajectoorgebaseerde schatters (die de waarschijnlijkheid berekenen door log-waarschijnlijkheden op te tellen langs het volledige reverse SDE-pad) met Evidence Lower Bound (ELBO)-gebaseerde schatters. De auteurs tonen aan dat ELBO-gebaseerde schatting, berekend uitsluitend op basis van de gegenereerde steekproef (of een enkele tijdstap), voldoende en superieur is. Dit ontkoppelt trainingsdynamiek van de volledige sampling-trajectorie, waardoor het gebruik van elke black-box-oplosser mogelijk wordt.
• Policy-Gradient Doelstellingen: De auteurs introduceren en evalueren verschillende doelstellingen:
  • EPG (Exact Policy Gradient): Een vereenvoudigde versie van KL-geregulariseerde REINFORCE die clipping en advantage-normalisatie verwijdert.
  • PEPG (Proximal Exact Policy Gradient): Een theoretisch onderbouwde doelstelling afgeleid van proximale gradiëntafstijging over waarschijnlijkheidsmaten, die heuristische clipping vervangt door een proximale strafterm.
  • PAR (Proximal Advantage Regression): Een L2-regressieverlies dat de log-waarschijnlijkheidsverhouding afstemt op de advantage-waarde.
  • GRPO: De standaard GRPO-doelstelling aangepast voor diffusie.
• Sampling-strategieën: De studie vergelijkt Stochastic Differential Equation (SDE)-samplers (die veel stappen vereisen en trajectoires opslaan) met Ordinary Differential Equation (ODE)-samplers (deterministisch, minder stappen, compatibel met ELBO).
• Classifier-Free Guidance (CFG): De auteurs pleiten voor training zonder CFG om distributiemismatches tussen training en inferentie te vermijden en de rekenkosten te verlagen (halveren van functietoepassingen).

Belangrijkste Bijdragen

1. Identificatie van de Dominante Factor: Door gecontroleerde experimenten op Stable Diffusion 3.5 Medium (SD3.5-M) stelt het artikel vast dat de kwaliteit van de waarschijnlijkheidsschatter de primaire drijvende kracht is van RL-efficiëntie en prestaties. Specifiek presteert het aannemen van een ELBO-gebaseerde waarschijnlijkheidsschatter (berekend uit de finale steekproef) aanzienlijk beter dan trajectoorgebaseerde schatters.
2. Verwaarlozing van Policy-Gradient Ontwerp: De studie vindt dat, zodra een effectieve waarschijnlijkheidsschatter (ELBO) wordt gebruikt, de specifieke keuze van de policy-gradient-verliesfunctie (EPG, PEPG, PAR of GRPO) een verwaarloosbaar effect heeft op de uiteindelijke prestaties. Dit suggereert dat veel complexe engineeringtrucs in LLM-RL (zoals clipping) niet essentieel zijn voor diffusiemodellen.
3. Efficiëntie via ODE Sampling: Door ELBO-gebaseerde schatting te combineren met ODE-sampling, bereiken de auteurs een ontkoppeling van trainings- en sampling-dynamiek. Dit maakt deterministische sampling mogelijk met zo weinig als 10 stappen, wat het geheugengebruik en de rekenkosten drastisch verlaagt in vergelijking met SDE-gebaseerde trajectiemethoden.
4. State-of-the-Art Prestaties: De voorgestelde methode (met PEPG/ELBO/ODE) bereikt een GenEval-score van 0,96, wat bestaande SOTA-methoden zoals FlowGRPO en DiffusionNFT overtreft of evenaart.

Experimentele Resultaten

De auteurs evalueerden hun aanpak op meerdere benchmarks, waaronder GenEval, OCR, PickScore, CLIPScore, HPSv2.1 en DrawBench.

• Efficiëntie: De voorgestelde methode bereikt een GenEval-score van 0,95 in ongeveer 90 GPU-uren (met 8x H100). Dit is 4,6× efficiënter dan FlowGRPO en 2× efficiënter dan DiffusionNFT.
• Convergentie: ELBO-gebaseerde methoden met ODE-sampling convergeren aanzienlijk sneller (in termen van bekeken prompts en GPU-uren) dan trajectoorgebaseerde methoden.
• Ablatiestudies:
  • Het verwijderen van clipping en standaarddeviatie-gebaseerde advantage-normalisatie (zoals gedaan in EPG/PEPG) degradeerde de prestaties niet, wat bevestigt dat dit niet-essentiële heuristieken zijn voor diffusie.
  • Verschillende ELBO-weegschema's (Path-KL, Simple, Adaptive) vertoonden vergelijkbare prestaties, waarbij schatting op basis van een enkele tijdstap wordt aanbevolen vanwege de lagere rekenkosten.
  • Training zonder CFG behield concurrerende prestaties terwijl de functietoepassingen met 2× werden verminderd.

Betekenis en Claims

Het artikel stelt dat het veld van RL voor diffusiemodellen te zeer is gefocust op het aanpassen van complexe, LLM-specifieke doelstellingen, terwijl de fundamentele uitdaging van waarschijnlijkheidsschatting wordt verwaarloosd. De auteurs betogen dat waarschijnlijkheidsschatting de hoeksteen is van diffusie-RL.

• Eenvoud boven Complexiteit: Het succes van hun methode wordt bereikt zonder complexe ontwerpen of nieuwe heuristieken in te voeren, maar door de kerncomponenten van de RL-pijplijn rigoureus te analyseren en te vereenvoudigen.
• Generaliseerbaarheid: De bevindingen suggereren dat de keuze van de verliesfunctie secundair is aan de keuze van de waarschijnlijkheidsschatter. Dit inzicht biedt een unificerend en efficiënt kader voor toekomstige RL-finetuning van diffusie- en flow-modellen.
• Schaalbaarheid: Door de rekenlast van waarschijnlijkheidsschatting en sampling te verminderen, maakt de voorgestelde aanpak RL-finetuning toegankelijker en schaalbaarder voor taken met hoge resolutie en potentieel voor videogeneratie.

De auteurs concluderen dat, hoewel hun bevindingen zijn gevalideerd op specifieke backbones (SD3.5-M) en benchmarks, het principe dat "de kwaliteit van waarschijnlijkheidsschatting de optimalisatie-efficiëntie drijft" een kritieke richting biedt voor de doorontwikkeling van RL-algoritmen in generatieve modellering.