Technische Samenvatting: Drifting Preference Optimization voor One-Step Generatieve Modellen

Probleemstelling

One-step tekst-naar-beeld generatoren (bijv. SD-Turbo, SDXL-Turbo) zijn zeer aantrekkelijk voor implementatie vanwege hun vermogen om afbeeldingen te genereren in een enkele forward pass, wat zorgt voor lage latentie en toepassingen met beperkte middelen. Het is echter uitdagend om deze modellen te aligneren met menselijke voorkeuren via post-training.

Standaard alignment-methoden, zoals Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO), vertrouwen doorgaans op stochastische beleids-waarschijnlijkheden, dichtheidsratio's of denoising-trajecten—structuren die niet beschikbaar of slecht gedefinieerd zijn in deterministische one-step generatoren. Hoewel het direct terugpropageren van een differentieerbare beloning door de gegenereerde afbeelding een alternatief is, vereist dit dat het beloningsmodel differentieerbaar is. Deze aanpak wordt computationeel prohibitief voor grote Vision-Language Model (VLM) gebaseerde beloningen en is onmogelijk voor black-box of discrete evaluatoren (bijv. regelgebaseerde controles op correctheid). Daarom is er behoefte aan een preferentie-finetuning methode die:

1. Werkt met deterministische one-step generatoren.
2. Geen backpropagation door het beloningsmodel vereist.
3. Grote, black-box of niet-differentieerbare beloningen ondersteunt.
4. De single-forward-pass inferentie-capaciteit behoudt.

Methodologie: Drifting Preference Optimization (DrPO)

De auteurs stellen DrPO voor, een online preferentie-finetuning methode die beloning-gerangschikte samples omzet in een update-richting in de feature-ruimte zonder dat daarvoor beloningsgradiënten nodig zijn. De methode put inspiratie uit "Drifting Models", die expliciete dichtheidschatting vervangen door feature-ruimte driftvelden.

Kernmechanisme

DrPO werkt door een niet-parametrisch dipool preferentieveld en een referentie driftveld te construeren in de latente feature-ruimte.

1. Candidate Sampling en Ranking:
   Voor een gegeven prompt samplet de huidige generator $g_\theta$ een batch kandidaten. Een target beloningsmodel $R$ (dat niet-differentieerbaar kan zijn) rangschikt deze kandidaten. Op basis van deze rangschikking vormt de methode paren van positieve (hoog scorende) en negatieve (laag scorende) samples.

2. Dipool Preferentieveld ($V_{pref}$):
   In plaats van de gradiënt van de beloningsfunctie te gebruiken, synthetiseert DrPO een update-richting via een kernel-gewogen attractie-repulsie mechanisme.

• Attractie: Positieve samples trekken de huidige feature-representatie naar hen toe.
• Repulsie: Negatieve samples duwen de representatie van hen af.
• Dit wordt geformaliseerd als een dipoolveld waarbij de update-snelheid de het verschil is tussen de mean-shift van positieve samples en de mean-shift van negatieve samples in de feature-ruimte. Dit veld is lokaal; punten die ver van de geobserveerde samples liggen, ontvangen verwaarloosbare updates, wat extrapolatie-fouten vermindert.

3. Referentie Drift ($V_{ref}$):
   Om te voorkomen dat de generator te ver afwijkt van zijn oorspronkelijke distributie (mode collapse of verlies van getrouwheid), wordt een referentie drift geschat van een bevroren base generator ($g_{ref}$). Dit fungeert als een stabiliserende kracht, vergelijkbaar met KL-regularisatie in standaard RLHF, maar dan geschat via sample-gebaseerde drift in plaats van likelihood ratio's.

4. Optimalisatie Doelstelling:
   Het totale update-veld is de som van het preferentieveld en het gewogen referentieveld: $V_{DrPO} = V_{pref} + \lambda V_{ref}$.
   De generator wordt getraind om de afstand te minimaliseren tussen zijn huidige feature-output en een detached target:
   $$z^* = \text{sg}(z + \eta V_{DrPO}(z))$$
   waarbij $z$ de feature-representatie is van de gegenereerde afbeelding, $\text{sg}$ de stop-gradient operator is, en $\eta$ een velocity scale is. De loss is een eenvoudige mean squared error tussen de huidige features en de detached target.

Belangrijkste Eigenschappen

• Belonings-agnostisch: Omdat het beloningsmodel alleen wordt gebruikt om samples te rangschikken en de positieve en negatieve sets ($A^+$ en $A^-$) te vormen, hoeft de beloningsfunctie zelf nooit gedifferentieerd te worden. Dit maakt het gebruik van VLM-gebaseerde beloningen (zoals HPSv3) en discrete taak-evaluatoren (zoals GenEval) mogelijk.
• One-Step Inferentie: De training wijzigt de gewichten van de generator, maar de inferentie blijft een enkele forward pass van de bijgewerkte generator. Er is geen test-time optimalisatie of zoekproces vereist.
• Offline Extensie: De auteurs stellen een naïeve offline variant voor waarbij preferentie-paren worden getrokken uit een vaste dataset in plaats van online sampling, hoewel ze opmerken dat dit zorgvuldige behandeling vereist met betrekking tot off-policy schaarste.

Belangrijkste Bijdragen

1. DrPO Algoritme: Een nieuwe online preferentie-finetuning methode voor deterministische one-step generatoren die beloning-gerangschikte samples omzet in een detached drifting update, waardoor de noodzaak voor belonings backpropagation wordt geëlimineerd.
2. Dipool Preferentieveld: Een niet-parametrisch mechanisme dat update-richtingen in de latente ruimte construeert vanuit positieve en negatieve samples, wat traditionele beloningsgradiënten vervangt door sample-gebaseerde drifting updates.
3. Empirische Validatie: Uitgebreide evaluatie op SD-Turbo en SDXL-Turbo over meerdere beloningsmodellen (PickScore, HPSv3, ImageReward, GenEval). DrPO vertoont superieure prestaties ten opzichte van reward-gradiënt-vrije baselines.
4. Efficiëntiewinst: Demonstratie dat DrPO de computationele training aanzienlijk vermindert wanneer een groot Vision-Language Model wordt gebruikt, door het verwijderen van de noodzaak voor backpropagation door het beloningsmodel.

Experimentele Resultaten

De auteurs hebben DrPO geëvalueerd op SD-Turbo en SDXL-Turbo met benchmarks waaronder Pick-a-Pic v2, Parti-Prompts en GenEval.

• Prestaties: Op SDXL-Turbo behaalde DrPO de hoogste winst onder reward-gradiënt-vrije one-step baselines (DPO1-step, PSO, GRPO1-step) in termen van PickScore, Aesthetic Score (AES) en ImageReward. Het benaderde of evenaarde de prestaties van reward-gradiënt-gebaseerde methoden (zoals DRaFT) terwijl het de computationele kosten van het backpropageren door de beloning vermeed.
• Menselijke/VLM Preferentie: Paar-evaluaties met Qwen3-VL toonden aan dat door DrPO gegenereerde afbeeldingen consistent werden verkozen boven baseline one-step methoden en het base model, wat wijst op een betere prompt-getrouwheid en visuele coherentie.
• Niet-differentieerbare Beloningen: DrPO maakte succesvol gebruik van GenEval scores (een discrete, niet-differentieerbare metriek voor compositionele restricties) om prestaties te verbeteren op taken zoals tellen, kleurplaatsing en object binding, waar gradiënt-gebaseerde methoden falen.
• Efficiëntie: Bij training met het grote HPSv3 beloningsmodel reduceerde DrPO de update-tijd met 3.51× vergeleken met een baseline die door de beloning backpropageert, onder gelijke effectieve batch-instellingen.
• Ablaties: Experimenten bevestigden dat het vergroten van de candidate pool de stabiliteit verbetert, en dat latent-MAE features beter presteren dan raw latent features voor de drift-berekening. De methode bleek robuust tegen de keuze van kernels en velocity scales.

Betekenis en Claims

Het artikel beweert dat DrPO een praktische oplossing biedt voor het aligneren van one-step generatieve modellen met complexe, dure of niet-differentieerbare beloningssignalen. Door de beloningsevaluatie los te koppelen van de optimalisatiegradiënt, maakt DrPO het mogelijk om state-of-the-art VLM-gebaseerde beloningsmodellen (zoals HPSv3) te gebruiken voor het finetunen van snelle generatoren zonder de prohibitieve computationele kosten van het differentiëren door deze modellen te dragen.

De auteurs positioneren DrPO als een belangrijke stap naar het toegankelijk maken van hoogwaardige, lage-latentie beeldgeneratie voor interactieve toepassingen waar zowel snelheid als alignment met menselijke voorkeuren cruciaal zijn. Ze merken ook op dat hoewel hun offline experimenten voorlopig zijn, de sample-gebaseerde gradiënt-synthese aanpak een veelbelovende richting biedt voor het uitbreiden van preferentie-optimalisatie naar offline settings waar online sampling niet haalbaar is.

Het werk claimt niet alle alignment-uitdagingen op te lossen; het erkent dat de kwaliteit van het preferentieveld afhankelijk is van het vermogen van de feature extractor om de specifieke attributen te coderen die worden geoptimaliseerd, en dat de methode de beperkingen erft van het onderliggende beloningsmodel dat voor de rangschikking wordt gebruikt.