Technische Samenvatting: Linear-DPO

Probleemstelling

Direct Preference Optimization (DPO) heeft zich bewezen als effectief voor het afstemmen van Large Language Models (LLM's) op menselijke voorkeuren, maar staat voor aanzienlijke uitdagingen bij toepassing op tekst-naar-beeld (T2I) generatie. Bestaande benaderingen, zoals Diffusion-DPO, worden beperkt door twee hoofdzaken:

1. Beperkingen in Modelarchitectuur: Huidige theoretische analyses en implementaties zijn beperkt tot denoising diffusion-modellen (bijv. SD1.5, SDXL) die zijn gebaseerd op U-Net-architecturen. Zij negeren flow-matching-modellen (bijv. SD3-Medium, Qwen-Image), die gebruikmaken van Rectified Flow en MMDiT-architecturen en de state-of-the-art zijn geworden voor synthese in hoge resolutie.
2. Mismatch in Doelfunctie: De standaard DPO-doelfunctie, afgeleid van discrete taalmodelleren, vertrouwt op een op sigmoid gebaseerde nuttigheidsfunctie die "margin-maximalisatie" bevordert. In dit paradigma verdwijnen de gradiënten snel zodra de kanskloof tussen gekozen en verworpen steekproeven voldoende groot is. Dit gedrag is ongeschikt voor regressie-gebaseerde generatieve taken (diffusie en flow-matching), die langdurige, stabiele, kleine-stap updates vereisen om fijnkorrelige visuele details continu te verfijnen. De snelle gradiëntafname in standaard DPO leidt tot een valstrik van "pseudo-convergentie", waardoor modellen stijf worden en stoppen met het verfijnen van details in een vroeg stadium van het trainingsproces.

Methodologie

1. Gecombineerd SDE-kader voor Diffusie en Flow-Matching

De auteurs leiden een gegeneraliseerde DPO-doelfunctie af die diffusie- en flow-matching-modellen verenigt onder één enkel Stochastisch Differentiaalvergelijking (SDE)-kader.

• Hertolking van Flow-Matching: Hoewel flow-matching doorgaans wordt gedefinieerd door een deterministische Gewone Differentiaalvergelijking (ODE), herschrijven de auteurs dit als een snelheid-gebaseerde SDE. Door de nodige stochasticiteit in te voeren, leiden ze conditionele kansen ($q(x_{t-1}|x_t)$) voor flow-matching af die wiskundig equivalent zijn aan die in diffusiemodellen.
• Gecombineerde Loss-vormulering: Dit maakt het afleiden van één enkele DPO-lossfunctie mogelijk (Eq. 11) die toepasbaar is op beide paradigma's. De loss is een logistische functie van het verschil tussen de kwadratische fout van het beleidsmodel en de kwadratische fout van het referentiemodel op het voorspellingstarget (ruis $\epsilon$ voor diffusie, snelheid $v$ voor flow-matching).

2. Gradiëntanalyse en Linear-DPO

Via een analyse vanuit een gradiëntperspectief identificeren de auteurs dat standaard DPO fungeert als een gewogen Supervised Fine-Tuning (SFT), waarbij de gewichten worden gemoduleerd door een sigmoidfunctie. Zij betogen dat dit suboptimaal is voor generatieve taken vanwege:

• Te Grote Updates: De schalingsfactor $\bar{\beta}$ in diffusiecontexten is veel groter dan in NLP, wat leidt tot volatiele gradiënten.
• Gekoppelde Hyperparameters: Dezelfde parameter controleert zowel de discriminatietemperatuur als de omvang van de update.
• Vroegtijdige Saturatie: De sigmoidfunctie saturatie snel, waardoor het leren stopt voordat de verfijning van fijnkorrelige details voltooid is.

Om dit aan te pakken, wordt Linear-DPO voorgesteld met twee kernwijzigingen:

• Lineaire Nuttigheidsfunctie: De agressieve sigmoid-gating wordt vervangen door een aanhoudende lineaire nuttigheidsfunctie ($u_{linear}(x) = 0.2x + 0.5$), afgeknipt tot een bereik $[\eta, 1]$. Dit zorgt ervoor dat het model, zelfs wanneer voorkeuren gescheiden zijn, blijft ontvangen van kleine, aanhoudende gradiënten om details te verfijnen, waardoor de valstrik van "pseudo-convergentie" wordt vermeden.
• EMA-bijgewerkt Referentiemodel: In plaats van een vast referentiemodel te gebruiken (wat verbetering kan belemmeren zodra het beleidsmodel het overtreft) of abrupte updates, behoudt Linear-DPO een Exponentiële Glijdende Gemiddelde (EMA) van het beleidsmodel als referentie. Dit moedigt continue optimalisatie aan en stabiliseert het trainingsproces.

Belangrijkste Bijdragen

1. Gegeneraliseerde DPO-doelfunctie: De vestiging van een verenigde DPO-vormulering die diffusie- en flow-matching-generatieve modellen verbindt via een reverse-time SDE-perspectief.
2. Gradiëntanalyse en Linear-DPO: Een theoretische analyse die de suboptimaliteit van op sigmoid gebaseerde doelfuncties voor regressie-gebaseerde generatieve taken blootlegt, wat leidt tot het voorstellen van Linear-DPO met een lineaire nuttigheidsfunctie en EMA-referentie-updates.
3. Empirische Validatie: Demonstratie van de effectiviteit en schaalbaarheid van Linear-DPO over een spectrum van modellen, van standaard diffusie (SD1.5, SDXL) tot geavanceerde flow-matching-modellen (SD3-Medium).

Experimentele Resultaten

De auteurs evalueerden Linear-DPO op SD1.5, SDXL en SD3-Medium met behulp van datasets zoals Pick-a-Pic v2 en een hoogwaardig subset van HPDv3.

• Kwantitatieve Prestaties: Linear-DPO presteerde consequent beter dan baselines (SFT, Diffusion-DPO, Diffusion-KTO, DSPO, MaPO, DMPO) over meerdere geautomatiseerde metrieken, waaronder PickScore, HPSv2/v3, Aesthetics, CLIP en Image Reward. Opmerkelijk is dat het state-of-the-art resultaten behaalde in afstemming op menselijke voorkeuren en visuele kwaliteit.
• Kwalitatieve Verbeteringen: Visuele vergelijkingen toonden aan dat Linear-DPO structurele vervorming aanzienlijk verminderde en de afstemming tussen tekst en beeld verbeterde in SD1.5. Voor de hoogcapaciteit SD3-M verbeterde het verder de esthetische kwaliteit, kleurenharmonie en achtergronddetails.
• Ablatiestudies: Experimenten bevestigden dat de lineaire nuttigheidsfunctie beter presteerde dan andere nuttigheidsvormen (Kahneman-Tversky, Loss-Averse, Risk-Seeking). Bovendien leverde het gebruik van een EMA-referentiemodel met een vervalfactor van $\gamma=0.995$ de beste prestaties op, waardoor de instabiliteit die gepaard gaat met vaste of abrupt bijgewerkte referenties werd voorkomen.

Betekenis

Het artikel stelt dat Linear-DPO een principieel pad biedt voor voorkeursleren in grootschalige generatieve modellen. Door de theoretische kloof tussen diffusie en flow-matching aan te vullen en de optimalisatiemismatch in standaard DPO te corrigeren, biedt de methode een veelzijdig kader dat zowel superieure afstemmingsprestaties als schaalbaarheid ondersteunt. De auteurs positioneren Linear-DPO als een oplossing voor het "pseudo-convergentie"-probleem, waardoor modellen in staat zijn verfijning te handhaven over lange trainingshorizonten, wat cruciaal is voor beeldgeneratie in hoge fideliteit.