Technische Samenvatting: D2PO – Optimalisatie van Diffusie Samplers via Dynamische Preferentie

1. Probleemstelling

Diffusion Probabilistic Models (DPMs) hebben state-of-the-art resultaten bereikt in beeld-, tekst-naar-beeld- en video-generatie, maar lijden onder hoge computationele kosten vanwege het iteratieve karakter van hun samplingsproces, dat veel functie-evaluaties (NFE) vereist. Hoewel er diverse acceleratiemethoden bestaan, waaronder numerieke solvers en kennisdistillatie, blijft er een fundamentele beperking bestaan in student-teacher regressiekaders.

In deze kaders wordt een low-NFE "student" sampler getraind om de trajecten of outputs van een vaste, high-NFE "teacher" na te bootsen met behulp van regressieverlies (bijv. $\ell_2$ of LPIPS). Het paper identificeert een kritieke structurele bottleneck: naarmate het gat tussen de NFE van de student en de NFE van de teacher groter wordt (een veelvoorkomende vereiste voor agressieve acceleratie), dwingt het regressiedoel de student om prioriteit te geven aan laag-niveau uitlijning met het grove traject van de teacher. Dit resulteert in de onderdrukking van hoogfrequente texturen en fijnmazige details, wat leidt tot een degradatie in perceptuele kwaliteit, zelfs wanneer het teacher-model een hoge getrouwheid heeft. Bestaande methoden slagen er niet in om het volledige potentieel van hoogwaardige teachers onder low-NFE restricties te benutten, omdat ze gebonden zijn aan een statische fout-vloer gedefinieerd door de discretisatie van de teacher.

2. Methodologie: D2PO

Om dit aan te pakken, stellen de auteurs D2PO (Dynamic Direct Preference Optimization) voor, een framework dat de optimalisatie van samplers herformuleert van een regressietaken naar een preferentie-gebaseerd uitlijningsprobleem.

2.1 Energy-Based Surrogate voor Deterministische Policies

Een primaire uitdaging bij het toepassen van Direct Preference Optimization (DPO) op diffusie samplers is dat de sampling policy deterministisch is (geïnduceerd door een vaste numerieke solver), waardoor de waarschijnlijkheid van de output degradeert en niet-differentieerbaar is. D2PO overwint dit door de policy-geïnduceerde distributie te modelleren als een Energy-Based Model (EBM).

• De policy $\pi_\phi$ wordt gedefinieerd als een gladde surrogate waarbij de energie $E(\mathbf{x})$ de afstand is tussen een kandidaat-sample $\mathbf{x}$ en de deterministische sampler output $\mathbf{x}_\phi$.
• Deze formulering maakt het mogelijk om de log-waarschijnlijkheidsratio die vereist is voor DPO uit te drukken als een verschil in energiewaarden, waardoor de optimalisatie hanteerbaar wordt.

2.2 Nieuwe Score-Based Afstandsmetriek

In plaats van te vertrouwen op standaard perceptuele metrieken zoals LPIPS of $\ell_2$, die vaak falen in het vastleggen van hoogfrequente texturele fouten, introduceert D2PO een score-gebaseerde energiemetriek die direct afgeleid is van het vooraf getrainde diffusie score netwerk $s_\theta$.

• De energie wordt gedefinieerd als de discrepantie tussen de score-voorspellingen van een kandidaat-sample en de sampler output over meerdere ruisniveaus.
• Specifiek meet de afstand $d_\theta$ het gekwadrateerde $\ell_2$-verschil tussen ruis-voorspellingen ($\epsilon_\theta$) bij verschillende tijdstappen.
• Door deze discrepanties over het ruis-schema te integreren met een specifieke weging ($w(t) = \sigma_t^2$), legt de metriek zowel grove structurele consistentie (bij hoge ruisniveaus) als fijnmazige texturele details (bij lage ruisniveaus) vast, wat een rijker preferentie-signaal biedt dan conventionele metrieken.

2.3 Dynamisch Preferentie-mechanisme

D2PO vervangt de statische teacher-supervisie door een dynamisch referentie-mechanisme dat meevolt met de student policy.

• Student Sampler ($\phi$): De target policy die geoptimaliseerd wordt (parameters: timestep schema $S$ en CFG gewichten $\omega$).
• Losing Sample ($x_l$): Gegenereerd door de student met behulp van een spaarzaam, snel schema, en vervolgens gedegradeerd (bijv. via low-pass filtering) om een kwalitatief lagere output te simuleren.
• Winning Sample ($x_w$): Gegenereerd door een dynamische teacher ($\phi'$) afgeleid van de huidige student parameters. De dynamische teacher gebruikt een verfijnd, dichter timestep schema (bijv. $2N$ stappen versus de $N$ stappen van de student) dat is gecreëerd door interpolatie van het huidige schema van de student.
• Reference Policy ($\phi_{ref}$): Een policy die de historie van de student bijhoudt (bijgewerkt via EMA voor CFG gewichten en epoch-wise kopiëren voor timesteps) om de optimalisatie te verankeren.

Deze dynamische loop moedigt de student aan om zich uit te lijnen met zijn eigen hogere-getrouwheid, dichtere-schema benadering. Theoretisch minimaliseert dit de eigen discretiefout van de student, in plaats van te convergeren naar een vaste residuele fout-vloer opgelegd door een externe teacher.

3. Belangrijkste Bijdragen

1. D2PO Framework: Een preferentie-gebaseerd optimalisatieframework voor diffusie samplers dat een hanteerbaar uitlijningsobjectief vestigt door de deterministische policy te modelleren als een energy-based surrogate.
2. Score-Based Energy Metric: Een nieuwe afstandmetriek afgeleid van het vooraf getrainde score netwerk die multi-schaal structurele en texturele discrepanties vastlegt, en conventionele perceptuele verliezen overtreft in het detecteren van discretiefouten.
3. Dynamische Preferentie Loop: Een zelfverbeterend mechanisme waarbij de "teacher" een dynamisch verfijnde versie is van de huidige student policy. Dit elimineert de vaste fout-vloer van statische distillatie en drijft de sampler aan om zijn eigen discretiefout te minimaliseren.
4. Uitgebreide Validatie: Uitgebreide experimenten die aantonen dat D2PO superieure sampling policies leert, waarbij het state-of-the-art distillatie-gebaseerde baselines (zoals LD3, GITS, DMN) overtreft over diverse solvers en datasets.

4. Experimentele Resultaten

De auteurs hebben D2PO geëvalueerd op text-to-image synthese met behulp van Stable Diffusion v1.5, ImageNet-256 (latent space), en het InstaFlow model.

• Kwantitatieve Prestaties:
  • Low NFE (4-5 stappen): D2PO bereikt state-of-the-art perceptuele kwaliteit (HPSv2 en Aesthetic scores) en aanzienlijk lagere FID-scores vergeleken met baselines. Het corrigeert effectief fundamentele gebreken zoals wazigheid en artefacten die regressie-gebaseerde methoden introduceren.
  • High NFE (6-7 stappen): D2PO behoudt een significante voorsprong in perceptuele scores. Hoewel FID-scores vergelijkbaar zijn met baselines (wat de kwaliteit-diversiteit trade-off reflecteert), blijft de optimalisatie van D2PO richting perceptuele kwaliteit superieur.
  • Generalisatie: De methode generaliseert naar verschillende ODE solvers (iPNDM, UniPC, DPM-Solver++) en moderne backbones (Stable Diffusion 3.5-Medium), en presteert consequent beter dan baselines.
• Ablatie Studies:
  • Het verwijderen van de dynamische preferentie (terugkeren naar een vaste teacher) verslechtert de prestaties, wat de noodzaak van de zelfverbeterende loop bevestigt.
  • Het vervangen van de score-gebaseerde energie door LPIPS veroorzaakt een significante daling in getrouwheid, wat de capaciteit van de metriek valideert om fijnmazige fouten te detecteren.
• Menselijke Evaluatie: In een blind gebruikersonderzoek ontving D2PO 60,3% van de stemmen voor algemene voorkeur, wat ver boven LD3 (27,6%) en GITS (12,1%) ligt, wat bevestigt dat de verbeteringen in de metriek vertalen naar menselijk waargenomen kwaliteit.
• Semantische Uitlijning: D2PO behaalt ook hogere CLIP-scores dan baselines, wat suggereert dat optimalisatie voor preferentie-uitlijning de relevantie voor de prompt beter behoudt dan rigide pointwise regressie.

5. Betekenis en Claims

Het paper claimt dat D2PO een kritieke prestatie-bottleneck in de optimalisatie van diffusie samplers aanpakt. Door te verschuiven van een regressie-naar-teacher paradigma naar een dynamisch preferentie-uitlijningsparadigma, ontsluit D2PO het volledige potentieel van hoogwaardige teachers zonder beperkt te worden door hun statische discretiefouten.

De auteurs stellen dat hun aanpak lichtgewicht en orthogonaal is aan bestaande weight-tuning methoden, aangezien het de generatieve backbone bevroren houdt en uitsluitend de laag-dimensionale sampling policy optimaliseert. Het dynamische teacher-mechanisme biedt een theoretisch onderbouwd leersignaal dat de student dwingt zijn eigen discretiefout te minimaliseren, wat leidt tot sampling-trajecten die consistenter zijn met het ware continue-tijd proces en perceptueel superieur zijn, met name onder strikte low-NFE restricties.