Technische Samenvatting: Direct Diffusion Score Preference Optimization (DDSPO)

Probleemstelling

Diffusiemodellen hebben aanzienlijk succes geboekt in generatieve taken, met name bij tekst-naar-beeld synthese. Ze worstelen echter vaak met het afstemmen van gegenereerde outputs op genuanceerde gebruikersintentie en het consistent handhaven van een hoge esthetische kwaliteit. Bestaande methoden voor preferentie-gebaseerde training, zoals Diffusion Direct Preference Optimization (Diffusion DPO), proberen deze problemen aan te pakken door te leren van paarvormige voorkeuren over finale samples.

Een kritieke beperking van huidige benaderingen zoals Diffusion DPO is hun afhankelijkheid van het benaderen van achterwaartse denoising-transities met behulp van het voorwaartse proces $q(x_{t-1} | x_t, x_0)$ afgeleid van terminale samples ($x_0$). Deze benadering weerspiegelt niet het werkelijke reverse denoising-proces van het model tijdens de inferentie. Bijgevolg is het supervisiesignaal dat wordt aangeboden niet afgestemd op de werkelijke denoising-trajecten van het model, waardoor effectieve stapsgewijze supervisie uitblijft.

Methodologie

De auteurs stellen Direct Diffusion Score Preference Optimization (DDSPO) voor, een framework dat preferentie-supervisie direct in de score-ruimte formuleert op elk diffusie-tijdstap, in plaats van in de finale sample-ruimte.

Kernconcept: Stapsgewijze Contrastieve Policy-Pair Supervisie

In tegenstelling tot eerdere methoden die voorkeuren definiëren over finale outputs $(x_0^w, x_0^l)$, introduceert DDSPO stapsgewijze supervisie door de denoising scores van een contrastief policy-paar te vergelijken op elk tijdstap $t$. De preferentie-labels worden uitgebreid naar tupels van denoising-transities $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$, afgeleid van geprefereerde en niet-geprefereerde denoising-policies.

De objectieffunctie optimaliseert de denoising-voorspellingen van het model naar doelen $\boldsymbol{\epsilon}_\star^w$ en $\boldsymbol{\epsilon}_\star^l$, die overeenkomen met geprefereerd en niet-geprefereerd gedrag bij elke stap. De verliesfunctie is gedefinieerd als:
$$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right) \right) \right]$$
Hier zijn $\boldsymbol{\epsilon}_\star^w$ en $\boldsymbol{\epsilon}_\star^l$ denoising score-doelen verkregen uit het contrastieve policy-paar, waarbij werkelijke achterwaartse denoising-transities behouden blijven in plaats van benaderingen via het voorwaartse proces.

Instantiaties van het Contrastieve Policy-Paar

Het artikel stelt twee praktische manieren voor om het contrastieve policy-paar te instantiëren:

1. Data-Driven Contrastive Policy Pair (DD-CPP):

   • Vereist een met voorkeuren gelabelde dataset van beeldparen $(x_0^w, x_0^l, c)$.
   • Twee aparte modellen worden gefinetuned vanuit een vooraf getrainde initialisatie: een "winnaar"-model $\phi^w$ op geprefereerde samples en een "verliezer"-model $\phi^l$ op niet-geprefereerde samples.
   • De supervisie-doelen zijn de denoising scores voorspeld door deze gespecialiseerde modellen: $\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ en $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$.

2. Training-Free Contrastive Policy Pair (TF-CPP):

   • Vereist geen extra training of met voorkeuren gelabelde data.
   • Maakt gebruik van een enkel vooraf getraind referentiemodel.
   • Construeert een contrastief paar door de originele prompt $c$ (geprefereerd) en een semantisch gedegradeerde variant $c^-$ (niet-geprefereerd) te gebruiken.
   • Het geprefereerde doel is $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$, en het niet-geprefereerde doel is $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$.
   • Deze benadering maakt gebruik van de observatie dat bij grotere tijdstappen de reverse update grotendeels wordt gedreven door het conditionering-signaal, waardoor $c^-$ een betekenend negatief score-doel kan bieden zonder een specifiek niet-geprefereerd beeld $x_0^l$ te genereren.

Belangrijkste Bijdragen

1. DDSPO Framework: Een framework voor preferentie-optimalisatie dat directe supervisie mogelijk maakt over tussenliggende denoising-stappen in de score-ruimte via een contrastief policy-paar, waardoor afhankelijkheid van voorwaartse proces-benaderingen wordt vermeden.
2. Praktische Instantiaties: De introductie van DD-CPP (leren van policies uit gelabelde data) en TF-CPP (construeren van contrastieve richtingen vanuit een referentiemodel middels prompt-degradatie), waarbij de laatste geen aanvullende reward-modellen of handmatige annotaties vereist.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat stapsgewijze supervisie afgeleid van contrastieve policy-paren effectiever is dan voorwaartse proces-gebaseerde supervisie voor zowel tekst-naar-beeld uitlijning als esthetische kwaliteitstaken.

Experimentele Resultaten

De auteurs evalueerden DDSPO op taken voor tekst-naar-beeld uitlijning en verbetering van esthetische kwaliteit met behulp van Stable Diffusion varianten (SD-1.4, SD-1.5, SDXL) en DiT-gebaseerde modellen (SANA, SD3-M).

• Tekst-naar-Beeld Uitlijning:

  • Met behulp van TF-CPP (zonder menselijk geannoteerde data) behaalde DDSPO state-of-the-art resultaten op de GenEval en T2I-CompBench benchmarks vergeleken met Diffusion DPO, DSPO en andere baselines.
  • DDSPO presteerde beter dan SOTA-methoden zoals Itercomp en CaPO op CompBench zonder dat daarvoor menselijk geannoteerde preferentie-data of reward-modellen nodig waren.
  • Kwalitatieve resultaten toonden een duidelijkere scheiding tussen conditionele distributies en een betere naleving van complexe prompts vergeleken met Diffusion DPO en DSPO.

• Esthetische Kwaliteit:

  • Door DD-CPP te gebruiken op de Pick-a-Pic dataset, verbeterde DDSPO de HPSv2 en PickScore metrieken ten opzichte van SD-1.5 en SDXL, waarbij het Diffusion DPO en Diffusion KTO overtrof.
  • De TF-CPP variant (zonder menselijke data) bleef competitief met gesuperviseerde methoden.

• Ablatie-studies:

  • Verschillende strategieën voor prompt-degradatie (bijv. willekeurige token-verwijdering versus LLM-gebaseerd herschrijven) werden getest. Willekeurige verwijdering presteerde het best voor uitlijning, terwijl LLM-gebaseerde degradatie toegespitst op esthetiek het best presteerde voor esthetische kwaliteit.
  • Een efficiënte variant van TF-CPP die geprefereerde afbeeldingen hergebruikt voor negatieve doelen (om expliciete generatie van niet-geprefereerde afbeeldingen te vermijden) vertoonde prestaties die vergelijkbaar zijn met de volledige setup, wat de flexibiliteit van het framework onderstreept.

Betekenis en Claims

De paper claimt dat de primaire betekenis van DDSPO ligt in het vermogen om stapsgewijze supervisie te bieden die is afgestemd op het werkelijke achterwaartse denoising-proces van het model. Door voorkeuren direct te definiëren over lokale achterwaartse transities ($x_t \to x_{t-1}$) in plaats van te vertrouwen op surrogaten van het voorwaartse proces, biedt DDSPO rijkere supervisie op transitiemateriaal.

De auteurs stellen dat deze benadering leidt tot robuustere leersignalen over het volledige denoising-traject, wat resulteert in consistente verbeteringen in zowel semantische uitlijning als esthetische kwaliteit. Bovendien demonstreert de Training-Free Contrastive Policy Pair (TF-CPP) dat hoogwaardige preferentie-optimalisatie kan worden bereikt zonder de kosten van het verzamelen van menselijke voorkeur-annotaties of het trainen van reward-modellen, wat de methode zeer schaalbaar en dataefficiënt maakt. Het werk positioneert DDSPO als een generaliseerbaar framework toepasbaar op zowel diffusie- als flow-gebaseerde generatieve modellen.