Riassunto Tecnico: Direct Diffusion Score Preference Optimization (DDSPO)

Definizione del Problema

I modelli di diffusione hanno raggiunto un successo significativo nei compiti generativi, in particolare nella sintesi text-to-image. Tuttavia, essi incontrano spesso difficoltà nell'allineare gli output generati con l'intento sfumato dell'utente e nel mantenere costantemente un'alta qualità estetica. Gli esistenti metodi di addestramento basati sulle preferenze, come il Diffusion Direct Preference Optimization (Diffusion DPO), tentano di affrontare questi problemi apprendendo dalle preferenze a coppie su campioni finali.

Un limite critico degli approcci attuali come Diffusion DPO è la loro dipendenza dall'approssimazione delle transizioni di denoising inverso tramite il processo forward $q(x_{t-1} | x_t, x_0)$ derivato dai campioni terminali ($x_0$). Questa approssimazione non riflette il reale processo di denoising inverso del modello durante l'inferenza. Di conseguenza, il segnale di supervisione fornito è disallineato rispetto alle reali traiettorie di denoising del modello, fallendo nel fornire una supervisione efficace passo dopo passo.

Metodologia

Gli autori propongono Direct Diffusion Score Preference Optimization (DDSPO), un framework che formula la supervisione delle preferenze direttamente nello spazio dello score ad ogni timestep di diffusione, anziché nello spazio del campione finale.

Concetto Core: Supervisione Contrastiva per Coppia di Policy Stepwise

A differenza dei metodi precedenti che definiscono le preferenze su output finali $(x_0^w, x_0^l)$, DDSPO introduce una supervisione stepwise confrontando i punteggi di denoising di una coppia di policy contrastiva ad ogni timestep $t$. Le etichette di preferenza sono estese a tuple di transizioni di denoising $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$, derivate da politiche di denoising preferite e meno preferite.

La funzione obiettivo ottimizza le predizioni di denoising del modello verso i target $\boldsymbol{\epsilon}_\star^w$ e $\boldsymbol{\epsilon}_\star^l$, corrispondenti ai comportamenti preferiti e meno preferiti in ogni step. La funzione di perdita è definita come:
$$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right] \right) \right]$$
Qui, $\boldsymbol{\epsilon}_\star^w$ e $\boldsymbol{\epsilon}_\star^l$ sono target di denoising score ottenuti dalla coppia di policy contrastiva, mantenendo le reali transizioni di denoising inverso anziché approssimazioni del processo forward.

Istanze della Coppia di Policy Contrastiva

Il paper propone due modi pratici per istanziare la coppia di policy contrastiva:

1. Data-Driven Contrastive Policy Pair (DD-CPP):

   • Richiede un dataset di coppie di immagini etichettate per preferenza $(x_0^w, x_0^l, c)$.
   • Due modelli separati vengono sottoposti a fine-tuning da un'inizializzazione pre-addestrata: un modello "vincente" $\phi^w$ sui campioni preferiti e un modello "perdente" $\phi^l$ sui campioni meno preferiti.
   • I target di supervisione sono gli score di denoising predetti da questi modelli specializzati: $\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ e $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$.

2. Training-Free Contrastive Policy Pair (TF-CPP):

   • Non richiede addestramento aggiuntivo o dati etichettati per le preferenze.
   • Utilizza un singolo modello di riferimento pre-addestrato.
   • Costruisce una coppia contrastiva utilizzando il prompt originale $c$ (preferito) e una variante semanticamente degradata $c^-$ (meno preferita).
   • Il target preferito è $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$, e il target meno preferito è $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$.
   • Questo approccio sfrutta l'osservazione che, ad timestep più grandi, l'aggiornamento inverso è guidato principalmente dal segnale di condizionamento, permettendo a $c^-$ di fornire un target di score negativo significativo anche senza generare uno specifico $x_0^l$ meno preferito.

Contributi Chiave

1. Framework DDSPO: Un framework di ottimizzazione delle preferenze che consente la supervisione diretta degli step intermedi di denoising nello spazio dello score tramite una coppia di policy contrastiva, evitando il ricorso ad approssimazioni del processo forward.
2. Istanze Pratiche: L'introduzione di DD-CPP (apprendimento di policy da dati etichettati) e TF-CPP (costruzione di direzioni contrastive da un modello di riferimento tramite degradazione del prompt), quest'ultimo che non richiede né modelli di reward né annotazioni manuali.
3. Validazione Empirica: Esperimenti estesi che dimostrano come la supervisione stepwise derivata da coppie di policy contrastive sia più efficace della supervisione basata sul processo forward sia per l'allineamento testo-immagine che per i compiti di qualità estetica.

Risultati Sperimentali

Gli autori hanno valutato DDSPO su compiti di allineamento text-to-image e miglioramento della qualità estetica utilizzando varianti di Stable Diffusion (SD-1.4, SD-1.5, SDXL) e modelli basati su DiT (SANA, SD3-M).

• Allineamento Testo-Immagine:

  • Utilizzando TF-CPP (senza dati annotati da umani), DDSPO ha raggiunto risultati allo stato dell'arte sui benchmark GenEval e T2I-CompBench rispetto a Diffusion DPO, DSPO e altri baseline.
  • DDSPO ha superato metodi SOTA come Itercomp e CaPO su CompBench senza richiedere dati di preferenza annotati da umani o modelli di reward.
  • I risultati qualitativi hanno mostrato una separazione più chiara tra le distribuzioni condizionali e una migliore aderenza a prompt complessi rispetto a Diffusion DPO e DSPO.

• Qualità Estetica:

  • Utilizzando DD-CPP sul dataset Pick-a-Pic, DDSPO ha migliorato le metriche HPSv2 e PickScore rispetto a SD-1.5 e SDXL, superando Diffusion DPO e Diffusion KTO.
  • La variante TF-CPP (senza dati umani) è rimasta competitiva con i metodi supervisionati.

• Studi di Ablazione:

  • Sono state testate diverse strategie di degradazione del prompt (ad esempio, rimozione casuale di token vs. riscrittura basata su LLM). La rimozione casuale ha performato meglio per l'allineamento, mentre la degradazione basata su LLM adattata all'estetica ha performato meglio per la qualità estetica.
  • Una variante efficiente di TF-CPP che riutilizza le immagini preferite per i target negativi (evitando la generazione esplicita di immagini meno preferite) ha mostrato prestazioni comparabili alla configurazione completa, evidenziando la flessibilità del framework.

Significato e Rivendicazioni

Il paper afferma che il significato primario di DDSPO risiede nella sua capacità di fornire una supervisione stepwise allineata con il reale processo di denoising inverso del modello. Definendo le preferenze direttamente sulle transizioni locali inverse ($x_t \to x_{t-1}$) anziché fare affidamento su surrogati del processo forward, DDSPO offre una supervisione più ricca a livello di transizione.

Gli autori asseriscono che questo approccio porta a segnali di apprendimento più robusti attraverso la traiettoria di denoising, risultando in miglioramenti consistenti sia nell'allineamento semantico che nella qualità estetica. Inoltre, il Training-Free Contrastive Policy Pair (TF-CPP) dimostra che un'ottimizzazione delle preferenze di alta qualità può essere ottenuta senza il costo di raccogliere annotazioni di preferenza umana o addestrare modelli di reward, rendendo il metodo altamente scalabile ed efficiente in termini di dati. Il lavoro posiziona DDSPO come un framework generalizzabile applicabile sia ai modelli generativi di diffusione che di flusso.