Step-level Denoising-time Diffusion Alignment with Multiple Objectives

1. Il Problema

I modelli di diffusione (Diffusion Models) sono diventati lo stato dell'arte per la generazione di immagini testo-su-immagine. Tuttavia, i modelli pre-addestrati non sono allineati alle preferenze umane specifiche. Sebbene il Reinforcement Learning (RL) sia stato utilizzato per allineare questi modelli, la maggior parte delle approcci esistenti ottimizza una singola funzione di reward.

In pratica, le preferenze umane sono pluralistiche: un utente potrebbe desiderare contemporaneamente alta qualità estetica, coerenza testo-immagine e sicurezza. Le sfide principali identificate nel paper sono:

• Complessità del Multi-Obiettivo: I metodi RL multi-obiettivo esistenti richiedono un addestramento costoso di molti modelli (uno per ogni combinazione di pesi delle preferenze) o la risoluzione di direzioni di aggiornamento complesse per evitare conflitti.
• Limitazioni dell'Allineamento al Tempo di Denoising: Esistono metodi "training-free" che fondono i processi di denoising di modelli già allineati. Tuttavia, questi metodi richiedono spesso l'accesso ai gradienti o ai valori delle funzioni di reward (che possono essere costosi da calcolare) e, più criticamente, introducono errori di approssimazione perché derivano da formulazioni RL dove la politica ottima è intrattabile da tracciare.

2. Metodologia Proposta: MSDDA

Gli autori propongono MSDDA (Multi-objective Step-level Denoising-time Diffusion Alignment), un framework che allinea i modelli di diffusione con obiettivi multipli senza ri-addestramento e senza errori di approssimazione.

A. Formulazione RL a Livello di Passo (Step-level RL)

Il contributo teorico fondamentale è la riformulazione del fine-tuning RL.

• I metodi RL tradizionali per la diffusione (come DDPO o DPOK) ottimizzano un reward basato sullo stato finale ($x_0$) con una regolarizzazione KL sul margine. Questo crea una dipendenza circolare: la politica ottima dipende dagli advantage calcolati sulla stessa politica ottima sconosciuta, rendendo l'obiettivo intrattabile e richiedendo approssimazioni.
• Gli autori adottano un approccio ispirato al TRPO (Trust Region Policy Optimization), riformulando il problema come un RL a livello di passo. Invece di ottimizzare il reward finale, decompongono sia il reward che la regolarizzazione KL a ogni passo temporale del processo inverso.
• Derivano un obiettivo Step-level DPO (Direct Preference Optimization) che permette di addestrare il modello usando solo coppie di preferenze (vincitore/perdente) senza bisogno di modellare esplicitamente la funzione di reward.

B. Fusione Chiusa al Tempo di Denoising

Sulla base della formulazione step-level, gli autori dimostrano che è possibile derivare una soluzione esatta in forma chiusa per la distribuzione inversa ottima quando si combinano più obiettivi.

• Ipotesi: Si dispone di $M$ modelli già allineati, ciascuno ottimizzato per un singolo obiettivo $r_i$ con distribuzione inversa $p_i(x_{t-1}|x_t) = \mathcal{N}(\mu_i, \sigma_i^2 I)$.
• Risultato Teorico: Per qualsiasi vettore di pesi di preferenza $w$, la distribuzione inversa ottima $p_w$ è una media ponderata delle distribuzioni gaussiane dei modelli base.
• Formule Chiave:
  La nuova varianza $\sigma_w^2$ e la nuova media $\mu_w$ sono calcolate come:
  $$\sigma_w^2 = \left( \sum_{i=1}^M \frac{w_i}{\sigma_i^2} \right)^{-1}$$
  $$\mu_w = \sigma_w^2 \sum_{i=1}^M \frac{w_i}{\sigma_i^2} \mu_i$$
• Vantaggi:
  1. Nessun Ri-addestramento: Non serve addestrare nuovi modelli per nuove preferenze.
  2. Nessun Accesso al Reward: Non è necessario calcolare gradienti o valori di reward durante l'inferenza.
  3. Nessun Errore di Approssimazione: A differenza di metodi precedenti (come DB-MPA o DERADIFF) che ignorano termini nelle dinamiche di diffusione per rendere il problema trattabile, MSDDA è esattamente equivalente alla formulazione RL step-level, garantendo l'ottimalità teorica.

3. Contributi Chiave

1. Riformulazione Step-level: Introduzione di una nuova formulazione RL per i modelli di diffusione che risolve l'intrattabilità della politica ottima, permettendo la derivazione di un obiettivo DPO step-level.
2. Soluzione Esatta Multi-Obiettivo: Dimostrazione teorica che la fusione di modelli allineati a singoli obiettivi può essere eseguita in forma chiusa (media e varianza) senza approssimazioni, generalizzando e correggendo metodi precedenti.
3. Framework Training-Free: Un algoritmo pratico (MSDDA) che fonde i modelli al momento dell'inferenza, eliminando la necessità di calcolare gradienti di reward o generare campioni aggiuntivi per stimare valori.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando Stable Diffusion v1.5 come modello base, con due obiettivi:

• Allineamento Testo-Immagine: Misurato con ImageReward.
• Qualità Estetica: Misurato con VILA.

Risultati Quantitativi:

• Pareto Front: MSDDA supera costantemente i metodi di base (Stable Diffusion grezzo, Reward Soup, CoDe, RGG) sulla frontiera di Pareto, ottenendo punteggi più alti su entrambi i reward per una vasta gamma di pesi di preferenza $w$.
• Efficienza: Sebbene MSDDA richieda l'esecuzione di due modelli di diffusione (uno per ogni obiettivo base), è significativamente più veloce dei metodi basati su gradienti (come CoDe e RGG) che devono valutare le funzioni di reward ad ogni passo di denoising.
• Qualità Visiva: Le immagini generate mostrano un migliore rispetto al prompt rispetto ai metodi di fusione lineare dei parametri (Reward Soup), specialmente in casi complessi (es. "banana rosa", "zaino viola con mela rossa").

5. Significato e Impatto

Questo lavoro è significativo perché risolve un problema teorico fondamentale nell'allineamento dei modelli di diffusione: la gestione di preferenze multiple senza compromessi tra efficienza computazionale e accuratezza teorica.

• Superamento delle Approssimazioni: Dimostra che è possibile ottenere un allineamento multi-obiettivo esatto senza approssimazioni, cosa che i lavori precedenti ritenevano necessaria.
• Flessibilità Operativa: Permette agli utenti di cambiare le preferenze (es. privilegiare l'estetica rispetto alla coerenza) semplicemente modificando un vettore di pesi al momento dell'inferenza, senza dover ri-addestrare o ri-calibrare i modelli.
• Generalizzazione: Il metodo generalizza approcci esistenti come DB-MPA, rimuovendo la restrizione che tutti gli obiettivi debbano condividere la stessa varianza di denoising.

In sintesi, MSDDA offre un nuovo paradigma per l'allineamento dei modelli generativi, rendendo l'adattamento a preferenze umane complesse più efficiente, teoricamente solido e pratico per l'uso reale.