Riepilogo Tecnico: Drifting Preference Optimization per Modelli Generativi One-Step

Problema

I generatori di testo-immagine a un singolo step (es. SD-Turbo, SDXL-Turbo) sono estremamente attraenti per l'implementazione grazie alla loro capacità di generare immagini in un unico passaggio in avanti (forward pass), consentendo applicazioni a bassa latenza e con risorse limitate. Tuttavia, l'allineamento di questi modelli con le preferenze umane tramite post-training rimane una sfida.

I metodi di allineamento standard, come il Reinforcement Learning from Human Feedback (RLHF) e il Direct Preference Optimization (DPO), si affidano tipicamente a probabilità di policy stocastiche, rapporti di densità o traiettorie di denoising — strutture che sono assenti o mal definite nei generatori deterministici a un singolo step. Sebbene la retropropagazione diretta di un reward differenziabile attraverso l'immagine generata sia un'alternativa, essa richiede che il modello di reward sia differenziabile. Questo approccio diventa computazionalmente proibitivo per i reward basati su grandi modelli Vision-Language (VLM) ed è impossibile per valutatori black-box o discreti (es. controlli di correttezza basati su regole). Di conseguenza, esiste la necessità di un metodo di fine-tuning delle preferenze che:

1. Funzioni con generatori deterministici a un singolo step.
2. Eviti la backpropagation attraverso il modello di reward.
3. Supporti reward ampi, black-box o non differenziabili.
4. Preservi la capacità di inferenza a singolo passaggio in avanti.

Metodologia: Drifting Preference Optimization (DrPO)

Gli autori propongono DrPO, un metodo di fine-tuning delle preferenze online che converte i campioni classificati tramite reward in una direzione di aggiornamento nello spazio delle feature senza richiedere i gradienti del reward. Il metodo trae ispirazione dai "Drifting Models", che sostituiscono la stima esplicita della densità con campi di deriva nello spazio delle feature.

Meccanismo Centrale

DrPO opera costruendo un campo di preferenza dipolo non parametrico e un campo di deriva di riferimento nello spazio latente delle feature.

1. Campionamento dei Candidati e Classificazione (Ranking):
   Per un dato prompt, il generatore corrente $g_\theta$ campiona un batch di candiditi. Un modello di reward target $R$ (che può essere non differenziabile) classifica questi candidati. In base a questa classificazione, il metodo forma coppie di campioni positivi (alto punteggio) e negativi (basso punteggio).

2. Campo di Preferenza Dipolo ($V_{pref}$):
   Invece di utilizzare il gradiente della funzione di reward, DrPO sintetizza una direzione di aggiornamento utilizzando un meccanismo di attrazione-repulsione pesato da kernel.

• Attrazione: I campioni positivi attirano la rappresentazione feature corrente verso di essi.
• Repulsione: I campioni negativi respingono la rappresentazione lontano da essi.
  Questo è formalizzato come un campo dipolo in cui la velocità di aggiornamento è la differenza tra lo spostamento medio (mean-shift) dei campioni positivi e lo spostamento medio dei campioni negativi nello spazio delle feature. Questo campo è locale; i punti lontani dai campioni osservati ricevono aggiornamenti trascurabili, riducendo gli errori di estrapolazione.

3. Deriva di Riferimento ($V_{ref}$):
   Per evitare che il generatore si discosti troppo dalla sua distribuzione originale (collasso del modo o perdita di fedeltà), viene stimata una deriva di riferimento da un generatore base congelato ($g_{ref}$). Questo funge da forza stabilizzante, simile alla regolarizzazione KL nel RLHF standard, ma stimata tramite deriva basata su campioni piuttosto che tramite rapporti di verosimiglianza.

4. Obiettivo di Ottimizzazione:
   Il campo di aggiornamento totale è la somma del campo di preferenza e del campo di riferimento pesato: $V_{DrPO} = V_{pref} + \lambda V_{ref}$.
   Il generatore viene addestrato per minimizzare la distanza tra la sua feature attuale e un target staccato (detached target):
   $$z^* = \text{sg}(z + \eta V_{DrPO}(z))$$
   dove $z$ è la rappresentazione feature dell'immagine generata, $\text{sg}$ indica l'operatore stop-gradient, e $\eta$ è una scala di velocità. La perdita è un semplice errore quadratico medio tra le feature attuali e il target staccato.

Proprietà Chiave

• Indipendenza dal Reward (Reward Agnosticism): Poiché il modello di reward viene utilizzato solo per classificare i campioni e formare i set positivi/negativi ($A^+$ e $A^-$), la funzione di reward stessa non deve mai essere differenziata. Ciò consente l'uso di reward basati su VLM (es. HPSv3) e valutatori di task discreti (es. GenEval).
• Inferenza One-Step: L'addestramento modifica i pesi del generatore, ma l'inferenza rimane un singolo passaggio in avanti del generatore aggiornato. Non è richiesta ottimizzazione o ricerca al tempo di test.
• Estensione Offline: Gli autori propongono una variante offline ingenua in cui le coppie di preferenza sono estratte da un dataset fisso invece che tramite campionamento online, sebbene notino che ciò richiede una gestione attenta della scarsità off-policy.

Contributi Chiave

1. Algoritmo DrPO: Un nuovo metodo di fine-tuning delle preferenze online per generatori deterministici a un singolo step che converte campioni classificati tramite reward in un aggiornamento di deriva staccato, eliminando la necessità di backpropagation del reward.
2. Campo di Preferenza Dipolo: Un meccanismo non parametrico che costruisce direzioni di aggiornamento nello spazio latente a partire da campioni positivi e negativi, sostituendo i tradizionali gradienti di reward con aggiornamenti di deriva basati su campioni.
3. Validazione Empirica: Valutazione completa su SD-Turbo e SDXL-Turbo attraverso molteplici modelli di reward (PickScore, HPSv3, ImageReward, GenEval). DrPO dimostra una performance superiore rispetto ai baselines privi di gradiente del reward.
4. Guadagni di Efficienza: Dimostrazione del fatto che DrPO riduce significativamente il calcolo dell'addestramento utilizzando grandi modelli di reward, eliminando la necessità di backpropagate attraverso il modello di reward.

Risultati Sperimentali

Gli autori hanno valutato DrPO su SD-Turbo e SDXL-Turbo utilizzando benchmark inclusi Pick-a-Pic v2, Parti-Prompts e GenEval.

• Performance: Su SDXL-Turbo, DrPO ha ottenuto i guadagni più elevati tra i baselines one-step privi di gradiente del reward (DPO1-step, PSO, GRPO1-step) in termini di PickScore, Aesthetic Score (AES) e ImageReward. Si è avvicinato o ha eguagliato le performance dei metodi basati su gradiente del reward (come DRaFT) evitando il costo computazionale di la backpropagation attraverso il reward.
• Preferenza Umana/VLM: Le valutazioni a coppie utilizzando Qwen3-VL hanno mostrato che le immagini generate da DrPO erano costantemente preferite rispetto ai metodi baseline one-step e al modello base, indicando una migliore fedeltà al prompt e coerenza visiva.
• Reward Non Differenziabili: DrPO ha utilizzato con successo i punteggi GenEval (un metrica discreta e non differenziabile per i vincoli compositivi) per migliorare le prestazioni su task come il conteggio, il posizionamento dei colori e il legame degli oggetti (object binding), dove i metodi basati su gradiente falliscono.
• Efficienza: Quando addestrato con il grande modello di reward HPSv3, DrPO ha ridotto il tempo di aggiornamento del 3,51× rispetto a un baseline che effettua la backpropagation attraverso il reward, a parità di impostazioni di batch effettivo.
• Ablazioni: Gli esperimenti hanno confermato che aumentare la dimensione del pool di candidati migliora la stabilità, e che le feature latent-MAE superano le feature latenti grezze per il calcolo della deriva. Il metodo si è rivelato robusto rispetto alle scelte del kernel e alle scale di velocità.

Significato e Rivendicazioni

Il paper sostiene che DrPO fornisca una soluzione pratica per allineare modelli generativi a un singolo step con segnali di reward complessi, costosi o non differenziabili. Decoupling (disaccoppiando) la valutazione del reward dal gradiente di ottimizzazione, DrPO consente l'uso di modelli di reward allo stato dell'arte basati su VLM (come HPSv3) per il fine-tuning di generatori veloci senza incorrere nel costo computazionale proibitivo di differenziare attraverso di essi.

Gli autori posizionano DrPO come un passo significativo verso la rendere la generazione di immagini di alta qualità e a bassa latenza accessibile per applicazioni interattive dove sia la velocità che l'allineamento con le preferenze umane sono critici. Notano inoltre che, sebbene i loro esperimenti offline siano preliminari, l'approccio di sintesi del gradiente basato su campioni offre una direzione promettente per estendere l'ottimizzazione delle preferenze a contesti offline dove il campionamento online non è fattibile.

Il lavoro non pretende di risolvere tutte le sfide di allineamento; riconosce che la qualità del campo di preferenza dipende dalla capacità dell'estrattore di feature di codificare gli attributi specifici che si intendono ottimizzare e che il metodo eredita i limiti del modello di reward sottostante utilizzato per la classificazione.