Riepilogo Tecnico: Verso l'Allineamento delle Preferenze Generali: Modelli di Diffusione all'Equilibrio di Nash

Enunciato del Problema

L'Apprendimento per Rinforzo dal Feedback Umano (RLHF) e la sua variante computazionalmente efficiente, l'Ottimizzazione Diretta delle Preferenze (DPO), sono diventati lo standard per allineare i modelli di diffusione testo-immagine (T2I) alle preferenze umane. Tuttavia, i metodi esistenti basati sulle preferenze per l'allineamento dei modelli di diffusione ereditano in larga misura il paradigma RLHF, affidandosi a segnali di ricompensa impliciti indotti dal modello di Bradley–Terry (BT). Gli autori sostengono che l'assunzione di transitività del modello BT (se A > B e B > C, allora A > C) non riesce a catturare la complessità completa delle preferenze umane, che possono essere intransitive (ad esempio, cicli tipo "sasso-carta-forbice"). Inoltre, i metodi attuali spesso convertono le preferenze umane in una funzione indotta dalla ricompensa prima dell'ottimizzazione, invece di modellare direttamente la relazione di preferenza. Questo lavoro postula che una prospettiva basata sulla teoria dei giochi, specificamente l'Apprendimento di Nash dal Feedback Umano (NLHF), offra un quadro più robusto per l'allineamento dei modelli di diffusione, evitando le restrittive assunzioni di transitività del modello BT.

Metodologia: Ottimizzazione delle Preferenze di Nash per Diffusione (Diff.-NPO)

Gli autori propongono Diff.-NPO, un quadro generale di ottimizzazione delle preferenze derivato da una prospettiva di equilibrio di Nash. Invece di massimizzare una verosimiglianza indotta da BT, Diff.-NPO formula l'allineamento come un gioco a somma zero a due giocatori tra la politica corrente ($\pi$) e una politica precedente ($\pi_{prev}$), regolarizzato da una politica di riferimento ($\pi_{ref}$).

Quadro Fondamentale

1. Formulazione basata sulla Teoria dei Giochi: L'obiettivo è definito come un gioco minimax in cui il "giocatore max" (politica corrente) tenta di generare campioni preferiti rispetto a quelli del "giocatore min" (politica precedente), mentre entrambi sono regolarizzati per rimanere vicini a una politica di riferimento ($\pi_{ref}$) per evitare la deriva distribuzionale.
2. Discesa dello Specchio Online (OMD): Per garantire dinamiche di apprendimento stabili ed evitare l'instabilità degli aggiornamenti greedy di migliore risposta, il metodo impiega la Discesa dello Specchio Ottimista con regolarizzazione dell'entropia (Hedge). Ciò porta a un obiettivo di auto-gioco (self-play) in cui l'aggiornamento della politica è una migliore risposta alla politica precedente, vincolato dalla politica di riferimento.
3. Derivazione della Funzione di Perdita:
   • Il metodo eleva le preferenze a livello di immagine allo spazio delle traiettorie inverse.
   • Deriva una perdita logistica a coppie basata sui log-rapporti delle probabilità delle traiettorie.
   • L'obiettivo finale, $L_{Diff.-NPO}$, mette a confronto la politica corrente ($p_\theta$) sia con la politica di riferimento ($p_{ref}$) sia con la politica precedente ($p_{prev}$).
   • La perdita è formulata come:
     $$L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$$
     Dove i termini $\delta$ rappresentano la differenza nelle ricompense implicite (errori di previsione del rumore) tra campioni preferiti ($x^+$) e scartati ($x^-$).
   • L'iperparametro $\gamma = \tau/\eta$ controlla l'interpolazione tra la politica di riferimento (stile DPO, $\gamma=1$) e la politica precedente (auto-gioco puro, $\gamma=0$).

Distinzioni Chiave dai Metodi Esistenti

• vs. Diffusion-DPO: Mentre Diffusion-DPO è offline e confronta la politica corrente esclusivamente con un riferimento fisso, Diff.-NPO è intrinsecamente online e orientato all'auto-gioco, valutando gli aggiornamenti rispetto ai campioni generati dalla politica corrente/precedente.
• vs. INPO (Iterative Nash Policy Optimization): A differenza di INPO, che utilizza una perdita al quadrato giustificata da specifiche assunzioni sulla popolazione che potrebbero non valere nel ranking basato su oracle pratico, Diff.-NPO utilizza una perdita logistica a coppie. Si sostiene che ciò sia più stabile quando le coppie di preferenze sono ordinate deterministicamente da un oracle (ranking dei campioni generati) piuttosto che campionate da una distribuzione di preferenze probabilistica.

Contributi Chiave

1. Fondamento Teorico: Il lavoro colma il divario tra l'Apprendimento di Nash dal Feedback Umano (NLHF) e l'allineamento dei modelli di diffusione, formulando l'allineamento dei modelli di diffusione come un gioco generale di preferenze che evita l'assunzione di Bradley–Terry.
2. Proposta di Algoritmo: L'introduzione di Diff.-NPO, un nuovo algoritmo di ottimizzazione generale delle preferenze on-policy. Unifica i paradigmi standard DPO e auto-gioco all'interno di una singola formulazione, in cui il coefficiente di regolarizzazione interpola tra questi regimi.
3. Assunzioni di Modellazione Esplicite: Il quadro rende esplicite le assunzioni alla base dell'ottimizzazione delle preferenze, interpretando l'obiettivo come l'adattamento a una distribuzione target costruita dalla politica di riferimento, dalla politica precedente e dal segnale di preferenza.
4. Validazione Empirica: Esperimenti estensivi su Stable Diffusion 1.5 (SD1.5) e SDXL utilizzando i dataset Pick-a-Pic, Parti-Prompts e HPSV2 dimostrano l'efficacia del metodo.

Risultati Sperimentali

Gli autori hanno valutato Diff.-NPO rispetto a baseline tra cui Online-SFT, Online-DPO, SPIN e Seppo.

• Tassi di Vittoria: Diff.-NPO ha costantemente ottenuto i tassi di vittoria medi più alti su tutti i dataset di valutazione (Pick-a-Pic, Parti-Prompts, HPSV2) sia per SD1.5 che per SDXL.
  • Su SDXL con Parti-Prompts, Diff.-NPO ha migliorato il tasso di vittoria ImageReward dell'8,6% e il tasso di vittoria del Punteggio Estetico del 10,8% rispetto a Online-Diff-DPO.
  • Ha superato Online-DPO anche su Pick-a-Pic e HPSV2.
• Metriche Automatiche: Il metodo ha mostrato prestazioni superiori nelle metriche automatiche (PickScore, HPSV2, CLIP, ImageReward, Punteggio Estetico) rispetto alle baseline.
• Studi di Ablazione:
  • Rapporto $\tau/\eta$: Lo studio ha confermato che un valore intermedio (specificamente $\tau/\eta = 1/2$) produce le migliori prestazioni, validando l'ipotesi che affidarsi esclusivamente alla politica di riferimento (DPO) o esclusivamente alla politica precedente (auto-gioco puro) sia subottimale.
  • Funzione di Perdita: Sostituire l'obiettivo logistico a coppie con un obiettivo di distanza al quadrato (come usato in INPO) ha comportato un calo sostanziale delle prestazioni, supportando la scelta progettuale della perdita logistica per ranking deterministici basati su oracle.
• Analisi Qualitativa: I confronti visivi hanno indicato che Diff.-NPO produce immagini con un migliore allineamento semantico, correttezza anatomica (ad esempio, ritratti a figura intera) e coerenza visiva rispetto alle baseline.

Significato e Affermazioni

Il lavoro afferma che Diff.-NPO fornisce un approccio semplice e stabile all'allineamento online dei modelli di diffusione ottimizzando direttamente le probabilità di preferenza relative attraverso un obiettivo in stile auto-gioco con regolarizzazione della politica di riferimento.

Gli autori affermano che l'apprendimento online in stile Nash è una promettente alternativa alle formulazioni centrate sulla ricompensa per l'allineamento dei modelli di diffusione. Spostandosi dalle assunzioni di transitività del modello di Bradley–Terry, il metodo offre una prospettiva più generale sull'allineamento delle preferenze. Il lavoro stabilisce una base per future ricerche sull'apprendimento in stile Nash per i modelli di diffusione, dimostrando che l'unificazione di DPO e auto-gioco attraverso una lente basata sulla teoria dei giochi può produrre una qualità di allineamento superiore.

Il lavoro nota modestamente una limitazione: la costruzione attuale delle preferenze si basa su una classifica media di cinque modelli di scoring, e l'integrazione di un insieme più ampio di modelli di scoring potrebbe fornire un segnale più completo. Sono previsti lavori futuri per estendere il quadro a strategie più robuste di raccolta dati online e a compiti più ampi di generazione e modifica tramite diffusione.