Riassunto Tecnico: DeDPO: Debiased Direct Preference Optimization per i Modelli di Diffusione

1. Definizione del Problema

La Direct Preference Optimization (DPO) è diventata un metodo standard per allineare i modelli di diffusione alle preferenze umane, offrendo un'alternativa efficiente al Reinforcement Learning from Human Feedback (RLHF eliminando la necessità di un modello di ricompensa separato. Tuttavia, la DPO affronta un collo di bottiglia critico nella scalabilità: si basa su etichette di preferenza umana su larga scala e di alta qualità, che sono proibitive in termini di costi e tempo per essere acquisite.

I recenti tentativi di affrontare questo problema utilizzando preferenze sintetiche (generate da modelli AI) spesso falliscono perché tali etichette sintetiche possono essere rumorose, incoerenti con il vero giudizio umano o introdurre un bias sistematico. L'addestramento diretto su questo feedback imperfetto porta a un allineamento instabile e a una degradazione delle prestazioni. La sfida centrale è sfruttare grandi volumi di dati sintetici economici pur correggendo il loro intrinseco rumore e bias, utilizzando solo un piccolo set di etichette umane di alta qualità.

2. Metodologia: DeDPO (Debiased DPO)

Gli autori propongono DeDPO, un framework semi-supervisionato che integra una tecnica di stima de-biased (priva di bias) derivata dall'inferenza causale nell'obiettivo della DPO. Il metodo opera in uno scenario in cui un piccolo set di dati è etichettato con le preferenze umane reali (ground-truth), e un set più ampio è etichettato con preferenze sintetiche generate da feedback AI a basso costo (ad esempio, Vision-Language Models o self-training).

2.1. Riformulazione della DPO come Classificazione Binaria

Gli autori reinterpretano prima lo standard della perdita Diffusion-DPO come un problema di classificazione binaria. Per una coppia di immagini $(x_0, x_1)$ e un prompt $c$, un'etichetta di preferenza $z$ indica quale immagine è preferita. La perdita DPO viene riscritta come una perdita di cross-entropy binaria $L(G_\theta(y), z)$, dove $G_\theta$ è il predittore del margine implicito del modello.

2.2. La Funzione di Perdita Debiased (DeDPO)

In un approccio semi-supervisionato ingenuo, si potrebbe semplicemente imputare le etichette umane mancanti con etichette sintetiche $\hat{G}(y)$, portando a un estimatore di Outcome Regression (OR) distorto. DeDPO propone invece una perdita de-biased (Eq. 8) che combina i dati etichettati e quelli non etichettati:

$$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$$

Dove:

• $n_l$ e $n_u$ sono il numero di campioni etichettati e non etichettati.
• $z_l$ è l'etichetta umana reale (ground-truth).
• $\hat{G}(y)$ è l'etichetta sintetica.

Meccanismo di Correzione:

• Dati Non Etichettati: La perdita utilizza direttamente le pseudo-etichette sintetiche $\hat{G}(y)$ come segnale di supervisione.
• Dati Etichettati: La perdita introduce un termine di correzione $(z_l - \hat{G}(y_l))$ che sposta la pseudo-etichetta verso l'effettiva etichetta umana. Questa correzione è amplificata da un peso di importanza $\frac{n_l + n_u}{n_l}$, che riflette la scarsità dei dati etichettati.
• Proprietà Teoriche:
  1. Unbiasedness (Assenza di Bias): L'aspettativa della perdita DeDPO è uguale alla perdita DPO a livello di popolazione, indipendentemente dal fatto che le etichette sintetiche siano corrette. Se le etichette sintetiche sono perfette, il metodo utilizza tutti i dati; se sono completamente errate, esso ritorna asintoticamente all'uso dei soli dati etichettati.
  2. Robustezza alla Convergenza del Modello Sintetico: Gli autori dimostrano che il modello di diffusione target $\theta$ può raggiungere tassi di convergenza ottimali anche se il modello di preferenza sintetica $\hat{G}$ converge a un ritmo molto più lento (specificamente, il termine di errore dipende dalla quarta potenza dell'errore del modello sintetico). Ciò consente al sistema di essere robusto anche quando l'annotatore sintetico è imperfetto.

2.3. Fonti di Preferenza Sintetica

Il framework supporta due fonti primarie per le etichette sintetiche:

1. Self-Training: Utilizzare il margine di ricompensa implicito della policy corrente $\theta$ (dalle iterazioni precedenti) per generare etichette. Gli autori notano che, per evitare l'overfitting, il modello sintetico dovrebbe idealmente essere addestrato su dati indipendenti dal set di addestramento DPO.
2. Modelli Vision-Language Pre-addestrati (VLM): Utilizzare modelli come Qwen o CLIP per annotare coppie di immagini. Questo è preferito nell'impostazione del paper poiché evita la violazione dell'indipendenza inerente al self-training sugli stessi dati etichettati.

3. Contributi Chiave

• Stima Debiased per la Diffusione: Il paper introduce la prima applicazione di tecniche di stima de-biased dalla causalità al problema dell'ottimizzazione delle preferenze nei modelli di diffusione.
• Allineamento Semi-Supervisionato: Stabilisce un framework robusto per allineare i modelli di diffusione utilizzando una piccola frazione di etichette umane (es. 25%) aumentata da un ampio corpus di etichette sintetiche, senza richiedere un modello di ricompensa separato.
• Garanzie Teoriche: Gli autori forniscono prove teoriche che dimostrano come la perdita proposta sia priva di bias e come il processo di apprendimento sia robusto agli errori del modello di preferenza sintetica, a condizione che il modello sintetico sia addestrato su dati indipendenti.

4. Risultati Sperimentali

Gli autori hanno valutato DeDPO sui dataset FiFA-5K e HPDv2 utilizzando i backbone SD1.5 e SDXL.

• Performance vs. DPO Completamente Supervisionata: DeDPO, addestrato con il 25% di etichette umane e il 75% di etichette sintetiche, ha costantemente eguagliato o superato leggermente le prestazioni della DPO addestrata sul 100% di etichette umane.
  • Su FiFA-5K con SD1.5, DeDPO ha ottenuto un PickScore di 21.91 e un HPSv2 di 27.80, superando la baseline DPO completamente supervisionata (21.88 PS, 27.79 HPSv2).
  • Su SDXL, DeDPO ha eguagliato le prestazioni della versione completamente supervisionata (22.83 PS vs. 22.84 PS).
• Robustezza al Rumore: Al contrario, un approccio ingenuo di miscelazione delle etichette sintetiche con la DPO (senza de-biasing) ha costantemente ottenuto prestazioni inferiori, dimostrando che l'aggiunta di dati sintetici può degradare l'allineamento se non corretto.
• Scalabilità: All'aumentare della dimensione del dataset sintetico non etichettato (fino a 98K coppie), DeDPO ha mantenuto prestazioni stabili, mentre le prestazioni della DPO vanilla sono degradate significativamente a causa dell'accumulo di etichette rumorose.
• Miglioramenti Qualitativi: I confronti visivi hanno mostrato che DeDPO cattura meglio i dettagli fini e i vincoli compositivi (ad esempio, oggetti specifici in prompt complessi) rispetto ai modelli addestrati con meno etichette umane o con una miscelazione sintetica ingenua.
• AI-as-a-Judge: Giudici AI allineati agli umani (Gemini 2.5 Flash) hanno preferito DeDPO rispetto alla DPO completamente supervisionata in circa il 57% dei casi per Preferenza Generale e Appeal Visivo, e rispetto alla DPO semi-supervisionata in circa il 76% dei casi.

5. Significato e Rivendicazioni

Il paper sostiene che DeDPO fornisca una soluzione scalabile ed economica per l'allineamento uomo-AI nei modelli di diffusione. Integrando la stima de-biased, il metodo trasforma con successo il feedback sintetico economico e rumoroso in un segnale di addestramento affidabile.

Gli autori affermano che DeDPO:

1. Supera il collo di bottiglia dei dati: Permette un allineamento di alta qualità utilizzando una piccola frazione di etichette umane, rendendo l'ottimizzazione delle preferenze su larga scala fattibile senza costi proibitivi.
2. Garantisce la robustezza: È resiliente alle variazioni e al rumore inerenti agli annotatori sintetici (inclusi self-training e VLM), prevenendo l'instabilità spesso osservata quando si addestra su preferenze generate dall'AI.
3. Raggiunge un'efficienza allo stato dell'arte: Ottiene prestazioni comparabili, e talvolta superiori, ai modelli addestrati su dataset interamente etichettati dall'uomo, stabilendo un nuovo standard per l'ottimizzazione efficiente delle preferenze.

Il lavoro conclude che il feedback sintetico correttamente de-biased è un sostituto valido e affidabile per l'estesa etichettatura umana, offrendo una via pratica per allineare i modelli generativi ai valori umani.