Sintesi Tecnica: D2PO – Ottimizzazione dei Campionatori di Diffusione tramite Preferenza Dinamica

1. Definizione del Problema

I Modelli Probabilistici di Diffusione (DPM) hanno raggiunto risultati allo stato dell'arte nella generazione di immagini, text-to-image e video, ma soffrono di elevati costi computazionali a causa della natura iterativa del loro processo di campionamento, che richiede molti esami della funzione (NFE - Number of Function Evaluations). Sebbene esistano vari metodi di accelerazione, inclusi i solver numerici e la distillazione della conoscenza, persiste un limite fondamentale nei framework di regressione studente-insegnante.

In questi framework, un campionatore "studente" a basso NFE viene addestrato per imitare le traiettorie o gli output di un "insegnante" a alto NFE fisso utilizzando perdite di regressione (es. $\ell_2$ o LPIPS). Il documento identifica un collo di bottiglia strutturale critico: man mano che il divario tra l'NFE dello studente e quello dell'insegnante si amplia (un requisito comune per un'accelerazione aggressiva), l'obiettivo di regressione costringe lo studente a dare priorità all'allineamento di basso livello con la traiettoria grossolana dell'insegnante. Ciò risulta nella soppressione delle texture ad alta frequenza e dei dettagli fini, portando a un degrado della qualità percettiva anche quando il modello insegnante è ad alta fedeltà. I metodi esistenti non riescono a sfruttare appieno il potenziale dei modelli insegnanti di alta qualità sotto vincoli di basso NFE perché sono vincolati da un pavimento di errore statico definito dalla discretizzazione dell'insegnante.

2. Metodologia: D2PO

Per affrontare questo problema, gli autori propongono D2PO (Dynamic Direct Preference Optimization), un framework che inquadra l'ottimizzazione del campionatore da un compito di regressione a un problema di allineamento basato sulla preferenza.

2.1 Surrogato basato sull'Energia per Politiche Deterministiche

Una sfida primaria nell'applicare la Direct Preference Optimization (DPO) ai campionatori di diffusione è che la politica di campionamento è deterministica (indotta da un solver numerico fisso), rendendo la verosimiglianza dell'output degenerata e non differenziabile. D2PO supera questo problema modellando la distribuzione indotta dalla politica come un Modello Basato sull'Energia (EBM).

• La politica $\pi_\phi$ è definita come un surrogato fluido in cui l'energia $E(\mathbf{x})$ è la distanza tra un campione candidato $\mathbf{x}$ e l'output del campionatore deterministico $\mathbf{x}_\phi$.
• Questa formulazione permette al rapporto di log-probabilità richiesto dalla DPO di essere espresso come una differenza nei valori di energia, rendendo l'ottimizzazione trattabile.

2.2 Nuova Metrica di Distanza basata sul Segnale (Score-Based)

Invece di fare affidamento su metriche percettive standard come LPIPS o $\ell_2$, che spesso non riescono a catturare gli errori di texture ad alta frequenza, D2PO introduce una metrica di energia basata sul segnale (score-based) derivata direttamente dalla rete di score pre-addestrata $s_\theta$.

• L'energia è definita come la discrepanza tra le predizioni di score di un campione candidato e l'output del campionatore attraverso molteplici livelli di rumore.
• Nello specifico, la distanza $d_\theta$ misura la differenza quadratica $\ell_2$ tra le predizioni del rumore ($\epsilon_\theta$) a vari timestep.
• Integrando queste discrepanze lungo lo schema di rumore con una specifica ponderazione ($w(t) = \sigma_t^2$), la metrica cattura sia la coerenza strutturale grossolana (a livelli di rumore elevati) che i dettagli testurali fini (a livelli di rumore bassi), fornendo un segnale di preferenza più ricco rispetto alle metriche convenzionali.

2.3 Meccanismo di Preferenza Dinamica

D2PO sostituisce la supervisione statica dell'insegnante con un meccanismo di riferimento dinamico che evolve insieme alla politica dello studente.

• Campionatore Studente ($\phi$): La politica target che viene ottimizzata (parametri: schema dei timestep $S$ e pesi CFG $\omega$).
• Campione Perdente ($x_l$): Generato dallo studente utilizzando uno schema sparso e veloce, poi degradato (es. tramite filtraggio passa-basso) per simulare un output di qualità inferiore.
• Campione Vincitore ($x_w$): Generato da un insegnante dinamico ($\phi'$) derivato dai parametri correnti dello studente. L'insegnante dinamico utilizza uno schema di timestep più denso e raffinato (es. $2N$ step rispetto ai $N$ step dello studente) creato interpolando lo schema attuale dello studente.
• Politica di Riferimento ($\phi_{ref}$): Una politica che traccia la storia dello studente (aggiornata tramite EMA per i pesi CFG ed epoca per copia dei timestep) per ancorare l'ottimizzazione.

Questo ciclo dinamico incoraggia lo studente ad allinearsi con la propria approssimazione ad alta fedeltà e a schema più denso. Teoricamente, ciò minimizza l'errore di discretizzazione dello studente stesso piuttosto che convergere verso un pavimento di errore residuo fisso imposto da un insegnante esterno.

3. Contributi Chiave

1. Framework D2PO: Un framework di ottimizzazione basato sulla preferenza per i campionatori di diffusione che stabilisce un obiettivo di allineamento trattabile modellando la politica deterministica come un surrogato basato sull'energia.
2. Metrica di Energia basata sul Segnale (Score-Based): Una nuova metrica di distanza derivata dalla rete di score pre-addestrata che cattura discrepanze strutturali e testurali a multiscala, superando le perdite percettive convenzionali nel rilevare gli errori di discretizzazione.
3. Ciclo di Preferenza Dinamica: Un meccanismo di auto-miglioramento in cui l'"insegnante" è una versione dinamicamente raffinata della politica corrente dello studente. Questo elimina il pavimento di errore fisso della distillazione statica e spinge il campionatore a minimizzare il proprio errore di discretizzazione.
4. Validazione Esaustiva: Esperimenti estesi che dimostrano come D2PO apprenda politiche di campionamento superiori, superando i baseline di distillazione allo stato dell'arte (es. LD3, GITS, DMN) attraverso vari solver e dataset.

4. Risultati Sperimentali

Gli autori hanno valutato D2PO sulla sintesi text-to-image utilizzando Stable Diffusion v1.5, ImageNet-256 (spazio latente) e il modello InstaFlow.

• Prestazioni Quantitative:
  • Basso NFE (4-5 step): D2PO raggiunge la qualità percettiva allo stato dell'arte (punteggi HPSv2 e Aesthetic) e punteggi FID significativamente più bassi rispetto ai baseline. Corregge efficacemente difetti fondamentali come sfocatura e artefatti introdotti dai metodi basati sulla regressione.
  • Alto NFE (6-7 step): D2PO mantiene un netto vantaggio nei punteggi percettivi. Sebbene i punteggi FID diventino comparabili ai baseline (riflettendo il compromesso qualità-diversità), l'ottimizzazione di D2PO verso la qualità percettiva rimane superiore.
  • Generalizzazione: Il metodo si generalizza a diversi solver ODE (iPNDM, UniPC, DPM-Solver++) e moderni backbone (Stable Diffusion 3.5-Medium), superando costantemente i baseline.
• Studi di Ablazione:
  • Rimuovere la preferenza dinamica (tornando a un insegnante fisso) degrada le prestazioni, confermando la necessità del ciclo di auto-miglioramento.
  • Sostituire l'energia basata sul segnale con LPIPS causa un calo significativo della fedeltà, validando la capacità della metrica di catturare errori fini.
• Valutazione Umana: In uno studio di preferenza cieca, D2PO ha ricevuto il 60,3% dei voti per la preferenza complessiva, superando di gran lunga LD3 (27,6%) e GITS (12,1%), confermando che i miglioramenti della metrica si traducono in qualità percepita dall'uomo.
• Allineamento Semantico: D2PO ottiene anche punteggi CLIP più alti rispetto ai baseline, suggerendo che l'ottimizzazione per l'allineamento delle preferenze preserva meglio la rilevanza del prompt rispetto alla rigida regressione punto a punto.

5. Significato e Rivendicazioni

Il documento afferma che D2PO affronta un collo di bottiglia critico nelle prestazioni dell'ottimizzazione dei campionatori di diffusione. Passando da un paradigma di regressione verso l'insegnante a un paradigma di allineamento dinamico delle preferenze, D2PO sblocca il pieno potenziale degli insegnanti di alta qualità senza essere vincolato dai loro errori di discretizzazione statica.

Gli autori sostengono che il loro approccio sia leggero e ortogonale ai metodi di regolazione dei pesi esistenti, poiché mantiene il backbone generativo congelato e ottimizza esclusivamente la politica di campionamento a bassa dimensionalità. Il meccanismo dell'insegnante dinamico fornisce un segnale di apprendimento teoricamente fondato che forza lo studente a minimizzare il proprio errore di discretizzazione, portando a traiettorie di campionamento che sono più coerenti con il vero processo a tempo continuo e percettivamente superiori, specialmente sotto rigorosi vincoli di basso NFE.