Riepilogo Tecnico: FREPix

Enunciato del Problema

Sebbene i modelli di diffusione nello spazio latente siano diventati il paradigma dominante per la generazione di immagini grazie alla loro efficienza, introducono un collo di bottiglia strutturale: la qualità della generazione è strettamente limitata dalla fedeltà di ricostruzione degli Autoencoder Variazionali (VAE) utilizzati per comprimere i dati. Ciò ha rinnovato l'interesse per la generazione nello spazio dei pixel, dove i modelli operano direttamente sulle immagini grezze per evitare artefatti di rappresentazione. Tuttavia, i metodi esistenti nello spazio dei pixel trattano largamente la generazione di immagini come un processo omogeneo in frequenza. Modellano l'intera immagine con un singolo stato e un percorso di interpolazione condiviso, affidando implicitamente alla rete il compito di scoprire la separazione tra strutture globali (bassa frequenza) e dettagli fini (alta frequenza). Questo approccio trascura le proprietà statistiche distinte, le distribuzioni energetiche e le dinamiche di apprendimento di queste componenti in frequenza, imponendo un pregiudizio induttivo eccessivamente restrittivo sul processo di generazione.

Metodologia: FREPix

Gli autori propongono FREPix (FREPix: matching di flusso eterogeneo in frequenza), un framework che scompone esplicitamente la generazione di immagini nello spazio dei pixel in componenti a bassa e alta frequenza lungo l'intera pipeline. La metodologia consta di quattro innovazioni chiave:

1. Spazio degli Stati Decomposto in Frequenza e Interpolazione Eterogenea

Invece di trattare l'immagine $x_t$ come un singolo stato omogeneo, FREPix riparametrizza lo stato utilizzando una Trasformata Wavelet Discreta (DWT) ortonormale, $W$. L'immagine viene decomposta in un sottostato a bassa frequenza $l_t$ (struttura) e un sottostato ad alta frequenza $h_t$ (dettaglio).
Crucialmente, il framework assegna percorsi di interpolazione eterogenei a questi sottostati. Invece di applicare un unico programma condiviso a tutte le frequenze, FREPix definisce programmi separati strettamente crescenti, $g_l(t)$ e $g_h(t)$, per le componenti a bassa e alta frequenza:
$$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$$
$$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$$
Ciò permette alle dinamiche di trasporto di riflettere l'asimmetria naturale della formazione dell'immagine, dove la struttura globale viene stabilita prima che i dettagli fini vengano raffinati. Gli autori dimostrano che questa interpolazione eterogenea è un'estensione razionale del matching di flusso standard, preservando la validità dell'equazione di continuità e la capacità di apprendimento.

2. Modellazione Generativa Fattorizzata tramite Disaccoppiamento Architettonico Esplicito

Per impedire che il trasporto decomposto collassi nuovamente in un problema di previsione unificato, FREPix impiega un'architettura esplicitamente disaccoppiata. L'obiettivo di generazione viene fattorizzato in due moduli specializzati:

• Predittore di Struttura ($f_\phi$): Un Diffusion Transformer (DiT) che prende il sottostato a bassa frequenza rumoroso $l_t$ e predice la componente a bassa frequenza pulita $\hat{l}$. Questo modulo cattura le dipendenze a lungo raggio e la semantica globale.
• Raffinatore di Dettagli ($g_\phi$): Un decoder leggero e privo di attenzione (adattato da DeCo) che prende il sottostato ad alta frequenza rumoroso $h_t$ e la struttura a bassa frequenza predetta $\hat{l}$ come condizione per predire la componente ad alta frequenza pulita $\hat{h}$.

Questo design trasforma la generazione "dal grezzo al fine" da una tendenza architettonica implicita in un principio di progettazione esplicito, imponendo una dipendenza condizionale in cui i dettagli ad alta frequenza sono generati sulla base della struttura a bassa frequenza stabilita.

3. Obiettivo di Matching di Flusso Allineato alle Frequenze

L'obiettivo di addestramento è allineato alla struttura decomposta. Il framework converte la previsione dell'immagine pulita della rete ($\hat{x}$) in un campo di velocità indotto basato sul percorso di interpolazione eterogeneo. Viene quindi definita una funzione di perdita consapevole della frequenza, applicando pesi dipendenti dal tempo $\lambda_l(t)$ e $\lambda_h(t)$ agli errori di velocità a bassa e alta frequenza rispettivamente:
$$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$$
Ciò permette al modello di riequilibrare la difficoltà di ottimizzazione nel tempo (ad esempio, dando priorità alla struttura a bassa frequenza all'inizio della traiettoria e al raffinamento ad alta frequenza in seguito) senza alterare il campo di velocità marginale target.

4. Funzioni di Perda Ausiliarie

L'obiettivo finale di addestramento combina la funzione di perdita di matching di flusso allineata alle frequenze con le funzioni di perdita di Allineamento delle Rappresentazioni (REPA) e le perdite percettive LPIPS per garantire la coerenza delle caratteristiche e il recupero dei pattern locali.

Risultati Chiave

FREPix è stato valutato sulla generazione di immagini da classe di ImageNet alle risoluzioni 256×256 e 512×512.

• Prestazioni: A 256×256, FREPix-XL (674M parametri) raggiunge un FID 1.91 e un IS di 295.6 dopo 320 epoche. A 512×512, raggiunge un FID 2.38 e un IS di 334.7. Questi risultati sono competitivi con i modelli all'avanguardia nello spazio dei pixel (ad es. DeCo, PixelDiT) e si avvicinano alle prestazioni dei modelli nello spazio latente, nonostante operino direttamente sui pixel.
• Efficienza di Addestramento: Il modello dimostra prestazioni elevate nelle prime fasi di addestramento. Dopo sole 80 epoche, raggiunge un FID di 2.29, superando altre baseline nello spazio dei pixel a stadi simili.
• Efficienza di Campionamento: FREPix eccelle nel regime a basso NFE (Numero di Valutazioni di Funzione). Sotto il campionamento Euleriano a 25 passi, raggiunge un FID di 2.59, superando significativamente DeCo (3.30) e PixNerd (3.28).
• Costo Computazionale: FREPix-XL opera a 230 GFLOPs per passaggio in avanti, un valore inferiore rispetto alla maggior parte dei metodi recenti nello spazio dei pixel (ad es. PixelFlow a 5818 GFLOPs) e competitivo con i modelli nello spazio latente (ad es. DiT a 238 GFLOPs), dimostrando un miglior compromesso qualità-calcolo.

Significato e Affermazioni

Il paper afferma che modellare esplicitamente l'eterogeneità in frequenza fornisce un pregiudizio induttivo più forte per la generazione end-to-end nello spazio dei pixel. Rendendo espliciti i ruoli distinti delle componenti a bassa e alta frequenza nello spazio degli stati, nel percorso di trasporto, nell'architettura e nell'obiettivo, FREPix trasforma il processo di generazione "dal grezzo al fine" da un comportamento emergente in un principio di progettazione vincolante.

Gli autori affermano che questo approccio:

1. Mitiga l'Intreccio in Frequenza: Disaccoppiando gli obiettivi di previsione, il modello riduce la dimensionalità effettiva e la complessità statistica che ogni ramo deve apprendere, come supportato dai loro limiti di generalizzazione.
2. Migliora l'Efficienza di Campionamento: Il design di trasporto eterogeneo è particolarmente benefico quando si campiona con pochi passi, suggerendo che allineare il percorso di interpolazione con l'ordine naturale di recupero delle frequenze dell'immagine accelera la convergenza.
3. Offre un'Alternativa Viabile allo Spazio Latente: FREPix dimostra che la generazione nello spazio dei pixel può raggiungere qualità competitiva senza il collo di bottiglia rappresentazionale dei VAE, mantenendo al contempo un'efficienza computazionale paragonabile ai metodi nello spazio latente.

Il paper conclude che l'eterogeneità in frequenza è una prospettiva utile per la progettazione di futuri modelli generativi nello spazio dei pixel, sebbene riconosca limitazioni riguardanti la specifica famiglia di programmi di interpolazione esplorata e la natura fissa della decomposizione wavelet utilizzata.