Frequency Autoregressive Image Generation with Continuous Tokens

1. Il Problema

I modelli autoregressivi (AR) per la generazione di immagini hanno finora adottato un paradigma a due stadi ispirato al successo dei modelli linguistici (LLM):

1. Quantizzazione vettoriale (VQ): Discretizzazione dei dati immagine in un vocabolario finito e discreto.
2. Predizione del prossimo token: Flattening dei token in una sequenza 1D e previsione sequenziale (spesso in ordine raster).

Tuttavia, questo approccio presenta limiti fondamentali dovuti al divario tra le modalità testo e immagine:

• Formato del Token: Le immagini sono intrinsecamente continue, mentre la quantizzazione introduce una significativa perdita di informazioni.
• Direzione di Regressione: L'ordine raster (riga per riga) o casuale viola la causalità naturale delle immagini e distrugge la località spaziale, poiché i token adiacenti nello spazio 2D non sono necessariamente adiacenti nella sequenza 1D.
• Efficienza: I metodi AR tradizionali richiedono un numero di passi di inferenza pari alla lunghezza della sequenza (spesso migliaia), rendendoli lenti rispetto ai modelli diffusion.

2. Metodologia: Il Paradigma FAR

Gli autori propongono FAR (Frequency Autoregressive), un nuovo paradigma che allinea la generazione autoregressiva alle proprietà intrinseche dei dati visivi.

A. Dipendenza Spettrale e Predizione "Next-Frequency"

Invece di prevedere token uno per uno o per scale, FAR sfrutta la dipendenza spettrale: le immagini sono costruite gerarchicamente, dove le componenti ad alta frequenza (dettagli, texture) si basano su quelle a bassa frequenza (struttura, forma, colori).

• Processo: L'immagine viene decomposta in $F$ livelli di frequenza tramite trasformata di Fourier.
• Generazione: Il modello genera autoregressivamente attraverso i livelli di frequenza crescenti (dal basso verso l'alto).
  • Livello 1: Solo le frequenze più basse (struttura globale).
  • Livello $F$: Tutte le frequenze (immagine completa).
• Vantaggio: Questo soddisfa i requisiti di causalità dell'AR (i dettagli dipendono dalla struttura) e preserva la località spaziale, poiché all'interno di ogni livello di frequenza il modello predice tutti i token simultaneamente (usando attenzione bidirezionale).

B. Integrazione con Token Continui

FAR utilizza token continui invece di quelli discreti per ridurre la perdita di informazioni. Per gestire le sfide dell'ottimizzazione con token continui, vengono introdotte diverse tecniche:

1. Semplificazione della Modellazione della Distribuzione (Diffusion Loss): Invece di modellare direttamente la distribuzione condizionata complessa $p(x_{i+1} | x_i)$, il modello predice l'immagine completa $x$ condizionata al livello corrente $x_i$, filtrando poi il risultato per ottenere il livello successivo. Questo semplifica l'ottimizzazione per le piccole reti MLP.
2. Strategia di Loss Frequenziale (FTL): Poiché i livelli ad alta frequenza sono più facili da prevedere, viene applicato un peso alla loss a forma di seno che aumenta progressivamente per i livelli ad alta frequenza, bilanciando l'apprendimento.
3. Meccanismo di Mascheramento (Mask): Per ridurre i costi di training e aumentare la diversità, durante l'addestramento una parte dei token dei livelli precedenti viene mascherata, costringendo il modello a imparare a ricostruire le informazioni mancanti.
4. Campionamento Diffusion Consapevole della Frequenza: Durante l'inferenza, vengono utilizzati meno passi di campionamento diffusion per i livelli a bassa frequenza (che sono più semplici), riducendo drasticamente il tempo di inferenza totale.

3. Contributi Chiave

• Nuovo Paradigma AR: Introduzione della predizione "next-frequency" basata sulla dipendenza spettrale, che risolve il conflitto tra causalità AR e priorità spaziali delle immagini.
• Token Continui Efficienti: Dimostrazione che i token continui, combinati con un'architettura AR specifica (FAR), superano i limiti della quantizzazione senza sacrificare l'efficienza.
• Efficienza Estrema: Riduzione dei passi di inferenza da $O(n^2)$ (sequenza completa) a $O(F)$ (numero di livelli di frequenza), tipicamente solo 10 passi per immagini ad alta risoluzione.
• Scalabilità: Il metodo scala efficacemente sia aumentando le dimensioni del modello che i passi di inferenza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet (generazione condizionata alla classe) e JourneyDB/MS-COCO (text-to-image).

• Qualità di Generazione (ImageNet 256x256):

  • FAR-H (791M parametri) ottiene un FID di 3.21 e un IS di 300.6 in soli 10 passi.
  • Confronto con lo stato dell'arte: Supera o è comparabile a metodi come LlamaGen, VAR e MAR, ma con un numero di passi di inferenza drasticamente inferiore (es. MAR richiede 256 passi, VAR 10 ma con token discreti e limitazioni).
  • Il leggero ritardo nel FID rispetto ad alcuni modelli diffusion è attribuito a una diversità leggermente inferiore (Recall), ma la qualità strutturale è eccellente.

• Text-to-Image:

  • FAR dimostra un'ottima allineamento con il prompt e alta qualità visiva.
  • Utilizza risorse di training e inferenza significativamente inferiori rispetto a modelli come DALL-E 2, SD3 o Parti, pur ottenendo risultati competitivi.

• Ablation Study:

  • La rimozione della semplificazione della loss o della strategia di pesatura frequenziale degrada le prestazioni.
  • Il meccanismo di mascheramento è cruciale per migliorare la diversità delle generazioni (migliorando il FID).
  • La combinazione diretta di VAR (predizione multi-scala) con token continui fallisce, confermando la necessità dell'approccio basato sulla frequenza di FAR.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma fondamentale per la generazione di immagini autoregressiva:

1. Superamento del Vincolo della Quantizzazione: Dimostra che non è necessario discretizzare le immagini per usare modelli AR, aprendo la strada a una generazione più fedele e priva di artefatti da quantizzazione.
2. Efficienza Computazionale: Riducendo i passi di inferenza a un numero costante e basso (legato ai livelli di frequenza), FAR rende i modelli AR competitivi in velocità con i modelli diffusion, eliminando il collo di bottiglia della sequenzialità.
3. Unificazione Vision-Language: Fornisce una base solida per l'integrazione di visione e linguaggio in un'unica architettura AR, sfruttando la causalità naturale dei dati visivi (dalla struttura al dettaglio) invece di forzare un ordine artificiale (raster).

In sintesi, FAR offre un approccio più "naturale" ed efficiente per la generazione di immagini, combinando la potenza predittiva dei transformer con la struttura gerarchica delle frequenze spaziali e la precisione dei token continui.