Riepilogo Tecnico: GAN Scalabili con Trasformatori (GAT)

1. Enunciato del Problema

Sebbene la scalabilità abbia guidato le recenti scoperte nella modellazione generativa (in particolare nelle famiglie autoregressive e di diffusione), le Reti Adversariali Generative (GAN) rimangono poco esplorate sotto questo aspetto. I tentativi esistenti di scalare le GAN spesso si affidano a singoli modelli ad alta capacità con un'esteso adattamento specifico per il compito, piuttosto che dimostrare una vera e propria scalabilità sistematica. Inoltre, l'addestramento standard delle GAN incontra ostacoli specifici quando si scala:

1. Sottoutilizzo dei Livelli Iniziali: Nei generatori basati su trasformatori di grandi dimensioni, i livelli iniziali diventano spesso inattivi, contribuendo marginalmente alla sintesi delle immagini.
2. Instabilità dell'Ottimizzazione: Aumentare in modo ingenuo la profondità e la larghezza del modello mantenendo gli iperparametri (in particolare i tassi di apprendimento) identici porta a fallimenti nella convergenza. I modelli più grandi mostrano variazioni maggiori nell'output per passo sotto lo stesso tasso di apprendimento, destabilizzando le dinamiche avversarie sensibili.

2. Metodologia

Gli autori propongono i Generative Adversarial Transformers (GAT), un framework che combina due ingredienti chiave per la scalabilità: l'addestramento in uno spazio latente di un Variational Autoencoder (VAE) compatto e l'utilizzo di architetture puramente basate su trasformatori sia per il generatore che per il discriminatore.

2.1 Architettura

• Spazio Latente: Il modello opera nello spazio latente di un VAE pre-addestrato e congelato (nello specifico SD-VAE), riducendo il carico computazionale preservando al contempo la fedeltà percettiva.
• Generatore: Un'architettura pura Vision Transformer (ViT). Prende in input un codice latente $z$ e una condizione $c$, li elabora attraverso uno stack di blocchi trasformatori (blocchi GAT) e produce immagini tramite un livello di unpatchify (decodificatore lineare). Impiega normalizzazione adattiva e LayerScale per la stabilità.
• Discriminatore: Un backbone ViT con un token dedicato [cls] per la classificazione, che utilizza anch'esso LayerScale.

2.2 Innovazioni Chiave per la Scalabilità

Per affrontare le modalità di fallimento specifiche della scalabilità delle GAN, gli autori introducono due meccanismi principali:

A. Guida Immagine Perturbata da Rumore a Multi-livello (MNG)
Per prevenire che i livelli iniziali diventino inattivi, il generatore è diviso in $K$ stadi, ciascuno producendo un output intermedio $\hat{x}_k$.

• Gerarchia del Rumore: Ogni output intermedio è perturbato da rumore gaussiano con una forza che diminuisce monotonicamente con la profondità ($\alpha_1 < \alpha_2 < \dots < \alpha_K = 1$).
• Supervisione: Tutti gli output intermedi perturbati vengono inoltrati al discriminatore. Questo costringe i livelli iniziali ad apprendere strutture grezze sotto rumore forte e i livelli successivi a rifinire i dettagli fini sotto rumore debole.
• Effetto: Ciò favorisce una traiettoria di raffinamento da grezzo a fine, garantendo che tutti i livelli contribuiscano attivamente al processo di sintesi senza richiedere una gerarchia esplicita delle immagini (a differenza di MSG-GAN).

B. Scalabilità del Tasso di Apprendimento Consapevole della Larghezza
Per mantenere dinamiche di addestramento stabili tra diverse dimensioni del modello, gli autori propongono una regola di scalatura per il tasso di apprendimento ($\eta$).

• Principio: All'aumentare della larghezza del modello (dimensione del canale $C$), la norma quadrata attesa degli input cresce linearmente, causando aggiornamenti maggiori nell'output per passo per un tasso di apprendimento fisso.
• Regola: Il tasso di apprendimento dovrebbe diminuire inversamente alla dimensione del canale per mantenere costante la magnitudine degli aggiornamenti funzionali:
  $$\eta_{adapt} = \eta_{base} \cdot \frac{C_{base}}{C_{model}}$$
• Effetto: Ciò previene la divergenza nei modelli più grandi ed elimina la necessità di un adattamento manuale degli iperparametri per ogni scala.

C. Obiettivi Aggiuntivi

• Allineamento delle Rappresentazioni (REPA): Il discriminatore è allineato con un Modello Fondamentale Visivo (VFM) congelato (ad es. DINOv2) utilizzando una perdita di similarità sui dati reali. Ciò incoraggia il discriminatore ad apprendere caratteristiche semanticamente ricche, fornendo un feedback avversario migliore.
• Perdita Adversaria: Il framework utilizza una perdita di accoppiamento relativistica con penalità del gradiente a due lati (R3GAN approssimato).

3. Risultati Chiave

Gli autori validano GAT su diverse dimensioni di modello, da Small (S) a Extra-Large (XL), sul dataset ImageNet-256.

• Prestazioni allo Stato dell'Arte: Il modello GAT-XL/2 raggiunge un FID di 2.18 su ImageNet-256 in sole 60 epoche. Questo rappresenta un miglioramento significativo rispetto a forti baseline a 1-NFE (un passo) come MeanFlow-XL/2 (FID 3.43) e richiede 4 volte meno epoche rispetto ad altre baseline forti (ad es. GigaGAN richiede 480 epoche).
• Scalabilità: Le prestazioni migliorano monotonicamente all'aumentare della dimensione del modello (S $\to$ XL). Esiste una forte correlazione negativa (-0.95) tra il costo di inferenza (GFLOPs) e il FID, e una correlazione simile per il calcolo totale di addestramento, seguendo una legge di potenza: $FID(C) \approx 3.52 \times 10^5 \cdot C^{-0.456}$.
• Efficienza: GAT mantiene il vantaggio dell'inferenza in un singolo passo delle GAN (1 NFE), offrendo un'accelerazione di circa 200 volte nel tempo di inferenza rispetto ai modelli di diffusione multi-passo (ad es. DiT) a parità di qualità.
• Studi di Ablazione:
  • Rimuovere MNG porta a livelli iniziali inattivi e prestazioni degradate.
  • Utilizzare un tasso di apprendimento fisso tra le scale causa divergenza nei modelli più grandi o convergenza lenta in quelli più piccoli.
  • L'obiettivo REPA migliora significativamente le prestazioni, dimostrando che le tecniche dai modelli di diffusione si trasferiscono efficacemente alle GAN.
• Generalizzazione: Il metodo scala a risoluzioni più elevate (ImageNet-512) e a diversi tokenizzatori (FLUX-e2e) e supporta la generazione testo-immagine (MS-COCO) e la generazione incondizionata (FFHQ).

4. Significato e Affermazioni

Il documento afferma che GAT stabilisce con successo un framework GAN scalabile che rivaleggia con le prestazioni dei moderni modelli di diffusione e autoregressivi, mantenendo al contempo i vantaggi unici delle GAN:

1. Inferenza in Un Passo: Generazione ad alta efficienza senza denoising iterativo.
2. Manipolazione Latente: La capacità di eseguire interpolazioni latenti fluide e editing semantico, che rimane coerente anche su larga scala.
3. Efficienza dei Dati: Raggiungere risultati allo stato dell'arte con significativamente meno epoche di addestramento rispetto alle baseline di diffusione.

Gli autori posizionano questo lavoro come un passo verso la "scalabilità delle GAN", dimostrando che con le scelte architetturali giuste (trasformatori puri) e le strategie di ottimizzazione (MNG e tassi di apprendimento consapevoli della larghezza), l'apprendimento avversario può essere reso robusto e scalabile, sfidando la nozione secondo cui le GAN sono intrinsecamente limitate nel loro potenziale di scalabilità rispetto ai modelli di diffusione.