Technische Samenvatting: Schaalbare GANs met Transformers (GAT)

1. Probleemstelling

Hoewel schaalbaarheid recente doorbraken in generatieve modellering heeft aangedreven (met name in autoregressieve en diffusiefamilies), blijven Generative Adversarial Networks (GANs) op dit punt onderbelicht. Bestaande pogingen om GANs te schalen vertrouwen vaak op enkele modellen met hoge capaciteit en uitgebreide taakspecifieke afstemming, in plaats van echte, systematische schaalbaarheid aan te tonen. Bovendien kent standaard GAN-training specifieke hindernissen bij opschaling:

1. Onderschatting van vroege lagen: In grote, op transformers gebaseerde generators worden vroege lagen vaak niet gebruikt en dragen ze marginaal bij aan de beeldsynthese.
2. Instabiliteit in optimalisatie: Het naïef vergroten van modeldiepte en -breedte terwijl hyperparameters (specifiek leersnelheden) identiek blijven, leidt tot convergentiefalen. Grotere modellen vertonen grotere outputveranderingen per stap onder dezelfde leersnelheid, wat de gevoelige adversariële dynamiek destabiliseert.

2. Methodologie

De auteurs stellen Generative Adversarial Transformers (GAT) voor, een raamwerk dat twee sleutelelementen voor schaalbaarheid combineert: training in een compacte Variational Autoencoder (VAE) latentruimte en het gebruik van puur op transformers gebaseerde architecturen voor zowel de generator als de discriminator.

2.1 Architectuur

• Latentruimte: Het model werkt in de latentruimte van een voorgetrainde, bevroren VAE (specifiek SD-VAE), wat de rekenlast verlaagt terwijl de perceptuele fideliteit behouden blijft.
• Generator: Een pure Vision Transformer (ViT) architectuur. Deze neemt een latent code $z$ en conditie $c$ op, verwerkt deze via een stapel transformer-blokken (GAT-blokken) en geeft beelden weer via een unpatchify-laag (lineaire decoder). Het maakt gebruik van adaptieve normalisatie en LayerScale voor stabiliteit.
• Discriminator: Een ViT-ruggengraat met een dedicated [cls]-token voor classificatie, eveneens gebruikmakend van LayerScale.

2.2 Belangrijkste innovaties voor schaalbaarheid

Om de specifieke faalmodi bij het opschalen van GANs aan te pakken, introduceren de auteurs twee primaire mechanismen:

A. Multi-level Noise-perturbed Image Guidance (MNG)
Om te voorkomen dat vroege lagen inactief worden, wordt de generator verdeeld in $K$ stadia, waarbij elk een tussenoutput $\hat{x}_k$ produceert.

• Ruishiërarchie: Elke tussenoutput wordt verstoord met Gaussische ruis met een sterkte die monotoon afneemt met de diepte ($\alpha_1 < \alpha_2 < \dots < \alpha_K = 1$).
• Supervisie: Alle verstoord tussenoutput worden naar de discriminator doorgestuurd. Dit dwingt vroege lagen om ruwe structuren te leren onder sterke ruis en latere lagen om fijne details te verfijnen onder zwakke ruis.
• Effect: Dit stimuleert een traject van grof-naar-fijn verfijning, waarbij ervoor wordt gezorgd dat alle lagen actief bijdragen aan het syntheseproces zonder een expliciete beeldhiërarchie te vereisen (in tegenstelling tot MSG-GAN).

B. Breedte-bewuste Leersnelheidsschaalverhouding
Om stabiele trainingsdynamiek te behouden over verschillende modelgroottes, stellen de auteurs een schaalregel voor de leersnelheid ($\eta$) voor.

• Principe: Naarmate de modelbreedte (kanaaldimensie $C$) toeneemt, groeit de verwachte kwadratische norm van inputs lineair, wat leidt tot grotere outputupdates per stap voor een vaste leersnelheid.
• Regel: De leersnelheid moet omgekeerd evenredig afnemen met de kanaaldimensie om de grootte van functionele updates constant te houden:
  $$\eta_{adapt} = \eta_{base} \cdot \frac{C_{base}}{C_{model}}$$
• Effect: Dit voorkomt divergentie in grotere modellen en elimineert de noodzaak voor handmatige hyperparameterafstemming voor elke schaal.

C. Aanvullende Doelstellingen

• Representatie-uitlijning (REPA): De discriminator wordt uitgelijnd met een bevroren Vision Foundation Model (VFM, bijv. DINOv2) met behulp van een vergelijkingsverlies op echte data. Dit moedigt de discriminator aan om semantisch rijke features te leren, wat betere adversariële feedback biedt.
• Adversariële Loss: Het raamwerk maakt gebruik van een relativistische koppelingsloss met tweezijdige gradiëntstraffen (benaderde R3GAN).

3. Belangrijkste Resultaten

De auteurs valideren GAT over modelgroottes van Small (S) tot Extra-Large (XL) op het ImageNet-256-dataset.

• State-of-the-Art Prestaties: Het GAT-XL/2-model bereikt een FID van 2,18 op ImageNet-256 in slechts 60 epochen. Dit is een aanzienlijke verbetering ten opzichte van sterke 1-NFE (één-staps) baselines zoals MeanFlow-XL/2 (FID 3,43) en vereist 4× minder epochen dan andere sterke baselines (bijv. GigaGAN vereist 480 epochen).
• Schaalbaarheid: De prestaties verbeteren monotoon naarmate de modelgrootte toeneemt (S $\to$ XL). Er is een sterke negatieve correlatie (-0,95) tussen inferentiekosten (GFLOPs) en FID, en een vergelijkbare correlatie voor totale trainingsrekenkracht, die een power law volgt: $FID(C) \approx 3,52 \times 10^5 \cdot C^{-0,456}$.
• Efficiëntie: GAT behoudt het voordeel van één-staps inferentie van GANs (1 NFE), wat ongeveer een 200× versnelling in inferentietijd biedt ten opzichte van meerstaps diffusiemodellen (bijv. DiT) bij vergelijkbare kwaliteit.
• Ablatiestudies:
  • Het verwijderen van MNG leidt tot inactieve vroege lagen en verslechterde prestaties.
  • Het gebruik van een vaste leersnelheid over schalen heen veroorzaakt divergentie in grotere modellen of trage convergentie in kleinere modellen.
  • De REPA-doelstelling verbetert de prestaties aanzienlijk, wat aantoont dat technieken uit diffusiemodellen effectief naar GANs over te dragen zijn.
• Generalisatie: De methode schaalt naar hogere resoluties (ImageNet-512) en verschillende tokenizers (FLUX-e2e) en ondersteunt tekst-naar-beeldgeneratie (MS-COCO) en onvoorwaardelijke generatie (FFHQ).

4. Betekenis en Beweringen

Het artikel beweert dat GAT succesvol een schaalbaar GAN-raamwerk vestigt dat de prestaties van moderne diffusie- en autoregressieve modellen evenaart, terwijl het de unieke voordelen van GANs behoudt:

1. Één-staps Inferentie: Hoog-efficiënte generatie zonder iteratieve denoising.
2. Latente Manipulatie: Het vermogen om soepele latente interpolatie en semantische bewerking uit te voeren, wat coherent blijft zelfs bij grote schalen.
3. Data-efficiëntie: Het behalen van state-of-the-art resultaten met aanzienlijk minder trainingsepochen in vergelijking met diffusiebaselines.

De auteurs positioneren dit werk als een stap richting "het opschalen van GANs", waarbij wordt aangetoond dat met de juiste architecturale keuzes (pure transformers) en optimalisatiestrategieën (MNG en breedte-bewuste leersnelheden), adversariële leerproces robuust en schaalbaar kan worden gemaakt. Dit daagt het idee uit dat GANs inherent beperkt zijn in hun schaalpotentieel in vergelijking met diffusiemodellen.