Technische Zusammenfassung: Skalierbare GANs mit Transformern (GAT)

1. Problemstellung

Während Skalierbarkeit jüngste Durchbrüche in der generativen Modellierung vorangetrieben hat (insbesondere bei autoregressiven und Diffusions-Modellfamilien), bleiben Generative Adversarial Networks (GANs) in dieser Hinsicht weitgehend unerforscht. Bestehende Versuche, GANs zu skalieren, stützen sich häufig auf einzelne, hochkapazitive Modelle mit umfangreichen aufgaben spezifischen Anpassungen, anstatt eine echte, systematische Skalierbarkeit nachzuweisen. Darüber hinaus stehen Standard-GAN-Trainingsverfahren beim Hochskalieren vor spezifischen Hürden:

1. Unterauslastung früher Schichten: In großen, transformerbasierten Generatoren werden frühe Schichten oft nicht genutzt und tragen nur marginal zur Bildsynthese bei.
2. Optimierungsinstabilität: Eine naive Erhöhung der Modelltiefe und -breite bei Beibehaltung identischer Hyperparameter (insbesondere der Lernraten) führt zu Konvergenzfehlern. Größere Modelle weisen unter derselben Lernrate größere Ausgabeänderungen pro Schritt auf, was die empfindlichen adversariellen Dynamiken destabilisiert.

2. Methodik

Die Autoren schlagen Generative Adversarial Transformers (GAT) vor, ein Framework, das zwei Schlüsselkomponenten für Skalierbarkeit kombiniert: Training in einem kompakten latenten Raum eines Variational Autoencoders (VAE) und die Verwendung rein transformerbasierter Architekturen sowohl für den Generator als auch für den Diskriminator.

2.1 Architektur

• Latenter Raum: Das Modell operiert im latenten Raum eines vortrainierten, eingefrorenen VAE (speziell SD-VAE), was die Rechenlast reduziert und gleichzeitig die wahrgenommene Fidelität bewahrt.
• Generator: Eine reine Vision Transformer (ViT)-Architektur. Er nimmt einen latenten Code $z$ und eine Bedingung $c$ entgegen, verarbeitet diese durch einen Stapel von Transformer-Blöcken (GAT-Blöcken) und gibt Bilder über eine Unpatchify-Schicht (linearer Decoder) aus. Er nutzt adaptive Normalisierung und LayerScale für Stabilität.
• Diskriminator: Ein ViT-Rückgrat mit einem dedizierten [cls]-Token für die Klassifizierung, das ebenfalls LayerScale verwendet.

2.2 Schlüsselinnovationen für Skalierbarkeit

Um die spezifischen Fehlermodi beim Skalieren von GANs zu adressieren, führen die Autoren zwei primäre Mechanismen ein:

A. Mehrstufige, durch Rauschen gestörte Bildführung (MNG)
Um zu verhindern, dass frühe Schichten inaktiv werden, wird der Generator in $K$ Stufen unterteilt, die jeweils eine Zwischenausgabe $\hat{x}_k$ erzeugen.

• Rausch-Hierarchie: Jede Zwischenausgabe wird mit Gaußschem Rauschen gestört, dessen Stärke mit der Tiefe monoton abnimmt ($\alpha_1 < \alpha_2 < \dots < \alpha_K = 1$).
• Überwachung: Alle gestörten Zwischenausgaben werden an den Diskriminator weitergeleitet. Dies zwingt frühe Schichten, grobe Strukturen unter starkem Rauschen zu lernen, und spätere Schichten, feine Details unter schwachem Rauschen zu verfeinern.
• Effekt: Dies fördert eine grob-zu-fein Verfeinerungstrajektorie und stellt sicher, dass alle Schichten aktiv zum Syntheseprozess beitragen, ohne eine explizite Bildhierarchie zu benötigen (im Gegensatz zu MSG-GAN).

B. Breitebewusste Lernraten-Skalierung
Um stabile Trainingsdynamiken über verschiedene Modellgrößen hinweg aufrechtzuerhalten, schlagen die Autoren eine Skalierungsregel für die Lernrate ($\eta$) vor.

• Prinzip: Mit zunehmender Modellbreite (Kanaldimension $C$) wächst die erwartete quadratische Norm der Eingaben linear, was bei fester Lernrate zu größeren Ausgabeupdates pro Schritt führt.
• Regel: Die Lernrate sollte invers zur Kanaldimension abnehmen, um die Größe der funktionalen Updates konstant zu halten:
  $$\eta_{adapt} = \eta_{base} \cdot \frac{C_{base}}{C_{model}}$$
• Effekt: Dies verhindert Divergenz bei größeren Modellen und eliminiert die Notwendigkeit manueller Hyperparameteranpassungen für jede Skalierung.

C. Zusätzliche Ziele

• Repräsentationsausrichtung (REPA): Der Diskriminator wird mit einem eingefrorenen Vision Foundation Model (VFM, z. B. DINOv2) unter Verwendung einer Ähnlichkeitsverlustfunktion auf realen Daten ausgerichtet. Dies regt den Diskriminator an, semantisch reiche Merkmale zu lernen und liefert bessere adversarielle Rückmeldungen.
• Adversarieller Verlust: Das Framework verwendet einen relativistischen Paarungsverlust mit zweiseitigen Gradientenstrafen (approximiertes R3GAN).

3. Schlüsselresultate

Die Autoren validieren GAT über Modellgrößen von Klein (S) bis Extra-Large (XL) auf dem ImageNet-256-Datensatz.

• State-of-the-Art-Leistung: Das GAT-XL/2-Modell erreicht einen FID von 2,18 auf ImageNet-256 in nur 60 Epochen. Dies ist eine signifikante Verbesserung gegenüber starken 1-NFE (ein-Schritt)-Baselines wie MeanFlow-XL/2 (FID 3,43) und erfordert 4-mal weniger Epochen als andere starke Baselines (z. B. benötigt GigaGAN 480 Epochen).
• Skalierbarkeit: Die Leistung verbessert sich monoton mit zunehmender Modellgröße (S $\to$ XL). Es besteht eine starke negative Korrelation (-0,95) zwischen Inferenzkosten (GFLOPs) und FID sowie eine ähnliche Korrelation für die gesamte Trainingsrechenleistung, die einem Potenzgesetz folgt: $FID(C) \approx 3,52 \times 10^5 \cdot C^{-0,456}$.
• Effizienz: GAT behält den Vorteil der einstufigen Inferenz von GANs (1 NFE) bei und bietet bei vergleichbarer Qualität eine etwa 200-fache Beschleunigung der Inferenzzeit gegenüber mehrstufigen Diffusionsmodellen (z. B. DiT).
• Ablationsstudien:
  • Das Entfernen von MNG führt zu inaktiven frühen Schichten und verschlechterter Leistung.
  • Die Verwendung einer festen Lernrate über alle Skalen hinweg führt bei größeren Modellen zu Divergenz oder bei kleineren zu langsamer Konvergenz.
  • Das REPA-Ziel steigert die Leistung signifikant und zeigt, dass Techniken aus Diffusionsmodellen effektiv auf GANs übertragen werden können.
• Generalisierung: Die Methode skaliert auf höhere Auflösungen (ImageNet-512) und verschiedene Tokenizer (FLUX-e2e) und unterstützt Text-zu-Bild-Generierung (MS-COCO) sowie unbedingte Generierung (FFHQ).

4. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GAT erfolgreich ein skalierbares GAN-Framework etabliert, das mit der Leistung moderner Diffusions- und autoregressiver Modelle konkurrieren kann, während es die einzigartigen Vorteile von GANs bewahrt:

1. Einstufige Inferenz: Hocheffiziente Generierung ohne iterative Denoisierung.
2. Latente Manipulation: Die Fähigkeit, glatte latente Interpolationen und semantische Bearbeitungen durchzuführen, die auch bei großen Skalen kohärent bleiben.
3. Dateneffizienz: Erreichen von State-of-the-Art-Ergebnissen mit deutlich weniger Trainingsepochen im Vergleich zu Diffusionsbaselines.

Die Autoren positionieren diese Arbeit als einen Schritt hin zur „Skalierung von GANs" und zeigen, dass durch die richtigen architektonischen Entscheidungen (reine Transformer) und Optimierungsstrategien (MNG und breitebewusste Lernraten) adversarielles Lernen robust und skalierbar gemacht werden kann. Dies stellt die Vorstellung in Frage, dass GANs im Vergleich zu Diffusionsmodellen inhärent in ihrem Skalierungspotenzial begrenzt sind.