技術概要：トランスフォーマーを用いたスケーラブルな GAN（GAT）

1. 問題定義

スケーラビリティは、生成モデルにおける最近のブレークスルー（特に自己回帰型および拡散モデルファミリーにおいて）を牽引してきましたが、生成敵対ネットワーク（GAN）はこの点において未だ十分に探求されていません。GAN を拡張しようとする既存の試みは、真の体系的なスケーラビリティを実証するのではなく、特定のタスクに特化した広範な調整を伴う単一の大容量モデルに依存することが多いです。さらに、標準的な GAN の訓練は、規模を拡大する際に特定の障壁に直面します：

1. 初期層の未活用：大規模なトランスフォーマーベースのジェネレーターにおいて、初期層はしばしば非活性化し、画像合成への寄与が限定的になります。
2. 最適化の不安定性：ハイパーパラメータ（特に学習率）を同一に保ったまま、モデルの深さと幅を単純に増大させると、収束の失敗を招きます。より大きなモデルは、同じ学習率のもとでステップごとの出力変化が大きくなり、敏感な敵対的ダイナミクスを不安定化させます。

2. 手法

著者らは、スケーラビリティのための 2 つの主要な要素、すなわちコンパクトな変分オートエンコーダー（VAE）の潜在空間での訓練と、ジェネレーターおよびディスクリミネーターの両方への純粋なトランスフォーマーベース・アーキテクチャの活用を組み合わせた**Generative Adversarial Transformers（GAT）**というフレームワークを提案します。

2.1 アーキテクチャ

• 潜在空間：モデルは、事前学習済みで凍結された VAE（具体的には SD-VAE）の潜在空間で動作し、知覚的忠実度を維持しつつ計算負荷を軽減します。
• ジェネレーター：純粋なビジョン・トランスフォーマー（ViT）アーキテクチャです。潜在コード $z$ と条件 $c$ を入力とし、トランスフォーマーブロック（GAT ブロック）のスタックを介して処理し、アンパッチify層（線形デコーダー）を介して画像を出力します。安定性のために適応的正規化と LayerScale を採用しています。
• ディスクリミネーター：分類用の専用 [cls] トークンを備えた ViT バックボーンであり、これも LayerScale を利用しています。

2.2 スケーラビリティのための主要な革新

GAN のスケーリングにおける特定の失敗モードに対処するため、著者らは 2 つの主要なメカニズムを導入します：

A. マルチレベルノイズ摂動画像ガイダンス（MNG）
初期層が非活性化するのを防ぐため、ジェネレーターを $K$ 段階に分割し、各段階が中間出力 $\hat{x}_k$ を生成します。

• ノイズの階層：各中間出力は、深さとともに単調に減少する強度（$\alpha_1 < \alpha_2 < \dots < \alpha_K = 1$）のガウスノイズで摂動されます。
• 監督：すべての摂動された中間出力はディスクリミネーターへ転送されます。これにより、初期層は強いノイズ下で粗い構造を学習し、後続の層は弱いノイズ下で微細な詳細を洗練させることが強制されます。
• 効果：これは粗いものから細かいものへの洗練軌道を促進し、明示的な画像階層（MSG-GAN とは異なり）を必要とすることなく、すべての層が合成プロセスに能動的に寄与することを保証します。

B. 幅感知学習率スケーリング
異なるモデルサイズ間で安定した訓練ダイナミクスを維持するため、著者らは学習率（$\eta$）のスケーリング則を提案します。

• 原理：モデルの幅（チャネル次元 $C$）が増加すると、入力の実期待二乗ノルムが線形に増加し、固定された学習率に対してステップごとの出力更新が大きくなります。
• 規則：機能的更新の大きさを一定に保つため、学習率はチャネル次元に反比例して減少させるべきです：
  $$\eta_{adapt} = \eta_{base} \cdot \frac{C_{base}}{C_{model}}$$
• 効果：これにより、大規模モデルにおける発散を防ぎ、各スケールごとの手動ハイパーパラメータ調整の必要性を排除します。

C. 追加の目的関数

• 表現アライメント（REPA）：ディスクリミネーターは、実データに対する類似度損失を用いて、凍結されたビジョン・ファウンデーションモデル（VFM、例：DINOv2）とアライメントされます。これにより、ディスクリミネーターは意味的に豊かな特徴を学習し、より良い敵対的フィードバックを提供することが促されます。
• 敵対的損失：本フレームワークは、両側勾配ペナルティを備えた相対的ペアリング損失（近似 R3GAN）を使用します。

3. 主要な結果

著者らは、ImageNet-256 データセット上で Small（S）から Extra-Large（XL）までのモデルサイズにおいて GAT を検証しました。

• 最先端のパフォーマンス：GAT-XL/2 モデルは、わずか60 エポックで ImageNet-256 においてFID 2.18を達成しました。これは、MeanFlow-XL/2（FID 3.43）などの強力な 1-NFE（1 ステップ）ベースラインを大幅に上回るものであり、他の強力なベースライン（例：GigaGAN は 480 エポックが必要）と比較して 4 倍少ないエポック数で済みます。
• スケーラビリティ：パフォーマンスはモデルサイズが増加するにつれて（S $\to$ XL）単調に向上します。推論コスト（GFLOPs）と FID の間には強い負の相関（-0.95）があり、総訓練計算量についても同様の相関が見られ、べき乗則 $FID(C) \approx 3.52 \times 10^5 \cdot C^{-0.456}$ に従います。
• 効率性：GAT は GAN の単一ステップ推論の利点（1 NFE）を維持しており、同等の品質において多ステップ拡散モデル（例：DiT）と比較して推論時間で約 200 倍の高速化を実現します。
• アブレーション研究：
  • MNG を除去すると、初期層が非活性化し、パフォーマンスが低下します。
  • スケール全体で固定された学習率を使用すると、大規模モデルでは発散したり、小規模モデルでは収束が遅くなったりします。
  • REPA 目的関数はパフォーマンスを大幅に向上させ、拡散モデルからの技術が GAN へ効果的に転移することを示しています。
• 汎化性：本手法は、より高解像度（ImageNet-512）や異なるトークナイザー（FLUX-e2e）へ拡張可能であり、テキストから画像への生成（MS-COCO）および条件なし生成（FFHQ）をサポートします。

4. 意義と主張

本論文は、GAT が現代の拡散モデルおよび自己回帰モデルのパフォーマンスに匹敵しつつ、GAN の固有の利点を維持するスケーラブルな GAN フレームワークを確立したと主張します：

1. 単一ステップ推論：反復的なノイズ除去を伴わない高効率な生成。
2. 潜在空間操作：大規模化しても一貫性を保つ滑らかな潜在空間補間および意味的編集の実行能力。
3. データ効率：拡散モデルのベースラインと比較して、はるかに少ない訓練エポック数で最先端の結果を達成すること。

著者らは、この研究を「GAN のスケーリング」への一歩として位置づけ、適切なアーキテクチャ選択（純粋なトランスフォーマー）と最適化戦略（MNG および幅感知学習率）によって、敵対的学習を堅牢かつスケーラブルにできることを実証しています。これにより、拡散モデルと比較して GAN が本質的にスケーリング可能性に限界があるという考え方に挑戦しています。