技術的サマリー：GAN 訓練のためのクロススケール整合性のある教師あり学習

1. 問題提起

本論文は、現代の多段階生成敵対ネットワーク（GAN）における標準的なスケールごとの敵対的教師あり学習の解釈に存在する根本的な欠陥に取り組む。こうしたアーキテクチャはしばしば「粗いものから細かいものへ」の階層的生成として記述されるが、著者らは、これらが適切な階層構造を構築できていないと主張する。

核心的な問題はクロススケール軌道の不一致として特定される：

• 独立した最適化：標準的なスケールごとの教師あり学習では、各中間生成器出力（$x_k$）は、その解像度における識別器によって独立して評価される。敵対的勾配は各段階をその解像度におけるある現実的なモードへと押しやるが、出力が最終出力と同じサンプル軌道を表すように制約するものではない。
• 洗練の欠如：中間画像 $x_k$ は現実性のために最適化されるが、次の段階（生成器特徴量 $f_k$ を介して進行する）の明示的な洗練ターゲットとして強制されないため、後続の段階は前の出力から逸脱する可能性がある。画像を段階的に洗練する代わりに、後の段階はサンプルを完全に「書き換え」、異なる現実的なモードへと収束する可能性がある。
• 結果：これにより、個別的には現実的であるが互いに不整合な中間画像が生じ、意図された「粗いものから細かいものへ」の生成プロセスが破綻する。著者らは、標準的な教師あり学習の下では、中間出力と最終出力の間の不一致が依然として大きく、段階間の書き換えは断続的ではなく実質的であることを実証する。

2. 手法：CAT（クロススケール整合トランスフォーマー）

軌道の不一致を解決するため、著者らはCATを提案する。これは、スケールごとの敵対的フィードバックの恩恵を維持しつつ、クロススケールの一貫性を強制するフレームワークである。

中核コンポーネント

1. スケールごとの識別器：

   • 識別器はスケールごとであり、各中間出力（$x_k$）を独自の解像度で評価する。
   • クロススケール情報の漏洩なしに厳密なスケールごとの識別を確保するため、著者らは共有トランスフォーマー識別器内でブロック対角アテンションマスクを採用する。これにより、スケール $k$ のトークンは同じスケールのトークンのみにアテンションを向け、識別器が現実性を判断する際にクロススケールの互換性に依存することを防ぐ。

2. 生成器側の整合性正則化：

   • 主な革新は、生成器の目的関数に追加される単純な整合性損失である。
   • 別の現実性目的を追加するのではなく、この損失は中間段階の出力（$h_k$）を最終段階の出力（$h_K$）と整合させる。
   • 損失は以下のように定義される：
     $$L_{cons} = \frac{1}{K} \sum_{k=0}^{K-1} w_k \|h_k - h_K\|_2^2$$
   • 重み付け戦略：重み $w_k$ は、低解像度（粗い）段階ほど制約が弱くなるようにスケーリングされる。これは、粗い出力は本質的に曖昧である（多くの高解像度サンプルが同じ低解像度構造を共有しうる）ことを考慮しており、損失が初期段階に過度に厳格な点対点の制約を課すことを防ぎつつ、それらが同じサンプル軌道上に留まることを保証する。

3. 訓練目的：
   生成器は以下を最小化するように訓練される：
   $$L_G = L_{adv} + \lambda_{cons} L_{cons}$$
   ここで、$L_{adv}$ は標準的なスケールごとの敵対的損失であり、$\lambda_{cons}$ はハイパーパラメータ（実験では 0.1 に設定）である。

3. 主要な貢献

• 不一致の特定：本論文は、標準的なスケールごとの敵対的教師あり学習が本質的に「粗いものから細かいものへ」の階層を生成しないことを示す厳密な分析を提供する。また、標準的な手法が整合的なサンプル軌道を維持する失敗を定量化するための指標（不一致 $\delta_k$、書き換えの大きさ $R_k$、および方向整合性 $A_k$）を導入する。
• CAT アーキテクチャ：識別器のスケールごとのフィードバックを生成器の軌道整合から分離する手法の提案。識別器をスケールごとのままに保ち、生成器側に整合性を追加することで、中間出力が最終サンプルを支援し、切断された側面予測を最適化するのではなく、最終サンプルを支援することを保証する。
• 効率性と性能：本手法は、既存のワンステップベースラインと比較して、大幅に少ない訓練エポックと計算リソースで最先端の結果を達成する。

4. 実験結果

実験は、SD-VAE の潜在空間におけるImageNet-256（256×256 解像度）で行われた。

• 性能：CAT-H/2モデルは、わずか60 訓練エポックでFID-50K 1.56を達成する。
  • これは強力なワンステップ GAN ベースライン（例：FID 2.18 の GAT-XL/2）および競争力のあるワンステップ拡散/フローモデル（例：FID 1.72 の iMF-XL/2）を上回る。
  • 注目すべきは、CAT-H/2 が iMF-XL/2 ベースライン（800 エポック）と比較して約 13 倍少ない訓練エポック（60 対 800）でこれを達成していることである。
• 計算効率：
  • CAT-H/2 は、サンプルあたりの反復あたりの訓練に1,040.2 GFLOPsを必要とするのに対し、GAT-XL/2 は2,297.2 GFLOPs、iMF-XL/2 は1,306.3 GFLOPsを必要とする。
  • これは、より低い総訓練計算量（iMF-XL/2 より約 16.7 倍少ない訓練 GFLOPs）でより良い FID を達成することを意味する。
• アブレーション研究：
  • 整合性損失（$L_{cons}$）を除去すると、性能が大幅に低下する（例：Medium モデルにおいて 40 エポックで FID が 1.93 から 3.00 に増加）。
  • 分析は、$L_{cons}$ を追加することが不一致（$\delta_k$）と書き換えの大きさ（$R_k$）を減少させ、方向整合性（$A_k$）を増加させることを確認しており、この手法がクロススケール軌道整合を成功裏に強制していることを裏付けている。
• 定性的結果：キュレーションされていないサンプルは、さまざまなカテゴリにわたって多様で高忠実度の画像を示し、潜在空間補間により滑らかな遷移が示される。

5. 意義と主張

本論文は、生成器側のクロススケール整合性が、トランスフォーマーベースの GAN をスケーリングするための、以前は見落とされていた重要な原理であると主張する。

• 階層的教師あり学習の再評価：この研究は、スケールごとの敵対的教師あり学習のみが階層的生成に十分であるという仮定に挑戦する。明示的な整合性なしには、多段階 GAN は軌道の不一致に陥り、不整合な洗練をもたらすと提唱する。
• 競争力のあるワンステップ生成：結果は、階層的敵対的教師あり学習が適切に組織化されている場合（整合性正則化を介して）、トランスフォーマーベースの GAN は、品質と訓練効率の両面で拡散モデルやフローベースモデルと競合し、あるいは凌駕する、極めて競争力のあるワンステップ生成モデルとなり得ることを示唆する。
• スケーラビリティ：この手法は、クロススケールの一貫性が生成器側で強制される限り、高品質な生成を達成するために識別器の容量を生成器に比例してスケーリングする必要がないことを実証する。

著者らは、このアプローチが効率的で高品質な画像合成のための新たな方向性を提供すると結論付けているが、手動で指定されたスケール階層への依存や、生成器と識別器の容量バランスのさらなる体系的な分析の必要性といった限界も認めている。