技術概要：球潜在エンコーダによる効率的な画像合成

問題定義

数ステップでの画像生成は、一貫性（consistency）および平均流（meanflow）に基づく手法を通じて大幅に進展したが、これらのアプローチはしばしば学習の不安定性、ハイパーパラメータへの感度、および最適化目的の内在的な競合に悩まされている。代替手段として、Sphere Encoder [40] は、潜在表現を超球面上に射影することで数ステップで高品質な生成を実現する。しかし、Sphere Encoder フレームワークには 2 つの重大な限界が存在する：

1. 計算的非効率性: 生成プロセスは、各サンプリングステップにおいてピクセル空間と潜在空間間の反復的な遷移（画像へのデコード、その後再エンコード）を必要とする。これは学習および推論の両方で著しい計算オーバーヘッドをもたらす。
2. 目的の競合: このフレームワークは、単一のエンコーダ・デコーダアーキテクチャ内で再構成と生成を同時に最適化する。先行研究は、これらのタスクが異なる表現を好むことを示唆している。例えば、ノイズレベルの低下は再構成を改善するが、超球面のカバレッジを減少させることで生成性能を劣化させる。この緊張関係は、サンプル品質を維持するために大規模なアーキテクチャの使用を強いる。

手法

著者は、反復的なピクセル空間操作を排除するために再構成から生成を分離するSphere Latent Encoderを提案する。中核的な革新は、固定された球状潜在空間内で生成プロセス全体を実行することにある。

アーキテクチャ

本手法は 3 つの主要なコンポーネントから構成される：

1. 固定画像トークナイザ: 事前学習された表現オートエンコーダ（RAE）[43] を固定エンコーダ（$E$）およびデコーダ（$D$）として使用する。DINOv2 に基づくエンコーダは画像を潜在表現にマッピングし、デコーダは画像を再構成する。このコンポーネントは学習中に固定される。
2. 潜在デノイズモデル: 専用に変化を伴うトランスフォーマーベースのデノイズネットワーク（$G$、SiT アーキテクチャ [25] を利用）が、潜在空間のみにて動作する。これはノイズの付いた球状潜在を入力とし、クリーンな潜在を予測する。
3. 球面射影: 潜在表現は、RMSNorm ベースの球面化関数（$F$）を用いて超球面上に射影され、均一な潜在構造を確保する。

学習目的

ピクセル空間で損失を計算する Sphere Encoder と異なり、Sphere Latent Encoder は効率向上のためにすべての監督信号を潜在空間へシフトする。学習には、異なるスケールでガウスノイズを加えて生成された 2 つのノイズ付き球状潜在、$v_{NOISY}$ および $v_{noisy}$ が関与する。

• 再構成損失（$L_{recon}$）: 予測されたクリーン潜在 $G(v_{noisy})$ と真のクリーン潜在 $z$ 間の $\ell_1$ 損失およびコサイン類似度損失を組み合わせる。これにより、デノイズされた潜在をクリーンな表現と整合させる。
• 一貫性損失（$L_{cons}$）: 異なるノイズレベル（$v_{NOISY}$ および $v_{noisy}$）からの予測間の整合性を強制する。低ノイズ潜在からの予測は、超球面上の局所的な滑らかさを促進するために、固定ターゲット（ストップグラディエント経由）として扱われる。
• 潜在一貫性損失の除去: 著者は、Sphere Encoder で使用されていた潜在一貫性損失（デコードされた画像を再エンコードするもの）を明示的に除去する。これは、分離された設定において性能を向上させることなく計算オーバーヘッドを追加するだけであることが判明したためである。

サンプリング手順

サンプリングは完全に潜在空間内で実行される（アルゴリズム 1）：

1. ガウス分布から潜在をサンプリングする。
2. 超球面上に射影する。
3. デノイズモデル $G$ がクラスフリーガイダンスを用いて潜在を洗練させる。
4. 洗練された潜在を再射影し、ノイズで攪拌して次のステップの入力として使用する。
5. この反復的な洗練を $T$ ステップ継続する。
6. デコーダは、最終的な潜在をピクセルにマッピングするために、最終的に 1 回のみ呼び出される。

著者はまた、数ステップサンプリングにより適した logit-normal 分布を用いた修正されたノイズサンプリング戦略を提案しており、Sphere Encoder における一様サンプリングとは異なる。

主要な貢献

1. Sphere Latent Encoder フレームワーク: 反復的なピクセル - 潜在遷移を排除し、球状潜在空間のみにて動作する生成フレームワーク。これは、同じサンプリングステップ数において Sphere Encoder と比較して推論コストを約**85%**削減し（約 6.5 倍の FLOPs 削減）を実現する。
2. 分離設計: 固定された事前学習オートエンコーダと独立したデノイズモデルを活用することで、再構成と生成が独立して専門化することを可能にし、結合最適化に内在する目的の競合を解消する。
3. 効率的な最適化: 一部の数ステップ流（flow）手法で必要とされる 1 次近似目的（例えば、ヤコビアン - ベクトル積）を回避し、構造化された球多様体上で直接の潜在デノイズプロセスを学習する。

実験結果

本手法は、Animal-Faces、Oxford-Flowers、およびImageNet-1K（256×256）で評価された。

• Sphere Encoder に対する性能: Animal-Faces および Oxford-Flowers において、提案手法は 2、4、6 ステップのサンプリングにおいて、生成品質（FID）および計算コスト（GFLOPs）の両面で Sphere Encoder を大幅に上回った。例えば、Animal-Faces における 4 ステップでは、FID は Sphere Encoder の 18.23 から6.89（Ours）へ改善され、GFLOPs は 4554 から390へ低下した。
• ImageNet-1K の結果: 4 ステップのサンプリング（ガイダンス付きで 8 NFE）において、本手法は FID 2.25を達成し、同じ予算下での Sphere Encoder の 4.02 を大幅に上回った。また、いくつかの最近の数ステップベースライン（MeanFlow、$\alpha$-Flow など）を上回り、250 以上のステップを必要とするマルチステップ拡散モデル（DiT-XL/2 など）の性能に迫る結果を示したが、関数評価回数は著しく少なかった。
• アブレーション研究:
  • ノイズ分布: Log-normal サンプリングは一様サンプリングを上回った。
  • 損失: 再構成損失と一貫性損失の組み合わせが最良の結果をもたらした。潜在一貫性損失を追加すると性能が劣化した。
  • オートエンコーダ: トークナイザの選択は決定的であった。RAE [43]（DINOv2 特徴および $d=768$ を使用）は FLUX-VAE および GAE を大幅に上回り、強力な意味表現と高次元の潜在空間の必要性を浮き彫りにした。

意義と主張

本論文は、Sphere Latent Encoder が数ステップ画像生成のためのより単純かつ効率的なパイプラインを提供すると主張する。反復的なピクセル空間洗練への依存を排除することで、本手法は以下の成果を達成する：

• 高い効率性: Sphere Encoder と比較して FLOPs および推論時間の劇的な削減。
• より高い品質: 再構成と生成の分離により、デノイズモデルが再構成忠実度を犠牲にすることなく生成のみに集中できるため、サンプル品質（FID の低下）が向上する。
• 安定性: ヤコビアン - ベクトル積に関連する不安定性および結合最適化の競合する目的を回避する学習プロセス。

著者は、この研究を、以前の実装の計算上のペナルティなしに球状潜在空間の恩恵を活用する、スケーラブルで効率的な生成モデリングへの一歩として位置づけている。また、現在の焦点がクラス条件付き生成にあること、および事前学習オートエンコーダの品質への依存性が 1 ステップサンプリング能力を制約する可能性があることを認め、限界を指摘している。