There is No VAE: End-to-End Pixel-Space Generative Modeling via Self-Supervised Pre-training

この論文は、自己教師あり事前学習を用いた新しい 2 段階トレーニングフレームワークを導入し、事前学習された VAE に依存することなくピクセル空間で直接学習する生成モデルを実現し、ImageNet において既存の潜在空間モデルや VAE ベースの手法を凌駕する SOTA 性能と計算効率を達成したことを報告しています。

要約

この論文は、「高画質な画像を作る AI（生成 AI）」を、これまでとは全く新しい、より効率的で強力な方法で訓練するという画期的な研究です。

タイトルにある**「THERE IS NO VAE（VAE は存在しない）」**という言葉が、この研究の核心を突いています。

以下に、専門用語を排し、身近な例え話を使ってわかりやすく解説します。

---

🎨 従来の方法：「翻訳屋」を介した複雑なプロセス

これまでの高画質な画像生成 AI（Stable Diffusion など）は、**「VAE（オートエンコーダー）」**という「翻訳屋」を必ず使っていました。

1. 現実の画像（高解像度で詳細な写真）を、「圧縮された抽象的な言葉」（潜在空間）に翻訳します。
2. AI は、その「抽象的な言葉」を元に新しい物語（画像の骨格）を作ります。
3. 最後に、その「抽象的な言葉」を再び**「現実の画像」に翻訳**して出力します。

🚩 問題点：
この「翻訳屋（VAE）」自体を作るのが非常に難しく、完璧な翻訳はできません。

• 細かいディテールが失われたり、歪んだりします。
• 「翻訳屋」の能力が限界だと、生成 AI の性能もそこで頭打ちになってしまいます。
• 翻訳の工程が増えるため、計算コスト（時間とエネルギー）がかかります。

---

💡 この論文のアイデア：「翻訳屋」を捨てて、直接「画家」になる

この研究チームは、**「翻訳屋（VAE）なんて必要ない！最初から高画質な絵を描けるように訓練すればいい」**と考えました。

しかし、いきなり高解像度の画像（ピクセル空間）から直接学習させると、AI は混乱してうまく学習できません（計算量が膨大になりすぎるため）。

そこで、彼らは**「2 段階のトレーニング」**という新しいアプローチを開発しました。

ステージ 1：「意味の理解」を学ぶ（予備学習）

まず、AI に**「絵の構造や意味」**を理解させます。

• 例え話： 料理のレシピ本を熟読して、「卵焼きには卵と油が必要だ」という**「本質的な意味」**を学ぶ段階です。
• 仕組み： AI は、ノイズ（雑音）が混じった画像を見て、それが「何の絵」なのかを推測し、ノイズの少ない状態と結びつけます。
  • ここでは、**「エンコーダー（理解する脳）」**だけを訓練します。
  • 重要な点は、ノイズの強さが違う画像同士を「同じ物語の続き」として結びつけることで、AI が「どんなに汚れても、元の意味は変わらない」という一貫性を学びます。

ステージ 2：「描画」を学ぶ（微調整）

次に、理解した「意味」を元に、実際に**「高画質な絵を描く」**練習をします。

• 例え話： 料理のレシピ（意味）を理解した上で、実際に**「シェフ（デコーダー）」**を雇い、そのレシピ通りに完璧な卵焼きを焼く練習をします。
• 仕組み： ステージ 1 で訓練した「理解する脳（エンコーダー）」に、**「描画する脳（デコーダー）」**をくっつけて、最初から最後まで一貫して訓練します。
  • ここで、VAE などの外部ツールは一切使いません。

---

🌟 なぜこれがすごいのか？（成果）

この方法（EPG と呼ばれる）は、驚くべき結果を生みました。

1. VAE 不要で、VAE ありの AI より上手い！

   • 従来の「翻訳屋」を使う方法（Latent Space）よりも、「直接描く」方法（Pixel Space）の方が、画質が良く、学習も速いことが証明されました。
   • 有名な「DiT」という AI と比較すると、学習に必要な計算コストは約 30% しか使わずに、同じかそれ以上の性能を出しています。

2. 超高速な生成が可能

   • 従来の AI は、画像を 1 枚作るのに何十回も計算を繰り返す必要がありましたが、この新しい AI は**「1 回（または数回）」の計算で高画質な画像を生成**できます。
   • これは、**「 consistency model（一貫性モデル）」**と呼ばれる技術を、高解像度画像で初めて成功させた成果です。

3. 拡張性が高い

   • 画像の解像度が上がっても（256x256 から 512x512 へ）、計算コストが爆発的に増えることなく、スムーズに学習できます。

---

🏁 まとめ：何が起きたのか？

この論文は、**「AI が画像を作る際、無理やり『圧縮・翻訳』の工程を挟む必要はなかった」**と示しました。

• 従来の方法： 高画質画像 → 翻訳（VAE）→ 抽象化 → 生成 → 翻訳（VAE）→ 高画質画像（手間が多く、翻訳ミスあり）
• 新しい方法： 高画質画像 → 意味を理解する（予備学習） → 意味から直接描く（微調整） → 高画質画像（シンプルで、高品質、高速）

まるで、**「料理の味を覚えるために、まず食材の成分表を暗記するのではなく、実際に包丁を握って味見をしながら上達させる」**ような、直感的で効率的な学習法を確立したと言えます。

これにより、今後、より高画質で、より安く、より速く画像を生成できる AI が普及する可能性が大きく広がりました。

技術概要

論文「THERE IS NO VAE: END-TO-END PIXEL-SPACE GENERATIVE MODELING VIA SELF-SUPERVISED PRE-TRAINING」の技術的サマリー

本論文は、高解像度画像生成において、従来の潜在空間（Latent Space）に依存せず、ピクセル空間（Pixel Space）で直接学習する拡散モデルと整合性モデル（Consistency Model）の性能と効率性を飛躍的に向上させる新しいトレーニングフレームワークを提案しています。著者らは、VAE（Variational Autoencoder）の事前学習に依存しない「VAE なし」のアプローチにより、ImageNet 上で最先端（SOTA）の性能を達成しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題（Problem）

近年の画像生成モデル（拡散モデルや整合性モデル）の高性能化は、事前学習された VAE で圧縮された潜在空間での学習に大きく依存しています（例：LDM, DiT）。しかし、このアプローチには以下の重大な課題が存在します。

• VAE の学習難易度とボトルネック: VAE 自体の学習は困難であり、圧縮率と高忠実度な再構成のバランスを取る必要があります。また、学習データ分布から離れた潜在変数に対する再構成が不十分になる傾向があります。
• 性能の固定化: 生成モデルの能力は、固定された VAE の容量によって制限され、新しいデータへの適応性が低下します。
• ピクセル空間学習の課題: 一方で、ピクセル空間で直接学習する試み（Pixel-space diffusion）は存在しますが、計算コストの肥大化や収束の遅さにより、潜在空間ベースの手法に比べて性能と効率の面で劣っていました。

本研究は、この「ピクセル空間と潜在空間の間の性能・効率のギャップ」を埋めることを目的としています。

2. 提案手法（Methodology）

著者らは、自己教師あり学習（SSL）の「エンコーダ（意味学習）」と「デコーダ（タスク特化）」という役割分解のアイデアを拡散モデルに応用し、2 段階のトレーニングフレームワークを提案しました。

第 1 段階：自己教師あり事前学習（Representation Consistency Learning）

この段階では、エンコーダを事前学習し、ノイズの多い画像から意味のある視覚的セマンティクスを抽出できるようにします。

• 目的: 画像のノイズレベルに関わらず、同じ決定論的サンプリング軌道（ODE 軌道）上の点を整合させる。
• 損失関数:
  1. 対照損失（Contrastive Loss）: データ拡張されたクリーンな画像ペアを用いて、一般的な視覚セマンティクスを学習。
  2. 表現整合性損失（Representation Consistency Loss）: 同一 ODE 軌道上の隣接するノイズレベルの点（例：$x_{t_n}$ と $x_{t_{n-1}}$）を正のペアとし、それらのエンコードされた特徴量を一致させる。
• 工夫: 従来の SSL では強いノイズ下での表現学習が困難ですが、本研究では「ノイズの多いサンプルの特徴を、徐々にクリーンになるバージョンと整合させる」という生成タスクとしての再定式化を行いました。また、学習の安定化のために温度パラメータ $\tau$ の線形スケジューリングを導入しています。

第 2 段階：エンドツーエンドの微調整（Fine-tuning）

事前学習済みのエンコーダと、ランダム初期化されたデコーダを結合し、生成タスク（拡散または整合性モデル）に合わせてエンドツーエンドで微調整します。

• 拡散モデル: 従来の去噪（Denoising）目的関数を用いて微調整。
• 整合性モデル: 標準的な整合性学習に加え、モデル出力と元のクリーン画像との間の補助的な対照損失を導入することで、学習の収束と生成品質を向上させています。
• アーキテクチャ: Vision Transformer (ViT) をベースとし、解像度に応じてパッチサイズを調整（ImageNet-256 で 16x16、512 で 32x32）することで、入力トークン数を固定し、計算効率を維持しています。

3. 主要な貢献（Key Contributions）

1. 高解像度ピクセル空間生成の新しいフレームワーク:
   エンコーダとデコーダの役割を明確化し、拡散モデルの学習を自己教師あり学習問題として再定義しました。これにより、高品質な意味表現がノイズレベル間で時間的に一貫していることが、ピクセル空間生成の成功の鍵であることを実証しました。
2. ImageNet 上での SOTA 性能達成:
   外部モデル（事前学習済み VAE や拡散モデル）に依存せず、ピクセル空間で直接学習したモデルとして初めて、ImageNet-256/512 において SOTA の性能を達成しました。
   • 拡散モデル: ImageNet-256 で FID 1.58、512 で 2.35（75 NFE）。
   • 整合性モデル: ImageNet-256 で単一ステップ生成において FID 8.82 を達成（これは VAE 依存なしでの初の成功例）。
3. 計算効率の劇的な向上:
   潜在空間の強力なモデル（DiT など）と比較して、トレーニング計算コストの約 30% で同等以上の性能を達成しました。また、推論効率も高く、GFLOPs 対 FID のグラフにおいて優れたトレードオフを示しています。

4. 実験結果（Results）

• ImageNet-256/512:
  • 提案モデル（EPG）は、DiT-XL/2 や SiT-XL/2 などの潜在空間ベースの SOTA モデルを、より少ない計算コストで上回りました（例：DiT の FID 2.27 に対し、EPG は 1.87）。
  • 既存のピクセル空間手法（SiD, VDM++ など）と比較しても、大幅に優れた FID 値を記録しました。
• 整合性モデル（Consistency Model）:
  • 単一ステップ生成（1 NFE）で FID 8.82 を達成し、潜在空間の iCT-XL/2（FID 34.24）や Shortcut-XL/2（FID 10.60）を大きく凌駕しました。
• スケーラビリティ:
  • 事前学習の計算量（バッチサイズやモデルサイズ）を増やすことで、下流タスクの性能が向上することが確認されました。
• コスト比較:
  • 事前学習コストは、広く使われている sd-vae-mse（160 時間）よりも短く（57 時間）、微調整を含めた全体コストも DiT よりも効率的でした。

5. 意義と結論（Significance）

• VAE 依存からの脱却: 本論文は、高品質な画像生成において VAE に依存する必要性を疑問視し、ピクセル空間で直接学習することで、より柔軟で効率的な生成モデルの構築が可能であることを示しました。
• トレーニングの安定化と効率化: 自己教師あり学習の原理を拡散モデルの事前学習に応用することで、ピクセル空間学習の収束遅延や不安定性という長年の課題を解決しました。
• 将来への示唆: 従来の視覚分野（分類タスクなど）で確立された知見を生成モデルに応用することで、より高品質な生成を実現できる可能性を開きました。また、高解像度画像生成におけるスケーラビリティの証明は、マルチモーダル生成への応用にも期待されます。

要約すると、この論文は「VAE は不要である（THERE IS NO VAE）」という強いメッセージのもと、自己教師あり事前学習を活用した新しいトレーニングパラダイムにより、ピクセル空間生成モデルが潜在空間モデルを凌駕する可能性を初めて実証した画期的な研究です。