論文「ADAPTING SELF-SUPERVISED REPRESENTATIONS AS A LATENT SPACE FOR EFFICIENT GENERATION (RepTok)」の技術的サマリー

ICLR 2026 にて発表された本論文は、RepTok と呼ばれる新しい生成モデルフレームワークを提案しています。この手法は、自己教師あり学習（SSL）で事前学習されたビジョントランスフォーマーの表現を、画像生成のための「単一の連続的な潜在トークン」として適応させることで、従来の潜在空間生成モデルの計算コストと空間的冗長性の課題を解決します。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

近年、拡散モデルやフローマッチングモデルは高品質な画像・動画生成において成功を収めていますが、以下のような課題を抱えています。

• 計算コストの高さ: 高次元のピクセル空間や、2 次元グリッド構造を持つ潜在空間（Latent Diffusion Models: LDMs など）でベクトル場を回帰させるため、推論および学習に莫大な計算資源が必要です。
• 空間的冗長性: 自然画像には高い空間的冗長性がありますが、従来の LDM は 2 次元グリッド構造を維持しており、この冗長性を十分に活用できていません。
• 既存の 1D トークナイザーの限界: TiTok などの手法は画像を 1 次元のトークン列に変換しますが、依然として複数のトークン（例：32 個）を必要とし、離散化による制約や複雑なアーキテクチャを伴うことがあります。

RepTok の目標:
画像を単一の連続的な潜在トークンで表現し、SSL モデルの滑らかな幾何学的特性を維持しつつ、忠実な画像再構成と効率的な生成を両立させることです。

---

2. 手法 (Methodology)

RepTok は、事前学習された SSL エンコーダーを基盤とし、以下の 3 つの主要な構成要素で構成されます。

A. 単一トークン表現 (Single Token Representation)

• 基盤モデル: CLIP, MAE, DINOv2 などの自己教師あり学習（SSL）ビジョントランスフォーマーを使用します。
• 適応戦略: エンコーダーの大部分を凍結（Frozen）し、**[cls] トークンの埋め込みパラメータのみを微調整（Fine-tuning）**します。
• 効果: これにより、高レベルな意味情報だけでなく、画像再構成に必要な低レベルな視覚的詳細（テクスチャや形状）を単一のベクトルに注入します。これにより、画像は 1 つの連続ベクトル（例：$R^{1 \times 768}$）として表現されます。

B. 結合学習とフローマッチング (Joint Training & Flow Matching)

• エンコーダーとデコーダーの共同学習: 微調整された SSL エンコーダー $E$ と、生成デコーダー $D$ をフローマッチング（Flow Matching）の目的関数を用いて共同で学習します。
• 目的関数: 標準的なフローマッチング損失（式 1）に加え、再構成の忠実度を高めるためにデコーダーを最適化します。
• アーキテクチャ: 潜在空間が単一トークンであるため、トークン間の相互作用（アテンション）は不要です。これにより、アテンションを含まない単純な MLP-Mixer を生成モデルとして使用でき、計算効率が劇的に向上します。

C. コサイン類似度損失による正則化 (Cosine-Similarity Loss)

• 課題: [cls] トークンを自由に微調整しすぎると、SSL モデルが持つ「滑らかで意味的に構造化された潜在空間」の幾何学的特性が失われ、生成が不安定になります。
• 解決策: 凍結された SSL エンコーダーからの出力 $z_{\text{frozen}}$ と、微調整されたトークン $z$ の間のコサイン類似度損失（式 3）を導入します。
  $$\mathcal{L}_{\cos}(x) = \lambda (1 - \cos(z, z_{\text{frozen}}))$$
• 役割: この損失により、トークンが元の SSL 空間から大きく逸脱するのを防ぎつつ、生成に必要な詳細情報を追加するバランスを取ります。これにより、KL 分散やベクトル量子化のような追加の正則化なしに、滑らかな潜在空間を維持できます。

---

3. 主要な貢献 (Key Contributions)

1. SSL 表現の直接的な利用: SSL モデルを単なる生成のガイドとしてではなく、微調整された単一トークンそのものを潜在空間として直接利用することを示しました。これにより、2 次元グリッドの空間的冗長性を排除し、極めてコンパクトな表現を実現しました。
2. 軽量で効率的な生成パイプライン: 単一トークンという圧縮された表現と、アテンション不要な MLP-Mixer の組み合わせにより、Transformer ベースの拡散モデルと比較して学習コストを 90% 以上削減しながら、同等以上の性能を達成しました。
3. テキスト画像生成への拡張性: クロスアテンションを導入することで、RepTok をテキスト画像生成（T2I）に拡張しました。MS-COCO において、限られたトレーニング予算（4 枚の A100 GPU で 20 時間未満）で、ゼロショット性能において競合モデルと競争力のある結果を達成しました。

---

4. 実験結果 (Results)

画像生成 (ImageNet-1K)

• 性能: 単一トークン（1 つの連続ベクトル）を使用する RepTok は、ImageNet 256x256 での生成 FID (gFID) で 1.88（CFG 使用時）を記録し、DiT や SiT などの大規模 Transformer ベースモデルと競争力のある結果を示しました。
• 再構成: 再構成 FID (rFID) は 1.85、PSNR は 14.94 であり、純粋な意味コード（RCG など）よりもはるかに高いピクセルレベルの忠実度を達成しました。
• 計算効率: 学習に必要な総計算量（FLOPs）は、SiT-XL/2 ベースラインと比較して約 1.7%（90% 以上の削減）で済み、トレーニングステップ数も大幅に少なくて済みます。

テキスト画像生成 (MS-COCO)

• ゼロショット性能: ImageNet のみで学習したエンコーダー/デコーダーを流用し、テキスト条件付けのみを追加することで、MS-COCO 上で競争力のあるゼロショット FID を達成しました。
• スケーラビリティ: 言語モデルのバックボーン（CLIP, InternVL, Gemma）を大きくしても、生成モデル自体の学習コストは増加せず、性能が向上することが確認されました。

推論速度

• 単一トークンと MLP-Mixer の組み合わせにより、推論時の NFE（関数評価数）を 40 回程度に抑えつつ、SiT ベースのモデル（64 回以上）よりも遥かに高速な推論（約 0.27 秒 vs 2.43 秒）を実現しました。

---

5. 意義と結論

RepTok は、自己教師あり学習（SSL）で獲得された表現空間そのものが、生成モデルにとって理想的な「滑らかで構造化された潜在空間」であることを実証しました。

• 効率性の革新: 従来の「2 次元グリッド」や「多数の離散トークン」に依存しないアプローチにより、生成モデルの学習と推論の計算コストを劇的に削減しました。
• 設計の単純さ: 複雑なアテンション機構や追加の正則化損失（KL 分散など）を不要にし、単純な MLP とフローマッチングだけで高品質な生成を可能にしました。
• 将来展望: このアプローチは、リソース制約の厳しい環境での生成モデル展開や、マルチモーダルなタスクへの拡張において大きな可能性を秘めています。

本論文は、生成モデルの設計において「いかに多くのトークンを使うか」ではなく、「いかに高品質な事前知識を単一の表現に凝縮するか」というパラダイムシフトを提案する重要な成果です。