💻 computer science

Laminating Representation Autoencoders for Efficient Diffusion

本論文は、冗長なDINOv2パッチ特徴量をコンパクトな32トークンのシーケンスへと圧縮する変分オートエンコーダであるFlatDINOを紹介するものであり、これにより拡散モデルが、圧縮されていない特徴量に対して操作を行う場合と比較して計算コストを大幅に削減しながら、高品質な画像生成を実現することを可能にする。

原著者： Ramón Calvo-González, François Fleuret

公開日 2026-02-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ramón Calvo-González, François Fleuret

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、高画質な都市のビデオを友人に送ろうとしていると想像してください。しかし、あなたのインターネット接続は非常に低速です。

従来の方法（ピクセル拡散）:
伝統的に、AI画像生成器は、キャンバスのあらゆる1平方インチ（ピクセル）を注視して絵を再現する画家のようでした。これは低速であり、膨大な量のデータを必要とします。

「スマート」な方法（DINOv2）:
最近、研究者たちは近道を見つけました。ピクセルを見る代わりに、「スマートカメラ」（DINOv2と呼ばれます）を使用し、画像を見て、異なる部分の「意味」を即座に理解させるのです。それは単に色を見るのではなく、「犬」、「木」、「空」といったものを、明確な情報のブロックとして捉えます。これは非常にスマートなやり方です。

問題点:
しかし、この「スマートカメラ」は喋りすぎです。標準的な画像に対して、このカメラは画像を256個の別々の情報ブロックに分解してしまいます。それは、街を説明するために、一つ一つの住所をすべて列挙しようとするようなものです。情報は高品質ですが、信じられないほど冗長です。「犬」のブロックと「犬の耳」のブロックは、ほとんど同じことを言っています。256個のブロックすべてを送ることは、依然として重すぎます（コンピュータのプロセッサにとって）。

解決策：FlatDINO
著者たちは、FlatDINOと呼ばれる新しいツールを作成しました。これは、超効率的な翻訳者、あるいは「要約器」だと考えてください。

圧縮: FlatDINOは、それら256個の喋りすぎる情報のブロックを取り込み、わずか32個の小さなトークンへと凝縮します。
- 比喩: あなたが街について記述した256ページの書籍を持っていると想像してください。FlatDINOはその本全体を読み、重要な詳細はすべて保持しながらも、重複を削ぎ落とした完璧な32ページの要約を作成します。
形状の変化: 元のブロックは、2Dグリッド（チェス盤のようなもの）状に配置されていました。FlatDINOは、これを32個のアイテムからなる単一の直線へと平坦化します。これは、折りたたまれた地図を、持ち運びやすくするために一本の細長い帯状に広げるようなものです。

なぜこれが重要なのか（結果）
AIは256個のアイテムではなく、わずか32個のアイテムを処理するだけで済むため、驚異的に高速かつ効率的になります：

速度: コンピュータが画像を生成するために必要な計算量が8分の1になります。
品質: これほど小さくなっているにもかかわらず、その要約は非常に優れているため、AIは依然として美しく高品質な画像（具体的にはImageNetデータセットにおいて）を描くことができます。
効率性: 従来の、フルセットの256個のブロックを使用しようとした手法よりも、大幅に少ないエネルギーと計算能力を使用します。

どのように機能するのか（マジック・トリック）
論文では、AIが近くにあるもの同士をグループ化することを学習したと説明しています。

旧来の256ブロック方式では、多くのブロックが単に同じことを言っている隣人同士でした。
FlatDINOは、「この空のパッチを説明するために8つのブロックは必要ない。このパッチ全体をたった一つのトークンで説明できる」ということを学習しました。
興味深いことに、もしこれ以上小さくしようとすると（16トークンまで）、AIは混乱し、画像を奇妙な水平方向の縞模様として描き始めました。しかし、32トークンにおいて、AIは画像を自然に見せつつ、コンパクトに保つことができる「スイートスポット（最適解）」を見つけたのです。

結論
FlatDINOは、画像生成器の「脳」を圧縮する新しい方法です。画像の膨大で冗長な記述を取り込み、32個のアイテムからなる引き締まったリストへと変換します。これにより、AIは高品質なアートを生み出す能力を失うことなく、画像をはるかに速く、安価に生成できるようになります。著者らはこれは進行中の作業であると述べていますが、初期の結果は、AI画像生成をより効率的にするための非常に有望なステップであることを示しています。

技術要約：効率的な拡散のためのラミネーティング表現オートエンコーダ（FlatDINO）

問題提起

近年の画像生成における進展により、拡散モデルはピクセル空間の潜在変数ではなく、自己教師あり学習（SSL）のパッチ特徴量（例：DINOv2）上で直接動作できることが示されています。このアプローチは、RAE（Zheng et al., 2025）に代表されるもので、ピクセル訓練されたVAEに固有の「再構成と生成のトレードオフ」を回避し、既にエンコードされている意味的に意味のある構造を活用します。

しかし、重大な計算上のボトルネックが依然として存在します。標準的なSSLエンコーダであるDINOv2は、高次元のパッチ埋め込み（例：256×256の画像に対して768次元の256パッチ）の密な2次元グリッドを生成します。この表現は元の信号とほぼ同等のサイズであり、ピクセル空間の拡散と比較して計算上の利点がありません。この密なグリッドには、隣接するパッチが実質的に同じ意味的内容を共有しているため、空間的な冗長性が含まれており、これらの特徴量上での拡散はFLOPsやメモリの観点から不必要に高コストとなります。

手法

著者らは、密な2次元のDINOv2パッチ埋め込みを、コンパクトな1次元の連続トークン列へと圧縮するように設計された変分オートエンコーダ（VAE）であるFlatDINOを提案しています。

1. アーキテクチャ

エンコーダ: 凍結されたDINOv2 ViT-B/14（レジスタ付き）からの256個のパッチ埋め込みを入力とするVision Transformer（ViT-B）です。エンコーダは、パッチシーケンスに $T$ 個の学習可能なレジスタトークンを前置します。処理後、元の2次元空間構造を破棄し、これら $T$ 個のレジスタトークンのみを潜在表現として保持します。
デコーダ: 学習可能なレジスタトークンをクエリとして使用し、圧縮された潜在シーケンスにアテンションを向けることで、元の256個のDINOv2パッチ埋め込みを再構成するViT-Lです。
学習目的: 標準的なVAEの目的関数を用いて学習されます。これには、平均二乗誤差（MSE）再構成損失とKLダイバージェンス・ペナルティが含まれます。KL重み（ $\beta$ ）は、一貫した正則化圧力を確保するために、全潜在次元数（ $T \times d$ ）によって正規化されます。
潜在生成: 生成モデル（具体的にはフロー・マッチングを用いたDiT-XL）が、圧縮されたFlatDINO潜在空間上で学習されます。このモデルは、標準的なガウス事前分布からデータ分布へと、直線的な経路に沿ってサンプルを輸送するための速度場を学習します。

2. 主要な設計上の選択

1D圧縮: TiTok（Yu et al., 2024a）に着想を得て、2次元グリッドを1次元のシーケンスへと圧縮します。著者らは、32個のトークンが再構成の忠実度とシーケンス長の間の良好なトレードオフを提供することを見出しました。
特徴次元の削減: トークン数は256から32へと削減（8倍の削減）される一方で、トークンあたりの特徴次元も圧縮（例：768から128へ）され、総次元数をさらに削減しています。
フロー・マッチング: 生成モデルは標準的な拡散ではなく、学習された位置エンコーディングと共に、1次元の潜在シーケンス上で直接動作するフロー・マッチングを利用します。

主な貢献

FlatDINO: 自己教師ありパッチ特徴量を、元の2次元空間構造を効果的に破棄しながら、コンパクトな1次元の潜在表現へと圧縮する最初の手法です。
効率性の向上: FlatDINOの潜在変数上で学習された拡散モデルが、生成品質を維持しつつ、計算コストを大幅に削減できることを示しました。具体的には、シーケンス長の8倍の削減により、未圧縮のDINOv2特徴量上での拡散と比較して、フォワードパスあたりのFLOPsが8倍、DiT-XLモデルの学習ステップあたりのFLOPsが最大4.5倍減少します。
トークン化の分析: トークンのアブレーション研究を通じて、モデルがほとんどのトークンに対して局所的なブロブ状（塊状）の受容野を学習し、画像を空間的に分割していることを示しました。また、トークン数を一定の閾値（例：32から16）以下に減らすと、モデルがより非効率なエンコーディング戦略（水平ストライプ）を採用せざるを得なくなり、品質が急落するという「相転移」を特定しました。

結果

実験はImageNet 256×256を用い、DiT-XLアーキテクチャで行われました。

生成品質: FlatDINO潜在変数（32×128）で学習されたDiT-XLは、Classifier-Free Guidance（CFG）適用時にgFID 1.85、CFGなしで3.34を達成しました。これは、未圧縮の特徴量上でCFG適用時に1.41のgFIDを達成したRAEや、他の最先端の潜在拡散モデルと比較しても競争力のある数値であり、大幅な圧縮が行われているにもかかわらず実現されています。
計算効率:
- 推論: FlatDINOは、フルDINOv2パッチ上で動作する場合と比較して、フォワードパスあたりのFLOPsが約8倍少なくなります。
- 学習: 減少したシーケンス長とエンコーダのオーバーヘッドを含めても、FlatDINOはRAEベースラインと比較して、DiT-XLモデルの学習ステップあたり4.5倍少ないFLOPsで済みます。
再構成: 32×128の構成は0.77のrFIDを達成しており（未圧縮のRAEベースラインの0.62と比較）、特徴空間の高精度な再構成を示しています。
トークン・アブレーション: この研究により、32個のトークンが局所的な受容野を維持するのに十分であることが明らかになりました。トークン数を16個に減らすと、水平ストライプによるエンコーディングへの定性的な変化が生じ、再構成品質が大幅に低下します。

意義と主張

本論文は、FlatDINOを効率的で意味的に根ざした画像合成への一歩として位置付けています。著者らは、2Dパッチグリッドに内在する空間的冗長性を活用することで、意味的に整理された潜在空間で動作する利点を損なうことなく、トークン数を8倍削減できると主張しています。

この研究は、圧縮された意味的表現上での拡散が、リソース制約のある環境において実用的なアプローチであることを示唆しています。著者らは、現在の結果は予備的なものであり、モデルが完全に収束していないこと（RAEの800エポックに対し、600エポックでの学習）を認めています。生成品質に残る差については、学習時間の不足と、圧縮された意味的潜在変数に特化した拡散レシピの必要性に起因すると考えています。今後の課題として、このギャップを埋めるための拡張された学習スケジュールの調査や、最適化されたSSLオートエンコーダの研究が提案されています。