💻 computer science

MergeTok: Unified Continuous and Discrete Visual Tokenization via Token Merging

MergeTokは、トークン・マージングを活用して構造的事前分布を確立することにより、連続的なVAEと離散的なVQモデルの架け橋となる統一された視覚的トークナイザーを導入し、それによって拡散モデルおよび自己回帰的な画像生成の両方に適した、高忠実な再構成、安定した学習、そして意味的に整理された表現を実現します。

原著者： Luyuan Zhang, Siyuan Li, Zedong Wang, Qingsong Xie, Cheng Tan, Anna Wang, Yanhao Zhang, Chen Chen, Haonan Lu, Haoqian Wang

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Luyuan Zhang, Siyuan Li, Zedong Wang, Qingsong Xie, Cheng Tan, Anna Wang, Yanhao Zhang, Chen Chen, Haonan Lu, Haoqian Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに絵を描く方法を教えようとしている場面を想像してみてください。そのためには、ロボットが画像で何が構成されているのかを理解するための「辞書」が必要です。AI画像生成の世界では、この辞書は**トークナイザー（tokenizer）**と呼ばれます。

長い間、研究者たちは全く異なる2種類の辞書から選ぶことを余儀なくされてきましたが、どちらも完璧ではありませんでした。

「滑らかな」辞書 (Continuous/VAE): 水彩画を想像してください。非常に細部まで描き込まれ、あらゆる微細なニュアンスを捉えています。しかし、色はすべて大きな水たまりのように混ざり合っています。もしロボットが「草」を壊さずに「空」だけを変えたいと思っても、情報がすべて絡み合っているため、それは困難です。
「ブロック状の」辞書 (Discrete/VQ): レゴセットを想像してください。画像を明確で独立したブロック（コード）に分解します。これは、ロボットがパターンを学習し、ステップ・バイ・ステップで物事を構築する（物語を書くような）のに適しています。しかし、ブロックは不安定になりがちです。時として、ロボットが特定のブロックの使い方を忘れてしまったり、ブロックが塊になって画像がぼやけたり、「崩壊（collapse）」したりすることがあります。

ビッグアイデア: MergeTok

この論文の著者であるMergeTokは、こう問いかけました。「なぜ、一つの辞書の中に水彩画の『滑らかさ』とレゴの『構造』を共存させることができないのだろうか？」

彼らは、「滑らかな」言語と「ブロック状の」言語の両方を同時に話せるバイリンガルの翻訳家のように機能する、新しいシステムを構築しました。彼らは単に2つのシステムを貼り合わせたのではなく、**トークン・マージング（Token Merging）**という巧妙なトリックを用いて、両者の間に架け橋を作ったのです。

その仕組み：「グルーピング」の比喩

1,000人のゲスト（画像のピクセル）がいる大規模なパーティーを主催していると想像してください。

問題点: もし、一人ひとりのゲストに個別に話しかけようとすれば、混乱して非効率になります。逆に、ランダムにグループ化してしまうと、重要な詳細を見失ってしまいます。
MergeTokの解決策: システムには賢いドアマン（トークン・マージングアルゴリズム）が備わっています。彼はゲストを見て、「君たち3人は赤いシャツを着てスポーツの話をしているから、一つの『スポーツチーム』としてまとめよう」と言います。

このグルーピングは、ロボットの学習を助けるために2つの方法で行われます。

「滑らかな」側（VAE）に対して: システムは水彩画の画家にこう伝えます。「おい、この3人は『スポーツチーム』だ。彼らを描くときは、ただのランダムな赤い塊ではなく、まとまりのあるチームに見えるようにしろ」。これにより、滑らかな絵が論理的に整理されるよう強制され、後の制御が容易になります。
「ブロック状の」側（VQ）に対して: システムはレゴの建築家にこう伝えます。「この3人は同じチームだと分かっているのだから、彼らが全員同じに見えないように3つの異なるレゴブロックを与えろ。ただし、他のチームがそれらの特定のブロックを使わないように注意せよ」。これにより、レゴブロックの崩壊や過度な繰り返しを防ぎます。

魔法の架け橋

秘訣は、一度作成され共有される「スポーツチーム」のリスト（ソース・マップ / Source Map）にあります。

これは、滑らかな側が整理された状態になるのを助けます。
そして、ブロック状の側が安定し、多様性を保つのを助けます。

最も素晴らしい点は、実際に絵を描くロボット（ジェネレーター）は、このグルーピングが行われたことすら知らないということです。彼らは、すぐに使用できる準備が整った、整理された256個のトークンのリストを見るだけです。まるでドアマンが裏側ですべての重労働を済ませてくれたおかげで、アーティストはただ描くことに集中できるかのようです。

研究の結果

研究者たちは、巨大な画像データセット（ImageNet）を用いてテストを行いました。その結果、以下のことが判明しました。

より高品質な画像: このシステムは、従来の「滑らかな」あるいは「ブロック状の」システム単独よりも、高い品質（より低い「rFID」スコア）で画像を再構成しました。
よりスマートな組織化: 作成されたトークンは、従来のメソッドと比較して、画像の意味（例えば、猫と犬の区別など）を理解する能力が非常に優れていました。
汎用性: 統一されたシステムであるため、ステップ・バイ・ステップで画像を構築するAI（自己回帰型 / Autoregressive）と、ノイズを取り除くことで画像を構築するAI（拡散型 / Diffusion）の両方の異なるタイプのAIアーティストと完璧に機能します。

まとめ

MergeTokは、混沌とした群衆を論理的にグループ化し、その結果をアーティストに手渡す熟練のオーガナイザーのようなものです。これは、「滑らかだが乱雑」か「構造的だが不安定」か、どちらかを選ばなければならないという古い問題を解決しました。学習プロセスの中で似た情報を一つにまとめることで、高品質かつAIにとって制御しやすい、単一の超効率的な辞書を作り出したのです。

技術要約: MergeTok

問題提起

現在の画像生成用ビジュアル・トークナイザーは、それぞれが補完的な構造的限界を抱える、2つの異なる系統に二分されている：

連続型VAEベースのトークナイザー: 高い再構成精度を提供する一方で、本質的な組織化を欠いた潜在空間に依存している。強力な圧縮下では、意味的な要因が密な潜在表現の中に絡み合い（entangled）、結果として、意味的な制御性を阻害する、解きほぐしの不十分なコードとなる。
離散型VQベースのトークナイザー: 自己回帰的な生成を可能にする一方で、最適化のボトルネックに直面している。量子化の非微分的な性質により、勾配更新が疎で不均一になり、多くのコードブック・エントリが十分な教師あり学習を受けられない原因となる。これは、コードブックの崩壊（collapse）のリスクを高め、表現効率を低下させる。

これらの限界は、再構成の忠実度、意味的構造、効率性、および学習の安定性の間に、持続的な緊張関係を生み出している。

手法: MergeTok フレームワーク

MergeTokは、単一のエンコーダー・デコーダー・アーキテクチャ内で、連続的（VAE）および離散的（VQ）なトークン化を共同で最適化する、統合デュアルブランチ・トークナイザーを提案する。核心となるイノベーションは、2つのブランチ間の意味的な架け橋として、**トークン・マージング（ToMe）**を使用することである。

アーキテクチャの概要

入力画像 $X$ に対し、共有CNNエンコーダー $E_c$ が特徴マップ $Z$ を生成する。このマップは、2つの並行するブランチによって処理される：

VAEブランチ（連続的）:
- トークン・マージング: ToMeモジュールを備えたアテンションベースのエンコーダーが、類似したトークンをマージすることで、トークン列を $L$ 個から $K$ 個（ $K < L$ ）へと圧縮する。このプロセスにより、凝縮された表現 $Z^{(vae)}_K$ と、元のトークンのマージグループへの割り当てを記録するソースマップ $S$ が生成される。
- 意味的アライメント: マージされたトークンは、ToMeを備えた凍結されたDINOスタイルのティーチャーモデルと、コサイン距離損失（ $L_{align}$ ）を用いて整列される。これにより、連続的な潜在空間を、意味的に認識された解きほぐされた表現へと正則化する。
- 再構成: ハイブリッド・デコーダーは、凝縮されたトークンとソースマップ $S$ の両方を使用して、グループを「アンマージ（unmerge）」し、ピクセル空間の画像を再構成する。
VQブランチ（離散的）:
- グループ認識型量子化: このブランチは、フルシーケンス長（ $L$ トークン）を保持するために、フォワードパス中のToMe操作をバイパスする。しかし、構造的な事前分布としてソースマップ $S$ を利用する。
- 正則化: ソースマップは、 $L$ $L$ 個のトークンを $K$ $K$ 個の意味的グループに分割する。コードブックの割り当てに対して、以下の2つのグループ認識型損失が適用される：
  - グループ内多様性 ( $L_{div}$ ): 単一のコードへの崩壊を防ぐため、各グループ内のエントロピーを最大化する。
  - グループ間排他性 ( $L_{cons}$ ): 異なる意味的グループが異なるコード部分集合を利用することを保証するため、グループ間の重複を最小化する。
- 再構成: 標準的なVQデコーダーが、量子化されたトークンから画像を再構成する。

学習戦略

統合目的関数: モデルは、再構成、敵対的、およびマージ認識型の正則化項を組み合わせた合計損失を用いて、エンドツーエンドで訓練される：
$L_{total} = \lambda_{vae}L_{VAE} + \lambda_{vq}L_{VQ} + \lambda_{ali}L_{align} + \lambda_{div}L_{div} + \lambda_{cons}L_{cons}$
粒度認識型サンプリング: 学習中、マージ比（したがって保持されるトークン数 $K$ ）は、ハイパーパラメータ $K^*$ を中心とした離散分布から動的にサンプリングされる。これにより、エンコーダーが様々なボトルネック幅にさらされ、様々な意味的粒度に対して堅牢になることが促進される。
推論: 推論時、トークナイザーは常に固定された256個のトークン列を出力する。ダウンストリームの生成器（自己回帰型および拡散型の両方）は、この固定されたシーケンス上で動作し、内部のマージ構造には依存しない。

主な貢献

統合デュアルブランチ・トークナイザー: MergeTokは、連続的な潜在空間の学習を安定させ、かつVQの構造的な利点を強化するために、トークン・マージングを意味的なインターフェースとして使用し、単一の目的関数の下で連続的および離散的な潜在変数を共同で最適化する最初のアーキテクチャである。
マージ認識型学習制約: 著者らは、マージプロセスから派生した2つの新しい目的関数を導入している：
- マージされたトークンのアライメント: 連続的な潜在空間における意味的構造を改善する。
- グループ認識型量子化: グループ内の多様性とグループ間の排他性を介して、VQの学習を安定させ、コードブックの利用率を向上させる。
粒度認識型マージ比サンプリング: 様々なトークンの粒度をサンプリングする学習時の戦略により、様々な圧縮率に対して堅牢な、統一されたトークン化の学習を可能にする。

実験結果

実験は、ImageNet-256（256×256解像度）を用い、固定された256トークンの予算で行われた。

再構成の忠実度:
- 離散型 (VQ): MergeTok-BLは 0.78 のrFIDを達成し、GigaTok-BL (0.81) や MergeVQ-GR (1.22) といった強力なベースラインを上回った。凍結されたDINO識別器を用いた場合、MergeTok-BL* は 0.48 rFIDに達した。
- 連続型 (VAE): MergeTok-BLは 0.47 のrFIDを達成し、RAE (0.49) を僅かに上回り、SoftVQ-L (0.61) や DC-AE-f32 (0.69) を大きく引き離した。
表現の質:
- MergeTok-BLは 78.3% の線形プロービング精度を獲得し、リストされた離散型トークナイザーの中で最高値を記録した。これはUniTok (70.8%) や MergeVQ-GR (77.9%) を上回っており、優れた意味的組織化を示している。
ダウンストリーム生成:
- 自己回帰型 (VQブランチ): LlamaGen-XXLと組み合わせた際、MergeTok-BLは（CFGなしで）1.93、(CFGありで)2.13 のgFIDを達成し、GigaTok-BL (2.03) を上回った。
- 拡散/フロー型 (VAEブランチ): SiT-XL/1と組み合わせた際、MergeTok-BLは（CFGなしで）1.79、(CFGありで)1.29 のgFIDを達成し、表中の最高値に匹敵した。

意義と主張

論文は、MergeTokが、単一のアーキテクチャによって、ビジュアル・トークナイザーに堅牢な意味的組織化と生成器にとって扱いやすい離散性の両方を与えることができることを示していると主張している。

統合: VAEの高品質な再構成能力と、自己回帰的生成に必要な離散的構造との間のトレードオフを解決する。
意味的架け橋: トークン・マージングを構造的な事前分布として活用することで、連続ブランチから離散ブランチへ、またその逆へと、意味的なグルーピング情報を転送し、相互に安定化させることに成功している。
互換性: MergeTokが生成する256トークンのシーケンスは、生成器自体を修正することなく、自己回帰型（例：LlamaGen）および拡散/フロー型（例：DiT, SiT）の両方の生成器と互換性がある。

著者らは、MergeTokを単なる再構成ツールとしてではなく、離散的な自己回帰生成、連続的な拡散生成、および意味的に構造化された表現学習を同時にサポートする、統合されたインターフェースとして位置づけている。