技術的サマリー：MLLM のためのより単語的な画像トークン化

1. 問題定義

マルチモーダル大規模言語モデル（MLLM）は、通常、事前学習済みのビジョンエンコーダと固定された大規模言語モデル（LLM）を、視覚プロジェクタで接続して構成される。その目的は、画像の画素を LLM の埋め込み空間内のトークン系列にマッピングすることである。しかし、著者らは、現在の視覚トークンと、LLM が最適化されて処理する離散的かつ意味的に意味のあるトークンの間に、根本的な構造的な不一致が存在することを特定している。

本論文は、以下の 3 つの主要な相違点を強調している：

1. 意味的絡み合い（Semantic Entanglement）: BPE などの離散トークナイザによって生成されるテキストトークンが独立した単位であるのに対し、ビジョントランスフォーマ（ViT）からの視覚的パッチ特徴は高度に絡み合っている。ビジョンエンコーダにおける反復的な自己注意は埋め込みを均質化し、パッチが意味的に混在するようになる。線形プロジェクタはこの冗長性を維持するため、視覚トークンは高い相関を持ち、明確な意味的境界を欠く結果となる。
2. 固定されたトークン予算: 既存の方法（固定グリッド集約、リサンプラなど）は、画像の複雑さに関わらず、固定された数のトークンを生成する。これにより、単純なシーンでは冗長性が生じ、複雑なシーンでは詳細が失われ、言語記述の変動する長さの性質を模倣できない。
3. 粒度制御の欠如: 現在の視覚トークン化は、サブワードと全体語のバランスを取るテキストトークン化とは異なり、空間的操作に依存しており、トークンごとの詳細度（粒度）を制御する原理的なメカニズムを欠いている。

その結果、視覚入力は LLM が期待する「単語のような」単位とは異なる挙動を示し、KV キャッシュの非効率的な使用、レイテンシの増加、そして最適でない推論能力をもたらす。

2. 手法：分離された視覚トークン化（DiVT）

著者らは、視覚表現を LLM トークンの離散的性質に整合させるように設計された、クラスタリングベースの視覚トークン化アプローチであるDiVTを提案する。DiVT は、ビジョンエンコーダや LLM のバックボーンを変更することなく動作する、学習可能なプロジェクタとして機能する。

このプロセスは 4 つの段階から構成される：

2.1. 初期パッチクラスタリング（適応的セントロイド選択）

DiVT は、固定されたトークン数を強制するのではなく、画像パッチの特徴分布に基づいてクラスタ数を動的に決定する。

• メカニズム: パッチ特徴のペアワイズコサイン類似度行列を計算する。類似度閾値 $\theta$ を用いて、近傍グラフを構築する。
• アルゴリズム: 貪欲法により、次数（最も多い近傍数）が最も高いパッチをセントロイドとして選択する。閾値内のすべての近傍パッチはこのクラスタに割り当てられ、候補プールから削除される。パッチがなくなるまでこれを繰り返す。
• 結果: これにより、セントロイドは意味的に明確に区別され、トークン数は画像の内在的な複雑さに適応する（複雑なシーンでは多くのトークン、単純なシーンでは少ないトークン）。

2.2. クラスタの洗練

初期の貪欲な選択は、パッチを最適でないセントロイドに割り当てる可能性がある。より良い意味的分離を実現するために、この手法はすべてのパッチを最も類似度の高いセントロイドに再割り当てし、各クラスタが一貫した意味を共有するパッチを含むことを保証する。

2.3. 視覚トークンの定式化

クラスタが確定したら、各クラスタに対して単一の視覚トークンを生成する。

• クロスアテンション: クラスタのセントロイドをクエリ（$Q$）とし、クラスタ内のすべてのパッチをキー（$K$）と値（$V$）として機能させる。
• 位置符号化: 空間的コンテキストを保持しつつアテンションスコアを乱さないよう、学習可能な位置埋め込みは値ブランチのみに注入される。
• マスキング: クラスタ制限付きアテンションマスクにより、トークンが自らのクラスタからの情報のみを集約し、無関係な意味概念の混入を防ぐ。
• 集約: 結果は MLP を通して最終トークンを生成するために渡される。

2.4. 意味的粒度制御

類似度閾値 $\theta$ は、意味的粒度を調整するための可変ノブとして機能する：

• 高い $\theta$: より厳格なグループ化基準により、より多く、より微細な粒度のトークンが生成される（詳細度が高い、計算コストが高い）。
• 低い $\theta$: より広範なグループ化により、より少なく、より粗い粒度のトークンが生成される（詳細度が低い、計算コストが低い）。
• 推論時の柔軟性: 重要なのは、$\theta$ を再学習なしに推論時に調整できることであり、これにより実務家は表現の詳細度とメモリおよびレイテンシの間でトレードオフを行うことができる。

3. 主要な貢献

1. 意味的分離: DiVT は、パッチ埋め込みを明確に意味的一貫性のある単位にクラスタリングし、標準的な ViT パッチ特徴に内在する絡み合いに対処する。
2. 適応的トークン予算: この手法は画像の複雑さに基づいてトークン数を動的に割り当てるため、固定予算アプローチの冗長性を回避する。
3. 学習不要な推論調整: 推論時に類似度閾値 $\theta$ を調整できる能力により、モデルの再学習なしに柔軟なコストとパフォーマンスのトレードオフが可能となる。
4. エンコーダおよび LLM 非依存性: このアプローチは、さまざまなビジョンエンコーダ（CLIP、SigLIP、DINOv2）と連携するように設計されており、大規模な LLM（例：130 億パラメータ）にも効果的にスケーリングする。

4. 実験結果

著者らは、DiVT を LLaVA-1.5 の 7B および 13B バックボーンを用いて、8 つのベンチマーク（MMBench、VQAv2、GQA、MME、MM-Vet、TextVQA、SQA-IMG、POPE）で評価した。

• トークン数に対する性能: DiVT は、MLP、ToME、FastV、PruMerge、VisionZip、TokenPacker などのベースラインと同等かそれ以上の性能を、はるかに少ないトークン数で達成する。
  • 例えば、フル MLP の 576 個に対し約 136.5 個のトークンを使用した場合、DiVT は MMBench（66.7 対 64.3）および VQAv2（78.2 対 78.5）で同等の性能を達成する。
  • 厳しい予算下（例：約 35 トークン）では、DiVT は他の方法を大幅に凌駕し、通常トークン削減が性能低下を招くような状況でも堅牢性を示す。
• プロジェクタとの比較: DiVT は、一般的な会話および VQA タスクにおいて、Resampler、C-Abstractor、Pixel-Shuffle などの他の視覚プロジェクタを上回り、専門的なタスクにおいても競争力がある。
• 定性的分析: アテンションマップは、標準的な MLP プロジェクタの分散したアテンションと比較して、DiVT がより焦点の絞られ、意味的一貫性のあるアテンションパターンを生成することを示している。
• 粒度制御: 実験により、特定の $\theta$ で学習されたモデルは、推論時に異なる $\theta$ 値で評価しても性能低下が最小限であることが示され、このアプローチの柔軟性が検証された。

5. 意義と主張

本論文は、DiVT が「単語のように」振る舞う視覚トークンを生成することで、視覚入力とテキスト入力間の「モダリティギャップ」に対処すると主張している。意味情報を明示的に分離し、トークン予算を画像の複雑さに適応させることで、DiVT は以下のための実用的なメカニズムを提供する：

• 計算コストの削減: 視覚トークンの数を削減することで、メモリ使用量（KV キャッシュ）とレイテンシを大幅に低減する。
• 互換性の向上: 視覚入力を LLM の離散的推論能力とより互換性のあるものにする。
• 柔軟な展開の実現: 実務家が推論中に精度と計算リソースのバランスを取るための、学習不要なノブを提供する。

著者らは、この手法が物体注釈のような外部監督や複雑な多段階学習を必要とせず、視覚トークンを形成するために言語モデリング目的のみに依存していることを強調している。これにより、DiVT は、コスト効率が高く、人間と整合性の取れたマルチモーダル理解のための軽量なプラグアンドプレイソリューションとなる。