技術サマリー：LLaVA-UHD v4

問題定義

マルチモーダル大規模言語モデル（MLLM）において、視覚エンコーディングは、特に高解像度画像を処理する際に、主要な計算ボトルネックを表しています。既存のパラダイムは、完全な画像をビジョントランスフォーマー（ViT）に直接入力する「グローバルエンコーディング」を採用し、その後、大規模言語モデル（LLM）に入力される前にトークンシーケンスを削減する「ポスト ViT 圧縮」を行うというものです。

このアプローチは、以下の 2 つの決定的な非効率性に悩まされています：

1. 二次的なアテンションコスト：グローバルエンコーディングは、削減が行われる前に、ViT が画像面積に比例して膨大なトークンシーケンス全体に対して完全な自己アテンションを計算することを強います。
2. 非効率的な圧縮タイミング：ポスト ViT 圧縮は、下流の LLM への負荷を軽減するのみであり、完全なエンコーダー計算が既に完了しているため、ViT 内部で発生する計算コストを削減することにはなりません。

画像解像度が高くなるにつれて、この「トークンの爆発」は、現代の MLLM にとって高解像度視覚エンコーディングにおける中心的な効率の障壁となっています。

手法

著者らは、エンコーディング戦略とトークン圧縮のタイミングを再考した、効率的な視覚エンコーディング方式「LLaVA-UHD v4」を提案します。この手法は、以下の 2 つの主要な柱に基づいています：

1. スライスベースエンコーディング（SE）対 グローバルエンコーディング（GE）

コミュニティのコンセンサスが文脈の保持においてグローバルエンコーディングが優れているという見解とは対照的に、著者らは高解像度入力に対して「スライスベースエンコーディング」の方が効果的であることを実証しています。

• メカニズム：完全な画像を ViT に入力する代わりに、画像を低解像度のサムネイルと、アスペクト比を考慮したグリッドポリシーに基づいた高解像度スライスのセットに分解します。これらのビューは独立してエンコードされます。
• 利点：このアプローチは、エンコーダーが各スライス内の微細なパターンに集中することを可能にすることで、局所的な詳細を保持します。重要なのは、画像全体に対するグローバル自己アテンションに伴う二次的な計算量の急増を構造的に回避することです。

2. ViT 内早期圧縮

ViT 内部に残る計算コストに対処するため、著者らは、ViT パイプラインの「後」ではなく「内部」に挿入される「パラメータ再利用型早期コンプレッサー」を導入します。

• 配置：コンプレッサー（$D$）は、ViT の特定の浅い層（SigLIP 2 バックボーンでは $k=6$）の後に挿入されます。
• アーキテクチャ：このモジュールは以下の構成からなります：
  1. ウィンドウアテンション：トークンが即座の空間的近隣と相互作用することを可能にする、$2 \times 2$ の非重なりウィンドウアテンションブロック。
  2. ダウンサンプリングと融合：$2 \times 2$ のピクセルアンシャッフル操作に続き、チャネルを融合する MLP により、トークン数を $4$ 倍削減します。
• 初期化戦略：事前学習された視覚表現を乱さないよう、コンプレッサーはランダムに初期化されません。代わりに、先行する ViT 層（具体的にはアテンション投影と FFN 重み）の重みを「再利用」します。この「ウォームスタート」により、新しいモジュールは最初のトレーニングステップから、元の ViT と同じ表現多様体上で動作することを保証します。

3. 2 段階圧縮パイプライン

最終的なアーキテクチャは、2 段階の削減を採用しています：

1. ViT 内：エンコーダーの早期（層 6 の後）で $4$ 倍の削減が行われ、その後の ViT 層の大部分が元のトークン予算の 25% だけで動作することを保証します。
2. ポスト ViT：標準的な MLP ベースのコネクタ（ピクセルアンシャッフルを使用）が LLM に入る前に追加の $4$倍削減を行い、エンドツーエンドの圧縮率を合計$16$ 倍とします。

主要な貢献

1. エンコーディングパラダイムの再検討：本論文は、スライスベースエンコーディングが、OCR や微細な知覚タスクを含む多様なベンチマークおよびデータスケールにおいて、一貫してグローバルエンコーディングを上回ることを実証的に示し、高解像度理解には常にグローバル文脈が必要であるという仮定に挑戦しています。
2. ViT 内圧縮アーキテクチャ：著者らは、ViT 内部でトークンを削減する新しい早期圧縮モジュールを提案します。ウィンドウアテンションとパラメータ再利用初期化を組み合わせることで、事前学習モデルの表現能力を犠牲にすることなく、大幅な計算節約を実現します。
3. LLaVA-UHD v4：スライスベースエンコーディングと ViT 内圧縮の統合により、視覚エンコーディングの FLOPs を 55.75% 削減しながら、強力なポスト ViT ベースラインと同等かそれ以上の性能を達成するシステムが実現されました。

実験結果

著者らは、LLaVA-UHD v4 を、8 つのベンチマーク（一般的な VQA、推論、微細な知覚（例：OCRBench、MMMU、MathVista）を網羅）に対して、強力なポスト ViT ベースライン（16 倍のポスト ViT MLP コンプレッサーを備えたスライスベースエンコーディング）と比較評価しました。

• 効率性：提案手法は、単一スライスにおける視覚エンコーディングの FLOPs を 3555.1 G から 1573.1 G に削減します（55.75% の削減）。
• 性能：400 万から 6400 万サンプルにわたるトレーニングデータスケール全体において、LLaVA-UHD v4 はベースラインの性能と実質的に同等の性能（平均偏差 -0.29 ポイント）を達成しました。
• アブレーション研究：
  • 圧縮タイミング：コンプレッサーを早すぎる（例：層 3）と性能が破壊され、遅すぎる（例：層 15）と効果が減退します。層 6 が最適なトレードオフとして特定されました。
  • モジュール設計：単純なマージ（平均プーリング）やランダム初期化では、ベースラインの精度を回復できません。性能を維持するためには、「ウィンドウアテンション」と「パラメータ再利用初期化」の組み合わせが不可欠です。
  • コネクタ設計：MLP ベースの空間マージコネクタは、特に低い圧縮率において、クエリベースのリサンプリャーを上回ります。

意義と主張

本論文は、圧縮パラダイムを「ポスト ViT」から「ViT 内」へシフトさせることで、下流の性能を犠牲にすることなく視覚エンコーディングの効率を大幅に向上させることができると主張しています。

• 設計方向：この研究は、効率的な高解像度 MLLM に対する実用的な設計方向を提供し、攻撃的なトークン削減をビジョンエンコーダー内部で行うことができることを示唆しています。
• スケーラビリティ：ViT 内の計算ボトルネックを削減することで、超高解像度入力を処理可能な、よりスケーラブルなマルチモーダル基盤モデルの実現を可能にします。
• 限定的な範囲：著者らは、現在のモジュールが固定された均一なダウンサンプリング率を使用していることを認めています。今後の研究では、動的でコンテンツを考慮したトークン削減メカニズム（例：テキストが密集した領域に多くのトークンを割り当てる）を探求できるとしており、最適な挿入深度は異なるバックボーンアーキテクチャによって変化する可能性があるとしています。

要約すると、LLaVA-UHD v4 は、視覚トークンを「どこで」「どのように」圧縮するかを再考することで、高度なマルチモーダルタスクに必要な微細な知覚能力を維持しつつ、大幅な計算節約を達成できることを実証しています。