論文「Do Vision Language Models Need to Process Image Tokens?」の技術的サマリー

本論文は、大規模言語モデル（LLM）と視覚エンコーダを統合した**ビジョン・ランゲージモデル（VLM）**において、画像トークンの処理がモデルの深層（レイヤー）全体で本当に必要なのか、あるいは早期に安定化して以降の処理が冗長ではないかを検証した研究です。

1. 研究の背景と問題提起

従来の VLM（LLaVA, Qwen-VL, InternVL など）は、画像を多数のトークンに変換し、それらを LLM の深いトランスフォーマースタック全体で処理します。これにより計算コストが膨大になります。
しかし、近年の研究では、マルチモーダルタスクにおいて視覚信号が十分に活用されていない可能性が示唆されており、テキストトークンが最終予測を支配しているケースが多いことが指摘されています。

核心的な問い：

• VLM 内部で視覚情報はどのように進化するか？
• 視覚表現はモデルのどの段階で「安定」し、それ以降の処理は本当に必要なのか？
• 画像トークンの処理を早期に打ち切っても、モデルの性能や推論能力は維持できるか？

2. 手法と実験設計

著者らは、タスクレベルの性能評価だけでなく、トークン表現の構造的進化に焦点を当て、以下の 3 つの指標を用いて画像トークンとテキストトークンの挙動を層ごとに分析しました。

1. 行列エントロピー（Matrix Entropy）: スペクトル構造の集中度を測定（低エントロピー＝圧縮された構造）。
2. 内在次元数（Intrinsic Dimensionality, ID）: 表現が局所多様体上で必要とする自由度を推定。
3. 軌道曲率（Trajectory Curvature, TC）: 埋め込み空間における層間更新の方向性の変化を測定（曲率が低い＝滑らかな進化）。

実験対象モデル:

• LLaVA-1.5-7B
• Qwen2.5-VL-7B-Instruct
• InternVL3-8B-hf
  （パラメータ規模 3B〜72B の多様なファミリーを対象）

主要な実験プロトコル:

• 層置換実験（Layer Substitution）: 異なる層の画像トークンを交換し、出力の意味的類似性を測定。
• 深度トリミング（Depth Truncation）: 特定の層以降の画像トークン処理を完全に停止し、テキストトークンのみで残りの層を通過させる。
• 微調整による回復（Fine-tuning Recovery）: トリミングされたモデルを、元のモデルの出力をターゲットとして LoRA 微調整し、性能回復の可能性を検証。
• 推論チェーンの分析: 単一トークン予測 vs. 構造化推論（CoT）におけるトリミングの影響を比較。

3. 主要な発見と結果

3.1 表現の早期安定化と構造的非対称性（RQ1）

• 画像トークン: 初期の数層で表現が急速に安定化します。エントロピー、内在次元数、軌道曲率のすべてが、深い層に行くにつれて一定の範囲に収束（プラトー化）します。これは、視覚情報が早期に「有界な複雑さの多様体」に圧縮され、以降の層では根本的な再構成ではなく、情報の維持・微調整が行われていることを示唆します。
• テキストトークン: 逆に、テキストトークンは深い層にわたって動的に再編成され続け、エントロピーや次元数が変動し続けます。
• 結論: 視覚表現は構造的に早期に安定するが、テキスト表現は深層を通じて進化し続けるという明確な非対称性が存在します。

3.2 層間の機能的交換可能性（RQ2）

• 画像トークンの表現が安定した層以降、異なる層の画像トークンを交換しても、出力の意味的類似性はほぼ 1.0 で維持されます。
• 一方、テキストトークンの層間交換は、層の差が大きくなるほど性能が低下します。
• 結論: 視覚表現の安定化は、深い層での機能的な交換可能性（Interchangeability）を意味します。つまり、ある深度以降の画像トークン処理は、意味的な変化をもたらすために必須ではありません。

3.3 タスク依存性の存在（RQ3）

• 単一トークン予測（例：VQA の選択肢選択）: 画像トークンの処理を早期に打ち切っても、性能の低下は緩やかです。粗い視覚的決定が早期に形成されるためです。
• 多トークン生成（例：キャプション生成、自由記述 VQA）: 画像トークンの処理を早期に打ち切ると、性能が劇的に低下します。生成の各ステップで視覚的コンテキストを維持する必要があるため、深い層までの視覚処理が不可欠です。
• 結論: 画像トークンの必要性は出力タスクの複雑さに依存します。単一予測には浅い処理で十分ですが、詳細な生成には深い処理が必要です。

3.4 微調整による機能回復の可能性（RQ4）

• 記述タスク（キャプション）: トリミングされたモデルを微調整（Distillation-based fine-tuning）することで、元のモデルに近い性能を部分的に回復できます。特に、深い層まで画像処理を残した場合の回復率は高いです。
• 構造化タスク（ChartQA など）: 数値やカテゴリの正確な整合性が求められるタスクでは、微調整による回復は限定的です。早期の視覚処理層を失うと、微調整でも失われた微細な視覚 - テキストの整合性を完全に再構築できません。
• 計算効率: 微調整により、より浅い深度（低い計算量）で元のモデルに近い性能を達成できることが示されました。特に「プリフィル（Prefill）」段階の計算コスト削減効果が顕著です。

3.5 推論チェーンと視覚深度の関係（RQ5）

• 推論チェーン（CoT）の逆説: 明示的な推論プロセス（要約→キャプション→推論→結論）を導入しても、視覚深度の削減に対する耐性は向上しません。むしろ、推論チェーンの方が単一予測よりも視覚深度の削減に敏感です。
• 理由: 推論チェーンは複数のデコーディングステップで視覚情報を反復的に参照する必要があり、視覚的グラウンディングの持続性が求められるためです。
• 階層的な劣化: 視覚深度の削減により、「要約」は比較的安定ですが、「キャプション」や「推論」の品質は大きく劣化します。

4. 主要な貢献と意義

1. VLM における視覚処理の必要性の再定義:
   「深い視覚処理が常に必要」という仮定を否定し、視覚表現が早期に安定化し、タスクの種類（単一予測か多トークン生成か）によって必要な深度が異なることを実証しました。

2. 効率的な VLM 設計への指針:

   • タスク適応型トリミング: 単一トークン予測タスクでは画像トークンの処理を早期に打ち切ることで、大幅な計算コスト削減が可能。
   • 微調整の活用: 性能を維持しつつ計算量を削減するために、トリミング後のモデルに対する微調整（Distillation）が有効であることを示しました。

3. 推論と表現の解離の解明:
   視覚表現が構造的に安定している（交換可能である）ことと、推論タスクにおいて視覚情報が機能的に必要であること（特に多ステップ推論）は別問題であることを明らかにしました。これは、表現の幾何学的性質と推論の要求事項の間のギャップを示しています。

4. 実用的なインパクト:
   推論時の遅延や計算リソース制約下において、どの段階で画像トークンの処理を停止すべきか、あるいは微調整によってどの程度の回復が見込めるかという、具体的なデプロイ戦略を提供します。

5. 結論

本論文は、VLM において画像トークンの処理が「深層全体で均一に必要」というパラダイムに挑戦し、**「視覚表現の早期安定化」と「タスク依存性の必要性」**という新たな知見を提供しました。これにより、計算効率を最大化しつつ性能を維持するための、構造的に効率的なマルチモーダルアーキテクチャの設計が可能になります。