💻 computer science

Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

本論文は、マルチモーダル大規模言語モデルにおける複雑な視覚推論タスクで既存の視覚トークンプルーニング手法が失敗する主要な原因を「解読中の関連視覚情報のシフト（RVIS）」と特定し、これを補正するトレーニング不要のフレームワーク「DSTP」を提案することで、推論性能の低下を大幅に軽減し、かつ視覚理解タスクでも性能向上を実現することを示しています。

原著者： Jiwan Kim, Kibum Kim, Wonjoong Kim, Byung-Kwan Lee, Chanyoung Park

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiwan Kim, Kibum Kim, Wonjoong Kim, Byung-Kwan Lee, Chanyoung Park

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎒 1. 背景：AI の「重い荷物」問題

最近の AI（マルチモーダル大規模言語モデル）は、画像を認識する際、画像を数千もの小さな「パズルのピース（トークン）」に分解して処理します。
しかし、この「ピース」が多すぎると、AI の頭（計算能力）がパンクしてしまい、処理が遅くなったり、メモリ不足になったりします。

そこで、これまでの研究では**「不要そうなピースを捨てて、重要なものだけ残す（トークンプルーニング）」**という節約策が主流でした。

これまでの考え方： 「問題文を読んで、画像のどこが重要か最初に判断して、それ以外のピースを捨ててしまおう！」
結果： 簡単な質問（「これは何の猫？」など）なら大成功。

🚗 2. 発見：なぜ「難しい推理」では失敗するのか？

著者たちは、この節約策が**「複雑な数学や論理パズル」**のような推理タスクでは、なぜか失敗することに気づきました。

🔍 発見された現象：「必要な情報の移動（RVIS）」

ここが論文の核心です。著者たちは、AI が推理をしている最中に、**「AI の視線（注目している場所）が、問題の進行に合わせて次々と移動している」**ことに気づきました。

簡単な質問（VQA）：
- 例：「画像の猫は何色？」
- AI の動き：最初から最後まで、猫の顔だけを見つめ続けます。視線は動きません。
- 節約策：「猫の顔だけ残せば OK！」→ 成功
難しい推理（VMR）：
- 例：「この図形から、辺 BD の長さを求めてください」
- AI の動き：
  1. まず「点 A」を見て、長さを確認する。
  2. 次に「点 B」を見て、三角形の性質を考える。
  3. さらに「点 C」を見て、計算式を立てる。
  4. 最後に「選択肢」を見て、答えを選ぶ。
- 問題点： 従来の節約策は「最初に重要だと判断した場所（例：点 A）」だけを残して、他の場所（点 B や C）を最初から捨ててしまっています。
- 結果： AI が「あ、次は点 B が必要だ！」と気づいたとき、すでに点 B の情報は捨てられていて、**「えっ、どこだっけ？」**となって正解が出せません。

これを論文では**「関連する視覚情報のシフト（RVIS）」**と呼んでいます。
**「推理を進めるにつれて、必要な情報の場所が次々と移動していく」**という現象です。

💡 3. 解決策：DSTP（動的なバックパック）

著者たちは、この問題を解決するために**「DSTP（Decoding-stage Shift-aware Token Pruning）」**という新しい仕組みを提案しました。

🎒 アナロジー：「賢いバックパック」

従来の節約策は、**「出発前に荷物を整理して、必要なものだけ入れて、後は捨ててしまう」という方法でした。
しかし、DSTP は「必要なものだけを持っていくが、道中で『あ、これが必要だ！』と思ったら、捨てておいたバックから取り出して、一時的に持ち直す」**という仕組みです。

仕組みの 2 つのステップ：
1. 監視（RISD）： 「AI の視線が、最初の場所から大きく動いたかな？」と常にチェックします。
2. 交換（CPTS）： 「動いた！」と判断したら、捨てておいた「捨てたはずの画像ピース」の中から、今必要なものだけを取り出して、AI の視野に戻します。

これにより、**「最初は捨てていても、推理が進むたびに必要な情報だけを呼び戻せる」**ようになります。

🏆 4. 結果：劇的な改善

実験の結果、この DSTP を使った AI は：

複雑な推理タスク： 従来の節約策では性能が半減していたものが、ほぼ満点に近いレベルまで回復しました。
簡単なタスク： 性能は落ちず、むしろ少し向上しました。
コスト： 計算量はほとんど増えず、非常に効率的です。

📝 まとめ

この論文が伝えていることはシンプルです。

「AI に画像を見せる時、最初から『これだけ必要』と決めて捨ててしまうのは危険です。難しい問題を解くとき、AI は『考える過程』で必要な情報の場所を次々と変えます。だから、捨てた情報も『いつでも取り出せるように』残しておき、必要になった瞬間に呼び戻す仕組み（DSTP）があれば、AI は速くても、賢く推理できる！」

まるで、**「旅に出る時、地図の一部分だけ見て出発するのではなく、道中で迷ったら地図の他の部分も取り出して確認できる」**ような、賢い AI の歩き方を実現したのです。

論文「Why and When Visual Token Pruning Fails?」の技術的サマリー

本論文は、マルチモーダル大規模言語モデル（MLLM）における視覚トークンプルーニング（Visual Token Pruning）が、単純な視覚理解タスクでは機能するものの、複雑な視覚推論タスクでは性能が著しく低下する根本的な原因を解明し、その解決策を提案する研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義：視覚推論におけるプルーニングの失敗

近年、MLLM の推論コストを削減するため、冗長な視覚トークンを除去する「視覚トークンプルーニング」が研究されています。既存の手法（FastV, DivPrune など）は、プリフィル段階（入力処理の初期段階）で重要な視覚トークンを一度選択し、それ以降のデコーディング（生成）段階ではその選択を固定する「静的プルーニング」を採用しています。

しかし、著者らは以下の矛盾を発見しました：

単純な視覚理解（VQA）：物体の認識や属性の特定など、必要な視覚情報が画像の狭い領域に集中しており、プリフィル段階での選択で十分対応できる。
複雑な視覚推論（VMR）：数学的推論や論理パズルなど、多段階の論理的思考を要するタスクでは、推論が進むにつれて必要な視覚情報が画像の異なる領域へ動的に移動する。

既存の静的プルーニング手法は、この「推論過程における視覚情報の移動」に対応できず、必要な情報が削除されたトークンに含まれている場合、推論が破綻します。

2. 核心発見：Relevant Visual Information Shift (RVIS)

著者らは、この失敗の主要因を**「関連視覚情報のシフト**（Relevant Visual Information Shift: RVIS）と名付けました。

RVIS の定義：デコーディング（生成）段階において、モデルの視覚的注意（Attention）が、プリフィル段階で決定された初期の注目領域から、推論ステップに応じて異なる画像領域へと動的に変化する現象。
VQA と VMR の違い：
- VQA：生成を通じて視覚的注意の分布が安定しており、RVIS はほとんど発生しない。
- VMR：論理的ステップが進むごとに、必要な視覚証拠（例：図の特定の部分、数値、幾何学的関係）が変わるため、RVIS が頻繁に発生する。
既存手法の限界：プリフィル段階で不要と判断して削除されたトークンは、その後のデコーディングで必要になったとしても再取得できないため、RVIS が発生する推論タスクでは性能が急激に低下する。

3. 提案手法：DSTP (Decoding-stage Shift-aware Token Pruning)

RVIS に対処するため、著者はDSTP（デコーディング段階のシフト認識トークンプルーニング）を提案しました。これは既存のプルーニング手法に追加するトレーニングフリー（学習不要）なフレームワークです。

DSTP は以下の 2 つのモジュールで構成されます：

3.1 Relevant Visual Information Shift Detect (RISD)

機能：デコーディングの各ステップにおいて、現在の視覚的注意ベクトルと、プリフィル段階で得られた初期の注意ベクトル（アンカー）との類似度（コサイン類似度）を計算します。
判定：類似度が閾値（ $\tau$ ）を下回った場合、RVIS が発生したと判定し、視覚情報のシフトを検知します。

3.2 Context-Preserving Visual Token Swap (CPTS)

機能：RVIS が検知された場合、現在保持しているトークンセットに、新たに必要となった視覚トークン（以前プルーニングされた保留トークンから）を追加・交換します。
コンテキスト保持（Context-Preserving）：単にトークンを差し替えるのではなく、初期のコンテキストを維持しつつ、新しい必要なトークンを統合（Union）します。これにより、画像の全体像を失わずに、特定の推論ステップに必要な詳細情報を再取得します。
持続期間：この拡張されたトークンセットは、一定のデコーディングステップ数（ $L$ ）の間保持され、その後、初期のプリフィルセットに戻されます。これにより、計算コストの増大を防ぎます。

4. 実験結果

Qwen3-VL-4B および InternVL3.5-8B などの SOTA モデルを用いて、MathVerse, WeMath, LogicVista などの視覚推論ベンチマークで評価を行いました。

視覚推論タスクでの劇的な改善：
- 既存のプルーニング手法（FastV など）は、推論タスクで大幅な性能低下（例：MathVerse で 32.23% → 19.41% など）を示しました。
- DSTP を適用することで、この低下を大幅に緩和し、フルトークンモデルに近い性能（例：52.54%）を回復させました。
- 特に、視覚依存度が強く複雑な推論を要するタスク（MathVerse, MMMU-Pro）で効果が顕著でした。
視覚理解タスクでの維持：
- 単純な VQA タスク（SQA, GQA など）では、RVIS が発生しにくいため、DSTP を適用しても性能は低下せず、むしろわずかな向上が見られました。
計算効率：
- DSTP は「検知と交換」のメカニズムにより、プリフィル段階のプルーニングによる計算量削減の恩恵を維持しつつ、デコーディング段階での追加コストは最小限に抑えています。
- TFLOPs 分析において、DSTP による追加コストは無視できるレベルであり、全体として効率的な推論を実現しています。

5. 主要な貢献と意義

RVIS の発見：視覚推論タスクにおけるプルーニング失敗の根本原因として、「推論過程における視覚情報の動的シフト（RVIS）」を初めて特定し、定量化しました。
適応型プルーニングの提案：トレーニング不要で、既存の静的プルーニング手法を「デコーディング段階で適応的に更新される」手法へ変換する DSTP を提案しました。
実用的な効率化：複雑な推論タスクにおいて、視覚情報の再取得を可能にすることで、精度を維持しつつ推論コストを削減する新しいパラダイムを示しました。

結論：
本論文は、MLLM の視覚トークンプルーニングが「静的な選択」から「動的な適応」へと進化すべきであることを示唆しています。DSTP は、推論の各ステップで必要な視覚情報を正確に再取得することで、複雑な視覚推論タスクにおけるモデルの堅牢性を大幅に向上させる有効な解決策です。