💻 computer science

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

マルチモーダル大規模言語モデルにおける推論コストの削減を目指し、アテンションヘッドの重要性を考慮して視覚トークンを剪定する訓練不要な手法「HAWK」を提案し、Qwen2.5-VL において視覚トークンを 80.2% 削減しながらも元の精度の 96.0% を維持し、レイテンシと GPU メモリ使用量を大幅に削減する結果を示した。

原著者： Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

公開日 2026-04-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

こんにちは！この論文「HAWK」について、専門用語を排して、誰でもわかるような日常の言葉と面白い例え話を使って解説しますね。

🦅 HAWK とは？「賢いハゲワシ」が選ぶ「本当に必要な写真」

まず、この研究の主人公は**「HAWK**（ホーク）という名前です。これは「ハゲワシ」を意味します。
ハゲワシは空から獲物（食べ物）を鋭い目で見つけ、不要なものは無視して、本当に必要なものだけを狙い撃ちしますよね。この論文の HAWK も、AI が画像を見る時の「不要な情報」をハゲワシのように見極めて、捨ててしまうという仕組みを作ったんです。

📸 問題点：AI は「写真」を見過ぎている！

現代の AI（マルチモーダルモデル）は、文章だけでなく、写真や動画も理解できます。
でも、ここには大きな問題がありました。

例え話:
あなたが AI に「この写真の犬は何色？」と聞くとします。
AI はその写真を見て、「空、木、地面、影、犬の毛、犬の鼻、犬の足……」と、写真のすべての細かい部分をバラバラの「単語（トークン）」に変えて読み始めます。

写真 1 枚に対して、AI は数百もの「単語」を処理しなければなりません。
これって、「料理を作るのに、包丁で野菜をすべて微塵切りにしてから、鍋に入れる」ようなもの。
野菜（画像情報）は全部必要ですが、「鍋の底の焦げ」や「空気の粒」まで細かく切る必要はありません。

これを全部処理すると、AI は時間がかかりすぎたり、メモリ（記憶力）してしまいます。スマホやリアルタイムのアプリでは使えないんです。

💡 解決策：「ハゲワシ」が不要な部分をカットする

そこで登場するのが**「トークン剪定**（せんてい）という技術です。「不要な単語を切り捨てて、必要なものだけ残す」ことですね。

でも、これまでの方法は少し「雑」でした。

昔の方法: 「似ている部分は全部消そう」「一番目立つところだけ残そう」という、「誰が（どの脳細胞）を無視したルールでした。
- これだと、「犬の鼻」は残るのに、「犬の毛の模様」まで消えてしまったり、逆に「空の青さ」のような重要でない部分が残ったりして、AI が正しく答えられなくなることがありました。

🚀 HAWK のすごいところ：「頭脳」の役割分担をわかってる！

HAWK が発見した**「驚きの事実」があります。
AI の脳内には「注意機構（アテンション）」という仕組みがあり、そこには「複数の頭**（ヘッド）があります。
これまでの研究は「すべての頭が同じように働いている」と思っていました。

しかし、HAWK の実験では、**「実は頭によって得意分野が違う！」**ことがわかりました。

A 君の頭: 色や形を見るのが得意。
B 君の頭: 文字を読むのが得意。
C 君の頭: 動きや背景を見るのが得意。

もし、「A 君の意見（重要度）して、B 君や C 君の意見を無視して「平均」を取っていたら、**「犬の毛」**という重要な情報が消えてしまうかもしれません。

HAWK のアプローチ：

「頭」の重要性を測る: 事前に「どの頭がどのくらい重要か」を計算して、**「重要度スコア」**をつけました。
質問に合わせて選ぶ: 「犬の色は？」という質問なら、色を見るのが得意な頭のスコアを高くして、その頭が注目している部分（犬の毛）を優先的に残します。
不要なものを捨てる: 質問に関係ない「空の雲」や「背景の木」などの情報を、ハゲワシのようにバッサリと切り捨てます。

🌟 結果：劇的なスピードアップと高品質

この「HAWK」を使ってみると、どんなすごいことが起きたかというと：

画像の 80% を削除しても、正解率は 96% 維持！
- 例え話：100 枚の写真を 20 枚に減らしても、AI は「ほぼ完璧」に答えられます。
処理速度が約 1.3 倍に！
- 20 分かかっていた計算が、15 分で終わるようになります。
メモリ使用量が減る！
- 重いスマホでもサクサク動くようになります。

🎯 まとめ

この論文の HAWK は、**「AI が画像を見る時に、すべての情報を平等に処理するのではなく、『質問に答えるために本当に必要な部分』を、AI の脳内にある『得意な頭』の力を借りて見極める」**という、とても賢い仕組みを作りました。

これにより、**「重い AI が、スマホでもサクサク動く」という未来が近づきました。まるで、「料理の材料を、本当に必要なものだけ選りすぐって、無駄な包丁作業を省く」**ようなものですね！

これで、もっと速くて賢い AI が、私たちの日常生活にたくさん登場するはずです。🦅✨

HAWK: 多モーダル大規模言語モデルにおけるヘッド重要度意識型視覚トークンプルーニングの技術概要

本論文は、多モーダル大規模言語モデル（MLLM）の推論コストを削減し、リアルタイム応用やリソース制約のある環境での実用化を可能にする新たな手法「HAWK（Head Importance-Aware Visual Token Pruning）」を提案しています。

以下に、問題定義、手法、主な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

MLLM は画像や動画などの視覚情報を「視覚トークン」として言語モデルに投入し、推論を行います。しかし、高解像度の画像や長い動画は数百から数万の視覚トークンを生成し、テキストトークンに比べて圧倒的に多くなります。

課題: アテンション機構の計算複雑度はトークン長の二乗に比例するため、視覚トークンの急増は推論時間の大幅な増加と計算オーバーヘッドの増大を招き、実用的な応用を阻害しています。
既存手法の限界: 既存のトークンプルーニング手法（類似性ベース、微調整ベース、アテンションベース）は、**「すべてのアテンションヘッドが視覚解釈に均等に寄与している」**という前提に立っています。しかし、実際には異なるヘッドが異なる視覚セマンティクスを捉えており、役割に差があることが示唆されていました。この仮定の違いにより、重要なトークンが誤って削除されたり、冗長なトークンが保持されたりする可能性があります。

2. 提案手法：HAWK

HAWK は、アテンションヘッドの重要性を考慮した視覚トークンプルーニング手法であり、**学習不要（Training-free）**で、既存の MLLM にシームレスに適用可能です。

2.1. 核心的な洞察

著者らは、異なるアテンションヘッドを個別に無効化（アブレーション）する実験を行い、各ヘッドが視覚タスクに対して異なる重要性と役割を持っていることを発見しました。この「ヘッドの重要性の偏り」をプルーニングに活用することで、より効率的なトークン選択が可能になります。

2.2. 手法のフロー

HAWK は以下の 3 つのステップで構成されます。

静的なヘッド重要度重みの算出（Static Head Importance Weights）:
- 複数のベンチマークデータセットを用いて、各アテンションヘッドを無効化した際の性能低下（ $\Delta S$ ）を測定します。
- これらのデータを集約し、L1 ノルムで正規化した平均値を「ヘッド重要度重み（ $w_i$ ）」として算出します。これはオフラインで一度だけ計算すればよく、推論時に再利用されます。
動的なテキスト誘導アテンションスコアの算出（Dynamic Text-Guided Attention Scores）:
- 視覚トークンの重要性は入力されたテキスト指示（プロンプト）によって動的に変化します。
- 最初のアテンションレイヤのクエリ（ $Q$ ）とキー（ $K$ ）行列を用いて、テキストトークンと視覚トークンの間の関連性を計算します。
- 重要な工夫: 位置エンコーディング（RoPE）を意図的に除外し、位置情報に依存せず、純粋に「テキストと視覚のセマンティックな対応関係」に基づいてアテンションスコアを算出します。これにより、指示に応じた視覚領域の重要度を正確に評価します。
重要度意識型プルーニング（Head Importance-aware Pruning）:
- 各視覚トークンの最終的な重要度スコア（ $I_k$ ）を、算出された「ヘッド重要度重み（ $w_i$ ）」と「テキスト誘導アテンションスコア（ $c_{ik}$ ）」の積和として計算します。
- $I_k = \sum_{i=1}^{N_h} w_i \cdot c_{ik}$
- このスコアに基づき、上位のトークンを選択して保持し、残りを削除します。

3. 主な貢献

ヘッド役割の発見と定量化: MLLM 内の異なるアテンションヘッドが視覚処理において異なる役割を果たし、重要性が均等ではないことを実証し、その重要性を定量化しました。
HAWK の提案: 学習不要で、ヘッド重要度とテキスト誘導アテンションを統合した新しいプルーニング手法を提案しました。
SOTA パフォーマンスの達成: 複数の視覚言語ベンチマークにおいて、既存の手法（DivPrune, FastV, CDPruner など）を凌駕する精度を達成しました。

4. 実験結果

Qwen2.5-VL-7B および InternVL3-8B などの最新モデルを用いた広範な実験が行われました。

画像ベンチマーク（固定解像度）:
- Qwen2.5-VL-7B: 視覚トークンを80.2% プルーニングした場合でも、元の精度の**96.0%**を維持しました（既存の最良手法より 3.4% 上回る）。
- 90.1% プルーニングという極端な条件下でも 90.0% の精度を維持し、他手法を大きく上回りました。
画像ベンチマーク（ネイティブ解像度）:
- 可変長の入力に対してもロバストであり、80% プルーニングで 96.2% の精度を維持しました。
動画理解ベンチマーク:
- VideoMME や WorldSense などの動画タスクにおいても、80% プルーニングで 96.6% の精度を維持し、効率的な動画理解を可能にしました。
効率性（レイテンシとメモリ）:
- レイテンシ: 80% プルーニングにより、エンドツーエンドの推論時間を元の74.4%（約 1.34 倍の高速化）に削減しました。
- メモリ: KV キャッシュと GPU メモリ使用量を大幅に削減し、大規模モデルの実装を容易にしました。

5. 意義と結論

HAWK は、MLLM の推論コストを劇的に削減しながら、高い精度を維持する実用的なソリューションを提供します。

学習不要: 追加のトレーニングやファインチューニングが不要なため、既存のモデルに即座に適用可能で、汎用性が高いです。
メカニズムの革新: 「すべてのヘッドは等しい」という従来の仮定を覆し、ヘッドごとの重要性を考慮することで、文脈に応じた最適なトークン選択を実現しました。
実用化への寄与: リアルタイム処理やリソース制約のある環境（エッジデバイス等）での MLLM 展開を現実的なものにする重要なステップとなります。

本手法は、コードを GitHub で公開しており、今後の多モーダルモデルの効率化研究の基盤となる可能性があります。