💬 NLP

Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning

Nüwaは、群知能に着想を得たグローバルな空間アンカー保持とテキスト誘導型のタスク関連性フィルタリングを組み合わせることで、既存の視覚言語モデルにおける空間的劣化に対処し、視覚的質問応答および視覚的グラウンディングの両方のタスクにおいて最先端の性能を達成する2段階のトークンプルーニングフレームワークである。

原著者： Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

公開日 2026-02-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「ぼやけた地図」

視覚言語モデル（VLM）を、写真と質問をもとに謎を解こうとしている非常に賢い探偵だと想像してみてください。そのために、探偵は写真を何百もの小さなパズルのピース（トークンと呼ばれます）に分解します。

しかし、すべてのピースを一つひとつ見るのは、時間がかかり、非常に疲れる作業です。スピードを上げるために、これまでの手法では、最も「面白い」ピースだけを残して、「退屈な」ピースを捨て去ろうとしてきました。これが**トークン・プルーニング（Token Pruning）**と呼ばれるものです。

落とし穴：
このスピードアップは、「この写真で何が起きていますか？」（視覚的質問応答：VQA）のような一般的な質問には非常に効果的でした。しかし、探偵が「赤いカップはどこですか？」（視覚的グラウンディング：Visual Grounding）のように、特定の場所を指し示さなければならない場合には、惨めなほど失敗しました。

なぜか？
この論文は、従来の手法を、誰かが端や中央を切り取ってしまった地図のようなものだと主張しています。そこには、いくつかのランダムな点だけが残されています。探偵は、オブジェクトが「何であるか」は理解できても、**グローバルな地図（全体像）**を見失ってしまったのです。彼らは、上、下、左、右が互いにどのように位置しているのかという感覚を忘れてしまいました。その「空間的な完全性（Spatial Integrity）」が失われたため、正確に指し示すことができなかったのです。

解決策：Nüwa（創造の女神）

著者たちは、**Nüwa（女媧）**と呼ばれる新しい手法を提案しています。中国神話において、女媧は空を修復した女神です。ここでのNüwaは、写真の「引き裂かれた」地図を修復します。

この手法は、2段階のフィルタリングプロセスのように、2つのステージで機能します。

ステージ1：「群れ」戦略（ビジョンエンコーダ内）

単にランダムに「優れた」ピースを選ぶのではなく、Nüwaは鳥の群れ（あるいはミツバチの群れ）にインスパイアされた戦略を使用します。

分離（Separation）： 写真が巨大なグリッドであると想像してください。Nüwaはこのグリッドを、小さく整然とした「近隣地域（ネイバーフッド）」（街区のようなもの）に分割します。これにより、画像のあらゆる部分が表現されることが保証されます。
整列（Alignment / リーダーの選出）： 各近隣地域の中で、Nüwaは「リーダー」となるトークンを選びます。ただし、単に声が大きいものを選ぶのではなく、重要であり、かつ情報量も豊富なものを選びます。
集約（Aggregation / 寄せ集め）： その地域の他のピースは、自分たちのリーダーの周りに集まります。彼らは情報をリーダーへと集約させますが、それぞれのオリジナルの「住所（位置情報）」はそのまま保持します。

比喩： クラスルームを想像してみてください。時間を節約するためにクラスメイトの半分を追い出すのではなく、先生は机のグループごとに生徒をまとめます。各グループは「学級委員」を選び、その委員がグループ全体の意見を要約します。極めて重要なのは、先生が各グループが「どこに座っていたか」のリストを保持していることです。これにより、教室の地図は完全なまま保たれます。

ステージ2：「テキストガイド」（LLM内）

写真のピースが凝縮されると、それらはモデルの「脳」である大規模言語モデル（LLM）へと渡されます。

ここで、Nüwaはテキストによる質問をガイドとして使用します。もし質問が「猫はどこですか？」であれば、モデルは凝縮された写真のピースを見ながら、「これらのピースのうち、実際に猫のように見えるものはどれか？」と問いかけます。そして、最終的な答えに関係のないピースを削ぎ落としていきます。

なぜうまくいくのか（「アハ体験」の瞬間）

この論文は、従来の手法が**グローバルな空間参照フレーム（Global Spatial Reference Frame）**を壊していたことを発見しました。

従来の方法： 地図の中央を切り取ってしまうと、「北」や「南」の感覚を失います。
Nüwaの方法： 地図の「骨組み」を維持します。たとえピースの数を90%近く削減したとしても、残ったピースが画像全体に対して正確にどこに位置しているかを理解し続けるように設計されています。

結果：高速かつ正確

論文では、Nüwaを2種類のタスクでテストしました。

一般的な質問（VQA）： 「その人は何をしていますか？」
- 結果： Nüwaは、より少ないトークンを使用しながら、精度の95%を維持しました。低速なバージョンと同等の賢さを保っています。
指示タスク（Visual Grounding）： 「その人を枠で囲んでください。」
- 結果： こここそがNüwaの真骨頂です。従来の手法では、これらのタスクにおける精度がほぼゼロまで低下しました。一方、Nüwaは**47%から75%**の元の精度を維持しました（他の手法の7%〜18%と比較して、劇的な改善です）。

まとめ

Nüwaを、写真の**「スマートなエディター（編集者）」**と考えてください。

従来の編集者は、ファイルサイズを小さくするためにランダムにピクセルを削除し、特定のオブジェクトを見つける能力を台無しにしていました。
Nüwaは、ピクセルを近隣地域ごとに整理し、各地域の代表を選び、さらに各地域がどこに位置しているかの完璧な記録を保持します。これにより、AIは（処理するピースが少ないため）超高速でありながら（地図を失わないため）超精密であることも可能になります。

この論文は、「空間的な完全性（地図）」を修正することで、これらのAIモデルをゼロから再学習させることなく、より速く、かつより正確に物事を指し示せるようにできると結論付けています。

技術要約：Nüwa：VLMのトークン削減によって引き裂かれた空間的整合性の修復

1. 問題提起

Vision Language Models (VLMs) は、推論時に膨大な数のビジョン・トークンを生成するため、高い計算オーバーヘッドとスループットの低下を招きます。**トークン削減（Token Pruning）**は効果的な加速技術として台頭していますが、既存の手法には決定的な限界があります。それは、視覚的質問応答（VQA）タスクでは優れた性能を示す一方で、**視覚的グラウンディング（Visual Grounding: VG）**タスクにおいては大幅な性能低下を招くという点です。

著者らは、現在の削減戦略が、グローバルな意味的類似性やアテンション・スコアに依存しているために、**グローバルな空間参照フレーム（Global Spatial Reference Frame）**を破壊していることを特定しました。この参照フレームは、トークンの位置情報から導出されるものであり、空間的な推論や物体の位置特定に不可欠なものです。既存の削減手法は、空間的なトポロジーを保持せずにトークンを圧縮または破棄するため、画像の内容に関する一般的な質問に答える能力は維持できたとしても、画像内の物体を正確に特定する能力を失ってしまいます。

2. メソドロジー：Nüwa フレームワーク

空間的整合性の喪失に対処するため、著者らは、グローバルな空間アンカーを保持しながら冗長な情報を集約し、その後にテキストによる精緻化を行う、2段階の空間認識型トークン削減フレームワークである Nüwa を提案しています。

ステージ1：空間的凝集による削減（ビジョン・エンコーダ）

ビジョン・エンコーダの直後で動作するこのステージでは、スウォーム・インテリジェンス（特にBoidsアルゴリズム）に着想を得た3つの操作を通じて、初期の $N^2$ 個のビジョン・トークンを、高密度で空間保存的なシーケンスへと削減します。

分離（Separation）: 入力トークン・グリッドを重なりのないローカル領域（ $M \times M$ ）に分割します。これにより、後続の選択と集約がリージョンレベルで行われることが保証され、完全なグローバル座標系が維持されます。
整列（Alignment / 顕著性識別）: 各リージョン内で、代表的な「ベンチマーク」トークンを集約センターとして選択します。選択基準は以下の組み合わせに基づきます：
- グローバル・アテンション: [CLS] トークンからのスコア。
- 情報容量: トークンのキー・ベクトルのL2ノルム（ $\|k_i\|^2$ ）。
- 根拠: 高いノルムを持つトークンは、Vision Transformerにおいて「レジスタ（タスクに依存しないアンカー）」として機能することが多いです。この手法は、最も高い顕著性スコアを持つトークンを特定し、ベンチマーク・トークン集合（ $T_B$ ）を形成します。
集約（Aggregation / 空間的近接性）: 隣接するトークンの特徴量をベンチマーク集合へと統合します。
- 役割の割り当て: $T_B$ 内のトークンは、ピラー・トークン（Pillar Tokens）（高いL2ノルムを持つもの）または**コレクター・トークン（Collector Tokens）**に分類されます。ピラー・トークンは、特徴分布のシフトを防ぐために元の特徴を保持し、コレクター・トークンは隣接するトークンから特徴を集約します。
- 重み付き集約: 意味的類似性（正の相関のみ）と空間的近接性（閾値内のユークリッド距離）の両方を用いた重み行列を構築します。これにより、集約が局所的に行われることが保証され、オブジェクト中心の表現が保持され、空間的に離れたトークン同士が結合することを防ぎます。

ステージ2：テキストによる変調削減（LLM）

マルチモーダルな特徴量の整列後、集約されたビジョン・トークンは大規模言語モデル（LLM）へと入力されます。LLMの中間層において、2番目の削減ステージが行われます：

テキスト・トークンの埋め込みを平均化することで、包括的なテキスト・クエリ・ベクトルを導出します。
共有埋め込み空間におけるこのクエリ・ベクトルとのコサイン類似性に基づいて、ビジョン・トークンのスコアを算出します。
上位 $K$ 個の最も関連性の高いビジョン・トークンのみが、後続の推論と回答生成のために保持されます。これにより、最終的なトークン集合は、ステージ1による空間的一貫性と、ステージ2によるタスク適合性の両方を備えることになります。

3. 主な貢献

本論文は、主に3つの貢献を行っています。

VLMパイプラインのタスク特異的分析: 著者らは、VLMの処理パイプラインを体系的に分析し、VLMがグローバルな意味的統合から微細なオブジェクト中心のフォーカスへと進む多段階のパイプラインを通じて動作することを明らかにしました。彼らは、グラウンディング・タスクが、処理の中間段階においてグローバルな空間参照フレームの保持に大きく依存していることを示しており、これは既存の削減手法ではしばしば見落とされている要件です。
Nüwa フレームワーク: 以下の特徴を持つ2段階の削減フレームワークを導入しました：
- リージョンベースの分離と適応的な集約による、空間的トポロジーの保持。
- 「ピラー」と「コレクター」のトークンを区別することによる、グローバルな空間アンカーの維持。
- 微細かつタスク指向の削減のための、LLMにおけるテキスト意味論の活用。
性能検証: 13のデータセットおよび複数のVLM（LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL）にわたる広範な実験により、Nüwaが新たなSOTA（State-of-the-Art）を確立したことを示しています。Nüwaは、最大88.9%のトークン削減条件下で、VQAベンチマークにおいて95%の性能保持、およびビジュアル・グラウンディング・ベンチマークにおいて47.2%の保持を達成しました。これは、VGタスクにおいてしば 인해 一桁台のパーセンテージまで低下してしまう既存手法を大幅に上回る結果です。

4. 実験結果

VQA性能: Nüwaは10のVQAベンチマーク（GQA, MMB, MMEなど）においてSOTA性能を達成し、最大88.9%のトークン削減を行いながら、元のモデルの性能の94%〜95%を維持しました。
ビジュアル・グラウンディング性能: RefCOCOシリーズのベンチマークにおいて、Nüwaは既存手法に対して大幅な改善を示しました。例えば、わずか64個のトークンを保持する構成（88.9%削減）において、N-uwaは元の性能の**47.2%を達成しましたが、VisionZipやSparseVLMといった手法はそれぞれ7.28%および1.88%**まで低下しました。
効率性: 本手法はTFLOPsを**89%削減し、プリフィル（prefill）時間を62%**短縮します。削減指標によって導入される計算オーバーヘッドは無視できる程度です（SOTAのベースラインと比較してプリフィル時間が約1ms増加するのみ）。
アブレーション研究: リージョン分割がグラウンディング・タスクにとって極めて重要であること（相対位置マッピング拡張戦略を可能にする）、およびL2ノルム基準がすべてのタスクにおいてトークン選択を改善することを実験によって確認しました。

5. 意義と主張

本論文は、VLMのグラウンディング・タスクにおける性能低下は、主にトークン削減中にグローバルな空間参照フレームが失われることに起因すると主張しています。スウォーム・インスパイアードな空間集約とテキスト誘導型の精緻化を組み合わせた2段階のプロセスを通じて、この空間的整合性を再構築することにより、Nüwaは「引き裂かれた空間的整合性」を効果的に「修復」します。

著者らは、本手法が再学習を必要としない（トレーニングフリーである）こと、および既存のVLMアーキテクチャやハードウェア最適化（FlashAttentionなど）と互換性があることを強調しています。本研究は、効率的なVLMの推論には、単なる意味的な冗長性の削減だけでなく、特にグラウンディング・タスクにおける空間的一貫性の必要性といった、タスク固有の要件を考慮する必要があることを浮き彫りにしています。