CLIP Tricks You: Training-free Token Pruning for Efficient Pixel Grounding in Large VIsion-Language Models

技術的サマリー：CLIP があなたを欺く：大規模視覚言語モデルにおける効率的なピクセルグラウンディングのための学習不要トークンプルーニング

問題定義
大規模視覚言語モデル（LVLM）は、処理する視覚トークンの膨大な量に起因する大きな計算オーバーヘッドに直面しており、その数はテキストトークンを大幅に上回ることが多い（例：LLaVA における 576 個の視覚トークン対 100 未満のテキストトークン）。最近のトークンプルーニング手法は、一般的な画像理解タスクではこの負荷を効果的に削減することに成功しているが、参照表現セグメンテーションなどのピクセルグラウンディングタスクでは苦戦している。既存のアプローチは通常、テキストに依存しない視覚的重要性（例えば、グローバルな [CLS] トークンとの類似性）に依存するか、高い視覚 - テキスト類似性が関連性を示すと仮定している。しかし、著者らは、これらの手法が入力テキストによって定義された特定の参照領域内のトークンを保持できないことを観察しており、それがセグメンテーション性能の低下につながっている。

手法：LiteLVLM
本論文は、効率的なピクセルグラウンディングのために設計された学習不要のテキストガイド型トークンプルーニング戦略であるLiteLVLMを導入する。この手法は、CLIP モデルの深い分析に基づいて構築されており、2 つの重要な現象を明らかにしている：

1. 視覚 - テキスト類似性の逆転: 直感に反して、参照領域（テキストによって記述される物体）内に位置する視覚トークンは、CLIP においてテキスト表現（具体的には [EOS] トークン）との類似性が低いことが示される。逆に、類似性の高いトークンは、背景やグローバルな文脈に対応することが多い。これは、CLIP のコントラスト学習による事前学習に起因しており、グローバルな埋め込みは整合性が取れているが、局所的な物体の詳細はグローバルなテキストベクトルとの整合性が取れていないためである。
2. テキスト注意のシンク: 分析により、CLIP における [EOS] トークンは強い「注意のシンク」バイアスを示し、参照表現のセマンティックな内容ではなく、[SOS]（文頭）トークンに向けてその注意の大部分を向けていることが明らかになった。[EOS] トークンにおける豊かなセマンティックな焦点の欠如は、類似性の逆転を悪化させる。

これらの洞察に基づき、LiteLVLM は 2 段階の選択プロセスを採用する：

• 類似性認識選択: 高類似性トークンを保持するのではなく、LiteLVLM は [EOS] トークンとの最低の類似性を持つ視覚トークンを選択する。これらのトークンは経験的に参照領域と空間的に整合しており、グラウンディングに不可欠な局所的な手がかりを保持する。
• 文脈認識回復: 明確な前景 - 背景分離に必要なグローバルな文脈と背景情報の損失を防ぐため、この手法は [CLS] トークンへの貢献度（注意重み付き値ベクトルを介して測定）に基づいて追加のトークンを回復する。
• 適応的選択: 入力テキストに基づいて、類似性認識（低類似性）トークンと文脈認識トークンの間の予算を動的に調整する適応戦略により、多様な参照表現全体で最適な性能を確保する。

主な貢献

1. 決定的な欠陥の特定: 著者らは、既存のテキスト非依存プルーニング手法や高視覚 - テキスト類似性に依存する手法が、参照物を識別するために必要なトークン自体を破棄するため、ピクセルグラウンディングにおいて性能が劣ることを実証している。
2. CLIP 分析: 本論文は CLIP の新たな分析を提供し、視覚 - テキスト類似性の逆転と [EOS] トークンの注意シンクバイアスを明らかにすることで、標準的なプルーニングヒューリスティックがグラウンディングタスクで失敗する理由を説明している。
3. LiteLVLM: ピクセルグラウンディングに特化した最初の学習不要トークンプルーニング手法の提案。逆転した類似性ランキングを活用して参照固有のトークンを保持しつつ文脈を回復し、微調整を必要としない。

実験結果
RefCOCO、RefCOCO+、RefCOCOg、Ref-DAVIS-17、Refer-YouTube-VOS などの画像および動画ベンチマークにおいて、広範な実験が行われた。

• 性能維持: LiteLVLM は最先端の手法（TRIM、LLaVA-PruMerge、VisPruner など）を大幅に上回る性能を示した。RefCOCO+ テストセットにおいて、視覚トークンを 66.7% プルーニング（576 から 192 へ削減）しながら、元の性能の**90.3%**を維持している。88.9% の削減（64 トークン）であっても、相対性能スコアは 79.2% を維持し、競合他社を 10% 以上上回っている。
• 動画グラウンディング: 動画物体セグメンテーションにおいて、LiteLVLM は 65.9% のトークン削減で元の性能の**99.5%**を保持し、時間的冗長性に対する堅牢性を示している。
• 効率性: この手法は、バニラモデルと比較して22% の推論速度向上と2.3 倍のメモリオーバーヘッド（活性化保存）削減を達成している。また、FLOPs も 2 倍以上削減している。
• 汎化性: このアプローチは、異なる LVLM アーキテクチャ（例：Qwen2.5-VL）やビジョンエンコーダ（例：SigLIP-2）にも効果的に汎化しており、初期分析で使用された特定の CLIP 実装に密接に結合されていないことを確認している。

意義と主張
本論文は、LiteLVLM がピクセルレベルのグラウンディング精度を犠牲にすることなく、リソース制約のあるデバイス（エッジデバイス、限られたサーバー）への LVLM の展開に対する実用的で費用対効果の高い解決策を提供すると主張している。CLIP におけるトークンの重要性に関する標準的な直感を逆転させることで、この手法はセグメンテーションタスクで高い忠実度を維持しつつ効率的な推論を可能にする。著者らは、画像および動画モダリティの両方にわたってピクセルグラウンディングにトークンプルーニングを拡張し、学習や微調整なしで最先端の結果を達成した最初の研究であると強調している。