技術要約：高速かつ堅牢なVLMのためのクラスタリングとトークン・デノイジング

問題提起

LLaVAのような近年の視覚言語モデル（VLM）は、学習済みのビジョンエンコーダと大規模言語モデル（LLM）を統合することで、優れた成果を上げてきました。しかし、重大なボトルネックが存在します。ビジョンエンコーダは通常、大量の視覚トークン（例：576または729個）を生成するため、LLMの自己注意（self-attention）メカニズムに対して二次的な計算負荷を課します。これは、エッジデバイスへの効率的なデプロイを妨げる要因となります。

トークン削減（pruning）技術は存在しますが、主に2つの限界に直面しています。

1. 学習ベースの手法： コストのかかる再学習や、特殊なアーキテクチャの変更を必要とします。
2. 学習フリーの手法： 軽量ではありますが、現実世界の画像ノイズ（例：ガウスノイズ、ソルト・アンド・ペッパーノイズ）に対する性能が十分に探索されていません。既存の学習フリーなセレクターは、アテンションスコアのみに依存している（冗長性を招き、ノイズに対して脆弱である）、あるいは多様性のみに依存している（トークンの重要性を無視している）という課題があります。

著者らは2つの重要な問いを投げかけています。「現在の学習フリーな削減手法は、ノイズによってどの程度性能が低下するのか？」、そして「再学習なしで、軽量かつノイズに強いセレクターを設計できるか？」という点です。

手法：ClustRS

本論文では、堅牢なトークン削減のために設計された、2つのパートからなる学習フリーのアルゴリズム、ClustRSを提案します。これは、選択のための**クラスタリング + Huber距離（C + H）と、デノイジングのためのロバスト残差収縮（Robust Residual Shrinkage: RRS）**で構成されています。

1. クラスタリング + Huber距離 (C + H)

このコンポーネントは、トークンの重要度（salience）と多様性のトレードオフに対処しつつ、ノイズによる外れ値への耐性を確保します。

• 投影後のクラスタリング（Post-Projection Clustering）： 生のCLIP特徴量をクラスタリングする手法とは異なり、ClustRSは視覚言語投影層の後のトークンをクラスタリングします。これにより、クラスタリングがLLM自身の概念的関係を反映した、意味的埋め込み空間で行われることが保証されます。
• アテンション加重目的関数： クラスタリングの目的関数は、アテンション加重されたクラスター内歪みを最小化します。アテンションスコアが高いトークンは、そのクラスターの重心に対してより強い引き付け（pull）を生じさせ、重要な領域が優先されるようにします。
• K-means++ 初期化： アルゴリズムは、距離とアテンションスコアの両方に基づいて特徴空間全体に重心を分散させる、アテンションを考慮したK-means++戦略を使用して重心を初期化します。
• Huber距離： 標準的な二乗誤差距離がノイズによる外れ値に対して敏感であるという問題に対処するため、ユークリッド距離をHuber距離に置き換えています。この損失関数は、小さな残差に対しては二次的に振る舞い（密なクラスター形成を維持）、大きな残差に対しては線形に振る舞う（外れ値が重心を歪めるのを防ぐ）特性を持ちます。

2. ロバスト残差収縮 (RRS)

選択だけでは、残ったトークンからノイズを取り除くことはできません。RRSは、選択されたトークンに対するワンパスのデノイジングステップとして機能します。

• 残差分析： クラスター $c_j$ 内の各選択されたトークン $v_i$ について、トークンは重心と残差（$r_i = v_i - c_j$）の和として捉えられます。この残差に、ノイズの分散の大部分が含まれていると仮定します。
• 適応型収縮（Adaptive Shrinkage）： ジェームス＝シュタイン推定量に着想を得たRRSは、トークンベクトルをクラスター重心へと収縮させます。収縮係数 $\alpha_i$ は適応的であり、クラスターのロバストなスケール（中央値の残差ノルム）と、トークン固有の残差ノルムの比率によって決定されます。
• 意味の保持： 更新規則 $\tilde{v}_i = \alpha_i v_i + (1 - \alpha_i) c_j$ は、ベクトルの正規化を行わずに分散を減少させる凸結合であり、これによりLLMが期待する方向統計量を保持します。
• SigLIPへの適応： SigLIPベースのモデル（LLaVA-OneVisionなど）のために、著者らはノルム認識型サリエンス項を導入しています。SigLIPのアテンションマップはCLIPよりも平坦であるため、アテンションスコアに特徴ベクトルの大きさ（SigLIPにおいてサリエンスを符号化するもの）を加算することで、動的なランキング信号を復元します。

主な貢献

1. 新規のロバスト・クラスタリング (C + H)： Huber距離を用いたアテンション加重クラスタリングにより、ノイズによる外れ値に強い、多様かつ重要なトークンの代表を選択する、学習フリーの手法を提供します。
2. ロバスト残差収縮 (RRS)： 特徴空間において選択されたトークンのノイズ成分を選択的に減衰させ、意味的な方向性を保持しながら分布の変化を回避する、軽量なワンパスの強化手法です。
3. 包括的な評価： ガウスノイズおよびソルト・アンド・ペッパーノイズの幅広い条件下において、ClustRSがMM-VETおよびScienceQA-IMGベンチマークで一貫した利得を示し、特に極端な圧縮（$k=16$ トークン）や高ノイズ下において、既存の最先端の学習フリー手法（FasterVLM, DivPrune, VisionZip）を上回ることを実証しました。
4. デプロイメントへの即応性： 全体的なパイプラインは学習フリーであり、既存の推論最適化（例：KVキャッシュ、Flash-Attention）と互換性があるため、即座にデプロイ可能です。また、最小限の修正で新しいSigLIPベースのバックボーンにも適応できます。

実験結果

実験は、LLaVA-1.5-7B（CLIPベース）およびLLaVA-OneVision（SigLIPベース）を用い、MM-VET（オープンエンド推論）およびScienceQA-IMG（多肢選択式）を用いて行われました。

• 極端な圧縮 ($k=16$)： ClustRSは、極端なノイズ条件下でベースラインを最大20%上回りました。クリーンなMM-VET画像において、ClustRSは0.271を記録し、FasterVLM (0.211) や DivPrpe (0.232) を上回りました。深刻なガウスノイズ ($\sigma=3.0$) の下でも、0.140のスコアを維持し、すべてのベースラインを凌駕しました。
• ノイズ耐性： ClustRSは、ガウスノイズおよびソルト・アンド・ペッパーノイズの両方において、様々なノイズ密度に対して一貫して最高スコアを達成しました。これは、冗長性が最小となる低トークン領域で特に顕著でした。
• SigLIPへの適応： LLaVA-OneVisionにおいて、ノルム認識型適応により、ClustRSはわずか16個のトークンで0.272のクリーン精度を達成し、FasterVLM (0.138) や DivPrune (0.164) を劇的に上回りました。
• 計算オーバーヘッド： 本手法による計算コストの増加は無視できる程度であり（A100 GPUでの $k=16$ 時のオーバーヘッドは約1ms）、これは典型的なレスポンスの全エンドツーエンド生成時間の1.6%未満です。

意義と主張

本論文は、スコアや多様性のみに依存する既存の削減ルールに対し、ClustRSがシンプルかつ強力な代替案を提供することを主張しています。ロバストなクラスタリングと残差収縮を組み合わせることで、ClustRSは計算効率とノイズ耐性の間のギャップを埋めます。

著者らは、本アプローチが以下の特性を持つことを強調しています。

• 再学習を必要としないため、アーキテクチャの変化に適応可能です。
• クリーンなデータでの性能を損なうことなく、多様な劣化（加法的ノイズおよびインパルスノイズ）に対する堅牢性を向上させます。
• トークン数を大幅に削減（最大97%削減）しながら精度を維持または向上させることで、エッジへのデプロイを可能にします。

研究の結論として、C+Hのようなトークン選択手法はロバストな表現を提供するものの、特徴空間のクラスタリングによって破棄される可能性のある、空間的に離れているが意味的に類似したトークンを扱うための、より洗練されたデノイジング戦略の精緻化には、今後の研究の余地があるとしています。