技術概要: SaMer – ビジョン・ランゲージ検索のためのオブジェクト証拠保存型トークン・マージング

問題提起

ColPaliやColQwen2のようなマルチベクトルのビジョン・ランゲージ検索システムは、最大類似度（MaxSim）による遅延相互作用（late interaction）を通じて、トークンレベルの視覚的証拠を保持することで微細な検索を実現している。しかし、この手法は、画像ごとに数百から数千の画像側パッチ埋め込みを保存・比較する必要があるため、膨大なストレージと計算コストを伴う。

既存のトークン圧縮戦略（プルーニングや特徴量ベースのマージなど）は、これらのコストを削減しようと試みている。しかし、著者らはこれらの手法における決定的な失敗モードを特定している。それが**オブジェクト・インスタンスの崩壊（object-instance collapse）**である。特徴量の類似性のみに依存して圧縮を行うと、視覚的に類似した異なるオブジェクト・インスタンス（例：二人の異なる人物や二台の異なる車）のパッチが単一の表現へとマージされてしまう。これにより、将来のクエリ・トークンが選択すべきはずの明確な証拠が失われてしまう。さらに、プルーニングはクエリが確定する前に視覚的証拠を破棄してしまうため、マッチングに必要な特定のトークンを取り除いてしまう可能性がある。核心となる課題は、クエリによって選択可能なマッチングに必要なオブジェクトレベルおよびリージョンレベルの証拠を失うことなく、画像側のトークンをいかに圧縮するかである。

手法: SaMer

著者らは、元の遅延相互作用インターフェースを維持しつつ、ポストプロジェクターの視覚トークンを$K$個の代表的な重心へと圧縮するように設計された、オブジェクト認識型のトークン・マージング・フレームワークであるSaMer（Semantic-aware Merging）を提案している。

1. 特徴量・空間ソフトアサインメント（Feature-Spatial Soft Assignment）

SaMerは、$N$個のポストプロジェクター視覚トークンを、$K$個の（$K \ll N$）マージされたトークンへと圧縮する。これは、以下の距離指標に基づく特徴量・空間ソフトアサインメント・メカニズムを採用している：

• 特徴量類似度（Feature Similarity）: $1 - v_i^\top \mu_k$。意味的に類似したトークンをグループ化する。
• 空間的一貫性（Spatial Coherence）: $\gamma \|p_i - s_k\|_2^2$。視覚的に類似していても空間的に離れた領域が過度にマージされるのを防ぐ。

代表者は、破棄されるトークンではなく、正規化された重み付き重心（$r_k$）として形成されるため、圧縮された表現がMaxSimスコアリングと互換性を保ち続けることが保証される。

2. オブジェクト認識型マージ・プライア（学習時のみ）

SaMerは、クロス・インスタンスの混合を防ぐために、物体注釈（object annotations）を補助的なグラウンディング損失としてではなく、学習時のみマージ・プライア（merge prior）として利用する。

• メカニズム: システムは、ストップグラディエント（勾配停止）ハードアサインメントを用いて、各代表者に対するバウンディングボックス（bbox）ラベルの分布を推定する。
• ペナルティ: インスタンス不一致ペナルティ（$P_{inst}$）が距離指標に追加される。あるトークンをある代表者に割り当てることが、異なるオブジェクト・インスタンスからの証拠を混合することになる場合（すなわち、トークンのbboxラベルが代表者の支配的なラベルと異なる場合）、その割り当ての重みが減少する。
• 推論時: 推論時には、SaMerは正解のバウンディングボックスや物体検出器を必要としない。学習中に適応された投影層（projection layer）に依存することで、注釈なしの（annotation-free）特徴量・空間ソフトアサインメントを実行し、暗黙的にオブジェクト構造を保持する。

3. 圧縮を考慮した投影層のみの適応（Compression-Aware Projection-Only Adaptation）

圧縮された表現を検索空間に適合させるため、SaMerはビジョンエンコーダと言語バックボーンを凍結したまま、共有投影層のみを適応させる。

• 投影層は、圧縮されたMaxSimスコア（$S_K$）に対するマルチポジティブInfoNCE検索損失を用いて訓練される。
• これにより、バックボインの表現を変更したり新しい検索アーキテクチャを必要としたりすることなく、マージされたトークンが遅延相互作用のスコアリングに効果的であり続けることが保証される。

主な貢献

1. 問題の再定義: 著者らは、遅延相互作用のための視覚トークン圧縮を、証拠保存の問題として再定義し、特徴量ベースのマージにおける主要な失敗モードとして「オブジェクト・インスタンスの崩壊」を特定した。
2. SaMerフレームワーク: 特徴量のみによるマージが異なるオブジェクト・インスタンスの区別を失わせることを防ぐために、学習時のオブジェクト注釈をマージ・プライアとして使用する、オブジェクト認識型のトークン・マージング手法を提案した。これは、推論時には注釈や検出器を必要としない。
3. 効率性と性能: SaMerは、$K=64$において、画像側のトークンを93%以上除去し、ColPaliのストレージを16.09倍削減しながら、プルーニングやプーリングのベースラインと比較して、検索性能（R@1）とフレーズレベルのグラウンディングを同時に向上させることを示した。

実験結果

著者らは、Flickr30K、MSCOCO、ImageCoDe、DocVQAにおいてSaMerを評価した。

• 検索性能:
  • Flickr30Kにおいて、SaMerはColPaliのR@1を77.0から82.4へ、ColQwen2のR@1を73.6から79.3へと向上させた。
  • MSCOCOにおいて、ColPaliのR@1は47.4から51.6に向上した。
  • SaMerは、一致するトークン予算（$K=64$）および適応設定の下で、圧縮ベースライン（H-Pool, HPC, SAP）を一貫して上回った。
• グラウンディングの質:
  • SaMerは優れたフレーズレベルのグラウンディングを示した。BoxMass（注釈領域内の関連性の集中度）などの指標は47.8から54.2へ上昇し、CoverageIoUは13.1から16.4へと改善した。
  • これは、SaMerがプルーニングや単純なプーリングよりも、クエリによって選択可能なオブジェクトの証拠をより良く保持していることを示している（プルーニングなどは、関連性を背景や近くのオブジェクトへと拡散させてしまうことが多い）。
• 効率性:
  • ColPaliに対して、SaMerはストレージを16.09倍削減し、MaxSim演算を16.1倍削減した。
  • クエリのスループット（QPS）は、Flickr30Kで4.3倍、MSCOCOで9.1倍向上した。
  • ColQwen2については、ストレージを（Flickr30Kで3.73倍、MSCOCOで1.99倍）削減し、対応するスループットの向上を実現した。

意義と主張

本論文は、圧縮の有効性は単にトークン数を減らすことではなく、将来のクエリ・トークンが選択する必要のある証拠をいかに保持するかにかかっていると論じている。

著者らは以下のことを主張している：

1. オブジェクト認識型マージは特徴量のみのプーリングよりも優れている: 単に類似したパッチをマージすることは、異なるオブジェクト・インスタンスを崩壊させる可能性があるが、SaMerのオブジェクト認識型プライアは、微細な検索に必要な区別を維持する。
2. 学習時のプライアは推論時の効率化を可能にする: オブジェクト注釈を学習時のマージ・プライアとしてのみ使用することで、SaMerは、推論時に物体検出器を実行するという計算オーバーヘッドを負うことなく、オブジェクト整合性のある圧縮を実現する。
3. 投影層のみの適応で十分である: 投影層のみを通じて検索空間を適合させることで、バックボーンを凍結したまま高い性能を維持でき、この手法が既存のマルチベクター検索エンジンに対してプラグアンドプレイであることを可能にする。

結果は、効率的なマルチベクター検索には、圧縮と、クエリによって選択可能なオブジェクトレベルの証拠の保持との間のバランスが必要であることを示唆している。