GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

技術的サマリー：GraSP-VL

問題定義
CLIP などの凍結されたビジョン・ランゲージモデル（VLM）は、オブジェクトの同一性から属性、関係、そして完全なキャプションの意味に至るまで、多粒度のセマンティック信号を含む埋め込みを生成します。しかし、これらのモデルは、固定長のベクトルインターフェースを通じてこれらの信号を露出させます。これにより「インターフェースのミスマッチ」が生じます。すなわち、「犬」を特定するか「走っている茶色の犬」を特定するかのように、異なるレベルのセマンティック解像度を要求するクエリに対して、単一の埋め込みベクトルが使用されてしまうのです。埋め込みを短縮する既存の方法（切り捨て、射影、圧縮など）は、生成されたより短いベクトルが特定のセマンティック粒度に対応することを保証しません。例えば、凍結された CLIP 埋め込みの最初の数次元が本質的にオブジェクトレベルのセマンティクスを表すとは保証されておらず、PCA のような標準的な次元削減手法も、エンティティ、属性、関係の意図された階層性を理解しているわけではありません。

手法：GraSP-VL
著者は、基盤となる VLM を再学習させることなく、埋め込み長を制御可能なセマンティックアクセスインターフェースへと変換する手法、GraSP-VL（Granularity-Selective Prefixes for Vision-Language representations）を提案します。

• 共有の準直交変換: GraSP-VL は、凍結された VLM からの画像およびテキスト埋め込みの両方に適用される、単一の共有変換 $F_\theta$ を学習します。この変換は、学習可能なパラメータから導出される斜対称行列 $A_\theta$ を介してパラメータ化された直交行列 $R$ として具体化されます（$R = (I + A_\theta)^{-1}(I - A_\theta)$、ただし $R$ はカリーリー変換を用いて定義されます）。これにより、変換は準等距離的となり、全次元空間のコサイン類似度が厳密に保存されます（$\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$）。
• セマンティック・マトリョーシカインターフェース: この手法は、「セマンティック・マトリョーシカ」の原則を実装します。プレフィックス長を単なる圧縮予算として扱うのではなく、明示的なインターフェース契約を通じて、異なるプレフィックス長に特定のセマンティック役割を割り当てます。
  • 短いプレフィックス（例：$D/16$）は、粗い役割（オブジェクトの同一性）に割り当てられます。
  • より長いプレフィックス（例：$D/8, D/4, D/2$）は、属性、関係/動作、完全なキャプションといった、より微細な区別を段階的に露出させます。
• 粒度選択的目的関数: 学習目的関数は、この構造を強制するために 5 つの結合項を組み合わせています。
  1. 多粒度アライメント（$L_{align}$）: 各プレフィックス長を、割り当てられた言語ビュー（オブジェクト、属性、関係、完全なキャプション）に整合させます。
  2. 累積保持（$L_{ret}$）: より長いプレフィックスが、より短いプレフィックスの粗いセマンティクスを保持することを保証し、情報の置き換えを防ぎます。
  3. 選択的ハードネガティブランキング（$L_{rank}$）: 型付けされたハードネガティブ（オブジェクト、属性、関係、動作、順序、完全）を使用して、特定の区別が割り当てられたプレフィックス境界以降でのみ解決可能であることを強制します。
  4. 早期プレフィックス不変性（$L_{inv}$）: 割り当てられたプレフィックス境界以前に正例/負例ペアが早期に分離されることを抑制し、短いプレフィックスが粗いまま保たれ、微細な詳細に過剰適合しないようにします。
  5. 全空間保存（$L_{pres}$ & $L_{ortho}$）: 全次元幾何学が変化しないことを監視します。

主要な貢献

1. GraSP-VL フレームワーク: 既存の信号へのアクセスを再編成し、プレフィックス長を通じて粗から細へのセマンティクスを露出させながら、元の全空間幾何学を保存する、凍結された VLM 用の共有プレフィックス変換。
2. セマンティック・マトリョーシカ原則: 発見された自然な境界に依存するのではなく、明示的な契約によって埋め込み長にセマンティック粒度を割り当てるという形式化。
3. 粒度選択的目的関数: アライメント、保持、ハードネガティブ識別、早期プレフィックス不変性、幾何学保存を組み合わせた新規の損失関数。
4. 診断プロトコル: 学習されたインターフェースの必要性を検証する「反証連鎖」を用いて、セマンティック選択性を単なる切り捨て、PCA、汎用的な適応、座標の置換から分離する、厳格な評価フレームワーク。

実験結果
この手法は、COCO および Flickr30K からなる 20,147 例のプールで評価され、SugarCrepe-clean および CIFAR-100 での追加転移テストも行われました。

• 階段状パフォーマンス: GraSP-VL は、階段状スコアで 53.01、ハードネガティブ選択性で 89.76% を達成しました。これは、直接切り捨て、PCA、ランダム回転、MRL スタイル、マトリョーシカスタイル、SMEC スタイルの圧縮手法を含むベースラインを大幅に上回ります。
• 幾何学保存: この手法は、全空間のドリフトを $10^{-6}$ 以下に維持し、全次元クエリに対する元の VLM の決定面を実質的に保存しました。
• 選択性対ドリフト: 高い選択性を達成するが全埋め込み空間を書き換える（高いドリフト）汎用的な MLP アダプターとは異なり、GraSP-VL はほぼゼロのドリフトで高い選択性を達成しました。
• 転移性:
  • 訓練に使用されていない外部ベンチマークである SugarCrepe-clean において、GraSP-VL は 86.03% のオブジェクト精度と 11.96 の平均外部出現性を達成しました。
  • CIFAR-100 において、全次元のゼロショット精度を保存しました。
  • このアプローチは、異なる次元を持つさまざまなバックボーン（OpenAI CLIP、OpenCLIP、EVA-CLIP、SigLIP）間で汎化しました。
• ベースライン: 本研究は、生のコordinate、PCA、学習された置換では意図されたセマンティックな階段を生成できないことを示しました。GraSP-VL によって提供される高密度で準等距離的な混合のみが、信号を正常に編成しました。

意義と主張
本論文は、GraSP-VL を普遍的なセマンティックブレークポイントの発見ではなく、インターフェース工学の解決策として位置づけています。著者は以下を主張します。

• 凍結された VLM 埋め込みには、制御可能なプレフィックスインターフェースへと再編成するのに十分な多粒度信号が含まれている。
• 「セマンティック・マトリョーシカ」インターフェースにより、ユーザーはベースモデルを再学習させたり、元の埋め込み空間を破壊したりすることなく、必要なセマンティック解像度（エンティティ、属性、関係、または完全なキャプション）に対応するプレフィックス長を選択できる。
• このアプローチは、既存の全ベクトルインデックスおよびキャッシュされた埋め込みとの互換性が不可欠な検索システムにおいて特に価値がある。なぜなら、変換はオフラインでギャラリー埋め込みに対して適用可能だからである。
• 著者は明示的に、選択された次元ブレークポイント（例：オブジェクト用の $D/16$）は、VLM に本質的に内在する自然な定数ではなく、ユーザーが指定するインターフェース契約であると述べている。この手法の成功は、VLM がこれらの信号を特定の順序で自然に格納していることを証明することではなく、全幾何学を保存しながらこの契約を実現することにある。