技術概要：SMART（検索用トランスフォーマーのための単一から複数への適応）

問題定義

マルチモーダル検索システム、特に Qwen3-VL-Embedding シリーズのようなマルチモーダル大規模言語モデル（MLLM）に基づくシステムは、主に単一ベクトルアーキテクチャに依存しています。これらのモデルは、テキスト、画像、視覚ドキュメントなどの豊富な逐次トークン系列を、効率的なインデックス作成と最近傍検索を可能にする単一のグローバル表現（通常は <eot> などのプーリングトークン）に圧縮します。

効率的である一方、この圧縮は根本的な表現のボトルネックを生み出します。理論的解析によれば、単一ベクトルパラダイムの容量は埋め込み次元によって厳密に制限されており、局所的な証拠に依存する微細なクエリ（例：特定のテキスト - 画像の結合、領域の詳細、または局所的な視覚属性）を処理する能力が制限されます。入力がプーリング表現に圧縮されると、トランスフォーマーによって符号化された局所的な意味的証拠は、しばしば失われたり希薄化したりします。

既存のマルチベクトルアプローチ（ColBERT、Colpali、jina-embeddings-v4 など）は、トークンレベルの表現を保持し、遅延相互作用メカニズムを使用することでこの問題を解決します。しかし、これらの手法は通常、以下の要件を必要とします：

1. 大規模なタスク固有の微調整。
2. 学習可能なトークンまたはアダプターの導入。
3. 系列長に伴う自己注意のスケールアップに起因する、トレーニング中の二次的な計算コストとメモリコスト。
4. 多くの場合、単一ベクトルモデルが効果的に活用するグローバル要約表現を破棄すること。

手法：SMART

著者は、既存の単一ベクトルモデルのグローバルな適合性シグナルを破棄することなく、その潜在的なマルチベクトル能力を解き放つためのフレームワークであるSMART（検索用トランスフォーマーのための単一から複数への適応）を導入します。

核心的な観察

著者は、標準的な対比学習がプーリングトークンのみに監督を適用しているにもかかわらず、勾配はトランスフォーマーの計算グラフを通じて直前の隠れ状態へと流れることを観察しました。その結果、プーリングされていない隠れ状態は、それらがスタンドアロンの検索ベクトルとして明示的にトレーニングされていないにもかかわらず、トークンレベルの検索に基づくコサイン類似度と互換性のある幾何学的構造に暗黙的に組織化されています。

SMART フレームワーク

SMART は、主に 2 つのモードで動作します：

1. トレーニング不要（プラグアンドプレイ）：

   • メカニズム： SMART は、凍結された単一ベクトルモデルの最終層のプーリングされていない隠れ状態を再利用します。これらの状態に対して**遅延相互作用メカニズム（MAXSIM）**を適用し、トークンレベルのマッチングスコア（$s_{late}$）を計算します。
   • ハイブリッドスコアリング： この局所スコアは、単純な加算を通じて元のグローバルプーリングスコア（$s_{single}$）と組み合わせられます：
     $$s_{hybrid}(q, c) = s_{single}(q, c) + s_{late}(q, c)$$
   • 利点： これはバックボーンを再トレーニングすることなく局所的な詳細を回復させる、トレーニング不要のアップグレードとして機能します。

2. 軽量ポストトレーニング：

   • アダプタートレーニング： 軽量な線形アダプター（LayerNorm + 線形投影）を、凍結されたバックボーンの最終層の隠れ状態に接続します。このアダプターは、ハイブリッドスコアリング目的を使用してトークンベクトルを遅延相互作用のために最適化するように特別にトレーニングされます。
   • 完全変換： 著者はまた、ハイブリッドスコアリング目的を用いて（LoRA を使用して）バックボーンを微調整することで、単一ベクトルモデルをマルチベクトル変種に変換することを示しています。このプロセスは、ゼロからマルチベクトルモデルをトレーニングするよりも大幅に高速です。

主要な貢献

1. 潜在的なマルチベクトル能力の発見： 本論文は、プーリングされた対比目的のみでトレーニングされた単一ベクトル検索器であっても、プーリングされていない隠れ状態に局所的な意味的証拠を保持していることを実証しています。これにより、既存のモデルはこれらの隠れ状態を再利用することで、マルチベクトル検索器に変換可能になります。
2. SMART フレームワーク： グローバルシグナルと局所シグナルを組み合わせることで、テキスト、画像、ビデオ、視覚ドキュメントなど多様なモダリティにおける検索精度を向上させる、トレーニング不要のプラグアンドプレイ手法です。Qwen3-VL-Embedding などの最先端（SoTA）モデルを新たな性能の高みへと押し上げます。
3. 効率的な変換戦略： 著者は、軽量なポストトレーニング（アダプター経由または LoRA 微調整のいずれか）により、単一ベクトルエンベッダーが SoTA のマルチベクトル対応モデルを上回ることを示しています。この変換は、同じレシピでゼロから専用のマルチベクトルモデルをトレーニングする場合と比較して、トレーニング時間と計算量を約**20%**節約します。

実験結果

著者は、画像、視覚ドキュメント、ビデオにわたる多様な密検索タスクを網羅するMMEB-V2ベンチマークで SMART を評価しました。

• トレーニング不要の性能： トレーニングなしで SMART を適用したところ、すべてのバックボーンで一貫した改善が見られました。
  • VLM2Vec-V2.0において、SMART は平均**+2.54%**の改善を達成しました。
  • SoTA のQwen3-VL-Embedding-8Bにおいて、SMART は平均スコアを**78.83% から 79.34%**に引き上げました。
  • 視覚ドキュメント検索（Visdoc）、ビデオ検索、画像検索タスク全体で改善が観察されました。
• 制御ベンチマーク： 正解とハードネガティブ間でグローバル類似度が同一である局所的なコードマーカーの結合をテストするために設計された「おもちゃ」ベンチマークにおいて、単一ベクトルスコアはわずか**31.9%の精度しか達成できませんでした。遅延相互作用スコアのみを使用すると、これは56.8%**に改善され、ボトルネックはモデル内の局所情報の欠如ではなく、プーリングされた読み出しにあることが証明されました。
• トレーニング効率：
  • Qwen3-VL-Embedding-2B 用のSMART アダプターは、8 基の A6000 GPU を搭載した単一ノードで1 時間 50 分でトレーニングされました。
  • このアダプター対応モデルは、SoTA のマルチベクトルモデルjina-embeddings-v4を0.34 ポイント上回りました。
  • SMART を用いて単一ベクトルモデルをマルチベクトル変種に変換する時間は、ゼロからマルチベクトルモデルをトレーニングする時間よりも約 20% 短く、完全にトレーニングされたマルチベクトルベースラインと比較してわずか 0.63% の性能差しかありませんでした。

意義と主張

本論文は、SMART が既存のマルチモーダルアーキテクチャから微細な局所的な証拠を回復するための計算的に効率的な経路を提供すると主張しています。その意義は以下の点にあります：

• マルチベクトル検索の民主化： 研究者や実務者が、ゼロから再トレーニングする際の莫大なコストを伴わずに、既存の単一ベクトルモデルをマルチベクトル性能にアップグレードすることを可能にします。
• グローバルコンテキストの保持： グローバル要約を無視する一部のマルチベクトルアプローチとは異なり、SMART は局所的なトークンレベルのマッチングと堅牢なグローバルプーリングシグナルを明示的に組み合わせます。
• 二重の有用性： コストゼロの推論強化として、また時間節約型の強力な微調整手法として、両方で効果的に機能します。

著者は、SMART が密検索向けに設計されており、分類のようなグローバルタスクには恩恵を与えない可能性があるという限界を指摘しています。また、計算リソースの制約によりトレーニング実験は視覚ドキュメントのサブセットに限定されたことを認め、より広範なドメインの探求を今後の課題としています。