Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

技術概要：異常パターン検出による複数クエリベクトルを用いた検索

問題定式化
古典的なベクトル検索システムは、通常、単一のクエリパラダイムのもとで動作し、単一の埋め込みベクトルを用いて、近接指標（例えばコサイン類似度、ユークリッド距離）に基づきデータベースから最も類似したベクトルを検索する。しかし、複雑な推論や検索タスクでは、ユーザーの意図の異なる側面を捉える複数のクエリベクトルが関与することが多い（例えば、各文が異なる制約や特徴を表す段落など）。既存のマルチクエリ検索のアプローチは、これらのベクトルをヒューリスティックによって単一の埋め込みベクトルに集約するか、あるいは独立して扱うことが多く、その結果、貴重なクエリ間の関係性が失われている。さらに、標準的な距離ベースの指標は、特に大規模言語モデル（LLM）から得られる高次元埋め込みにおいて内在する複雑で非線形、かつ文脈依存の関係性を捉えるのに失敗する可能性がある。

本研究は、事前に検索するベクトルの数を指定する必要なく、複数のクエリベクトルの集合 $Q = \{q_1, q_2, \dots, q_M\}$ が与えられた際に、関連するデータベースベクトルを検索するという課題に取り組む。

手法
著者は、異常パターン検出に基づいた検索フレームワークを提案する。核心的な仮説は、クエリベクトルの集合が、データベース $D$ において観測される分布から値が共同して著しく逸脱する特定の「異常パターン」、すなわちベクトル次元のサブセットを共有しているというものである。最も関連性の高いデータベースベクトルとは、これらの特定の次元において同じ共同異常パターンを示すものである。

このアプローチは、深層走査アルゴリズム（McFowland, Speakman, Neill 2013; Cintas et al. 2021, 2022）を検索設定に拡張するものであり、以下の 2 段階のプロセスを通じて実現される。

1. 異常次元の特定: クエリ集合 $Q$ が与えられると、アルゴリズムはクエリの特徴を最もよく捉えるベクトル次元のサブセット $O^*_S$ を特定する。

   • この手法は、異常パターンがデータベース分布と比較して特に低い値（下位 $\alpha$ 尾部）に対応すると仮定する。
   • 次元をz スコア（$z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$）を用いて標準化する。ここで、$\mu_l$ と $\sigma_l$ はデータベース $D$ 全体における次元 $l$ の平均と標準偏差である。
   • 次元のサブセットにおける異常スコアを最大化するスコアリング関数 $F(S)$ として、ノンパラメトリックな走査統計量（具体的にはBerk–Jones 統計量）が使用される。

2. データベースベクトルの検索: 特定された次元 $O^*_S$ を用いて、アルゴリズムはデータベース $D$ を走査し、それらの特定の次元において同じ共同異常パターンを示すベクトルのサブセット $R^*_S$ を検索する。

従来の手法とは異なり、このアプローチは固定された距離閾値や事前に指定された検索数 $K$ に依存しない。代わりに、検索セットのサイズは異常スコアリングプロセスによって動的に決定される。

実験設定と結果
著者は、4 つの多様なデータセットでこの手法を評価した。

• 画像: MNIST および Fashion-MNIST（UMAP 経由で 30 次元に平坦化および投影されたもの）。
• テキスト: Persona（特定のペルソナに同意する文の LLM 埋め込み）および Ailuminate（危険カテゴリに関するプロンプトの LLM 埋め込み）。
• 表形式: 乳がんに関する医療データセット（31 個の数値特徴量）。

手法は、2 つの適応されたKDTreeベースラインと比較された。

• KDTree pre: 検索前にすべてのクエリベクトルを平均化して単一のベクトルにする。
• KDTree post: 各クエリに対して独立してベクトルを検索し、結果をマージする。

主要な知見:

• クエリセットサイズの影響: ほとんどのデータセットにおいて、クエリベクトルの数 ($M$) を 1 から 8 に増加させることで、精度と再現率の両方が著しく向上した。$M$ を 8 を超えて増加させると、その利益は減少した。
• データセット別の性能:
  • Persona (LLM テキスト): 提案手法は $M=64$ でほぼ完全な精度と再現率（1.00 に近い）を達成し、両方の KDTree 変種（約 0.70–0.80 に到達）を大幅に上回った。
  • 表形式データ: 提案手法はベースライン（約 0.90）よりも高い精度（約 1.00）を達成したが、再現率は低かった（約 0.77 対 約 0.90）。
  • Fashion-MNIST: 提案手法はベースラインと比較して再現率が高かったが、精度は低かった。
  • MNIST: 提案手法とベースラインの間には有意な差は観察されなかったが、すべての手法で絶対的な性能は高かった。
• 検索サイズ: 提案手法は検索セットのサイズを動的に決定する。アブレーション研究において、KDTree が提案手法と同数のベクトルを検索するように強制された場合でも、提案手法は表形式データと Persona データセットにおいて精度と再現率でわずかな優位性を維持した。

意義と主張
本論文は、この研究を堅牢なマルチクエリ検索に向けた新たな一歩として位置づけている。著者は、従来の距離ベースの指標ではなく異常スコアリング関数を通じて関連性を定義することで、固定された指標が見逃す複雑で非線形な関係性を捉えることができると主張している。

本研究は、その貢献をこの方向への「第一歩」として控えめに位置づけている。著者は、データセットごとの固定された関心クラスの使用や、より洗練されたベクトル検索手法（例えば、最適化されたベクトル類似度検索）ではなく KDTree をベースラインとして使用することなどの限界を認めている。また、削減された次元の画像埋め込みや表形式データと比較して、LLM テキスト埋め込みにおいてこの手法が最もよく機能したことを指摘しており、異なるデータタイプや埋め込みアーキテクチャ間での汎用性に関する今後の調査が必要であることを示唆している。この研究は、すべてのマルチクエリ検索の課題を解決するものとは主張していないが、クエリセットにおける異常パターンを活用することで、特に LLM 埋め込みを用いた特定の文脈において、優れた検索性能が得られることを実証している。