Concentration bounds on response-based vector embeddings of black-box generative models

技術要約：ブラックボックス生成モデルの応答に基づくベクトル埋め込みの集中不等式

問題提起
大規模言語モデル（LLM）やテキスト生成拡散モデルなどの生成モデルは、ますます普及しているものの、その内部の関数形式にはアクセスできないブラックボックスとして機能することが多い。これらの一連のモデルに対して統計的分析や推論を行うために、研究者は、ユーザーのクエリに対する応答に基づいて、それらを有限次元のユークリッド空間内のベクトルとして表現する手法を必要としている。モデルの応答のペアごとの非類似度を計算することでベクトル表現を生成する、データ・カーネル・パースペクティブ・スペース（DKPS）埋め込みのような手法が存在するが、既存の文献は主に漸近的な一貫性に焦点を当ててきた。有限サンプルシナリオ、特に、特定の精度と信頼水準で集団レベルのベクトル表現を推定するために、どれだけのサンプル応答が必要かという点に関する理論的保証が不足している。本論文は、これらのサンプルベースのベクトル埋め込みに対する高確率な集中不等式の必要性に対処するものである。

手法
本論文では、古典的多次元尺度構成法（MDS）の変種であるDKPS埋め込みフレームワークを利用する。設定として、$n$ 個の生成モデル $\{f_1, \dots, f_n\}$ が $m$ 個のクエリ $\{q_1, \dots, q_m\}$ に応答する場合を考える。

1. 集団レベル： モデル $f_i$ のクエリ $q_j$ に対する真の応答は、ランダムベクトル $g(f_i(q_j))$ であり、分布 $F_{ij}$ を持つ。集団の表現は、期待応答の行列 $\mu_i$ によって定義される。ペアの集団レベルの非類似度 $\Delta_{ii'}$ は、$\mu_i$ と $\mu_{i'}$ の差の正規化されたフロベニウスノルムとして計算される。これらの非類似度は、MDSを通じて $\mathbb{R}^d$ に埋め込まれ、真のパースペクティブ $\psi$ を得る。
2. サンプルレベル： 真の分布は未知であるため、著者らは各モデルとクエリのペアに対して、$r$ 個の独立同一分布（iid）の複製を用いて平均応答 $\bar{X}_i$ を推定する。サンプル非類似度行列 $D$ は、これらの経験的平均から構築される。
3. 埋め込み： サンプル非類似度行列は二重中心化されて $\hat{B}$ を形成し、MDSを適用してサンプルベクトル埋め込み $\hat{\psi}$ を得る。

核心となる理論的アプローチは、サンプル行列 $\hat{B}$ と集団行列 $B$ の差のスペクトルノルムに関する集中不等式を確立することである。著者らは、固有ベクトルに関する摂動界（Davis-Kahanの定理）および固有値に関する摂動界（Weylの不等式）を利用して、非類似度行列のエラーを、結果としてのベクトル埋め込みのエラーに関連付ける。

主要な仮定
理論的結果は、主に以下の2つの仮定に基づいている。

• 仮定1（分布的）： 標準化された連結平均応答は、無相関な成分を持つライトテイル（軽裾）な分布である。具体的には、標準化されたベクトルの密度はヘッセ行列が下限に抑えられた $e^{-U(w)}$ に比例し、応答はほとんど確実に有界である。これは、大規模なサンプルサイズに対する中心極限定理、およびLLM出力の有限なトークンという性質によって正当化される。
• 仮定2（ランク）： 集団非類似度行列 $B$ のランクは、 $n$ と共に増大しない定数 $d$ である。これは、真のパースペクティブが固定された次元の空間に存在することを意味する。

主要な結果
本論文は、ベクトル埋め込みの推定誤差に関する高確率な集中不等式を確立する。

1. 行列の集中（定理1）： 仮定1の下で、応答共分散行列のトレースが一様に $\Gamma$ によって抑えられていると仮定すると、スペクトルノルム誤差 $\|\hat{B} - B\|$ は、確率少なくとも $1 - e^{-nc}$ で、$\frac{n}{\sqrt{mr}} + \frac{1}{r}$ に比例する項で抑えられる。
2. 埋め込みの集中（定理2）： 仮定1および仮定2の下で、信号対雑音比の条件を満たすとき、直交行列 $W^*$ が存在し、推定誤差 $\|\hat{\psi}W^* - \psi\|$ は高確率で抑えられる。この境界は、$B$ の条件数および $\left(\frac{n}{\sqrt{mr}} + \frac{1}{r}\right)$ という項に依存する。
3. 一貫性の条件（命題2）： 本論文は、$B$ の固有値が $n$ に対して線形に増大するための十分条件（具体的には $\lambda_d(B) \geq C(d)n$）を提供している。これは、集団平均応答行列の集合が、比例したメンバーシップを持つ有限個の異なるメンバー（コミュニティ）のみを含む場合に発生する。これらの条件下では、$r$ が $n^2$ よりも速く増大する場合（すなわち $r = \omega(n^2)$）、かつ $m$ が一定である場合、推定誤差はゼロに近づく。

数値実験
著者らは、2つの実験を通じてこれらの理論的境界を検証している。

• シミュレーション： LLMの応答を模した高次元ランダムベクトルを用いて、合成データを用いたシミュレーションを行い、研究では、$n$ が増加するにつれて（$r \approx n^{2.25}$ のとき）、経験的な推定誤差が減少し、理論的な上限内に留まることを示している。これらの境界は、100%のモンテカルロ・サンプルにおいて成立した。
• 実データ分析： Google-gemma-2-2b-it モデルと Nomic-embed-text-v2-moe を使用し、2つの特定のクエリに対する応答をサンプリングした。$r \approx n^{2.75}$ のとき、経験的な推定誤差は、様々な $n$ の値に対して一貫して理論的境界よりも小さく、100%の経験的被覆率を達成した。

意義と主張
本論文は、ブラックボックス生成モデルの応答に基づくベクトル埋め込みに対する、最初の有限サンプル・高確率集中不等式を提供することを主張している。その意義は以下の通りである。

• 実践的な指針： これらの境界は、特定の信頼水準で推論タスク（例：2つのモデルが同じパースペクティブを持っているかどうかをテストする）の精度を達成するために必要なサンプルサイズ $r$ を決定するための理論的根拠を提供する。
• トレードオフ分析： 結果は、精度が複製数（$r$）を増やすことだけでなく、クエリ数（$m$）を増やすことによっても改善され得ることを示唆している。ただし、論文では $m$ と行方向の推定器の質との間のトレードオフについてはさらなる調査が必要であると述べている。
• 非漸近的基盤： これらの境界を確立することで、本研究は無限のサンプルサイズという非現実的な仮定を超えて、非漸近的領域における統計的分析を容易にする。
• 現実的な設定： 本手法は、モデルの応答へのアクセスのみを必要とするブラックボックス設定の下で動作するため、プロプライエタリまたはクローズドソースのモデルにも適用可能である。

著者らは、$B$ のランクおよび固有値の増大に関する条件は十分条件であり、将来の研究において、増加する異なるモデルコミュニティに対応するために緩和できる可能性があることを控えめに述べている。また、彼らの信号対雑音比の条件は必要条件であると推測しており、既存文献におけるより単純な設定との類似性を指摘している。