LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency

問題定式化

本論文は、ARENAのようなプラットフォームで見られる、人間のペア比較を通じた大規模言語モデル（LLM）評価に内在する統計的課題に対処している。これらの設定では、ユーザーは2つのモデルの応答を比較して好ましい方を選択するため、ノイズが多く、疎（スパース）で、かつ極めて不均一なデータが生成される。現在のリーダーボードの実践では、多くの場合、不確実性の定量化が限定的な点推定値のみが報告されており、タスク、カテゴリ、コンテキストにわたるモデル性能の低ランク構造を明示的に活用できていない。

著者らは、この問題を、観測されたペア比較を通じた低ランク潜在スコアテンソル（$T^\star$）に対する半パラメトリック推論として定式化している。

• モデル: 彼らは、モデル $a$ がコンテキスト $t$ においてモデル $b$ を上回る確率を $\sigma(\langle T^\star, X \rangle)$ とする、Bradley-Terry-Luce (BTL) 型のフレームワークを採用している（ここで $X$ はペアの対比をエンコードする）。
• 構造: $T^\star$ は低ランクのTucker構造を持つと仮定されている。これは、モデルの性能が、あらゆるモデルとタスクの組み合わせに対する独立したエントリーではなく、少数の潜在因子（例：推論能力、コーディング能力、多言語能力）によって駆動されていることを反映している。
• 観測: データは、直接的なテンソル成分ではなく、非一様にサンプリングされたペアの対比からのバイナリ（二値）の結果で構成される。
• 目的: 目的はテンソル全体の復元ではなく、滑らかな汎関数 $\psi(T^\star)$ の効率的な推定である。これは線形（例：能力の差、カテゴリのスコア）または非線形（例：勝率）であり得る。

手法

本論文は、これらの制約条件下で、統計的に効率的な推定量を構築し、有効な信頼区間を生成するためのフレームワークを開発している。

1. 半パラメトリック効率理論
著者らは、効率的影響関数（EIF）と半パラメトリック効率境界を特徴付けることにより、推定の根本的な限界を導出している。

• 接空間: 彼らは、低ランク多様体制約と、ペア比較モデルにおける識別性に必要な線形識別制約（例：ゼロ和正規化）を組み合わせた、信号接空間 $\mathcal{T}$ を定義している。
• 情報演算子: ロジスティック・リンク関数とサンプリング分布によって誘導されるフィッシャー情報演算子 $G$ を定義している。決定的なのは、不均一なマッチアップと非一様なサンプリングの下では、$G$ が異方的（anisotropic）（方向依存的）であることを示している点である。
• 効率境界: 効率境界は $V_{\text{eff}}(\psi) = \langle P_{\mathcal{T}}\nabla\psi, A^{-1}P_{\mathcal{T}}\nabla\psi \rangle$ で与えられる。ここで $A = P_{\mathcal{T}} G P_{\mathcal{T}}$ であり、$P_{\mathcal{T}}$ は接空間への射影である。

2. 非可換性のボトルネック
特定された中心的な技術的課題は、情報演算子 $G$ が一般に接空間射影 $P_{\mathcal{T}}$ と可換ではないことである。

• 等方的設定（例：ガウスノイズ）では、$G$ は単位行列に比例するため、逆行列の計算は容易である。
• ペア比較においては、変化するフィッシャー情報 $I(\eta) = \sigma(\eta)(1-\sigma(\eta))$ が異方性を生み出す。その結果、制限された逆演算子 $(P_{\mathcal{T}} G P_{\mathcal{T}})^{-1}$ は、成分ごとに不利な増幅を示す可能性があり、標準的なデバイアス（偏り除去）の議論において、次元依存のボトルネックを生じさせる。これは、定数 $C_A$ によって定量化され、これは $\sqrt{\bar{d}}$（最大のモード次元）のスケールで増大し得る。

3. 推定量
これらの課題に対処するため、著者らは2つの主要な推定量を提案している。

• ワンステップ・デバイアス推定量: EIFを用いた標準的な半パラメトリック・アプローチである。これには、推定された制限情報演算子の逆行列計算が必要となる。効率的ではあるが、その理論的保証は $C_A$ の大きさに依存しており、情報が高度に不均一な場合には、漸近正規性を確保するために、より大きなサンプルサイズを必要とする。
• スコア・ホワイトニング推定量: 非可換性のボトルネックを克服するために、著者らはスコア・ホワイトニング法を導入している。スコア関数を局所的なフィッシャー情報量によって再スケーリング（$\tilde{s}_\eta = s_\eta / I(\eta)$）することで、実効的な情報演算を等方的なものへと変換する。これにより、演算子の逆行列計算が不要となり、$C_A$ のボトルネックが取り除かれ、より弱いサンプル複雑性の条件（$n \gg \bar{d} \text{polylog}(\bar{d})$）の下でも安定した漸近挙動を持つ、より単純な推定量が得られる。
• 逆確率重み付け（IPW）: 非一様なサンプリングに対しては、スコア・ホワイトニングとIPWを組み合わせることで等方性を回復させ、人気のあるモデルが不釣り合いに多くの比較を受けるような現実世界のデータに対処できるようにしている。

主な貢献

1. 統計的定式化: 低ランク・テンソル補完の枠組みの下でのペア比較としてLLM評価を統一し、識別制約と非一様なサンプリングを明示的に扱っている。
2. 効率性の特徴付け: 低ランク・ペア比較モデルに対する初の半パラメトリック効率境界を提供し、EIFおよび情報方程式 $AH^\star = P_{\mathcal{T}}\nabla\psi$ を導出した。
3. 新しいボトルネックの特定: 異方的な情報演算子と接空間射影との間の非可換性が、不均一なペアデータにおける根本的な障害であることを特定し、分析した。これは、等方的なテンソル補完には存在しない現象である。
4. スコア・ホワイトニングによる解決策: 局所的なフィッシャー情報を均一化し、実効的な等方性を回復させることで、演算子の逆行列計算なしに効率的な推論を可能にするスコア・ホワイトニング技術を導入した。
5. 理論的保証: 線形および非線形汎関数の両方について、漸近正規性と有効な分散推定を確立し、提案された推定量が最適なサンプル複雑性スケールで半パラメトリック効率境界（またはその堅牢な代替案）に達することを証明した。

結果

著者らは、合成データおよび実データを用いた実験を通じて、理論を検証している。

• 初期化: スペクトル推定と交互最小化による低ランク初期化を行い、その後に成分ごとの精緻化を行うことが、スパースな領域における正確な推定に不可欠であり、タスクごとのBTLモデルを大幅に上回ることを示している。
• 漸近正規性: シミュレーションにより、サンプルサイズが増加するにつれて、効率的な推定量とスコア・ホワイトニング推定量の両方が、線形および非線形ターゲット（例：勝率）に対して近似的な公称被覆率（95%）を達成することが確認された。
• 効率 vs 堅牢性: 効率的な推定量は、スコア・ホワイトニング推定量よりも一貫して小さな標準誤差（高い効率）をもたらし、ターゲットとなる半パラメトリック境界を狙っていることが確認された。しかし、スコア・ホワイトニング推定量は、高度に不均一な情報の幾何学の下で、より高い堅牢性と安定性を提供する。
• 非一様なサンプリング: ARENAのデータを模した非一様なサンプリングに関する実験では、IPWとスコア・ホワイトニングを組み合わせることで、有効な被覆率が維持されることが示された。効率的な推定量は分散の優位性を保持するが、情報演算子の安定した推定を必要とする。
• 実データへの適用: ARENAデータセット（81,000観測、30モデル、10カテゴリ）に適用したところ、効率的なワンステップ推定量は、ベースラインのアプローチやより保守的なスコア・ホワイトニング手法よりも狭い信頼区間を生成し、95%に近い被覆率を示した。

意義と主張

本論文は、LLM評価における原理的な不確実性定量化の枠組みを提供すると主張している。単なるランキングを超えて、構造化された潜在テンソル上の半パラメトリック推論へと移行することで、モデル比較における信頼できる信頼区間の必要性に対処している。

著者らは、本研究がテンソル補完理論とペア比較統計学の間の溝を埋めるものであると強調している。標準的な補完手法は、データのバイナリ性、識別制約、およびヘテロセダスティシティ（不等分散性）を無視しているため、不十分であると彼らは述べている。提案された枠組みはLLMに限定されるものではなく、不均一な情報の幾何学、非一様なサンプリング、および1ビットの観測を伴うあらゆる低ランク推論問題に広く適用可能である。

本論文の貢献は、この特定のクラスの問題のための理論的限界を確立し、実行可能な推定量を構築することにあると控えめに位置づけられており、新しいLLMアーキテクチャやベンチマーク・プロトコルを提案することを目的としたものではない。著者らは、「非可換性のボトルネック」が、スコア・ホワイトニングや注意深い演算子逆行列計算を必要とする、この設定特有のユニークな特徴であることを強調している。