技術的概要：ログの部分的な証言：交絡したモデル選択下における言語モデル生成の評価

問題定義

言語モデル（LLM）のオフライン評価は、現実世界での展開で収集された利用ログ、選好データ、およびジャッジによる注釈に依存する傾向が強まっている。しかし、モデル選択がユーザー主導である場合、これらのログは交絡の影響を受ける。すなわち、ユーザーがどのモデルを選択するかを決定するのと同じ観測されないユーザー側の要因（$U$）が、そのモデルの出力がどのように評価されるかにも影響を与える。その結果、ログされたスコアの生比較は、共通の因果的な関心対象を推定するのではなく、自己選択された部分集団を混合したものとなる。

ランダム化実験（EXP）はモデル選択を上書きすることでこのバイアスを打破できるが、実際には稀であり、高コストで、かつ実務において破壊的であることが多い。大規模なバイアスのある観測サンプルと小規模なランダム化サンプルを組み合わせる既存の文献は、通常、両方で単位レベルの結果が観測されていると仮定している。しかし、LLM 評価において、「結果」（生成されたテキスト）は、スコアリング可能になる前に候補モデルに対して再生成されなければならない。これにより、ランダム化サンプルであっても対象となる結果が直接観測されないという、複雑さの層が追加される。

手法：三ソース設計

本論文は、この課題に対処するための三ソース設計を提案し、問題を識別（因果値の回復）と推定（誤差の低減）に分離する。

データソース

1. 観測ログ（OBS）: 自己選択されたモデル選択、コンテキスト、出力、および結果の大規模データセット。スケーラビリティと補助的監督を提供するが、交絡している。
2. ランダム化実験（EXP）: モデル選択がランダム化された小規模データセット。実現された出力に対する交絡のない結果ラベルを提供する。
3. オフラインシミュレータ（SIM）: キャッシュされたコンテキスト上で候補モデルを再生するメカニズム。元の選択に関わらず、任意のモデルに対して反事実的出力（媒介変数）を生成する。

因果構造と仮定

この枠組みは、観測されたコンテキスト（$X$）、潜在的用户状態（$U$）、選択されたモデル（$A$）、生成された出力（$M$）、および結果（$Y$）を用いた因果グラフでシステムをモデル化する。主要な仮定は以下の通りである：

• A1（ランダム化）: EXP において、$A \perp U | X$。
• A2（SIM の妥当性）: シミュレータは、介入媒介変数分布 $P(M | X, do(A=a))$ を正確に一致させる。
• A3（結果の一貫性）: 条件付き結果法則 $P(Y | X, M, U)$ は、OBS、EXP、および介入世界全体で不変である。
• A4（潜在媒介変数交絡の不在）: $(X, A)$ を条件として、$U \perp M$。これは枠組みを単一ラウンド、ステートレスな生成に制限する。
• A5（コンテキストの整合性）: 対象コンテキスト分布は、EXP コンテキスト分布と一致する。

識別定理

本論文の中心的な理論的結果（定理 1）は、SIM と EXP が因果モデル値を識別するために共同で十分であり、識別のために OBS は不要であることを確立する。

• ランダム化実験は、バイアスのないスコアリングルール $r^*(x, m) = E[Y | X=x, M=m, EXP]$ を識別する。
• シミュレータは、介入媒介変数分布 $p_{sim}(m | x, a)$ を提供する。
• 因果値は、スコアリングルールをシミュレートされた媒介変数分布上で積分することで回復される：
  $$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$$
  $$\mu(a) = E_{X}[q(X, a)]$$
  観測ログ（OBS）は、因果比較を検証するためではなく、統計的効率（分散の低減）を向上させるために、識別の後にのみ関与する。

推定量ファミリー

対象が識別された後、本論文は、OBS をどのように利用して推定誤差を低減するかで異なる 6 つの推定量ファミリーを評価する：

1. EXP-Only: ランダム化された結果のみを使用して報酬モデルを適合させる。不偏であるが、EXP が小さい場合、分散が高い。
2. OBS-Only: ログされた結果で報酬モデルを適合させる。分散は低いものの、交絡バイアスを継承する。
3. Representation-EXP: OBS の補助ラベルを使用して低次元の代理表現 $\psi$ を学習し、その後、EXP データを用いて $\psi$ 上で報酬ヘッドを適合させる。
4. Grounded: OBS で訓練されたベースライン予測器 $f_{OBS}$ から開始し、EXP を用いて代理空間内で補正項を学習する。
5. CVCI（交差検証因果推論）: OBS と EXP の回帰問題を直接プールし、EXP 上の因果的交差検証を通じてプール重み $\lambda$ を選択する。
6. CVCI-Residual: 対象を OBS ベースライン（$Y - f_{OBS}$）の周りで残差化し、残差適合を代理空間でプールする。

実証結果

著者らは、これらの推定量を、制御された半合成検証と、2 つの実タスクキャッシュベンチマーク（CNN/DailyMail 要約と SWE-bench Verified 上のコーディング）で評価した。

• 普遍的な優位性の欠如: 単一の推定量ファミリーがすべての領域で優位に立つことはない。性能は、不偏な EXP 監督の量と、観測構造と対象報酬との整合性に大きく依存する。
• 要約ベンチマーク:
  • CVCI は 48 の設定全体で最良の平均順位と最低の過剰後悔を達成した。
  • EXP バジェット（$n_{EXP}$）の増加は EXP ベースの推定量を著しく改善したが、OBS バジェット（$n_{OBS}$）の増加は、滑らかな報酬マップの下では逓減するリターンを示した。
  • 報酬マップが「鋭化」（非線形）された場合、代理表現と対象との整合性が低下し、表現ベースの手法の性能低下を引き起こした。
• コーディングベンチマーク:
  • 順位は報酬定義に基づいて変動した。報酬が「パッチの品質」（補助的特徴）を優先する場合、Representation-EXP は競争力のある性能を示した。
  • 報酬が「真の修正成功」（補助的パッチ統計では十分に捉えられない二値結果）を優先する場合、OBS ベースのファミリー（OBS-Only、CVCI）は Representation-EXP を追い抜いた。
  • これは、OBS 由来の代理の有用性は、それらが特定の対象報酬に関連するシグナルを保持しているかどうかに依存することを浮き彫りにしている。

意義と主張

本論文は、観測データの限界を認めつつそのスケーラビリティを捨てることなく、オフライン LLM 評価のための厳密な枠組みを提供すると主張する。

• 識別対推定: 主要な貢献は、識別（SIM+EXP によって解決）と推定（OBS が寄与する部分）の理論的分離にある。これは、OBS が因果バイアスを修正することはできず、ランダム化とシミュレーションを通じてバイアスが除去された後にのみ分散を低減できることを明確にしている。
• 実践的ガイダンス: 実証結果は、推定量の選択を「ターゲット整合性」診断によって導くべきであることを示唆している。観測データ構造（例：補助ラベル）が対象報酬とよく整合する場合、ハイブリッド手法（CVCI や Grounded など）は効果的である。一方、対象が観測代理に存在しないシグナル（例：パッチの品質対真の修正成功）に依存する場合、OBS 支援手法は純粋なランダム化ベースラインを上回る性能を発揮できない可能性がある。
• 範囲: 著者らは控えめに、これらの結論はワンショットのキャッシュ評価設定に適用されると指摘している。この枠組みは単一ラウンド生成（仮定 A4）を前提としており、キャッシュされた対象を超えた多ラウンドの対話的設定や、より広範な集団レベルの不確実性にはまだ対応していない。

要約すれば、本論文は、大規模なログがスケーラビリティのために価値があるものの、それ単独では因果評価には不十分であると論じている。有効な識別のための最小要件は、シミュレータと組み合わされた小規模なランダム化実験であり、観測データは、データと評価目標との特定の整合性に依存する分散低減ツールとして機能する。