テクニカル・サマリー：Eval-Pair Matrix（評価ペア行列）

問題提起

Retrieval-Augmented Generation（RAG）システムは、極めて重要な評価上の課題に直面している。すなわち、回答が流暢で引用も適切であっても、ソースとなるパッセージと矛盾している可能性があるということである。「LLM-as-a-judge（判定器としてのLLM）」は、その速度と構造化された根拠を出力できる能力から、RAGの評価における標準となっているが、生成モデルと判定モデルが同じモデルファミリーに属する場合、重大な方法論的ギャップが生じる。

既存の自己嗜好性（self-preference）に関する文献（例：Dubois et al., 2024; Shi et al., 2024）は、判定器が自身のモデルファミリーの出力を好む傾向があることを示唆している。しかし、これは多くの場合「識別問題」である。つまり、判定器が自身の出力を好むのは、それがスタイリッシュに馴染みがある、あるいは品質が高いからであり、「自己寛容（エラーを罰することに失敗する性質）」によるものではない。ソースに基づいたRAGにおいて、タスクは「嗜好性」から「事実の一貫性」へと移行する。核心となる問いは、判定器が、自身のモデルの出力に含まれる矛盾（それらは判定器から隠されているが、意図的に誘発されたもの）を見逃してしまうのか、という点にある。

手法：Eval-Pair Matrix

著者らは、生成器の品質や回答の難易度から、同一モデルによる判定効果を分離するために設計された制御されたメタ評価プロトコル、Eval-Pair Matrixを導入する。

1. データ構築と摂動（Perturbation）

本研究では、人間が作成した回答とパッセージレベルのグラウンディング（根拠付け）を備えたベンチマークであるGaRAGeを利用する。

• 摂動: 各レコードに対し、LLMによる摂動器（perturber）が、一つの「回答に不可欠な命題（answer-causal proposition）」を選択し、それを支持するすべてのパッセージを、もっともらしいが誤った置換値（例：48%という統計値を35%に変更するなど）を支持するように書き換える。
• 検証: 5段階の検証ゲートにより、摂動が有効であること、因果関係があること、グローバルに一貫していること、元の値の漏洩がないこと、および元のパッセージが摂動後のパッセージと矛盾していることを保証する。
• データセット: 最終的な分析には、初期プール300件から完全に検証された275件のレコードを使用し、897個の利用可能な回答を生成した。

2. 交差行列デザイン

実験では、GPT、Grok、Geminiの3つのモデルファミリーを用いた$3 \times 3$の交差行列を採用する。

• 生成器（Generators）: 各モデルは、摂動された（誤った）グラウンディングのみを使用して回答を生成する。
• 判定器（Judges）: 同じ3つのモデルがブラインド判定器として機能する。彼らは生成された回答を、元の（摂動されていない）グラウンディングに対して評価する。
• 盲検性（Blindness）: 判定器には、質問、候補となる回答、および元のパッセージが提示される。彼らは摂動の内容、生成器の正体、および誘発されたエラーについては知らない。

3. ペア推定量（Paired Estimand）

従来の分析では、対角成分（同一モデル）と非対角成分（クロスモデル）を比較する。しかし、著者らは、これは異なるスタイルや拒絶率を持つ異なる回答を比較することになるため、推論として弱いと主張する。
代わりに、Eval-Pair Matrixは**回答ペアの推定量（answer-paired estimand）**を使用する。

• 特定のモデル $G$ によって生成された特定の候補回答に対し、3つのモデルすべてがその回答を評価する。
• 分析では、一致する判定器（モデル $G$）を、一致しない判定器（他の2つのモデル）と比較する。これは、全く同じ回答に対して行う。
• これにより、生成器固有の振る舞い（拒絶率やスタイルなど）から「同一モデル効果」を分離することができる。

4. ラベリングと人間による評価

• 振る舞いのラベル: 回答は振る舞い（例：「コンテキストに従う」、「メモリの上書き」、「拒絶／不十分」）によってラベル付けされる。
• 誘発された命題の採用（Induced-Error Adoption）: 別のラベル評価者が、回答が誘発された誤った主張を採用したかどうかを判定する。
• 人間による監査: 88件のケースを対象としたターゲットを絞った人間による評価を実施し、特に「明白な偽陽性（判定器がエラーを指摘したが、回答は誘発された主張を回避していたケース）」に焦点を当てた。

主な結果

1. エラー検出における堅牢な同一モデル寛容性の不在

判定器が自身のモデルのエラーに対して寛容であるという仮説に反して：

• グローバルな再現率（Recall）への影響: ペア分析の結果、同一モデルの判定器が自身のモデルの回答に含まれる誘発されたエラーを見逃すという堅牢な証拠は見られなかった。再現率の差はほぼゼロであった（$\Delta = -0.5$ パーセントポイント; 95% CI $[-2.7, +1.7]$）。
• F1スコア: 生の対角成分F1（84.4%）と非対角成分F1（83.4%）は、統計的に類似している。

2. 「回避された主張（Avoided-Claim）」のギャップ

唯一、堅牢なペアの差異が観察されたのは、誘発された誤った主張を回避した（例：拒絶やヘッジを行った）回答においてであった。

• 知見: 一致する判定器は、一致しない判定器よりも、これらの回答を指摘する頻度が低かった（$\Delta = -4.3$ pp; 95% CI $[-6.6, -2.0]$）。
• 解釈: これは偽陽性率が低いことを意味しているのではない。「回避された主張」というラベルは、特定の誘発されたエラーが採用されたかどうかのみをチェックするものである。しかし、判定器のタスクは、ソースに対するあらゆる事実的エラーを指摘することである。誘発された主張を回避した回答であっても、他のソース相対的なエラー（例：無関係な事実に関するハルシネーションや誤った帰属）を含んでいることがあった。

3. 明白な偽陽性の人間による監査

著者らは、25件の「明白な偽陽性」（判定器はエラーを指摘したが、ラベルとしては「誘発された主張を回避した」とされたケース）を監査した。

• 結果: 一つも真の偽陽性ではなかった。
  • 22件は、別のソースエラーの妥当な検出であった。
  • 2件は、誘発されたエラーの採用に関するラベルのミスであった。
  • 1件は不明瞭なケースであった。
• 結論: 観察されたギャップは、ラベルとタスクの不一致であり、同一モデルの寛容性の証拠ではない。「採用（adoption）」ラベルは、判定器に割り当てられたより広範な「あらゆるエラーの検出」というタスクを捉えるには狭すぎる。

4. ローカライゼーション（局在化）

判定器がエラーを指摘した場合、94.0～98.5%の割合で、正しくソースとなるパッセージを特定できていた。これは、矛盾の特定における高い精度を示している。

貢献と意義

方法論的貢献

1. プロトコル: 隠された局所的なソースの矛盾と、ブラインド判定を用いた制御されたメタ評価の設定。
2. ペア推定量: 異なる回答の分布を比較するのではなく、同一の候補回答に対する判定器の挙動を比較するという、回答ペアによるアプローチ。これにより、生成器の難易度やスタイルを効果的に制御している。
3. 振る舞いの層別化: 生成器の振る舞い（拒絶、ヘッジ）が評価指標に大きな影響を与えることを示し、これらを個別に分析する必要性を実証した。

実証的知見

• 広範な自己寛容性の否定: 事実中心のRAGにおいて、同一モデルの判定器が自身のモデルの誘発されたエラーを広く見逃すという堅牢な証拠はない。
• ギャップの再解釈: 指摘率の差は、狭い「採用」ラベルと、より広範な「あらゆるエラー」の検出という判定器のタスクとの間の不整合によって説明される。

意義

本論文は、同一モデルによるRAGの判定は、単なる禁止事項ではなく「識別問題」であると主張している。生の対角成分と非対角成分の比較は記述的には有用であるが、推論としては不十分である。自己寛容性について妥当な主張を行うためには、以下のことが求められる：

• 完全な「判定器×生成器」のマトリックスを報告すること。
• 回答ペアの（answer-paired）効果を用いること。
• 生成器の振る舞いによって層別化すること。
• グラウンドトゥルースのラベルと、判定器に割り当てられた特定の誤り検出タスクとの間に整合性を確保すること。

本研究は、事実に基づくグラウンディングが、自由記述の嗜好性タスクで見られるようなスタイル主導の自己嗜好効果を軽減する可能性がある一方で、グラウンディングされた生成における「エラー」の定義とラベリングに関する新たな複雑さをもたらすことを示唆している。