Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation

技術要約：コミットメント前のエビデンス・ロック（Evidence Lock Before Commitment）

問題提起
本論文は、LLM-as-a-judge（評価者としてのLLM）による評価において広く普及している特定のワークフロー上の仮定に対処している。それは、「最終的な判定を下す前の中間ステップとして、基準とエビデンスを抽出しておくことで、後の独立した決定コールに対して十分な情報を保持できる」という仮定である。構造化された評価手法（例：スコアを出す前に計画や根拠を求める手法）は、監査可能性や堅牢性を高めることを目的としているが、これらは「自然言語によるエビデンスの記録が、後の判断を再現するための十分なインターフェースになる」という前提に基づいている。著者は、このエビデンスの記録を永続化し、それを最終決定コールの排他的な入力とすること（つまり、元のソース回答へのアクセスを遮断すること）が、評価の質を低下させるのではないかと疑問を呈している。これは、可視化された出力の順序が必ずしも内部的な意思決定の順序を反映しているとは限らない、推論能力を持つモデルにとって特に重要な問題である。

手法
本研究では、2つの推論能力を持つ商用モデル（Claude Sonnet 4.5およびGPT-5）と3つのデータセット（HelpSteer3、FeedbackQA、CoVal）を用い、24,000件の判定にわたる制御された反復測定評価を実施している。研究者らは、以下の4つの異なる判定プロトコルを比較している：

1. 標準的なペアワイズ判定 (Standard Pairwise Judging): ジャッジはコンテキストと両方の回答（AおよびB）を閲覧し、直接判定を出力する。
2. 構造化ワンコール判定 (Structured One-Call Judging): ジャッジはコンテキストと両方の回答を閲覧するが、同一のコール内で勝者を選択する前に、基準とエビデンスを明示的に生成するよう促される。
3. エビデンス・ロック（2コール方式）(Evidence Lock (Two-Call)):
   • コール1: ジャッジはコンテキストと両方の回答を検討し、エビデンス／基準を記述する。その後、勝者を選択することなく、その記録を永続化する。
   • コール2: ジャッジは永続化されたエビデンスの記録のみを閲覧し（元のコンテキストや回答は見られない）、A、B、または引き分けを選択する。
4. ポイントワイズ・ロック（3コール方式）(Pointwise Lock (Three-Call)):
   • コール1 & 2: 回答Aと回答Bがそれぞれ独立して評価され、凍結されたアセスメントが生成される。
   • コール3: ジャッジは、元の回答を見ることなく、これら2つの凍結されたアセスメントを比較して勝者を決定する。

研究では、主に2つのアウトカムを測定している：

• 選好一致度 (Preference Agreement): ジャッジの判定が、公開されている厳格な人間による選好ラベル（A/B）に対してどの程度正確であるか（提示順序ABおよびBAの両方について平均）。
• 回答順序による不整合性 (Answer-Order Inconsistency): 候補の提示順序を入れ替えた際に、正規化された判定が変化する頻度。

主な貢献

1. 観測可能な介入 (Observable Intervention): 本論文は、「エビデンス・ロック」という観測可能な介入を導入している。これは、隠れた思考プロセス（Chain-of-Thought）の順序に関する検証不可能な主張に依存することなく、中間記録の凍結とソースへのアクセス除去の影響を分離して抽出するものである。
2. 大規模評価: 2つのモデルと3つの多様なデータセットにわたる24,000件の判定を含む包括的な評価を行い、統計的信頼性のためにノンパラメトリック・ブートストラップ・リサンプリングを利用している。
3. ロックされたインターフェースに関する負の結果: 本研究は、構造化された抽出（1回のコール内でエビデンスを要求すること）は依然として効果的である一方で、そのエビデンスを後続の決定コールのための凍結された排他的なインターフェースへと変換すると、パフォーマンスが著しく低下するという一貫した証拠を提示している。

結果
実験結果は、「エビデンスをロック」することが、構造化されたワンコール判定と比較して、評価の質を測定可能なレベルで低下させることを示している：

• 選好一致度の低下: エビデンス・ロックは、構造化されたワンコール判定と比較して、人間による選好との一致度を4〜6パーセントポイント低下させた。
  • Claude Sonnet 4.5: 76.0%（構造化）から71.7%（エビデンス・ロック）へ低下。
  • GPT-5: 75.6%（構造化）から70.0%（エビデンス・ロック）へ低下。
  • ポイントワイズ・ロックでは、さらに低い一致度（67.3%および69.2%）を示した。
• 順序による不整合性の増加: ロックされたプロトコルは、回答の順序に対する感度を大幅に高めた。
  • エビデンス・ロックは、構造化された判定と比較して、不整合性を8〜10パーセントポイント増加させた。
  • Claude Sonnet 4.5の場合、不整合性は10.9%（構造化）から18.9%（エビデンス・ロック）へと上昇した。
• 計算コスト: ロックされたプロトコルは、より多くのAPIコールとトークンを必要とする（例：Claudeにおいて、構造化判定の1,864トークンに対し、エビデンス・ロックでは4,183トークン）。しかも、結果はより劣るものである。
• 汎用性: 負の影響は、3つのデータセット（HelpSteer3, FeedbackQA, CoVal）および両方のジャッジモデルにおいて一貫していた。

意義と主張
本論文は、**「永続化されたエビデンスの記録は、決定時のソース回答の代替となるべきではない」*と結論付けている。パフォーマンスの低下は、エビデンスが単に要求された時ではなく、そのエビデンスが最終判定のための排他的な*インターフェースとなった時に特異的に発生している。

• 情報の流れ (Information Flow): 著者はこれを「情報フローの効果」であると論じている。自然言語による記録は、差異の省略、トレードオフの圧縮、あるいは元の提示順序に依存するフレーミングの保持を引き起こす可能性がある。最終決定コールがソース回答へのアクセスを失うと、これらの省略やフレーミングの選択を修正することができなくなる。
• 監査可能性 vs 意思決定: 永続化されたエビデンスは監査可能性、ログ記録、モジュール性をサポートするが、実用的な教訓は、記録は決定を補助すべきであり、元のペアを置き換えるものであってはならないということである。最終的なジャッジは、理想的にはアーティファクト（記録）とソース回答の両方を検査すべきである。
• 主張の謙虚さ: 著者は、「エビデンス・ロック」が（段階の分離、追加のコール、記録の凍結、およびソースへのアクセス除去を組み合わせた）複合的な介入であることを明記している。したがって、このワークフローが劣化を引き起こすことは示されているものの、どの特定の構成要素（例：凍結か、あるいはソースへのアクセス除去か）が原因であるかを一意に特定することはできていない。ただし、「情報ボトルネック」という説明が妥当な解釈として提示されている。本研究は、隠れた推論メカニズムを証明しようとするものではなく、入力データの制限がもたらす観測可能な結果を実証するものである。