Calibrating the Evaluator: Does Probability Calibration Mitigate Preference Coupling in LLM Agent Feedback Loops?

技術要約：評価者の好みの結合（Preference Coupling）を緩和するためのキャリブレーション

問題提起
マルチエージェントLLM（大規模言語モデル）システムにおいて、エージェントはLLM評価者からのフィードバックに基づいて自身の行動を適応させることが多い。近年の研究により、評価者の系統的なバイアスがフィードバックループを通じて伝播し、エージェントの学習された戦略分布を歪め、潜在的に「好みの崩壊（preference collapse）」を引き起こす**評価者の好み結合（Evaluator Preference Coupling: EPC）**と呼ばれる現象が特定されている。EPCフレームワークは、結合係数 $\gamma$ やイェンセン・シャノン・ダイバージェンス（JSD）などの指標を用いてこの結合を測定する診断ツールを確立してきたが、これまでの文献は診断のみに焦点を当ててきた。キャリブレーション技術がこれらの影響を緩和できるかどうかを調査した研究は、これまで存在しなかった。

手法
本研究は、閉ループ・エージェントシステムにおける好みの結合に対する緩和策として、**確率キャリブレーション（probability calibration）**を初めて適用したものである。著者らは、標準的なテスト時強化学習（TTRL）プロトコルと、**信頼度キャリブレーション済みTTRL（Confidence-Calibrated TTRL）**のバリアントを比較している。

• 実験設定:

  • 実行者（Executor）: DeepSeek-V4-Pro（エージェントとして機能）。
  • 評価者（Evaluator）: GLM5.2（ジャッジとして機能）。
  • 設計: 標準的なバイナリTTRL（勝敗判定）と、信頼度キャリブレーション済みTTRLを比較する、制御された被験者内実験（$N=5$ シード）。実験は、純粋なテキスト、純粋なビジュアル、および2つの結合方向（Text$\to$Visual および Visual$\to$Text）の4つのフェーズで行われた。
  • コントロール: 出力形式の影響や更新の非対称性を主な要因から排除するため、長さ正規化コントロール（回答を500文字に制限）および対称学習率コントロール（$\alpha_{win} = \alpha_{lose}$）を含めている。

• キャリブレーション・プロトコル:

  1. 信頼度の引き出し（Confidence Elicitation）: 評価者は「AかBか」というバイナリの判断ではなく、回答Aが回答Bよりも優れている可能性を表す確率推定値（$c_t \in [0, 1]$）を出力するように促される。
  2. 継続的なキャリブレーション（Running Calibration）: 直近10個の（信頼度、バイナリ結果）ペアに対して、スライディングウィンドウを用いたアイソトニック回帰（等張回帰）を適用し、後続の信頼度推定値をキャリブレーションする。
  3. 信頼度加重更新（Confidence-Weighted Updates）: エージェントの戦略重みは、バイナリ信号ではなく、キャリブレーションされた信頼度に基づいて更新される。更新量は、信頼度スコア $c_t$ から範囲 $[-\alpha_{win}, +\alpha_{win}]$ へ以下の式を用いてマッピングされる：
     $$w^{(t+1)}_{s_t} = \max(0.001, w^{(t)}_{s_t} + \alpha_{win} \cdot (2c_t - 1))$$
     このメカニズムは実質的に更新をゲート（制御）する：不確実な判断（$c_t \approx 0.5$）は、重みの変化をほぼゼロにし、偽の好みの蓄積を防ぐ。

主な結果
本研究は、信頼度キャリブレーション済みTTRLが、標準的なバイナリTTRLと比較して好みの結合を大幅に減少させることを示している：

• 結合係数 ($\gamma$): キャリブレーションにより、$\gamma_{T\to V}$ は 20%（0.924から0.744へ）、$\gamma_{V\to T}$ は 49%（1.580から0.806へ）減少した。
• イェンセン・シャノン・ダイバージェンス (JSD): 分布のダイバージェンスの減少はさらに顕著であり、$T\to V$ で 45%、$V\to T$ で 67% の減少が見られた。
• メカニズム: この減少は「信頼度によるゲーティング（confidence gating）」に起因する。評価者の判断の約31%が不確実な範囲（$c_t \in [0.4, 0.6]$）に該当した。標準的なTTRLでは、これらはフルウェイトの更新に寄与するが、キャリブレーション版では、これらは無視できる程度の更新しか行わない。
• 堅牢性: 効果は対称学習率および長さ正規化条件下でも持続しており、減少が学習率の非対称性や出力フォーマットではなく、キャリブレーション・メカニズム自体によって駆動されていることを裏付けている。

意義と主張
本論文は、LLMエージェントのフィードバックループにおける好みの結合を緩和するために、評価者のキャリブレーションを適用した最初の研究であると主張している。その主な貢献は以下の通りである：

1. 実証的証拠: 信頼度キャリブレーション済みのフィードバックが、結合係数を23〜31%、JSDを同程度の規模で減少させるというデータを提供した。
2. 軽量な緩和策: 実行者モデルの変更や評価者の再学習を必要とせず、プロンプトエンジニアリングと単純な更新ルールのみに依存する「ドロップイン（そのまま導入可能）」なプロトコルを提案した。
3. 実用的な推奨事項: 実務家に対し、バイナリ判断ではなく確率推定値を引き出し、LLM-as-judgeパイプラインにおいて信頼度加重更新を使用することを推奨している。

限界と謙虚さ
著者らは、キャリブレーションは結合を減少させるが、排除するものではないことを明記している。残留する結合（例：$\gamma \approx 0.8$）は、ノイズではなく、評価者の真の、かつ高確信度の好みを反映している可能性がある。本研究は、特定のモデルのスナップショット（GLM5.2, DeepSeek-V4-Pro）および簡略化されたスライディングウィンドウ・キャリブレーション手法に限定されている。著者らは、本手法は効果的ではあるものの、残留する結合を無視するとキャリブレーションによって偽の安心感を生む可能性があるため、EPC指標の定期的なモニタリングが不可欠であると結論づけている。