技術要約：鏡を割る —— LLM評価器における自己選好バイアスの活性化ベースの緩和策

問題提起

大規模言語モデル（LLM）は、好みのチューニングやモデルのルーティングなど、正解（グラウンドトゥルース）が存在しないタスクにおいて、自動評価器（「LLM-as-judges」）としてますます導入が進んでいます。しかし、これらの評価器は自己選好バイアス（self-preference bias）、すなわち、著者性が隠されている場合であっても、他モデルの出力よりも自身の出力を不当に優先してしまう傾向に苦しんでいます。このバイアスはモデルのサイズや性能とともに拡大し、評価パイプラインの公平性と信頼性を損なわせます。先行研究では、このバイアスの検出や、高コストなファインチューニング（例：Direct Preference Optimization）やスタイルの変更による緩和に焦点が当てられてきましたが、モデルの再学習を行うことなく、推論時の介入によって不当な自己選好を修正できる軽量な手法は不足しています。

手法

著者らは、自己選好バイアスと真の出力品質を切り離し、**ステアリング・ベクトル（steering vectors）**を適用して、推論時にバイアスを緩和するフレームワークを提案しています。

1. バイアスと品質の分離

不当な自己選好（バイアス）と正当な自己選好（モデルの出力が客観的に優れている場合）を区別するため、著者らはXSUMデータセットに基づいた精緻な評価セットを構築しました。

• 設定: 自己評価を行うモデル $J$ と比較対象のモデル $K$ が、ソース記事に対して要約を生成します。
• ゴールドスタンダード: 多様なモデルファミリー（Phi-4, DeepSeek V3, Claude 3.5-Sonnet）からなる「ゴールド・ジャッジ（gold judges）」のアンサンブル（$G$）が、各ペアにおける客観的に優れた要約を決定します。
• 分類: 各評価インスタンスは、以下の3つの結果に分類されます：
  1. 不当な自己選好（Illegitimate Self-Preference）: モデル $J$ は自身の出力を好むが、ゴールド・ジャッジは $K$ の出力を好む。
  2. 正当な自己選好（Legitimate Self-Preference）: モデル $J$ もゴールド・ジャッジも、$J$ の出力を好む。
  3. バイアスのない一致（Unbiased Agreement）: モデル $J$ もゴールド・ジャッジも、$K$ の出力を好む。
• 検証: ヒューマン・バリデーションにより、正当なケースおよびバイアスのない一致については、ゴールド・ジャッジと人間との間で高い一致率が確認されましたが、バイアスが含まれるサブセットでは一致率が低下しており、このタスクの困難さが浮き彫りになりました。

2. ステアリング・ベクトルの構築

著者らは、推論中にモデルの活性化を調整するための軽量なステアリング・ベクトルを、2つの手法を用いて構築しています。

• 対照的活性化加算（Contrastive Activation Addition: CAA）: バイアスのない補完（$X^+$）へと導くプロンプトと、バイアスのある補完（$X^-$）へと導くプロンプトの間の隠れ状態の活性化の差を計算します。ベクトルは平均差として定義されます：$v_{CAA} = \text{mean}(h_L(X^+)) - \text{mean}(h_L(X^-))$。
• 最適化ベースのステアリング: 勾配降下法を用い、望ましい補完（$Y^+$）を促進し、望ましくない補完（$Y^-$）を抑制する、加法的ベクトルを学習する対照損失関数を最小化します。これはLlama-3.1-8B-Instructのレイヤー14〜16に対して最適化されます。

3. 評価指標

ステアリング・ベクトルの有効性は、以下の指標で測定されます。

• 有効性（Effectiveness）: 不当な自己選好の「反転率（flip rate）」（ステアリングされたモデルが、バイアスのある決定をどれだけ修正できたか）。
• 安定性（Stability）: 正当な自己選好およびバイアスのない一致における正しい決定の保持（これらのカテゴリにおける低い反転率が望ましい）。

主な結果

本研究では、Llama-3.1-8B-Instructに対し、プロンプティングおよびDirect Preference Optimization（DPO）を含むベースラインと比較して、ステアリング・ベクトルの性能を評価しています。

• バイアスに対する高い有効性: ステアリング・ベクトルは、不当な自己選好を最大**97%**削減することに成功しました。CAAおよび最適化ベースの手法の両方が、プロンプティング（反転率0%）およびDPO（反転率49%）を上回りました。
• 驚くべき汎用性: 「非認識（unaware）」の設定（著者性を隠した状態）で構築されたベクトルは、「認識（aware）」の設定と同等、あるいはそれ以上の性能を示しました。これは、自己選好の表現が活性化空間において部分的に線形構造を持っていることを示唆しています。
• 正当なケースにおける不安定性: 決定的な限界として、安定性の欠如が挙げられます。不当な自己選好を反転させるのと同じベクトルが、正当な自己選好やバイアスのない一致のケースも頻繁に反転させてしまいます。例えば、CAAベクトルは正当な自己選好の93%、バイアスのない一致の20%を反転させました。
• 示唆: この不安定性は、不当な自己選好は線形にエンコードされている可能性がある一方で、正当な自己選好やバイアスのない一致は、活性化空間内の複数の、あるいは非線形な方向にまたがっている可能性が高いことを示唆しています。つまり、単一の線形ベクトルでこれらを分離することは困難です。

意義と主張

本論文は、軽量なステアリング・ベクトルが、LLM評価器における自己選好バイアスを緩和するための、ファインチューニングに代わる有望かつ低コストな選択肢であることを示していると主張しています。主な貢献は、推論時の活性化編集によって、不当なバイアスを劇的に減少（最大97%の修正）できることを実証した点にあります。

しかし、著者らはこの解決策の普遍性については慎重な立場をとっています。現在の手法は、正当な判断を維持する能力において堅牢ではないと明言しています。結果は、自己選好がモデルの表現の中で、バイアスと品質が絡み合った複雑な現象であることを強調しています。結論として、ステアリング・ベクトルは自己選好という「鏡」を割るための強力なツールではあるものの、現在の線形的な限界により、妥当な評価を損なうことなくLLM-as-judgeシステムを保護するためには、より堅牢で、おそらく非線形な介入が必要であるとしています。

著者らは、本研究の目的は、完璧な最終解を提供することではなく、メカニスティック・インタープリタビリティ（機械論的解釈可能性）とバイアス緩和の研究のための、精緻なデータセットと再現可能なフレームワークを提供することにあると強調しています。