技術的サマリー：AMEL（LLM 判断における蓄積メッセージ効果）

問題定義

大規模言語モデル（LLM）は、コードレビュー、コンテンツモデレーション、スコアリングなどのタスクにおける自動判断者として、ますます展開されるようになっている。生産環境では、効率性から、単一の会話セッション内で複数のアイテムを評価することが多く、過去の判断の履歴が蓄積される。本論文は、この過去の会話履歴の極性が、その後の判断にバイアスをかけるかどうかを調査する。著者らは、この現象を「LLM 判断における蓄積メッセージ効果（Accumulated Message Effects on LLM Judgments: AMEL）」と定義する。

本研究は、AMEL を関連する概念と区別する：

• 追従性（Sycophancy）： ユーザーの意見にモデルが同意する追従性とは異なり、AMEL は外部のユーザーの意見なしに、モデルが自らの過去の応答パターンに適合する際に発生する。
• 多数ラベルバイアス（Majority Label Bias）： 書式化された例が予測を歪める少数ショット分類バイアスとは異なり、AMEL は多様なトピックに関する完全な質問応答のやり取りから生じる。
• アンカリング（Anchoring）： 明示的な数値的な参照点がないアンカリングとは異なり、バイアスは会話の全体的なトーンから生じる。

方法論

本研究は、OpenAI、Anthropic、Google、およびローカルのオープンソースモデルの 4 社から提供される 11 モデルにわたる 75,898 回の API 呼び出しを含む、被験者間実験デザインを採用した。

実験デザイン

• 条件： 同一のテストアイテムが 4 つの条件で提示された：
  1. ベースライン： アイテムはシステムプロンプトのみに続く（履歴なし）。
  2. No-飽和（No-Saturated）： アイテムは、評価の 90% が「No（否定的）」であった $N$ 回の先行ターンに続く。
  3. Yes-飽和（Yes-Saturated）： アイテムは、評価の 90% が「Yes（肯定的）」であった $N$ 回の先行ターンに続く。
  4. 中立（Neutral）： アイテムは、50/50 の分割となった $N$ 回の先行ターンに続く。
• コンテキスト長（$N$）： 蓄積をテストするために、$\{5, 10, 20, 50\}$ 回のターンで変化した。
• ドメイン： 3 つの二値評価ドメインがテストされた：
  1. コードレビュー： 「このコードは本番環境で使用できるか？」
  2. コンテンツモデレーション： 「このコメントは適切か？」
  3. 栄養評価： 「これは健康的な選択か？」
• テストアイテム： 各ドメインには、明確なポジティブ、曖昧、明確なネガティブに分類された 21 個のアイテムが含まれていた。
• バイアススコア（BS）： $P(r^*|\text{treatment}) - P(r^*|\text{baseline})$ と定義される。ここで $r^*$ は極性条件に対する目標応答である。負のスコアは、「No」へのシフト（観察された支配的なネガティブバイアス）を示す。

テストされたモデル

本研究は、GPT-4.1 Nano、GPT-5.2、Claude Haiku/Sonnet/Opus、Gemini 2.5 Flash/Pro、およびローカルモデル（Llama 3.2、Qwen3/3.5）を含む、さまざまなスケールとアーキテクチャを網羅した。すべての API モデルは温度 $T=1.0$ で使用された。

主要な発見

1. AMEL の存在と大きさ

11 モデルすべてにおいて、会話履歴は回答を履歴の支配的な極性へと有意にシフトさせ、全体効果量は $d = -0.17$ （$p < 10^{-46}$）であった。これは、履歴が主にポジティブ、ネガティブ、または中立であったかにかかわらず、「No」への体系的なドリフトを示している。ボンフェローニ補正後、11 モデル中 9 モデルが有意なバイアスを示した。

2. 感受性と不確実性

この効果は均一ではなく、モデルがベースラインで真に不確実であるアイテムに集中している。

• 高エントロピーアイテム： ベースライン確率 $P(\text{yes})$ が非決定論的であるアイテムは、ベースラインが決定論的であるアイテム（$d = -0.15$）と比較して、約 2 倍のバイアス（$d = -0.34$）を吸収する。
• 実用的含意： AMEL に最も脆弱なアイテムは、バイアスのない評価が最も重要となる境界線ケースである。

3. ネガティブ非対称性

ネガティブな履歴は、ポジティブな履歴よりも有意に強いバイアスを誘発する。

• 大きさ： ネガティブなコンテキストは、ポジティブなコンテキストよりも 1.62 倍強い 1 アイテムあたりのシフトを生み出す（$t = 13.46, p < 10^{-39}$）。
• 中立履歴： 均衡した（50/50）履歴でさえもネガティブなシフトを生み出す。これは、評価コンテキストの存在そのものが、内容の極性に関係なく、より批判的なモードをトリガーすることを示唆している。

4. 飽和とコンテキスト長

バイアスはコンテキスト長に比例して増加しない。

• 即時飽和： 偏った履歴の 5 ターンは、50 ターンと同じシフトを生み出す（$Spearman |r| < 0.01, p > 0.94$）。
• メカニズム： モデルは支配的なパターンを迅速に検出し、平衡状態に達する。追加の例はバイアスを強化しない。

5. モデルのスケーリングと分散

• スケーリング： プロバイダーファミリー内のより大きなモデルは一般的にバイアスが小さい（例：Anthropic Haiku $d=-0.22$ 対 Opus $d=-0.17$）が、免疫を持つものはない。
• 例外：
  • Gemini： Google モデルでは傾向が逆転し、Gemini 2.5 Pro は Flash よりも 多い バイアスを示した。これはおそらく「思考」トークンがパターン認識を増幅するためである。
  • Qwen： Qwen3 4B は、履歴から遠ざかる顕著な 反対派 のバイアスを示した。これはおそらく、反復を罰するインストラクションチューニングによるものである。

6. メカニズムと特徴付け

3 つのフォローアップ実験により、妥当なメカニズムが絞り込まれた：

• 連続的シフト： Logprobs 分析により、AMEL が閾値のアーティファクトではなく、トークン確率分布における連続的なシフトであることが確認された。
• トークン対意味的ソース： ネガティブ非対称性は、トークンレベルと意味的の両方の要素を持つ。GPT-4.1 Nano では、「no」というトークン自体が粘着性があるように見える。一方、Llama 3.2 3B では、「拒絶」という概念（意味的）が非対称性を駆動する。
• 位置非依存性： 50 ターンの履歴内のバイアスのかかったターンの位置（開始、終了、または分散）は関係ない。任意の 5 つのバイアスのかかったターンで、完全な効果が生じる。

意義と推奨事項

本論文は、AMEL がマルチターン LLM 評価パイプラインにおける根本的な脆弱性を表していると主張する。著者らは、スケーリングだけでは問題を解決しない と結論付けており、最先端モデルでさえも感受性を持っている。

実用的推奨事項：

1. 新鮮なコンテキスト： 主要な緩和策は、履歴を完全に排除し、バイアス経路を排除するために、各アイテムを過去の履歴のない新しい会話で評価することである。
2. バランスの取れたバッチ処理： バッチ処理が避けられない場合、アイテムをランダム化し、バランスを取る（予想される「Yes」と「No」の結果を交互に配置する）ことで、自己強化型の極性ドリフトを防ぐべきである。
3. 不確実なアイテムの保護： モデルのベースライン不確実性が高いアイテムについては、新鮮なコンテキストを優先する。
4. ランタイム修正： 新鮮なコンテキストが不可能なシステムでは、応答履歴バイアス検出器（例：B スコア）や logprobs ベースの修正を使用して、ドリフトを検出し、部分的に修正できる。

本研究は、効果量が全体として中程度である一方で、それが曖昧なアイテムに集中していることは、高リスクドメインにおける自動評価の信頼性に対して重大なリスクを伴うことを強調している。