Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

現代のデジタル環境において、人工知能は単に質問に答えるツールから、他のシステムの品質を判定するシステムへと進化しました。「AIジャッジ（AIによる判定）」としばしば呼ばれるこの新しい役割は、エッセイの採点、コードのレビュー、そして人間の読者に届く前のコンテンツのフィルタリングなどにますます利用されています。この慣行の背後にある仮定は、AIジャッジが各作品をその独自の価値に基づいて評価し、すべての提出物を新たな出発点として扱うというものです。しかし、人間の心理学においては、「アンカリング」と呼ばれる現象が古くから知られています。これは、たとえその数字がランダムであったり無関係であったりしても、人の推定値や決定が、以前に見た数字へと微妙に引き寄せられる現象です。研究者たちは数十年にわたり、法廷での量刑決定から価格交渉に至るまで、人間におけるこの現象を観察してきました。デジタル時代における重要な問いは、私たちが公平であると信頼している機械の中に、これらと同じ人間のようなバイアスが存在するのかどうかということです。もしAIジャッジが、背景で見ている以前のスコアに影響を受けるのであれば、自動評価のシステム全体が系統的に歪められ、コンテンツの不当な拒絶や承認につながる可能性があります。

Infobipの研究チームは、この仮定を直接検証するために調査を行いました。彼らは、以前の判定者によるスコアが、たとえ現在の作業とは全く無関係であっても、そのスコアを見せられただけでAIジャッジのスコアが変化するかどうかを調べる実験を設計しました。彼らは、巨大で強力なシステムから小型でより効率的なものまで、8つの異なる大規模言語モデルを集め、20種類の異なるテキストに対して採点を行わせました。これらのテキストは、記事の要約、コンピュータコードのレビュー、クリエイティブな物語の執筆、および事実に基づいた質問への回答という、4つの異なる領域をカバーしていました。研究者は、AIジャッジに対して3つの異なるシナリオを用意しました。第1のシナリオでは、判定者はタスクとテキストのみを見ます。第2のシナリオでは、判定者はテキストとともに、それが「改訂版」であるという注釈を見ます。第3のシナリオでは、判定者はテキストとともに、以前の試行からの「事前のスコア」を表す特定の数字を含む注釈を見ます。極めて重要なことに、これらの事前のスコアは、合格基準を下回るように生成されたランダムな数字であり、実際のテキストの質とは無関係で、情報価値のないものとして設計されていました。

結果は明確であり、テストされたほとんどのモデルにおいて一貫していました。AIジャッジがランダムな事前スコアを見せられたとき、彼らの採点は大幅に下方へシフトしました。テキストを独立した作品として扱う代わりに、モデルはその低い数字に判断を固定（アンカー）してしまったようです。研究において、8つのモデルのうち7つが、事前スコアが存在する場合に統計的に有意なスコアの低下を示しました。この影響は単なる小さな変動ではありませんでした。一部のモデルでは、その変化は評価の結果を変えてしまうほど大きなものでした。例えば、テストされた最も強力なモデルの一つでは、事前スコアの存在によって、テキストの承認率が22パーセント近く低下しました。これは、良質なものとして承認されるはずだったコンテンツが、判定者が背景にある低い数字を見たという理由だけで、突然拒絶されたことを意味します。研究者たちは、このバイアスがすべてのタスクにおいて一様ではないことも発見しました。この傾向はクリエイティブな執筆や事実に関する質問において最も強く、コードレビューにおいてはより弱く、一貫性のない反応を示しました。

機械の中でどのようにこの現象が起きているのかを理解するために、研究者たちはモデルがスコアを生成する際に考慮している具体的な言葉を調査しました。彼らは、緩やかな変化ではなく、スイッチが切り替わるようなパターンを発見しました。事前スコアが導入されると、モデルが高いスコアを選択する確率が急激に低下し、低いスコアを選択する確率が跳ね上がりました。しかし、その事前スコアの具体的な値を変更しても、あまり影響を与えないようでした。つまり、数字の存在そのものがシフトを引き起こしていたのです。これは、モデルが新しい平均値を注意深く計算しているのではなく、メタデータの存在そのものに反応していることを示唆しています。研究者たちは、単純な指示でこの問題を解決できるかどうかについてもテストしました。彼らは、採点前にステップ・バイ・ステップで考えるよう指示したり、事前スコアを無視するように明示的に警告したりすることを試みました。しかし、どちらの戦略も効果はありませんでした。実際、いくつかのケースでは、ステップ・バイ・ステップの指示がバイアスを悪化させ、明示的な警告は、モデルがすでにバイアスを持っている場合には特定の数字に従う傾向を抑えたものの、スコアの下落を止めることはできませんでした。

研究はさらに、このバイアスが抽象的な数字だけでなく、現実世界の意思決定にどのように影響するかを検証しました。人間によって「安全」または「禁止」とラベル付けされたメッセージングキャンペーンのデータセットを使用し、AIジャッジが誤った事前ラベルを与えられた場合にどのように機能するかをテストしました。AIが誤った事前ラベルを見せられたとき、本来であれば修正できたはずのケースの約半分において、エラーの修正に失敗しました。代わりに、メタデータに提供された誤ったラベルに固執することがよくありました。AIが以前に正解を出していたペアテストにおいて、誤った事前ラベルの導入により、正しい判断が誤ったものへと覆されるケースが10パーセントを超えました。これは、このバイアスが単純なスコアリングを超えて、コンテンツの許可やブロックを決定するカテゴリ的な判断にまで及んでいることを示しています。研究者たちは、このバイアスを防ぐための唯一の信頼できる方法は、プロンプトから無関係なメタデータを完全に削除することであると結論付けました。彼らは、プロンプトによる指示や警告の量に関わらず、事前情報が存在する場合、判定の独立性を完全に回復させることはできないことを見出しました。

これらの研究結果が持つ意味は、公正な評価をAIに依存しているすべての人にとって重大です。この研究は、自動化されたシステムにおける公平性の仮定がいかに脆弱であるかを示しています。提供された情報が明らかに無関係であっても、モデルはコンテキストの影響を受けないということはありません。このバイアスは、単純な指示で簡単に修正できるバグではなく、これらのシステムが情報を処理する方法の根本的な部分であると考えられます。研究者たちは、今回のテストが特定のモデルとタスクを対象としたものであることを強調しつつも、結果はより広範な脆弱性を示唆していると述べています。信頼できるシステムを構築するためには、開発者はAIが動作するコンテキストを慎重に設計し、前のステップからの余計な数字やラベルが現在の評価に漏れ込まないようにしなければなりません。進むべき道は、機械が自律的に世界を明確に見ているという受動的な信頼ではなく、あらゆる特定のモデルとタスクに対して積極的な検証を行うことです。