Judging Against the Reference: Uncovering Knowledge-Driven Failures in LLM-Judges on QA Evaluation
本論文は、LLMベースの判定器が、提供された参照回答がモデル自身の内部的なパラメータ知識と矛盾する場合、QA評価においてその参照回答に従うことに頻繁に失敗し、その結果、一般的な緩和策を講じてもなお信頼性の低いスコアリングが生じることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢く、博識な司書を雇い、学生のエッセイの採点を行わせると想像してみてください。あなたのルールはシンプルです。「自分の記憶に基づいた判断ではなく、私が提示する解答集（アンサーキー）のみに基づいて、学生を採点しなさい」というものです。
この論文は、その司書がAI（大規模言語モデル、LLM）であり、その解答集に「ひっかけ」が含まれている場合に何が起こるかを調査したものです。
設定：「入れ替えられた」解答集
研究者たちは特別なテストを作成しました。まず、一連の質問とその正解（ゴールドスタンダード）を用意しました。次に、正解を、もっともらしく聞こえる「間違い」の回答と密かにすり替えました。
元のシナリオ:
- 質問: 2024年のF1チャンピオンシップで優勝したのは誰ですか？
- 解答集（ゴールド）: マックス・フェルスタッペン。
- 学生の回答: マックス・フェルスタッペン。
- AI判定員の判定: ✅ 正解。（とても簡単です）。
「入れ替えられた」シナリオ:
- 質問: 2024年のF1チャンピオンシップで優勝したのは誰ですか？
- 解答集（ゴールド）: ランダ・ノリス。 (注：実際にはこれは間違いですが、このテストにおいては、これが「ゴールド」の真実であるとAIに伝えられています)。
- 学生の回答: ランダ・ノリス。
- AI判定員の判定: ❌ 不正解。
えっ、どういうことでしょうか？ 学生は解答集と完璧に一致しています！ それなのに、AIは不正解を出しました。なぜでしょうか？ AIの内部記憶（パラメトリック知識）が、「違う！マックス・フェルスタッペンが優勝したんだ！ランド・ノリスではない！」と叫んでいたからです。AIは指示と解答集を無視し、自分の記憶を信頼してしまいました。
コアとなる発見：「知ったかぶり」問題
この論文では、これを**「知識駆動型の失敗（Knowledge-Driven Failure）」**と呼んでいます。
このAI判定員を、先生の解答集が高校時代に暗記した内容と矛盾していると、テストを受けるのを拒む「知ったかぶりをする生徒」のように考えてみてください。たとえ先生が「この試験に限っては、答えはXである」と言ったとしても、その生徒は「いいえ、私は絶対にYだと知っています」と言い張り、Yに基づいて採点してしまうのです。
研究者たちは以下のことを発見しました：
- 誰にでも起こる: 最もスマートで強力なAIモデル（GPT-4o、GPT-5、巨大なLlamaモデルなど）であっても、これが発生します。
- 有名であるほど悪化する: 解答集にある「間違い」が有名な人物や事実（例：「イーロン・マスク」や「月」）である場合、AIは解答集を無視する可能性がより高くなります。事実が有名であればあるほど、AIの内部的な信念は強まり、それを覆すのが困難になります。
- 規模が大きければ良いわけではない: AIモデルを大きくすること（「脳の力」を加えること）は、この問題を解決しませんでした。実際、大きなモデルの方が、頼りにできる内部知識が多いため、より頑固になることもありました。
「魔法の呪文」は効かなかった
研究者たちは、AIに「魔法の呪文（プロンプト）」を与えることで、これを修正しようと試みました。彼らが試したのは以下の通りです：
- 直接的な命令: 「自分の知識を無視して、解答集のみを見てください！」
- 思考のプロセスを書き出す: 「採点する前に、ステップ・バイ・ステップで考えてください。」
- 例示: AIに対して、どのように採点すべきかの例を見せる。
結果: これらはどれも機能しませんでした。解答集と（AIの）知識が衝突した場合、AIは依然として指示よりも自身の記憶を優先しました。それはまるで、頑固な犬に対して、「リスを追いかけるのはやめて、ボールを見て！」と言っているようなものです。犬の本能（パラメトリック知識）がコマンドを上書きしてしまうのです。
なぜこれが重要なのか
現実世界では、私たちは学校のテストから医療のアドバイスに至るまで、あらゆるものの採点にこれらのAI判定員を使用しています。私たちは、AIが公平であり、ルールに従うものだと想定しています。
この論文は、決定的な欠陥を明らかにしています。もし「ルール（参照回答）」がAIの「信じていること（学習データ）」と矛盾する場合、AIはルールを破ります。
例えば、データセットが新しい事実（例：「2025年の選挙の勝者は人物Bである」）で更新されたとしても、AIがまだ「人物A」を覚えている場合、AIは人物Bが新しいデータに基づく正しい答えであるとしても、人物Bと答えた回答を不当に「不正解」としてしまうのです。
結論
この論文は、提供された解答集がAIの内部記憶と対立する場合、AI判定員が厳密に解答集に従うことを、現在は信頼できないと結論付けています。これはコードのバグではなく、これらのモデルの思考における根本的な習慣なのです。彼らは自身の「知識」に対してあまりにも自信を持っているため、事実が変わったときに中立な審判として振る舞うことが困難なのです。
要約すると: AI判定員は、図書館のカタログが自分がインターネットで読んだ内容と異なると、カタログを使うことを拒む、非常に優秀な司書のようなものです。これを修正しない限り、特定の提供された参照資料に基づいて回答を採点することを、完全に信頼することはできません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。