💬 NLP

SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA

本論文は、自由形式の質問に対する大規模言語モデルの事実性を評価するために、外部証拠を能動的に検索・合成する検索拡張フレームワークであるSAGEを紹介しており、これは静的なリファレンスに基づく手法や信頼性の低いLLM-as-a-judgeによる評価手法に代わる、スケーラブルかつ適応的な選択肢を提供するものである。

原著者： Sher Badshah, Ali Emami, Hassan Sajjad

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sher Badshah, Ali Emami, Hassan Sajjad

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「宿題の答え合わせができない、物知りな生徒」

想像してみてください。あなたは非常に賢い生徒（大規模言語モデル、またはLLM）にテストを受けてもらっています。先生が「『Half & Half』という番組の主題歌を歌っているのは誰ですか？」というトリッキーな質問をしました。

生徒はこう答えました。「エリカ・キャンベルです。」

さて、これをどう採点すべきでしょうか？

従来の方法（語彙一致法 / Lexical Matching）： 事前に用意された解答集と、一言一句違わないかを確認します。もし生徒が「エリカ・キャンベル」と書いたのに、解答集が「メロニー・ダンエルズ」となっていた場合、たとえ生徒が正解であっても不正解と判定してしまいます。もし生徒が、言葉こそ違えど同じ意味を持つ美しい長文を書いたとしても、見逃してしまうかもしれません。これは、数学のテストを採点する際に、「42」という数字だけを探し、「Forty-Two（フォーティー・トゥー）」という言葉を無視するようなものです。
「審判」方式（LLM-as-a-Judge）： もう一人の賢い生徒に、最初の生徒の採点をさせます。しかし、ここに落とし穴があります。この「第二の生徒」もまた、学校で暗記した知識に基づいて推測しているに過ぎないのです。もし最初の生徒が嘘をついていても、二人とも同じ古い知識を学んでいるため、第二の生徒はそれを信じてしまうかもしれません。彼らは、もっともらしく聞こえるように、その嘘がなぜ正しいのかという理由まで作り上げてしまうことさえあります。これは、テストに落ちたばかりの生徒に、解答の採点をさせるようなものです。

核心的な問題： オープンエンド（自由回答形式）の質問に対して、あらゆる可能性のある回答に対する解答集を用意することは不可能です。また、何も調べずにAIに別のAIを採点させることは、AIが自信満々に間違えたり、古い情報に固執したりする可能性があるため、信頼性が低くなります。

解決策：SAGE（「探偵」フレームワーク）

著者らは SAGE（Search-AuGmented Evaluation：検索拡張評価）を提案しています。記憶や固定された解答集に頼るのではなく、SAGEは「審判」を**「探偵」**へと変貌させます。

探偵が事件を解決しようとしている場面を想像してください。彼らはただ推測するのではなく、手がかりを集め、メモを確認し、確信が持てるまで新しい質問を投げかけます。

SAGEの仕組みは、以下のステップで行われます。

最初のヒント（クエリ生成）： 探偵（SAGE）は、質問と生徒の回答を見つめます。単に回答を受け入れるのではなく、「これを証明するにはどうすればいいか？」と考え、例えば「『Half & Half』の主題歌を歌っているのは誰か？」といった検索クエリを作成します。
証拠の収集（ウェブ検索）： 探偵は図書館（インターネット）へ行き、3冊の本（検索結果）を取り出します。
手がかりの要約（Summarization）： 探偵はそれらの本を読み、短い要約を作成します。「本1にはメロニー・ダンエルズとある。本2にもメロニー・ダンエルズとある。」
「ちょっと待て」の瞬間（Reflection）： これが最も重要な部分です。探偵は生徒の回答（「エリカ・キャンベル」）と、新しい証拠（「メロニー・ダンエルズ」）を照らし合わせます。そしてこう考えます。「これらは一致しない。生徒は間違っている。しかし待てよ、他にソースはあるだろうか？念のため、『エリカ・キャンベル』についても検索する必要があるのではないか？」
検索の洗練： 証拠が矛盾していたり不完全だったりするため、探偵はより深く掘り下げるための、より優れた新しい検索クエリを作成します。
最終的な判決： このループを数回（通常は3回）繰り返した後、探偵はすべてのメモを集め、真（True） または 偽（False） という決定を下し、その理由を説明と共に記述します。

なぜこれが優れているのか

論文では、SAGEが優れている理由として主に3つを挙げています。

単なる記憶ではない： 「審判」が暗記した知識に頼るのに対し、SAGEは外に出て最新の事実を見つけ出します。AIの学習後に世界が変わった場合（新しい建物が建てられたり、新しい曲がリリースされたりした場合など）、SAGEは新しい情報を発見できます。
嘘を見抜く： もし生徒が事実を捏造した場合、SAGEはそれを検索し、何も見つからなければ、それを指摘します。検索を行わない「審判」は、捏造された内容がもっともらしく聞こえるため、それに騙されてしまうことがよくあります。
曖昧さに対処できる： いくつかの質問はトリッキーです（例：「その病院はいつ開院しましたか？」という問いは、設立時を指すのか、リノベーション後の再開を指すのか、どちらの意味もあり得ます）。SAGEの「Reflection（内省）」ステップは、自分が間違った日付を見ているのではないかと気づき、明確にするために、より良い質問を投げかけることを可能にします。

結果：探偵の勝利

研究者らは、いくつかのデータセット（トリビアや複雑な推論問題など）を用いてテストを行いました。彼らはSAGEを以下のものと比較しました。

標準的な採点： （Exact Match/F1スコア）
「記憶のみ」の審判： （検索を行わないAIによる採点）
人間の専門家： （回答を採点する実際の人間）

研究結果：

SAGE vs 人間： SAGEは人間の専門家とほぼ完璧に一致しました（実質的、あるいは完全な一致）。
SAGE vs 記憶のみの審判： 記憶のみの審判はしばしば間違っており、生徒が嘘をついているときでも生徒に同意してしまうことが頻繁にありました。SAGEは事実を確認することで、これを修正しました。
コスト： SAGEは少し時間がかかり（1問あたり約27秒）、わずかな費用（1問あたり約0.004ドル）がかかりますが、それでもすべての回答に対して人間を雇って採点させることに比べれば、数千倍安価です。

限界（探偵が行き詰まる場面）

論文では、SAGEも魔法ではないことを認めています。以下のような場合には失敗する可能性があります。

質問が曖昧すぎる場合： 質問が混乱を招くものである場合、探偵は間違った質問をしてしまう可能性があります。
図書館が空の場合： 回答が、オンライン上でまだ書かれていないような極めて最近の出来事に関するものである場合、探偵は証拠を見つけることができません。
矛盾する手がかり： インターネットが2つの異なる回答を提示することがあります。その場合、探偵は混乱し、間違った方を選んでしまうかもしれません。
探偵の脳： SAGEは依然として、思考を行うための賢い「審判」モデルを必要とします。もし「審判」がそれほど賢くなければ、SAGEはうまく機能しません。

要約の比喩

AIの回答を評価することを、パーティーでの噂の検証に例えてみましょう。

従来の方法： ゲストリスト（固定された解答集）を確認します。名前がそこになければ、「ノー」と言います。
記憶による審判： 他のゲストに「これ聞いた？」と尋ねます。彼らは、たとえ分からなくても助けになりたい一心で、「ああ、そうだと思うよ」と答えてしまいます。
SAGE： 電話を取り、3人の人に電話をかけ、それぞれのテキストメッセージを確認し、メモを比較し、それからその噂が本当かどうかを判断します。もし最初の3人が食い違った場合は、再び電話をかけ直すかもしれません。

論文は、この「電話をかける」方法（SAGE）が、単なる推測やリストの確認よりもはるかに正確であり、人間が判断することに極めて近いレベルに達していることを示しています。

技術要約: SAGE (Search-AuGmented Evaluation)

問題提起

自由形式の質問応答（QA）における大規模言語モデル（LLM）の評価は、重大なボトルネックに直面している。従来の評価は、レキシカル・メトリクス（Exact MatchやF1など）を用いて比較される、静的で事前注釈が付与された参照回答に依存している。しかし、これらの手法はオープンエンドな応答の多様性を捉えることができず、人間によるアノテーションの必要性からスケーリングのコストが高く、非決定論的かつ文脈依存的なLLMの出力とは根本的に適合していない。

対照的に、外部のリファレンスなしにモデルを用いて出力を評価する新興の「LLM-as-a-judge」パラダイムは、客観的かつ事実中心のタスクにおいては信頼性に欠けることが証明されている。外部の根拠（グラウンディング）がない場合、これらのジャッジは凍結されたパラメータ知識のみに依存することになり、以下のような特定の失敗モードを引き起こす：

知識の陳腐化: ジャッジは、自身の学習カットオフ時点に対して古い情報を、自信を持って支持してしまう。
長さバイアス: 長い、あるいは冗長な回答は、たとえ事実として誤っていたとしても、高く評価される傾向がある。
プロンプトへの敏感さ: 判定は、プロンプトの微細な変化や、候補となる回答の順序によって覆ることがある。
根拠の幻覚: ジャッジは、誤った決定を正当化するために、支持証拠を捏造する。

本論文は、客観的な正当性はLLMの内部知識や嗜好のみを通じて評価することはできず、自動化のスケーラビリティと事実的な根拠の間の溝を埋めるフレームワークが必要であると主張している。

手法: Search-Augmented Evaluation (SAGE)

SAGEは、LLMジャッジに外部証拠を能動的に検索、合成、および内省する能力を付与することで、LLMの出力を評価するために設計されたリファレンスフリー（参照を用いない）フレームワークである。シングルパスの検索拡張手法とは異なり、SAGEは反復的なエージェントとして機能する。

コア・コンポーネント

このフレームワークは、ウェブ検索ツール（ $S$ ）および短期メモリバッファ（ $M$ ）と相互作用する、ワンショット・プロンプト・テンプレートを介した4つの異なる役割を果たすLLMジャッジ（ $J$ ）を利用する。

クエリ生成 ( $Q$ ): 各イテレーション $i$ において、ジェネレーターは入力された質問 $x$ と蓄積されたメモリ $M_{i-1}$ に基づいて、検索クエリ $q_i$ を生成する。初期クエリはトピックレベルであるが、その後のクエリは、特定の情報の欠落をターゲットにするために、先行する知見に基づいて洗練される。
ウェブ検索 ( $S$ ): クエリは検索エンジン（例：Serper API）に送信され、生の外部証拠として一連のスニペット（タイトル、テキスト、URL）を返す。
要約 ( $\Sigma$ ): 取得された結果は、冗長性を排除し、顕著な事実的内容を抽出することで、焦点を絞った証拠セグメント $E_i$ に凝縮される。
内省 ( $\Phi$ ): 要約モジュールは、証拠 $E_i$ を質問 $x$ および候補となる回答 $\hat{y}$ に対して評価する。それは、証拠が回答を支持しているか、矛盾しているか、あるいは決定不能であるかを判断し、次のクエリを導くための不足している情報をフラグ立てする。
短期メモリ ( $M$ ): 追加専用のバッファは、イテレーション間の相互作用のトレース $(q_i, E_i, r_i)$ を記録し、将来のクエリの洗練を条件付け、最終的な判定のための完全なコンテキストを提供する。
最終判定 ( $J$ ): 固定された予算 $N$ 回のイテレーション（デフォルトは $N=3$ ）の後、ジャッジは完全なメモリ $M_N$ を合成して、二値の判定（ $v \in \{0, 1\}$ ）と自然言語による根拠（ $\rho$ ）を生成する。

プロセスは反復的である。内省モジュールは明示的にクエリの洗練を駆動するため、初期の検索が不十分または無関係な証拠しか得られなかった場合に、システムが軌道修正することを可能にする。

主な貢献

リファレンスフリーのフレームワーク: SAGEは、事実を検証するための出力固有のウェブクエリを動的に生成することにより、コストのかかる人間による注釈付きのグラウンドトゥルース（正解）の必要性を排除する。
反復的な証拠合成: 単一パスの検索拡張型エバリュエーターとは異なり、SAGEは「要約・内省・洗練」のループを採用している。この反復プロセスにより、システムは適応的に情報の欠落をターゲットにし、曖昧さを解消することができる。
検証可能なデータへのグラウンディング: 取得された外部証拠に依存することで、SAGEは、ガイドなしのLLMジャッジに内在する幻覚、知識の陳腐化、および長さバイアスを軽減する。
スケーラビリティとコスト効率: 本フレームワークは、人間によるアノテーションに代わるスケーラブルな選択肢を提供し、そのコストは手動評価よりも数桁低く、かつ人間による判断との高い整合性を維持している。

実験結果

著者らは、様々な候補モデルおよびジャッジモデル（GPT-3.5、GPT-4o、Gemini、およびMistral 7BやQwenのような小型のオープンウェイトモデルを含む）を用いて、5つの自由形式QAベンチマーク（AmbigQA、HotpotQA、TriviaQA、Natural Questions、FreshQA）でSAGEを評価した。

参照ベースのメトリクスとの一致: SAGEは、パラメータ知識のみのジャッジを大幅に上回る。例えば、AmbigQAにおいて、SAGEを用いたGPT-3.5ジャッジは、RefGPT（参照ベースのベースライン）に対して0.80の精度を達成した（外部証拠なしでは0.67であった）。
人間による評価者との整合性: 人間の注釈があるデータセット（AmbigQAおよびHotpotQA）において、SAGEは人間の多数決と実質的、あるいは完全な一致を示した。
- Cohen's $\kappa$ : SAGEは、LLMジャッジと人間の間のギャップを縮小させた。例えば、HotpotQAにおいて、検索なしのGPT-4oジャッジは $\kappa = 0.38$ であったが、SAGE下での同じジャッジは $\kappa = 0.70$ に達した。
- Macro-F1: SAGEは、モデルやタスクを横断して一貫して最高のMacro-F1スコアを提供し、リファレンスフリーのジャッジが正当性を過大評価する傾向（高リコール、低プレシジョン）を修正した。
知識の陳腐化の検出: FreshQAにおいて、SAGEは古い回答を特定し、拒絶することに成功した（例：候補が学習カットオフ前の場所を提供している一方で、EMNLP 2025の現在の所在地が中国の蘇州であることを特定した）。
アブレーション研究:
- イテレーション: パフォーマンスはイテレーションとともに向上し、3回のイテレーションが性能とコストの最適なトレードオフを提供した。
- クエリ生成: クエリの洗練ステップを削除した場合（入力質問を直接使用した場合）、特にAmbigQAのような曖昧なデータセットにおいて、パフォーマンスが著しく低下した。
- 検索エンジンの堅牢性: SAGEの利点は異なる検索エンジン（Serper、Brave、Tavily）間でも持続したが、絶対的なパフォーマンスは取得の質によってわずかに変動した。
- ジャッジの能力: SAGEはすべてのジャッジサイズにおいてパフォーマンスを向上させるが、より有能なジャッジ（例：GPT-4o）は、より小さなモデル（例：Mistral 7B）よりも人間との一致度が高い。ただし、小さなモデルであっても検索拡張による大きな恩恵を受ける。

重要性と主張

本論文は、SAGEが、客観的なタスクにおけるLLMの自動評価における重要な進歩を象徴すると主張している。静的な参照マッチングや、根拠のないパラメータ判断から、能動的で証拠に基づいた検証プロセスへと移行することで、SAGEは現在の評価プロトコルの核心的な限界に対処している。

著者らは、SAGEが、事実性の評価においてスケーラブルで適応的、かつコスト効率の高い代替手段を提供すると断言している。これは特に以下のケースで効果的である：

自由形式のQA: 回答がオープンエンドであり、単一の決定的な正解が存在しない場合。
動的なトピック: 情報が急速に進化しており、事前学習された知識では不十分な場合。
リソース制約のある設定: 客観的な正当性に必要な信頼性を損なうことなく、人間によるアノテーションの実行可能な代替案を提供する場合。

本論文は、SAGEはハイステークスなシナリオにおける人間のレビューの完全な代わりにはならないものの、自動評価のスケーラビリティと、人間のファクトチェックの信頼性の間の溝を効果的に埋め、LLMの事実性に関するリファレンスフリー評価の新しい標準を確立するものと結論付けている。