💬 NLP

SAGE: A Search-AuGmented Evaluation of Large Language Models on Free-Form QA

本文介绍了 SAGE，这是一个搜索增强型框架，它通过主动检索并综合外部证据，来评估大语言模型在自由形式问题上的事实性，为静态基于参考资料的方法或不可靠的 LLM-as-a-judge 评估方法提供了一种可扩展且具适应性的替代方案。

原作者： Sher Badshah, Ali Emami, Hassan Sajjad

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Sher Badshah, Ali Emami, Hassan Sajjad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

论文解析：SAGE —— 基于搜索增强的大语言模型自由格式问答评估

问题所在：“只会纸上谈兵”的学生

想象一下，你有一个非常聪明的学生（即大语言模型，简称 LLM）正在参加考试。老师问了一个刁钻的问题，比如：“谁演唱了剧集《Half & Half》的主题曲？”

学生回答道：“Erica Campbell。”

现在，你该如何评分呢？

旧方法（词法匹配）： 你寻找与预设答案库的精确匹配。如果学生写的是“Erica Campbell”，而答案库里是“Melonie Daniels”，即使学生是对的，你也会判错。如果学生写了一段优美且长篇大论的文字，意思虽然一样但用词不同，你可能会漏掉正确答案。这就像是在批改数学卷子时，只盯着数字“42”看，却忽略了“Forty-Two”这个词。
“裁判”法（以 LLM 作为裁判）： 你请另一位聪明的学生来给第一个学生评分。但问题在于：这位第二个学生也只是根据他在学校里背诵的内容在进行猜测。如果第一个学生撒谎了，第二个学生可能会相信他，因为他们学习的是同样过时的事实。甚至，第二个学生为了让自己显得很聪明，还会编造一个理由来解释为什么那个谎言是正确的。这就像是请一个考试不及格的学生来给标准答案评分。

核心问题： 对于开放式问题，我们无法为每一种可能的答案都编写一份答案库。而让一个不进行任何查证的 AI 来给另一个 AI 评分是不可靠的，因为 AI 可能会自信地犯错，或者受限于陈旧的信息。

解决方案：SAGE（“侦探”框架）

作者提出了 SAGE（搜索增强评估）。SAGE 不再依赖记忆或静态的答案库，而是将“裁判”变成了一名侦探。

想象一名正在试图破案的侦探。他们不会仅仅靠直觉猜测；他们会外出搜集线索、核对笔记，并不断提出新问题，直到确定真相为止。

以下是 SSage 的工作步骤：

初始线索（查询生成）： 侦探（SAGE）观察问题和学生的答案。它不会直接接受答案，而是会思考：“我该如何证明这一点？”并写下一个搜索查询，例如“谁演唱了 Half & Half 的主题曲？”
收集证据（网络搜索）： 侦探前往图书馆（互联网），并取出三本书（搜索结果）。
总结线索（摘要生成）： 侦探阅读这些书并写下一份简短的摘要：“书 1 说 Melonie Daniels。书 2 也说 Melonie Daniels。”
“等一下”时刻（反思）： 这是最关键的部分。侦探对比了学生的答案（“Erica Campbell”）和新发现的证据（“Melonie Daniels”）。侦探心想：“这两者不匹配。学生错了。但是等等，是否有其他来源？也许我需要专门搜索一下‘Erica Campbell’，以确保万无一失。”
优化搜索： 由于证据存在冲突或不完整，侦探会写出一个更精准、更好的搜索查询，以进行深度挖掘。
最终裁决： 在完成这个循环几次（通常为三次）后，侦探会汇总所有的笔记，并做出最终决定：正确或错误，并附上原因说明。

为什么这种方法更好

论文声称 SAGE 表现更优越，主要基于三个原因：

它不仅仅是记忆： 与仅依赖记忆的“裁判”不同，SAGE 会外出寻找最新的事实。如果世界在 AI 训练之后发生了变化（比如新建了一栋大楼或发布了一首新歌），SAGE 能找到最新的信息。
它能识破谎言： 如果学生捏造了一个事实，SAGE 会去搜索它，发现找不到相关证据，从而标记出来。没有搜索功能的“裁判”往往会落入这些谎言，因为这些谎言听起来很有道理。
它能处理歧义： 有些问题很棘手（例如，“这家医院什么时候开业的？”可能指原始开业时间，也可能指装修后的重新开业）。SAGE 的“反思”步骤能帮助它意识到自己可能在看错误的时间，从而提出更好的问题来进行澄清。

结果：侦探胜出

研究人员在多个数据集（如常识问答和复杂推理问题）上对 SAGE 进行了测试。他们将 SAGE 与以下对象进行了对比：

标准评分：（精确匹配/F1 分数）
“仅凭记忆”的裁判：（不进行搜索的 AI 评分）
人类专家：（真人评分）

研究发现：

SAGE vs. 人类： SAGE 与人类专家的意见几乎完全一致（具有高度一致性或完美一致性）。
SAGE vs. 仅凭记忆的裁判： 仅凭记忆的裁判经常出错，甚至在学生撒谎时仍与其保持一致。SAGE 通过核实事实解决了这个问题。
成本： 虽然 SAGE 耗时稍长（每个问题约 27 秒），且每题产生极少量的费用（约 0.004 美元），但与雇佣人类来批改每一份答案相比，它的成本仍然低了数千倍。

局限性（侦探也会卡壳的地方）

论文承认 SAGE 并非万能。它在以下情况下仍可能失败：

问题过于模糊： 如果问题本身很混乱，侦探可能会提出错误的问题。
“图书馆”是空的： 如果答案涉及的是极其近期、且尚未在网上有相关记载的事件，侦探将无法找到证据。
线索冲突： 有时互联网会给出两个不同的答案，侦探可能会感到困惑并选错。
侦探的大脑： SAGE 仍然需要一个聪明的“裁判”模型来进行思考。如果“裁判”本身不够聪明，SAGE 就无法发挥作用。

总结类比

把评估 AI 的回答想象成在派对上核实一个传闻。

旧方法： 你检查一份宾客名单（静态答案库）。如果名字不在上面，你就说“不是”。
仅凭记忆的裁判： 你问另一位宾客：“你听说过吗？”对方说：“嗯，我觉得是。”因为他们想表现得乐于助人，即便他们其实并不确定。
SAGE： 你拿起电话，打给三个不同的人，查看他们的短信，对比彼此的笔记，然后决定这个传闻是否属实。如果前三个人提供的说法互相矛盾，你甚至会再次回访。

论文表明，这种“打电话核实”的方法（SAGE）比单纯靠猜测或查表要准确得多，并且其判断结果非常接近人类的决策。

技术摘要：SAGE (搜索增强评估)

问题陈述

大语言模型（LLM）在自由格式问答（QA）任务上的评估面临着关键瓶颈。传统的评估依赖于预先标注的静态参考答案，并通过词法指标（如精确匹配、F1 值）进行比较。然而，这些方法无法捕捉开放式回答的多样性，且由于需要人工标注，难以实现规模化扩展，并且与非确定性、依赖上下文的 LLM 输出本质上不匹配。

相反，新兴的“LLM 作为评判者”（LLM-as-a-judge）范式虽然可以在没有外部参考的情况下评估输出，但在处理客观、以事实为中心的任务时表现得并不可靠。由于缺乏外部依据，这些评判者仅依赖于冻结的参数化知识，从而导致了特定的失效模式：

知识陈旧性： 评判者会自信地认可相对于其训练截止日期而言已经过时的答案。
长度偏见： 即使是事实错误的冗长、啰嗦的回答，也往往会被过度评价。
提示词敏感性： 判定结果可能会因微小的提示词变化或候选答案的顺序而发生反转。
幻觉理由： 评判者会编造支持证据，以证明其错误决策的正当性。

本文认为，客观的正确性无法仅通过 LLM 的内部知识或偏好来评估，因此需要一个能够弥合自动化规模化与事实依据之间鸿沟的框架。

方法论：搜索增强评估 (SAGE)

SAGE 是一个无参考（reference-free）框架，旨在通过赋予 LLM 评判者主动检索、综合并反思外部证据的能力来评估 LLM 输出。与单次检索的搜索增强方法不同，SAGE 以迭代智能体（agent）的形式运行。

核心组件

该框架利用一个 LLM 评判者（ $J$ ），通过单次提示词模板扮演四个不同的角色，并与 Web 搜索工具（ $S$ ）和短期记忆缓冲区（ $M$ ）进行交互：

查询生成 ( $Q$ )： 在每次迭代 $i$ 中，生成器根据输入问题 $x$ 和累积的记忆 $M_{i-1}$ 生成搜索查询 $q_i$ 。初始查询是主题层级的；随后的查询则基于先前的发现进行细化，以针对特定的信息缺口。
Web 搜索 ( $S$ )： 将查询提交给搜索引擎（例如 Serper API），返回一组片段（标题、文本、URL）作为原始外部证据。
摘要 ( $\Sigma$ )： 将检索到的结果压缩成一段集中的证据段 $E_i$ ，过滤冗余并提取显著的事实内容。
反思 ( $\Phi$ )： 摘要模块根据问题 $x$ 和候选答案 $\hat{y}$ 对证据 $E_i$ 进行评估。它判断证据是支持、反驳还是对于该答案尚不明确，并标记缺失的信息以指导下一次查询。
短期记忆 ( $M$ )： 一个仅追加（append-only）的缓冲区，记录跨迭代的交互轨迹 $(q_i, E_i, r_i)$ ，从而为未来的查询细化提供条件，并为最终判定提供完整的上下文。
最终判定 ( $J$ )： 在固定的预算次数 $N$ （默认为 $N=3$ ）之后，评判者综合完整的记忆 $M_N$ ，产生一个二元判定（ $v \in \{0, 1\}$ ）和一个自然语言理由 ( $\rho$ )。

该过程是迭代的：反思模块显式地驱动查询的细化，使得系统在初始搜索产生的证据不足或无关时能够纠正方向。

核心贡献

一个无参考框架： SAGE 通过动态生成针对特定输出的 Web 查询来验证事实，消除了对昂贵的人工标注真值的需求。
迭代式证据综合： 不同于通常执行单次检索的先前搜索增强评估器，SAGE 采用了“摘要—反思—细化”的循环。这种迭代过程允许系统自适应地针对信息缺口并解决歧义。
基于可验证数据的落地： 通过依赖检索到的外部证据而非参数化知识，SAGE 减轻了不受引导的 LLM 评判者固有的幻觉、知识陈旧和长度偏见。
可扩展性与成本效益： 该框架提供了一种可扩展的替代方案，其成本比人工评估低几个数量级，同时保持了与人类判断的高度一致性。

实验结果

作者在五个自由格式 QA 基准测试（AmbigQA, HotpotQA, TriviaQA, Natural Questions, FreshQA）上评估了 SAGE，使用了多种候选模型和评判模型（包括 GPT-3.5, GPT-4o, Gemini 以及较小的开源模型如 Mistral 7B 和 Qwen）。

与基于参考的指标的一致性： SAGE 的表现显著优于仅基于参数的模型。例如，在 AmbigQA 上，使用 SAGE 的 GPT-3.5 评判者相对于 RefGPT（基于参考的基准）达到了 0.80 的准确率，而未使用外部证据时为 0.67。
与人类评估者的一致性： 在具有人类标注的数据集（AmbigQA 和 HotpotQA）上，SAGE 实现了与人类多数投票的实质性甚至完美的一致。
- Cohen's $\kappa$ ： SAGE 缩小了 LLM 评判者与人类之间的差距。例如，在 HotpotQA 上，未进行搜索的 GPT-4o 评判者 $\kappa = 0.38$ ，而采用 SAGE 后的同一评判者达到了 $\kappa = 0.70$ 。
- Macro-F1： SAGE 在各种模型和任务中始终提供了最高的 Macro-F1 分数，纠正了无参考评判者倾向于高召回、低精确度（即过度估计正确性）的问题。
检测过时知识： 在 FreshQA 上，SAGE 成功识别并拒绝了过时的答案（例如，识别出 EMNLP 2025 的正确举办地点为中国苏州，而候选答案通常提供的是预训练截止日期前的地点）。
消融研究：
- 迭代次数： 性能随迭代次数增加而提升，3 次迭代在性能与成本之间提供了最佳平衡。
- 查询生成： 去除查询细化步骤（直接使用输入问题）会导致性能显著下降，尤其是在像 AmbigQA 这样存在歧义的数据集上。
- 搜索引擎的鲁棒性： SAGE 的增益在不同的搜索引擎（Serper, Brave, Tavily）中均得以保持，尽管绝对性能因检索质量的不同而略有差异。
- 评判者能力： 虽然 SAGE 提升了所有规模评判者的性能，但更强大的评判者（如 GPT-4o）比较小的模型（如 Mistral 7B）展现出更高的人类一致性，尽管即使是较小的模型也从搜索增强中获益匪浅。

重要性与主张

本文声称 SAGE 代表了自动化评估 LLM 客观任务的重要进展。通过从静态参考匹配或无引导的参数化判断转向主动的、基于证据的验证过程，SAGE 解决了当前评估协议的核心局限性。

作者断言 SAGE 提供了一个可扩展、自适应且具成本效益的方案，用于评估 LLM 的事实性。它特别适用于：

自由格式问答： 答案是开放式的，且缺乏单一确定的标准答案。
动态话题： 信息演变迅速，预训练知识不足以应对的情况。
资源受限场景： 为无需牺牲客观正确性所需可靠性的情况下，提供了一个有效的替代人工标注的方案。

本文结论指出，虽然 SAGE 在高风险场景下并非人类审查的完美替代品，但它有效地架起了自动化评估的规模化与人类事实核查的可靠性之间的桥梁，为 LLM 事实性的无参考评估建立了新标准。