SealQA: Raising the Bar for Reasoning in Search-Augmented Language Models

本文提出了名为 SealQA 的新基准，旨在评估搜索增强型语言模型在应对网络搜索冲突、噪声及长文档干扰时的推理能力，并揭示了当前前沿模型（包括 o3 等）在此类高难度事实性问答任务中表现普遍不佳且增加推理计算量难以带来显著提升的局限性。

要点

这篇论文介绍了一个名为 SEALQA 的新“考试”，专门用来测试现在的 AI 大模型（LLM）在上网搜索信息时，到底聪不聪明、靠不靠谱。

想象一下，现在的 AI 就像是一个超级学霸，它肚子里装着海量的知识（训练数据）。但是，当它遇到不知道的问题时，它需要去“图书馆”（互联网）查资料。SEALQA 这个考试的目的，就是故意给这个学霸制造一些混乱、矛盾甚至充满误导的图书馆环境，看看它能不能在乱糟糟的信息堆里找到真正的真理。

以下是用通俗语言和比喻对这篇论文的解读：

1. 为什么要搞这个考试？（背景）

以前的考试（比如 MMLU）就像是在考“死记硬背”。现在的 AI 太聪明了，这些题都能拿 90 分以上，就像让一个已经背熟了所有课本的学生做小学奥数，太简单了，测不出真本事。

但在现实生活中，上网搜东西往往不是“搜什么得什么”。

• 现实情况：你搜一个新闻，可能看到三个互相矛盾的说法；或者看到一篇过时的文章，或者看到一堆看起来很像但其实是广告/谣言的内容。
• SEALQA 的挑战：它模拟的就是这种**“信息污染”的环境。它出的题目，如果 AI 只是简单地“搜一下，把第一条结果抄下来”，那肯定答错。AI 必须像侦探**一样，去比对、去推理、去识破谎言。

2. 这个考试分哪三种“难度模式”？

SEALQA 把题目分成了三个等级，就像游戏的三个关卡：

• 关卡一：SEAL-0（地狱级·核心挑战）

  • 比喻：这是给“顶级学霸”准备的陷阱题。出题人故意设计了一些问题，让目前最厉害的 AI（比如 GPT-4.1）在上网搜索后，准确率几乎为0%。
  • 特点：题目里充满了矛盾信息。比如问“哪家公司最近市值破了 1 万亿？”，搜索结果里可能有一家是对的，但另外三家看起来很像，而且说得头头是道，AI 很容易被带偏。
  • 现状：即使是最新的 GPT-5，在这个关卡上也只考了 43.2 分（满分 100），说明它还在“挂科”边缘。

• 关卡二：SEAL-HARD（困难级·广泛挑战）

  • 比喻：这是**“困难模式”**的题库，包含了 SEAL-0 的所有陷阱，还加了一些虽然没难到让 AI 全错，但依然非常棘手的题目。
  • 特点：涵盖了科学、体育、政治等各个领域，专门测试 AI 能不能区分相似的人或事，或者能不能处理随时间变化的信息（比如“谁最近刚拿了奖”）。

• 关卡三：LONGSEAL（大海捞针级·长文本挑战）

  • 比喻：想象给你50 本书，其中只有1 页藏着答案，其他 49 本书全是废话或者故意误导你的。AI 需要在一堆垃圾信息里把那一页“针”找出来。
  • 现状：现在的 AI 虽然比以前更擅长读长文章了，但在这么多干扰项面前，依然经常找不到重点，或者被旁边的“噪音”带跑偏。

3. 考试发现了什么惊人的秘密？（主要发现）

研究人员让各种 AI 模型（包括 OpenAI 的 GPT 系列、Google 的 Gemini、Meta 的 Llama 以及 DeepSeek 等）来考，结果发现了一些有趣的现象：

• 🔍 越聪明的模型，越容易“想太多”而掉坑

  • 比喻：有些高级 AI 就像是一个过度思考的侦探。当它看到网上有矛盾的信息时，它试图用复杂的逻辑去推理，结果反而被那些精心设计的假线索绕晕了。
  • 例子：DeepSeek-R1 这种以“推理能力强”著称的模型，在遇到嘈杂的搜索结果时，准确率反而比不搜索时还低。它太想“分析”了，结果被误导了。

• 📉 增加算力（让 AI 多思考一会儿）并不总是有用

  • 比喻：以前大家觉得，让 AI 多花点时间思考（Test-time scaling），就像让学生多读几遍题，成绩肯定会提高。
  • 发现：但在 SEALQA 里，多思考没用，甚至有害。让 GPT-5 或 O3 模型花更多时间推理，成绩并没有提升，反而有时候因为思考太久，把错误的线索当成了真理，分数反而下降了。这说明如果方向错了，跑得越快（想得越多）离真相越远。

• 🌍 跨语言和时间是弱项

  • 比喻：AI 就像是一个只精通英语的留学生。如果题目要求它去读一篇法语或中文的新闻来回答问题，或者问它今年刚发生的事，它往往就懵了。
  • 发现：在涉及多语言推理或需要最新鲜知识的题目上，AI 的表现非常糟糕。

• 👥 人类依然更强

  • 比喻：虽然 AI 很厉害，但在这个混乱的“信息战场”上，人类专家（研究生水平的研究人员）的表现依然比最好的 AI 要好得多。
  • 数据：人类在“开卷考试”（可以随便搜）中的平均正确率是 38.8%，而在“有提示的考试”（只给关键链接）中能达到 50.4%。而最好的 AI 模型（O3-HIGH）在开卷考试中只有 28%。这说明 AI 在辨别信息真伪和处理冲突方面，离人类还有很大差距。

4. 总结：这篇论文想告诉我们什么？

这篇论文就像给 AI 行业泼了一盆冷水，但也指明了方向：

1. 现在的 AI 并不像我们想象的那么“全能”。它们在面对真实世界那种混乱、充满噪音的搜索环境时，非常脆弱。
2. 简单的“搜索 + 回答”模式行不通了。未来的 AI 不能只是会搜，必须学会批判性思维，学会像人类一样去质疑、去交叉验证信息的真伪。
3. 不要盲目迷信“加大算力”。如果模型本身的逻辑有缺陷，让它花更多时间思考，只会让它更固执地犯错。

一句话总结：
SEALQA 就像是一个**“反诈骗测试”，它告诉我们要警惕那些看似聪明、实则容易被假新闻带偏的 AI。真正的智能，不仅仅是知道答案，更是在一堆谎言和矛盾中找到真相**的能力。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文《SEALQA: RAISING THE BAR FOR REASONING IN SEARCH-AUGMENTED LANGUAGE MODELS》（SEALQA：提升搜索增强语言模型的推理基准）的技术总结。

1. 研究背景与问题 (Problem)

随着大语言模型（LLM）进入“测试时扩展”（Test-time Scaling）的新范式，模型开始利用强化学习和推理策略（如思维链、递归细化、实时搜索）来动态分配计算资源。然而，现有的评估基准存在以下局限性：

• 静态知识饱和：传统基准（如 MMLU）主要依赖静态知识，前沿模型在此类任务上已接近饱和（准确率>90%）。
• 搜索评估过于简单：现有的搜索增强评估多关注简短的事实查询，且搜索结果通常是直接给出答案的，无法反映现实世界中搜索结果的噪声、冲突、过时或误导性特征。
• 缺乏深度推理挑战：现实世界的搜索往往需要模型过滤不一致信息、调和矛盾证据并识别可信信号，而现有基准未能充分评估模型在这些复杂场景下的推理能力。

2. 方法论 (Methodology)

作者提出了 SEALQA，一个专门用于评估搜索增强语言模型在事实寻求（fact-seeking）问题中表现的高难度基准。该基准由 NLP 研究人员精心构建，旨在触发模糊、冲突或嘈杂的搜索结果。

2.1 数据集构建

• 构建过程：由 6 名 NLP 研究人员耗时 8 个月完成。每个问题经过多轮审查，确保其能导致多个前沿模型在多次尝试中失败（即“零准确率”）。
• 问题类型：涵盖高级推理（多跳推理、图表解读）、实体/事件消歧、时间追踪、跨语言推理（英文提问，非英文源回答）以及虚假前提检测。
• 数据分类：根据信息更新频率分为“永不变化”、“缓慢变化”和“快速变化”三类。

2.2 三个变体 (Flavors)

SEALQA 包含三个不同难度的变体：

1. SEAL-0 (核心集，111 题)：最困难的子集。设计目标是让包括 GPT-4.1 在内的前沿非推理模型在开启搜索后仍无法回答（准确率为 0%）。
2. SEAL-HARD (扩展集，254 题)：包含 SEAL-0 以及更多高难度问题（虽未达到 0% 失败阈值，但仍极具挑战性）。
3. LONGSEAL (长上下文集，254 题)：基于“大海捞针”（Needle-in-a-Haystack）设置。每个问题配有一组检索文档（1 个黄金文档 + 最多 50 个硬负样本），测试模型在大量干扰项中定位相关证据的能力。

2.3 评估协议

• 模型覆盖：评估了闭源模型（GPT-4 系列、O 系列、GPT-5、Gemini 等）和开源模型（Llama 系列、DeepSeek-R1、Qwen 等）。
• 搜索策略：对比了无搜索、使用 FRESH PROMPT（注入搜索结果）以及模型内置搜索工具的表现。
• 评估指标：使用 GPT-4o-mini 作为自动评分器（Auto-rater），人工校验一致性达 98%。

3. 关键贡献 (Key Contributions)

1. 引入 SEALQA 基准：首个专门针对嘈杂、冲突和模糊搜索结果下推理能力的统一基准，填补了现有评估在事实性、推理和检索三个维度上的空白。
2. 揭示前沿模型的局限性：
   • 即使是具备搜索工具的智能体模型（Agentic Models）在 SEAL-0 上表现依然低迷。
   • 高级推理模型（如 DeepSeek-R1）对噪声搜索结果高度敏感，搜索反而可能降低其准确率。
   • 测试时扩展（Test-time Scaling）失效：增加推理计算量（如 O 系列和 GPT-5 的高推理模式）并未带来稳定的性能提升，甚至出现性能 plateau（停滞）或下降。
3. 开源动态基准：公开了 SEALQA 数据集，并承诺定期更新答案以反映最新知识，确保评估的时效性。

4. 实验结果 (Results)

4.1 SEAL-0 与 SEAL-HARD 表现

• 整体表现低迷：在 SEAL-0 上，除 GPT-5 外，几乎所有模型（包括 Llama-4-Scout 和 DeepSeek-R1-671B）的准确率极低。GPT-5-High 在开启搜索后的最佳准确率仅为 43.2%。
• 搜索的双刃剑效应：
  • 对于部分模型（如 GPT-4.1），内置搜索能提升性能。
  • 对于高级推理模型（如 DeepSeek-R1-671B），引入搜索（FRESH PROMPT）导致准确率从 22.4% 下降至 11.0%。这表明模型难以从冲突信息中筛选真相，反而被噪声误导。
• 测试时扩展的局限性：增加推理步数（Test-time Compute）并未带来收益。例如，O3-Mini 在不同推理强度下准确率徘徊在 1.8%-2.7% 之间；O4-Mini 甚至随计算量增加而性能下降。作者推测，在噪声环境下，过长的思维链会放大无关信息，导致模型陷入误导证据。
• 人类对比：人类在开放搜索下的平均准确率为 38.8%，在提供黄金链接（Oracle）下为 50.4%，而最强模型 O3-High 仅为 28.0%。

4.2 LONGSEAL 表现

• 干扰项敏感性：随着硬负样本数量（k）增加（从 12 到 30），模型准确率显著下降。例如，GPT-4.1-Mini 从 32.7% 降至 29.5%，而较小的模型（如 Llama-3.2-11B）降至 2.4%。
• “中间迷失”（Lost-in-the-Middle）现象减弱：与早期研究不同，新模型未表现出明显的 U 型位置偏差（即中间位置文档被忽略），但在面对大量干扰项时，模型仍无法可靠地识别和优先处理黄金文档。
• 检索与推理的双重挑战：即使移除干扰项仅保留黄金文档，模型准确率仍较低（GPT-4.1 为 48.0%），说明 SEALQA 的难点既在于检索定位，也在于对信息的深度推理。

5. 意义与结论 (Significance & Conclusion)

• 重新定义评估标准：SEALQA 证明了当前的搜索增强模型在处理现实世界复杂的、充满噪声的信息检索任务时仍非常脆弱。简单的“检索 + 生成”范式不足以解决冲突和误导信息。
• 对 Scaling Law 的反思：研究结果表明，单纯增加测试时的计算资源（推理步数）并不能解决噪声环境下的推理问题，甚至可能产生反作用。未来的研究需要探索更鲁棒的证据过滤机制和冲突消解策略。
• 推动领域发展：SEALQA 为社区提供了一个高标准的测试床，有助于推动检索增强生成（RAG）系统从简单的关键词匹配向深层语义理解和多源信息验证演进。

总结：SEALQA 揭示了当前最先进的大模型在面对真实、混乱的互联网信息时，其推理能力和抗噪能力仍存在巨大差距。它标志着 LLM 评估从“知识记忆”向“复杂环境下的事实推理”的重要转变。