Super Research: Answering Highly Complex Questions with Large Language Models through Super Deep and Super Wide Research

该论文提出了名为"Super Research"的新任务与基准，旨在通过结构化规划、超广域检索和超深度迭代调查来评估大语言模型解决需要长程规划、海量证据收集及跨源综合的复杂研究问题的能力。

要点

这篇论文介绍了一个名为 "Super Research"（超级研究） 的新概念和测试标准。为了让你轻松理解，我们可以把大语言模型（LLM）想象成一位**“超级侦探”或“全能研究员”**。

以前的研究测试，就像是在考这位侦探：

• 普通搜索（RAG）： 让他去图书馆找一本关于“猫”的书，然后复述一下。这很简单。
• 深度研究（Deep Research）： 让他只盯着“猫”这一个点，挖得很深，比如“猫为什么喜欢抓老鼠的基因机制”。这就像**“钻牛角尖”**，虽然挖得深，但容易忽略其他角度（隧道视野）。
• 广度搜索（Wide Search）： 让他把全世界关于“猫”的文章都扫一遍，列出几百个标题。这就像**“走马观花”**，虽然看得多，但没看进去，容易信息过载。

"Super Research"（超级研究）要考的是什么？
它要考的是：“请给我写一份关于‘如何设计一种既能杀死癌细胞，又不会让免疫系统误伤自身’的终极药物方案。”

这种问题太难了，因为它需要：

1. 超级广度（Super Wide）： 像**“撒网捕鱼”**一样，同时从医学、化学、伦理、经济学等几十个不同角度去搜集信息，不能漏掉任何关键视角。
2. 超级深度（Super Deep）： 像**“剥洋葱”**一样，对每一个线索都要层层追问，直到找到最底层的证据，不能只停留在表面。
3. 超级规划（Super Planning）： 侦探需要自己制定一个长达100 多步的行动计划，搜集1000 多页的资料，最后把它们拼成一份几十页的、逻辑严密的报告。

---

这篇论文的核心内容（通俗版）

1. 为什么要搞这个？（痛点）

现在的 AI 虽然很聪明，但遇到这种**“超级复杂”**的问题就懵了。

• 要么想得太浅，只罗列了表面信息。
• 要么钻得太死，忽略了对立面。
• 要么编造事实（幻觉），因为资料太多太杂，它记混了。
  现有的考试（Benchmark）太简单了，就像用“小学数学题”去测试“诺贝尔奖得主”，测不出他们的真实上限。我们需要一个**“天花板级”**的考试，看看 AI 到底能强到什么程度。

2. 他们怎么出题？（基准测试）

作者们找来了 300 个由人类专家（博士、行业大咖）设计的难题。

• 例子： “在免疫疗法中，如何平衡‘激活 T 细胞’和‘避免自身免疫风险’之间的矛盾？”
• 难度： 每个问题都需要 AI 进行100 多次搜索，阅读1000 多页网页，最后写出一份50 页长的报告。
• 特点： 这些问题没有标准答案，充满了矛盾和不确定性，需要 AI 像真正的科学家一样去辩证思考。

3. 怎么给 AI 打分？（创新评估）

以前给 AI 打分，通常是让另一个 AI 当裁判（LLM-as-a-Judge），或者看它有没有答对几个关键词。但这在“超级研究”里不行，因为报告太长了，逻辑太复杂。

作者发明了一套**“图锚定审计协议”（Graph-Anchored Auditing），这就像给侦探配了一个“超级验尸官”**：

• 建立“真理之网”： 专家先人工构建一个包含所有事实、逻辑链条和观点的知识图谱（这是标准答案的骨架）。
• 投影比对： 把 AI 写的报告，像投影一样投射到这个“真理之网”上。
  • 覆盖度： 它漏掉了哪些关键节点？（是不是漏看了重要证据？）
  • 逻辑一致性： 它的结论有没有证据支撑？还是凭空瞎编？（是不是逻辑断裂了？）
  • 客观性： 它是不是只信了一家之言？有没有平衡地看待正反两方观点？（是不是有偏见？）
  • 引用健康度： 它是不是只引用了同一篇文章？（是不是在“抄作业”而不是“做研究”？）

4. 测试结果如何？（现状）

作者测试了目前市面上最强的 12 个 AI 系统（包括 Google Gemini, OpenAI o3, Kimi, Grok 等）。

• 结果很残酷： 即使是目前最强的 AI，在这个“超级考试”里的得分也不到 30 分（满分 100）。
• 主要问题：
  • 顾此失彼： 有的 AI 搜了很多资料（广度够），但逻辑理不顺（深度不够）；有的逻辑很顺，但资料太少。
  • 防御性总结： 有些 AI（如 OpenAI 的模型）为了“安全”，写出来的报告模棱两可，虽然客观但没啥用（Utility 低）。
  • 引用单一： 很多 AI 为了凑数，反复引用同一两个来源，没有真正融合多方信息。

总结与比喻

如果把现在的 AI 比作**“实习生”**：

• 普通任务： 实习生能帮你查个天气、写个邮件，干得不错。
• 深度/广度任务： 实习生能帮你整理一份行业报告，或者深入分析一个技术点，勉强及格。
• Super Research（超级研究）： 相当于让实习生独立负责一个国家级战略项目。他需要自己规划路线、搜集全球情报、分析矛盾数据、写出几十页的决策建议书。

这篇论文告诉我们：
目前的 AI 离成为真正的“超级研究员”还有很长的路要走。它们现在更像是一个**“超级搜索引擎 + 写作助手”，而不是一个能独立解决复杂科学难题的“智能体”**。

"Super Research"这个测试就像是一个“压力测试机”，它不是为了难为 AI，而是为了告诉我们：要想让 AI 真正帮人类解决科学、医疗、战略层面的大问题，我们还需要在长程规划、逻辑推理、多源信息融合这三个方面继续大升级。

一句话总结：
这是一份给 AI 界的“高考”改革方案，把题目从“背古诗”升级成了“做科研”，用一套严密的“逻辑验尸”方法，测出了目前最强 AI 在解决人类最复杂问题时的真实水平——虽然很强，但离“全能”还差得远。

技术摘要

这篇论文提出了Super Research（超级研究），这是一个旨在评估大型语言模型（LLM）在解决高度复杂研究任务中能力的新范式和新基准。现有的“深度研究”（Deep Research）和“广泛搜索”（Wide Search）在处理需要长程规划、海量证据收集及跨异构来源综合的极端复杂问题时显得力不从心。

以下是该论文的详细技术总结：

1. 核心问题 (Problem)

当前的 LLM 研究能力存在明显的局限性：

• 深度与广度的失衡：现有的“深度研究”侧重于垂直挖掘（高深度、低宽度），容易陷入“隧道视野”；而“广泛搜索”侧重于水平覆盖（高宽度、低深度），容易导致“信息过载”且缺乏深度综合。
• 复杂任务的处理能力不足：面对需要长程规划（Long-horizon planning）、超过 100 次检索步骤、整合 1000+ 网页内容以解决冲突证据的“超级复杂问题”（如免疫药理学机制优化、战略情报分析），现有模型表现不佳。
• 评估体系的缺失：现有的评估方法（如基于 LLM 的法官、简单的原子事实召回）无法有效衡量长链条推理、逻辑一致性、观点客观性以及多源综合的质量。

2. 方法论 (Methodology)

A. Super Research 任务定义

Super Research 被定义为一种自主研究任务，整合了三个核心支柱：

1. 结构化分解 (Structured Decomposition)：将单一的大问题拆解为多层级的研究计划（DAG 图）。
2. 超级广泛检索 (Super Wide Retrieval)：水平探索搜索空间，确保涵盖多样化的视角和证据。
3. 超级深度调查 (Super Deep Investigation)：通过迭代查询解决不确定性，验证单个数据点的可靠性。

B. 基准构建 (Benchmark Construction)

作者构建了一个包含 300 个专家编写问题 的基准（SuperResearch Benchmark），涵盖 10 个专业领域（如科学工程、医疗健康、金融商业等）。

• 规模：每个任务平均需要 97 个推理步骤，检索 601 个网页（最高达 142 步/1267 页），生成平均 10 万字 的研究报告。
• 构建流程：
  1. 任务定义：利用 LLM 生成高难度开放性问题，并由人类专家筛选（排除简单事实查询，确保理论可解性和复杂性）。
  2. 人机协作收集：
     • 规划与检索：Planner 分解任务，Researcher 执行子任务，Summarizer 维护动态记忆。
     • 研究图谱构建 (Research Graph)：将非结构化报告转化为结构化知识图谱，包含原子事实（Facts）、关键洞察（Insights）和全局结论（Global Insights）。
     • 报告合成：Writer 基于图谱生成报告，专家进行实时逻辑验证。
     • 评估指标构建：基于图谱和报告生成 QA 考试和偏差校准问题。

C. 评估框架 (Evaluation Framework)

提出了一种基于图谱的审计协议 (Graph-Anchored Auditing Protocol)，从五个维度评估模型表现：

1. 覆盖与理解 (Coverage & Comprehension, $R_{weighted}$)：基于深度加权的召回率，不仅看事实是否出现，更看重高层级洞察和逻辑链条的完整性。
2. 逻辑一致性 (Logical Consistency, $C_{logic}$)：验证全局结论是否通过完整的引用链由原子事实推导得出，惩罚“幻觉出正确结论但无证据支持”的情况。
3. 报告效用 (Report Utility, $U_{qa}$)：通过闭卷问答测试，评估报告是否包含可操作的知识。
4. 客观性评分 (Objectivity Score, $O_{bias}$)：评估模型在冲突观点中的平衡能力，确保不偏袒单一立场。
5. 引用健康 (Citation Health)：诊断单一来源依赖（Source Dominance）和叙事垄断（Narrative Monopolization）。

3. 主要贡献 (Key Contributions)

1. 提出了 Super Research 范式：明确定义了结合“超深”与“超宽”的天花板级研究任务，填补了现有基准在极端复杂场景下的空白。
2. 构建了高难度基准：发布了包含 300 个专家级任务、300+ 研究图谱和配套评估工具的基准，任务难度远超现有 Deep Research 基准。
3. 设计了基于图谱的评估方法：摒弃了不稳定的 LLM-as-a-Judge，采用将生成报告投影到专家构建的“真值图谱”上的方法，实现了对推理链条、证据覆盖和逻辑结构的精确量化。
4. 揭示了当前模型的瓶颈：通过实验发现，即使是 SOTA 模型（如 Gemini Deep Research），在 Super Research 任务上的综合得分也极低（<30%），暴露了长程规划、逻辑整合和抗幻觉能力的严重不足。

4. 实验结果 (Results)

在包含 12 种代表性研究系统的评估中：

• 整体表现低迷：表现最好的 Gemini Deep Research 综合得分仅为 28.62，表明当前技术距离解决“超级复杂问题”仍有巨大差距。
• 架构对比：
  • 深度研究系统 (Deep Research Systems) 整体优于原生搜索代理和基础基线，但在逻辑一致性上仍受限于检索覆盖度。
  • 原生搜索集成代理 (如 Kimi-k2, Grok) 表现意外强劲，部分超越了专用深度研究系统，显示出搜索与推理结合的有效性。
  • 基础基线 (Search-Augmented Baselines) 表现最差，说明缺乏专门的 Agent 工作流规划是主要瓶颈。
• 关键发现：
  • 逻辑瓶颈：高覆盖率并不自动转化为高逻辑一致性，模型难以将海量信息组织成严密的推理链条。
  • 效用与客观性的权衡：部分模型（如 o3/o4-mini）为了追求客观性（高 $O_{bias}$），牺牲了报告的细节和效用（低 $U_{qa}$），表现出“防御性总结”倾向。
  • 引用健康：许多模型存在严重的“单一来源依赖”或“引用稀疏回收”问题，未能实现真正的多源综合。

5. 意义与影响 (Significance)

• 作为“天花板”测试：Super Research 充当了 LLM 能力的压力测试。在此类高熵环境下的成功，是模型具备处理任何子级研究任务鲁棒性的有力代理指标。
• 推动 Agent 进化：该基准为开发具备长程规划、多源综合和抗幻觉能力的下一代自主智能体（Agentic AI）提供了明确的优化方向和评估标准。
• 评估范式的革新：提出的基于图谱的审计方法为复杂文本生成的评估提供了可解释、可复现且抗偏差的新标准，解决了传统评估方法在深度推理任务中的失效问题。

总结：这篇论文不仅定义了一个极具挑战性的新任务领域，还通过严谨的基准构建和创新的评估体系，揭示了当前 LLM 在复杂自主研究中的核心短板，为未来实现真正具备专家级研究能力的 AI 系统指明了方向。