UIS-Digger: Towards Comprehensive Research Agent Systems for Real-world Unindexed Information Seeking

本文针对现有搜索代理难以获取未被搜索引擎索引信息（UIS）的局限，提出了首个 UIS 基准测试 UIS-QA 及名为 UIS-Digger 的多智能体框架，通过双模式浏览和文件解析能力，在仅使用约 300 亿参数模型的情况下显著超越了包含 O3 和 GPT-4.1 在内的先进系统，为构建全面的信息搜索代理开辟了新方向。

要点

这篇论文就像是在给现在的"AI 搜索助手”做了一次深度体检，发现了一个它们从未被测试过的“盲区”，并造出了一套新的“寻宝工具”来填补这个空白。

我们可以用**“寻宝游戏”**的比喻来理解这篇论文的核心内容：

1. 现状：AI 只会去“图书馆”找书，却不会去“地下室”翻箱倒柜

现在的 AI 搜索助手（比如那些能帮你查资料的大模型），就像是一个超级熟练的图书管理员。

• 它们擅长什么？ 只要你想查的信息已经被搜索引擎（比如 Google 或百度）收录了，就像书被整齐地摆在了图书馆的书架上，AI 就能飞快地找到答案。这被称为**“索引信息搜索” (IIS)**。
• 它们的盲点是什么？ 世界上还有很多信息，就像藏在地下室、上锁的抽屉、或者还没被图书馆编目的旧报纸里。这些信息搜索引擎根本抓不到（比如需要点进某个网页才能看到的动态数据、需要下载 PDF 才能看到的内部报告、或者需要填写表格才能看到的实时图表）。这被称为**“非索引信息搜索” (UIS)**。

论文发现： 现在的 AI 助手虽然很聪明，但一旦遇到这种“地下室”里的信息，它们就彻底懵了。它们要么直接放弃，要么开始**“胡编乱造”**（幻觉），因为它们习惯了只去图书馆找书，根本不知道怎么进地下室翻东西。

2. 新工具：UIS-QA（一张全新的“藏宝图”）

为了测试 AI 到底能不能进“地下室”，作者们画了一张全新的藏宝图，叫 UIS-QA。

• 这张图有什么特别？ 以前的考试题目，答案都能在搜索引擎第一页找到。但 UIS-QA 里的 110 道题，答案必须通过深入网页、点击按钮、下载文件、甚至看懂复杂的图表才能找到。
• 测试结果很残酷： 即使是现在最顶尖的 AI 助手，拿到这张新地图，得分也惨不忍睹（从原来的 70 多分跌到了 20 多分）。这证明了：现在的 AI 真的不会找“非索引信息”。

3. 新方案：UIS-Digger（一个专业的“寻宝特工队”）

既然现有的 AI 不行，作者们就组建了一支新的**“寻宝特工队”**，叫 UIS-Digger。这支队伍和以前的 AI 不一样，它有三个核心绝招：

• 绝招一：双模式“眼睛” (Dual-mode Browsing)

  • 以前的 AI 看网页，要么只看文字（像盲人摸象），要么只看图片（像看天书）。
  • UIS-Digger 有一双**“火眼金睛”，它既能快速扫读文字，又能像人一样截图看图**。如果文字看不懂，它就截图让 AI 看看图里的图表或按钮长什么样。它还能在两种模式间无缝切换，既快又准。

• 绝招二：全能“工具箱” (Multi-agent Framework)

  • 这支队伍分成了四个角色：
    1. 指挥官 (Planner)： 负责拆解任务，比如“先去搜，再下载，最后分析”。
    2. 搜索员 (Web Searcher)： 负责用搜索引擎找线索。
    3. 探险家 (Web Surfer)： 负责真正进入网页，点击按钮、下拉滚动条、填写日期选择器、下载文件。这是以前 AI 最弱的一环。
    4. 阅读员 (File Reader)： 专门负责把下载下来的 PDF、Excel 文件读出来，提取关键数据。

• 绝招三：魔鬼训练 (SFT + RFT)

  • 光有工具不行，还得练。作者给这个特工队搞了两轮特训：
    1. 基础训练 (SFT)： 先教它怎么做，让它学会“怎么点按钮”、“怎么下载文件”。
    2. 进阶特训 (RFT)： 让它自己尝试解题，做对了留下，做错了扔掉。通过这种“优胜劣汰”，它学会了在面对复杂网页时，如何制定更聪明的策略。

4. 最终成果：小个子也能打赢大巨人

最让人惊讶的是，UIS-Digger 用的“大脑”（基础模型）其实并不大（约 300 亿参数），但它通过专业的工具和针对性的训练，在 UIS-QA 这个新测试中，竟然打败了那些拥有超级大脑（如 O3、GPT-4.1）的竞争对手。

这就好比： 一个装备精良、受过特种训练的特种兵（UIS-Digger），虽然单兵作战能力（模型参数）不如一个超级巨人（大模型），但因为特种兵知道怎么开门、怎么爬窗、怎么破解密码，所以他能拿到巨人拿不到的宝藏。

总结

这篇论文告诉我们：

1. 现在的 AI 搜索太依赖“现成答案”了，一旦遇到需要动手挖掘的“隐藏信息”，它们就废了。
2. 未来的 AI 不能只会“查”，还得会“做”（点击、下载、交互）。
3. UIS-Digger 证明了，只要给 AI 配上正确的工具和训练方法，即使不是最强大的模型，也能成为真正的“深度研究专家”。

这就像是从“只会翻字典的学生”，进化成了“能钻进档案室查案子的侦探”。

技术摘要

1. 研究背景与问题定义 (Problem)

核心问题：非索引信息检索 (Unindexed Information Seeking, UIS)
现有的基于大语言模型（LLM）的信息检索代理（Agent）在 GAIA、BrowseComp 等基准测试中表现优异，但它们严重依赖搜索引擎已索引的知识（Indexed Information Seeking, IIS）。然而，现实世界中存在大量非索引信息，这些信息无法通过常规搜索引擎直接获取，例如：

• 被搜索引擎爬虫忽略的深层网页内容。
• 动态生成的网页（如需要交互筛选、日期选择、图表读取的页面）。
• 嵌入在文件（PDF, XLSX, DOCX）中的具体数据。
• 需要多步交互才能访问的官方或权威数据源。

现有局限：

• 评估缺失： 现有基准测试未明确区分 IIS 和 UIS，导致代理系统在 UIS 场景下的能力被高估。
• 能力断层： 即使是顶尖的代理系统，在面对 UIS 任务时，由于缺乏必要的动作空间（如文件解析、深度浏览交互）和基础模型的策略规划能力，性能会急剧下降。

2. 核心贡献：UIS-QA 基准测试 (Methodology & Contribution)

为了系统性地评估 UIS 能力，作者提出了 UIS-QA，这是首个专门针对非索引信息检索的基准测试。

• 数据集构建：

  • 规模： 包含 110 个由专家人工标注的高质量问答对（QA pairs）。
  • 来源： 覆盖政府公告、官方产品介绍、代码库、游戏数据、企业年报等权威来源。
  • 筛选标准：
    • 客观性： 答案必须是事实性、确定性的（如数值、日期、专有名词）。
    • 非索引性： 必须无法仅通过搜索引擎的一级结果直接获得，必须通过下载文件、点击筛选、深入浏览等交互行为获取。
    • 静态性： 确保答案不随时间剧烈变化，保证评测公平。
    • 可验证性： 答案可通过规则或 LLM 进行自动化验证。
  • 过滤流程： 通过人工检查、自动化工具（z.ai）和离线 LLM（Deepseek-R1）三重过滤，剔除仅靠索引信息或内部知识即可回答的问题。

• 对比维度： 与 WebArena、Mind2Web、GAIA 等现有基准相比，UIS-QA 强调真实互联网环境、未知起点（需从通用搜索引擎开始）、对非索引信息的依赖以及最终答案导向的评估。

3. 解决方案：UIS-Digger 框架 (Methodology)

为了解决 UIS 问题，作者提出了 UIS-Digger，一个专为深度研究任务设计的多智能体（Multi-Agent）框架。

3.1 架构设计

UIS-Digger 包含四个协同工作的智能体：

1. Planner (规划器)： 顶层控制器，负责分解任务、协调子智能体并整合最终答案。
2. Web Searcher (网络搜索者)： 并行使用搜索引擎和爬虫工具获取索引信息，并可将任务委派给其他智能体处理非索引内容。
3. Web Surfer (网络冲浪者)： 核心组件。负责从 URL 开始操作浏览器，访问非索引信息。
   • 双模态浏览 (Dual-mode Browsing)： 支持在文本模式（高效读取）和视觉模式（截图分析，处理复杂布局/图表）之间动态切换。
   • 共享记忆： 在两种模式下保持统一的浏览器状态和历史记忆，消除同步开销。
   • 丰富动作空间： 支持点击、滚动、输入、选择、表单提交、文件下载、元素定位等。
4. File Reader (文件阅读器)： 处理下载的文件（PDF, XLSX, DOCX），支持分块读取以应对长上下文。

3.2 训练策略

为了提升模型在 UIS 任务上的表现，作者使用约 30B 参数的骨干模型（Pangu-38B 或 Qwen3-32B），通过两阶段训练进行优化：

1. 合成数据构建：
   • 真实数据： 从权威网站提取深层信息生成 QA。
   • 模拟数据： 构建虚拟网站（模拟航班预订、数据查询），专门针对早期模型在交互控件（如日期选择器、过滤器）上的弱点进行强化。
2. 两阶段微调 (SFT + RFT)：
   • 监督微调 (SFT)： 使用强教师模型生成的正确轨迹进行冷启动，让模型学会基本的 UIS 动作。
   • 拒绝采样微调 (RFT)： 基于 SFT 模型生成多条轨迹，通过拒绝采样（保留正确且非平凡的答案，剔除错误答案）进行强化学习。特别地，对高难度问题的轨迹进行重加权，以增强模型解决复杂 UIS 任务的能力。

4. 实验结果 (Results)

在 UIS-QA 基准测试上的表现证明了 UIS-Digger 的有效性：

• 性能突破： UIS-Digger 在 UIS-QA 上达到了 27.27% 的准确率，是目前该任务上的最佳结果（SOTA）。
• 对比优势：
  • 显著优于现有的商业系统和多智能体框架（如 Memento, Tongyi-DR, OWL 等）。
  • 即使使用了更强大的基础模型（如 O3, GPT-4.1），其他系统的成绩也远低于 UIS-Digger（例如 Memento 从 GAIA 的 79.4% 跌至 UIS-QA 的 25.5%）。
  • 证明了适当的动作空间和针对性的训练策略比单纯堆砌大模型参数更重要。
• 泛化能力： 在 GAIA 和 BrowseComp-zh 等传统基准上，UIS-Digger 也保持了具有竞争力的性能（GAIA: 50.5%, BC-zh: 32.5%），显示了其通用性。
• 消融实验：
  • SFT 带来了约 13.6% 的增益，RFT 带来了额外的 4.6% 增益。
  • 证明了双模态浏览和文件解析能力对 UIS 任务至关重要。

5. 错误分析与洞察 (Analysis)

通过对失败案例的分析，发现了当前代理系统的几个关键瓶颈：

1. 检索缺失 (Missing Retrieval)： 许多代理无法找到正确的根域名网站（Gold Root Website），导致任务在理论上无法完成。
2. 知识源选择错误 (Knowledge Sourcing)： 即使找到了网站，代理也常混淆权威源与第三方源，或选择过时的历史数据。
3. 交互能力不足： 即使到达了正确页面，代理往往无法执行复杂的交互操作（如调整筛选器、读取动态图表），导致无法提取最终答案。
4. 训练演进： 经过 SFT 和 RFT 训练后，代理的搜索工具调用频率增加（减少幻觉），浏览行为变得更加精准（错误尝试减少），文件解析能力从无到有。

6. 意义与结论 (Significance)

• 揭示盲点： 首次系统性地定义了“非索引信息检索”这一被忽视的关键能力，指出了当前 Agent 评估体系的重大缺陷。
• 新基准与工具： 提供了 UIS-QA 基准和 UIS-Digger 框架，为未来研究提供了标准化的评估工具和强基线。
• 方向指引： 证明了通过构建丰富的动作空间（浏览、文件解析）和针对性的强化学习策略，可以显著提升 LLM 在复杂现实世界信息检索中的表现。
• 未来展望： 尽管 UIS-Digger 取得了 SOTA，但 27.27% 的绝对准确率仍表明 UIS 任务极具挑战性，未来需要更先进的自我改进技术和更高质量的合成数据。

总结： 该论文通过定义 UIS 问题、构建专用基准 UIS-QA 以及提出多智能体框架 UIS-Digger，填补了现有 AI 信息检索研究在非索引信息领域的空白，为构建更鲁棒、更全面的现实世界研究代理指明了方向。