FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents

这是一份关于论文 《FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents》 的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：
随着大型语言模型（LLM）在“深度研究”（Deep Research）任务中的应用，代理（Agent）需要执行长周期的任务，包括从互联网收集证据、整理信息并撰写长篇报告（通常超过 10K tokens）。然而，现有的代理设计面临以下瓶颈：

• 上下文窗口限制： 长轨迹的研究任务极易超出模型的上下文长度限制，导致代理被迫压缩 Token 预算。
• 信息丢失与覆盖不全： 为了适应上下文限制，现有方法通常采用压缩工具观察结果或仅保留关键事实的策略。这导致细粒度的证据丢失、来源覆盖不全，且无法进行有效的迭代优化。
• 状态易失性： 传统代理的内部状态（如思考过程、工具观察）是临时的，一旦会话结束即被丢弃，阻碍了通过多轮迭代进行深度精炼。
• 测试时扩展（Test-Time Scaling）失效： 由于上下文限制，增加计算资源（如更多的搜索轮次）往往无法转化为报告质量的提升，因为模型无法在有限的上下文中容纳更多证据。

2. 方法论：FS-Researcher (Methodology)

为了解决上述问题，作者提出了 FS-Researcher，这是一个基于**文件系统（File-System）**的双代理框架。其核心思想是将“证据积累”与“报告撰写”分离，利用文件系统作为持久化的外部记忆和共享协调介质，从而突破上下文窗口的限制。

2.1 核心架构

框架包含两个主要代理和一个共享的工作空间（Workspace）：

1. Context Builder（上下文构建器/数字图书管理员）：

   • 任务： 负责浏览互联网、阅读文档、提取关键信息，并将其归档到结构化的知识库（Knowledge Base, KB）中。
   • 工作空间： 维护一个层级化的文件系统，包含：
     • sources/：存档原始网页。
     • knowledge_base/：存储经过提炼的笔记（Notes），每个陈述都带有指向原始来源的引用。
     • index.md：知识库的“目录”，记录研究主题的解构和层级结构。
     • control files：包含待办事项（Todos）、检查清单（Checklist）和日志（Logs），用于追踪进度和状态。
   • 机制： 支持多轮迭代。每轮结束后，代理会对照检查清单自我审查，标记未完成项，并在下一轮中继续完善，直到达到预算限制或无问题为止。

2. Report Writer（报告撰写器）：

   • 任务： 基于 Context Builder 构建的知识库，分章节撰写最终报告。
   • 约束： 移除了网络浏览工具，强制代理仅将知识库作为事实来源（On-demand retrieval）。
   • 机制： 采用“分章节写作”策略。首先生成大纲，然后逐章撰写。每完成一章，进行章节级审查；所有章节完成后，进行报告级审查。如果发现问题，可重新标记为“进行中”进行修正。

2.2 关键设计优势

• 持久化外部记忆： 文件系统作为无限容量的外部存储，允许知识库规模远超模型上下文窗口。
• 状态持久与迭代： 中间产物（计划、错误日志、笔记）被持久保存，支持跨会话的迭代优化。
• 原生支持 Test-Time Scaling： 通过增加 Context Builder 的计算轮次（Rounds），可以线性地扩展证据收集量，而不会导致上下文溢出。
• 低延迟： 文件 I/O 操作引入的延迟极低（占总时间的 <0.03%）。

3. 主要贡献 (Key Contributions)

1. 提出 FS-Researcher 框架： 首个基于文件系统的双代理框架，专门用于解决长周期深度研究任务，实现了证据积累与报告生成的解耦。
2. 验证测试时扩展（Test-Time Scaling）： 实验证明，增加分配给 Context Builder 的计算资源（搜索和整理轮次），能显著提升最终报告的质量，验证了在文件系统范式下有效的测试时扩展能力。
3. 模块化消融研究： 通过消融实验证实了“持久化工作空间”、“双代理架构”和“分章节写作”对提升报告深度、全面性和逻辑性的关键作用。
4. 开源与可复现性： 代码和数据已开源，并在多个基准测试中达到了最先进水平（SOTA）。

4. 实验结果 (Results)

作者在 DeepResearch Bench 和 DeepConsult 两个开放式的深度研究基准上进行了广泛评估，并使用了 BrowseComp 进行可验证答案的测试。

• 性能表现 (DeepResearch Bench)：

  • 使用 Claude-Sonnet-4.5 作为骨干模型的 FS-Researcher 取得了 53.94 的 RACE 分数（综合评分），显著优于最强的基线模型 RhinoInsight (+3.02)。
  • 在全面性 (Comprehensiveness) 和 洞察力 (Insight) 指标上提升巨大（分别提升 +3.74 和 +4.4），证明了其在广泛收集证据和深度合成分析方面的优势。
  • 即使在相同的骨干模型（如 GPT-5 或 Gemini-2.5-Pro）下，FS-Researcher 的框架设计也能带来显著的性能提升（例如 GPT-5 下提升 +2.16 RACE），证明收益来自框架本身而非仅靠更强的模型。

• 性能表现 (DeepConsult)：

  • 在商业咨询类任务中，FS-Researcher (Claude-Sonnet-4.5) 取得了 80.00% 的胜率，平均得分 8.33，大幅优于 OpenAI Deep Research 等竞品。

• 测试时扩展分析：

  • 随着 Context Builder 的轮次从 3 增加到 10，知识库中的来源数量和笔记数量显著增加，最终报告的长度和引用密度也随之提升。
  • 报告质量（RACE 分数）与分配给 Context Builder 的计算量呈正相关。
  • 权衡分析： 虽然增加轮次提升了全面性，但过高的信息密度可能导致可读性（Readability）轻微下降（可通过后处理重述恢复）。

• 消融实验：

  • 移除持久化工作空间： 导致 RACE 分数下降 4.07，特别是洞察力下降 7.95。
  • 合并为单代理（Dual-Agent -> Single Agent）： 导致 RACE 分数大幅下降 10.35，洞察力下降 16.89。这表明在同一个会话中混合搜索和写作会导致过早合成和浅层探索。
  • 移除分章节写作（One-shot）： 导致 RACE 分数下降 5.13，表明分章节写作对于保持结构清晰和深度分析至关重要。

5. 意义与影响 (Significance)

• 突破上下文瓶颈： 该工作证明了通过外部文件系统（类似人类使用笔记和文件夹的方式）可以有效绕过 LLM 的上下文长度限制，使代理能够处理超长周期的复杂任务。
• 重新定义 Agent 设计范式： 从“压缩上下文”转向“扩展外部记忆”。这种方法不仅适用于研究任务，也为其他需要长程规划、多轮迭代和状态保持的 Agent 应用提供了新的设计思路。
• 成本效益与可扩展性： 实验表明，即使使用较小的模型（如 GPT-5-mini），通过增加 Context Builder 的轮次，也能以较低成本达到与顶级商业产品相当的性能。
• 可解释性与可追溯性： 文件系统天然地记录了研究过程、证据来源和迭代历史，使得代理的决策过程更加透明和可审计。

总结： FS-Researcher 通过引入文件系统作为持久化工作空间，成功解决了长周期深度研究任务中的上下文限制问题，实现了有效的测试时扩展，并在多个基准测试中确立了新的性能标杆。