FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents

1. 연구 배경 및 문제 정의 (Problem)

딥 리서치 (Deep Research) 는 대규모 언어 모델 (LLM) 에이전트가 인터넷에서 방대한 양의 증거를 수집하고 종합하여 심층 보고서를 작성하는 장기적 (Long-horizon) 작업입니다. 그러나 기존 에이전트 아키텍처는 다음과 같은 근본적인 한계에 직면해 있습니다.

• 컨텍스트 윈도우 제한: 긴 연구 과정은 모델의 컨텍스트 길이 한계를 초과하여, 에이전트가 추가적인 정보 수집이나 보고서 작성에 필요한 토큰 예산을 확보하지 못하게 합니다.
• 토큰 예산의 압박: 정보 수집과 보고서 작성을 위한 토큰이 서로 경쟁하게 되어, 중요한 증거가 누락되거나 보고서의 깊이가 얕아지는 문제가 발생합니다.
• 임시적 상태 관리: 기존 방법들은 에이전트 루프가 종료되면 생각 (Thoughts) 과 도구 관찰 (Tool Observations) 같은 내부 상태를 폐기합니다. 이는 반복적인 정제 (Iterative Refinement) 를 통한 성능 확장 (Test-time Scaling) 을 어렵게 만듭니다.
• 압축의 한계: 기존 연구들은 도구 관찰을 요약하여 컨텍스트를 줄이는 방식을 사용하지만, 이는 손실 (Lossy) 이 발생하며 여전히 하드 컨텍스트 제한에 묶여 있습니다.

2. 제안 방법론: FS-Researcher (Methodology)

저자들은 파일 시스템 (File System) 을 영구적인 외부 메모리 및 에이전트 간 공유 매체로 활용하는 이중 에이전트 (Dual-Agent) 프레임워크인 FS-Researcher 를 제안합니다. 이 프레임워크는 컨텍스트 윈도우를 우회하여 무한히 확장 가능한 작업 공간을 제공합니다.

핵심 아키텍처

1. 컨텍스트 빌더 (Context Builder):

   • 역할: 디지털 사서 (Librarian) 역할.
   • 작업: 인터넷 검색 (search_web) 및 웹페이지 읽기 (read_webpage) 를 수행하여 관련 문서를 수집합니다.
   • 출력: 수집된 원본 자료는 sources/ 디렉토리에 아카이브하고, 핵심 정보를 구조화된 메모 (knowledge_base/) 로 정리합니다. 또한, 연구 주제를 분해하고 지식 베이스의 계층 구조를 정의하는 index.md 를 유지합니다.
   • 특징: 지식 베이스의 크기는 모델 컨텍스트 제한을 훨씬 초과할 수 있으며, 세션 간에 지속됩니다.

2. 리포트 라이터 (Report Writer):

   • 역할: 보고서 작성자.
   • 작업: 컨텍스트 빌더가 완성한 지식 베이스를 유일한 사실의 출처로 간주합니다. 웹 검색 도구는 사용하지 않습니다.
   • 프로세스:
     • 먼저 개요 (outline.md) 를 작성합니다.
     • 이후 섹션 단위로 나누어 보고서를 작성합니다 (Section-wise Writing).
     • 각 섹션 작성 후 자체 체크리스트를 통해 검토하고, 문제가 발견되면 해당 섹션을 다시 수정합니다.
   • 특징: 전체 보고서를 한 번에 생성하는 것이 아니라, 섹션별로 반복적으로 정제하며 작성합니다.

3. 작업 공간 (Workspace) 및 제어 파일:

   • 모든 파일은 마크다운 형식으로 저장됩니다.
   • 제어 파일: Todos(작업 상태), Checklist(수용 기준), Logs(실행 로그) 를 포함하여 에이전트가 진행 상황을 추적하고 세션 간에 작업을 이어갈 수 있게 합니다.
   • 지연 시간: 파일 I/O 는 전체 실행 시간의 0.03% 미만을 차지하여 성능에 거의 영향을 주지 않습니다.

3. 주요 기여 (Key Contributions)

1. 파일 시스템 기반 이중 에이전트 프레임워크: 장기 연구 과제를 해결하기 위해 증거 수집 (Context Builder) 과 보고서 작성 (Report Writer) 을 분리하고, 파일 시스템을 통해 지속 가능한 작업 공간을 구축했습니다.
2. 테스트 시간 확장 (Test-Time Scaling) 의 유효성 입증: 컨텍스트 빌더에 할당된 계산량 (라운드 수) 이 증가할수록 최종 보고서의 품질이 선형적으로 향상됨을 실험을 통해 증명했습니다. 이는 파일 시스템 패러다임 하에서 효과적인 확장이 가능함을 의미합니다.
3. SOTA 성능 달성: 다양한 백본 모델 (GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro 등) 을 사용하여 오픈 엔디드 딥 리서치 벤치마크 (DeepResearch Bench, DeepConsult) 에서 기존 최첨단 (SOTA) 모델들을 능가하는 성능을 기록했습니다.

4. 실험 결과 (Results)

• DeepResearch Bench:
  • FS-Researcher(Claude-Sonnet-4.5) 는 RACE 점수 53.94 를 기록하여 기존 최강 베이스라인 (RhinoInsight, 50.92) 보다 3.02 점 더 높은 성과를 보였습니다.
  • 특히 포괄성 (Comprehensiveness) 과 통찰력 (Insight) 에서 큰 폭의 개선을 보였습니다.
  • 동일한 백본 모델 (GPT-5) 을 사용하더라도 기존 오픈소스 방법론 (LangChain 등) 보다 성능이 우월했습니다.
• DeepConsult:
  • Claude-Sonnet-4.5 기반 FS-Researcher 는 80% 의 승률 (Win Rate) 을 기록하며 모든 베이스라인을 압도했습니다.
• BrowseComp (사실 검증):
  • LLM 평가자 (LLM-as-a-judge) 가 아닌 객관적인 정답 검증 벤치마크에서도 공식 에이전트 하네스보다 높은 정확도를 보여주어, 프레임워크의 이점이 사실 기반 검색에도 적용됨을 입증했습니다.
• 확장성 분석 (Scaling Analysis):
  • 컨텍스트 빌더의 라운드 수를 3 에서 10 으로 늘렸을 때, 아카이브된 소스와 메모의 양이 증가하고, 이에 따라 보고서의 길이가 길어지며 인용 수가 늘어났습니다.
  • 감소하는 수확 체 diminishing returns: 3~5 라운드 사이에서 가장 큰 성능 향상이 있었으며, 10 라운드까지도 지속적인 향상이 관찰되었습니다.
• Ablation Study:
  • 지속적 작업 공간 제거: 성능이 크게 저하됨 (RACE -4.07).
  • 단일 에이전트 (Dual-Agent 제거): 정보 수집과 작성이 섞이면서 통찰력과 포괄성이 급격히 떨어짐 (RACE -10.35).
  • 섹션 단위 작성 제거 (One-shot): 분석의 깊이가 떨어지고 구조가 불명확해짐 (RACE -5.13).

5. 의의 및 결론 (Significance)

이 논문은 파일 시스템을 에이전트의 외부 메모리로 활용함으로써, LLM 의 컨텍스트 길이 한계를 극복하고 반복적인 정제 (Iterative Refinement) 를 통한 고품질 연구 수행을 가능하게 했습니다.

• 패러다임 전환: 에이전트 설계에 있어 "메모리"를 모델 내부 컨텍스트에 의존하는 것에서, 파일 시스템과 같은 지속 가능한 외부 저장소로 전환해야 함을 시사합니다.
• 비용 효율성: 작은 모델 (예: GPT-5-mini) 을 사용하더라도 컨텍스트 빌더 라운드를 늘려주면 고비용의 대형 모델과 유사한 성능을 낼 수 있어, 비용 효율적인 딥 리서치 솔루션 구축이 가능함을 보여줍니다.
• 실용성: 파일 I/O 지연이 미미하고, 인간과 에이전트가 협업하여 작업을 수정하고 확장할 수 있는 구조를 제공하여 실제 산업 적용에 유리합니다.

요약하자면, FS-Researcher 는 지속 가능한 작업 공간과 분리된 에이전트 역할을 통해 장기적 연구 과제의 복잡성을 해결하고, 계산 자원을 투자함으로써 성능을 확장할 수 있는 새로운 표준을 제시한 연구입니다.