FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents

Resumo Técnico: FS-Researcher

1. O Problema

A "Pesquisa Profunda" (Deep Research) emergiu como uma tarefa representativa para agentes de Grandes Modelos de Linguagem (LLMs), exigindo a coleta sistemática de evidências na internet e a síntese em relatórios abrangentes (frequentemente com mais de 10.000 tokens). No entanto, essa tarefa enfrenta desafios críticos devido às limitações de janela de contexto dos modelos atuais:

• Limitação de Contexto: Trajetórias longas de pesquisa excedem facilmente a capacidade de contexto do modelo, forçando a compressão de tokens para coleta de evidências e escrita do relatório.
• Orçamento de Tokens Comprimido: A necessidade de manter todo o histórico de pensamento e observações no contexto limita o orçamento disponível para ambas as etapas (busca e escrita), resultando em cobertura incompleta de fontes e relatórios de baixa qualidade.
• Falha na Escalabilidade no Tempo de Teste: Métodos existentes que tentam estender a trajetória (como sumarização de observações) são soluções temporárias. O estado interno do agente (pensamentos, observações brutas) é efêmero e descartado ao final do loop, impedindo refinamentos iterativos e escalonamento efetivo através de mais computação.

2. Metodologia: FS-Researcher

O FS-Researcher propõe uma mudança de paradigma: em vez de depender exclusivamente da memória de contexto do LLM, utiliza um sistema de arquivos persistente como memória externa e meio de coordenação. O framework é baseado em dois agentes distintos que operam em um espaço de trabalho compartilhado:

• Arquitetura Baseada em Sistema de Arquivos:

  • O espaço de trabalho armazena arquivos em Markdown, incluindo Entregáveis (relatórios finais, notas) e Arquivos de Controle (listas de tarefas "Todos", checklists de qualidade, logs de execução).
  • Isso permite que o estado da pesquisa seja persistente, revisável e refinável entre múltiplas sessões, superando o limite de contexto do modelo.

• Agente Construtor de Contexto (Context Builder):

  • Atua como um "bibliotecário digital".
  • Navega na internet, extrai informações, toma notas estruturadas e arquiva fontes brutas em uma Base de Conhecimento (KB) hierárquica.
  • A KB cresce além do limite de contexto, organizando-se em pastas e arquivos descritivos (ex: ./knowledge_base/company_profiles/allianz/).
  • Realiza revisões iterativas contra checklists para identificar lacunas e conflitos antes de passar para a próxima etapa.

• Agente Redator de Relatórios (Report Writer):

  • Assume o controle após a conclusão da KB.
  • Não possui acesso a ferramentas de navegação web; trata a KB construída como sua única fonte de fatos.
  • Escreve o relatório seção por seção (não em uma geração única), carregando informações relevantes da KB sob demanda.
  • Realiza revisões em nível de seção e de relatório completo, permitindo refinamento iterativo sem risco de "alucinação" por falta de contexto.

3. Contribuições Principais

1. Framework Dual-Agent com Memória Persistente: Introdução do FS-Researcher, que separa a acumulação de evidências da composição do relatório, utilizando o sistema de arquivos para permitir trajetórias de pesquisa que excedem a janela de contexto.
2. Validação de Escalabilidade no Tempo de Teste (Test-Time Scaling): Demonstração de que a qualidade do relatório final correlaciona-se positivamente com a computação alocada ao Context Builder. Mais rodadas de construção de contexto resultam em bases de conhecimento mais ricas e relatórios melhores.
3. Superioridade em Benchmarks: O framework alcança o estado da arte (SOTA) em benchmarks de pesquisa aberta, superando produtos proprietários (como OpenAI Deep Research, Claude Deep Research) e sistemas de código aberto, independentemente do modelo base utilizado (GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4.5).

4. Resultados Experimentais

Os experimentos foram conduzidos em dois benchmarks principais: DeepResearch Bench (tarefas de nível de PhD) e DeepConsult (consultoria de negócios).

• Desempenho Geral:

  • No DeepResearch Bench, o FS-Researcher (com Claude-Sonnet-4.5) atingiu uma pontuação RACE de 53,94, superando o melhor baseline (RhinoInsight) em +3,02 pontos.
  • Houve melhorias significativas em Abrangência (Comprehensiveness) e Insight (+3,74 e +4,4 pontos sobre o anterior), indicando melhor coleta de evidências e síntese profunda.
  • No DeepConsult, alcançou a maior taxa de vitória (80,00%) e pontuação média (8,33).
  • Em tarefas verificáveis (BrowseComp), superou os harnesses oficiais dos agentes em ambas as arquiteturas de modelos.

• Análise de Escalonamento (Scaling):

  • Aumentar as rodadas do Context Builder (de 3 para 10) resultou em crescimento da Base de Conhecimento (mais fontes e notas) e melhoria consistente em todas as dimensões de qualidade, exceto legibilidade (que sofreu uma leve queda devido ao estilo mais técnico, recuperável via reescrita pós-hoc).
  • Existe uma correlação positiva clara entre o investimento computacional na construção de contexto e a qualidade final do relatório.

• Estudos de Ablação:

  • Workspace Persistente: Sua remoção causou degradação severa (-4,07 RACE), especialmente em Insight, mostrando que o estado compartilhado é crucial para o raciocínio profundo.
  • Agente Único (Dual-Agent vs. Single-Agent): Unir os agentes resultou na maior queda de desempenho (-10,35 RACE), pois a mistura de coleta e escrita leva a sínteses prematuras e exploração superficial.
  • Escrita Seção por Seção: A escrita em "um único tiro" (one-shot) degradou significativamente a profundidade analítica e a clareza estrutural.

5. Significado e Implicações

O trabalho do FS-Researcher é significativo por várias razões:

• Superação de Limites de Hardware/Modelo: Demonstra que a arquitetura do agente (o "harness") pode fornecer benefícios complementares ao modelo base, permitindo que modelos existentes realizem tarefas de longo prazo que seriam impossíveis apenas com a janela de contexto nativa.
• Paradigma de Memória Externa: Valida a ideia de que sistemas de arquivos, comuns em IDEs de IA e agentes de codificação, são substratos eficazes para tarefas de pesquisa complexas, oferecendo persistência, rastreabilidade e escalabilidade.
• Custo-Eficiência: O framework permite o uso de modelos menores ou mais baratos (como GPT-5-mini) com múltiplas rodadas de construção de contexto para atingir desempenho comparável a modelos de ponta, reduzindo custos por consulta.
• Reprodutibilidade e Transparência: Ao contrário de soluções proprietárias "caixa preta", o FS-Researcher oferece um fluxo de trabalho aberto, onde o estado intermediário (notas, logs, fontes) é visível e auditável.

Em conclusão, o FS-Researcher estabelece um novo padrão para agentes de pesquisa profunda, provando que a escalabilidade no tempo de teste através de uma memória externa persistente é a chave para resolver tarefas de horizonte longo que excedem as capacidades nativas de contexto dos LLMs atuais.