FS-Researcher: Test-Time Scaling for Long-Horizon Research Tasks with File-System-Based Agents

Probleemstelling

Diep onderzoek (Deep Research) is een representatieve taak voor autonome Large Language Model (LLM) agenten die PhD-niveau expertise vereist. Het proces omvat het systematisch verzamelen van bewijsmateriaal van het internet en het synthetiseren daarvan in uitgebreide rapporten (vaak >10.000 tokens).

De kernuitdaging ligt in de beperkte contextvensters van huidige modellen:

1. Contextoverloop: Lange trajecten van onderzoek overschrijden vaak de contextlimiet, waardoor tokens voor bewijsverzameling en rapportschrijven worden ingekort.
2. Beperkte schaalbaarheid: Bestaande methoden (zoals het samenvatten van tool-observaties of het gebruik van sub-agenten) zijn tijdelijke oplossingen die nog steeds gebonden zijn aan de harde limiet van het contextvenster.
3. Verlies van staat: Interne states (gedachten, tool-observaties) zijn vaak vluchtig en gaan verloren zodra een agentlus eindigt, wat iteratieve verfijning en verdere schaalbaarheid tijdens de testfase (test-time scaling) verhindert.

Methodologie: FS-Researcher

Het paper introduceert FS-Researcher, een dual-agent framework dat gebruikmaakt van een persistent bestandsysteem (file-system) als externe werkruimte. Dit systeem fungeert als een duurzame externe geheugen en een gedeeld coördinatiemiddel, waardoor de contextlimiet van het model wordt omzeild.

Het framework bestaat uit twee gespecialiseerde agenten die werken in een gedeelde werkruimte (bestaande uit Markdown-bestanden, mappen en controlebestanden):

1. Architectuur en Werkruimte

• Werkruimte: Bevat leveringsbestanden (deliverables) en controlebestanden (todos, checklists, logs). Alle bestanden zijn in Markdown-formaat.
• Tools: Bestandsysteemtools (zoals ls, grep, read_file, insert/delete) en web-browsing tools (search_web, read_webpage).
• Workflow: Beide agenten gebruiken een standaard ReAct-architectuur (Reden, Actie, Observatie) maar opereren binnen een persistente omgeving die over meerdere sessies heen kan worden geraadpleegd.

2. De Twee Agenten

• Context Builder (De Bibliothecaris):

  • Taak: Verzamelt, distilleert en archiveert informatie vanuit het internet.
  • Proces: Doorzoekt het web, schrijft gestructureerde notities en archifeert ruwe bronnen in een hiërarchische kennisbank (Knowledge Base - KB).
  • Output: Een index.md (inhoudsopgave), een knowledge_base/ map met genoteerde feiten met citaties, en een sources/ map met gearchiveerde webpagina's.
  • Iteratie: De agent voert meerdere sessies uit, waarbij hij de KB verfijnt tot een checklist wordt gehaald of het budget is verbruikt.

• Report Writer (De Auteur):

  • Taak: Schrijft het definitieve rapport sectie voor sectie.
  • Proces: Gebruikt alleen de door de Context Builder gebouwde kennisbank als bron van feiten (geen live web-browsing in deze fase).
  • Aanpak: Schrijft eerst een outline, en vervolgens elke sectie in aparte sessies. Dit voorkomt dat het rapport een simpele lijst van feiten wordt en zorgt voor diepere analyse.
  • Review: Elke sectie wordt gecontroleerd tegen een sectie-specifieke checklist voordat deze als voltooid wordt gemarkeerd.

Belangrijkste Bijdragen

1. Dual-Agent Framework: Een architectuur die bewijsverzameling (Context Builder) en rapportage (Report Writer) strikt scheidt, waardoor beide taken optimaal kunnen worden uitgevoerd zonder contextconcurrentie.
2. Persistent Workspace: Het gebruik van een bestandsysteem als externe geheugen stelt agenten in staat om informatie op te slaan die ver buiten het contextvenster valt, en maakt iteratieve verbetering over meerdere sessies mogelijk.
3. Validatie van Test-Time Scaling: Het paper toont aan dat er een positieve correlatie bestaat tussen de hoeveelheid rekenkracht (aantal sessies) die aan de Context Builder wordt toegewezen en de uiteindelijke kwaliteit van het rapport. Meer "test-time" computation leidt tot een rijker kennisbestand en betere resultaten.

Resultaten

FS-Researcher is geëvalueerd op twee open benchmarks: DeepResearch Bench en DeepConsult, en vergeleken met state-of-the-art systemen (zoals OpenAI Deep Research, Claude Deep Research, en diverse open-source oplossingen).

• Prestaties: FS-Researcher behaalt state-of-the-art resultaten op rapportkwaliteit over verschillende backbone-modellen (GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro).
  • Op DeepResearch Bench behaalde de versie met Claude-Sonnet-4.5 een RACE-score van 53,94, wat significant hoger is dan de beste concurrent (+3,02 punten).
  • Er zijn grote verbeteringen gezien in Comprehensiveness (omvangrijkheid) en Insight (diepgang).
• Schaalbaarheid: Experimenten met 3, 5 en 10 rondes van context-building tonen aan dat meer rekenkracht leidt tot:
  • Grotere kennisbanken (meer bronnen en notities).
  • Langere rapporten met meer citaties.
  • Hogere scores op kwaliteit (hoewel leesbaarheid licht daalt bij extreme dichtheid, wat oplosbaar is via post-processing).
• Ablatie-studies:
  • Het verwijderen van de persistente werkruimte leidt tot een sterke daling in inzicht (-7,95 punten).
  • Het samenvoegen van de twee agenten tot één (single-agent) resulteert in de grootste daling (-10,35 punten), omdat dit voortijdige synthese en ondiepe exploratie bevordert.
• Efficiëntie: Bestands-I/O introduceert verwaarloosbare latentie (<0,03% van de totale tijd).

Betekenis en Conclusie

FS-Researcher bewijst dat het externaliseren van de research-state naar een persistent bestandsysteem een effectieve manier is om de beperkingen van contextvensters te overwinnen bij langdurige taken.

• Paradigmaverschuiving: Het paper verschuift de focus van het comprimeren van context (wat informatie verliest) naar het uitbreiden van de werkruimte (wat informatie behoudt en toegankelijk maakt).
• Schaalbaarheid: Het valideert het concept van "test-time scaling" voor diep onderzoek: door meer rekenkracht te investeren in het bouwen van een robuuste kennisbasis, verbetert de uiteindelijke output kwalitatief aanzienlijk.
• Toekomst: Hoewel het framework afhankelijk is van sterke foundation-modellen voor redenering en tool-gebruik, toont het aan dat zelfs kleinere modellen (zoals GPT-5-mini) met voldoende iteraties concurrerende resultaten kunnen behalen tegen lagere kosten.

Kortom, FS-Researcher biedt een robuust, schaalbaar en reproduceerbaar framework voor complexe, langdurige onderzoekstaken die momenteel onmogelijk zijn binnen de huidige contextlimieten van LLM's.