Technische Samenvatting: Fetch-then-Explore

Probleemstelling

Huidige zoekagenten voor lange trajecten (long-horizon search agents), die complexe vragen beantwoorden die tientallen zoekopdrachten vereisen, vertrouwen voornamelijk op twee interfaces voor toegang tot documenten die de inhoud van een pagina koppelen aan het moment van ophalen.

1. Visit-and-Read: Deze interface fuseert documentselectie en bewijsextractie tot één enkele actie. Bij het bezoeken van een URL ontvangt de agent onmiddellijk een vaste weergave (bijv. een doel-gechunkt venster, LLM-samenvatting of afgekapte tekst) die in de berichtgeschiedenis wordt geïnjecteerd. Dit dwingt de agent om zich vast te leggen op een specifieke leeswijze voordat hij weet welke specifieke feiten hij nodig zal hebben. Inhoud die buiten deze initiële weergave valt, gaat verloren tenzij de pagina opnieuw wordt opgehaald.
2. Stateful Browsing (Open-and-Find): Deze aanpak ontkoppelt selectie van extractie door een pagina te openen in een tijdelijke sessie. Het houdt echter slechts één pagina tegelijk vast; het openen van een nieuwe pagina laat de vorige vrij. Als een agent daarom later een pagina moet herbezoeken om een bewering te verifiëren of vanuit een nieuw perspectief te lezen, moet hij de pagina opnieuw ophalen en renderen, wat de kosten van een nieuwe retrieval met zich meebrengt en het vermogen om bewijs over documenten heen te accumuleren, beperkt.

Beide paradigma's lijden aan het onvermogen om geselecteerde pagina's te behouden voor uitgestelde, herhaalbare extractie. Een pagina die vele stappen later relevant wordt, moet opnieuw worden opgehaald en in het contextvenster worden gerenderd, wat langdurig redeneren inefficiënt maakt en gevoelig maakt voor het missen van bewijs.

Methodologie: Fetch-then-Explore (FTE)

De auteurs stellen Fetch-then-Explore voor, een paradigma dat paginaselectie ontkoppelt van bewijsextractie en geselecteerde inhoud behoudt in een persistente, externe werkruimte.

Kernarchitectuur

FTE werkt binnen een standaard ReAct-agentframework, maar vervangt de document-access toolset door een set tools die werken op een per-vraag filesystem cache ($C_q$).

• Persistente Werkruimte: In plaats van de paginabody in het contextvenster te injecteren of in een tijdelijke sessie te plaatsen, slaat FTE de volledige tekst van opgehaalde pagina's op als plain-text bestanden in een tijdelijke map op het bestandssysteem.
• Ontkoppelde Tools:
  • fetch(url): Haalt een pagina op, normaliseert deze naar tekst en slaat deze op in $C_q$. Het retourneert alleen een lichtgewicht record (pad, grootte, status) in plaats van de inhoud. Selectie wordt "bijna gratis" omdat het geen context-tokens verbruikt voor de paginatekst.
  • grep(pattern, path, context): Zoekt in de opgeslagen bestanden naar regex-matches. Het kan zoeken over de gehele cache (alle opgehaalde pagina's) of een specifiek bestand, en retourneert hits met regelnummers en optionele context.
  • read(path, offset, limit): Leest een begrensd venster van regels uit een specifief bestand, waardoor de agent een grep-hit kan uitbreiden.
  • list_fetched(): Somt de inhoud van de cache op.

Ontwerpprincipes

1. Ontkoppeling: Selectie (fetch) is gescheiden van extractie (grep/read). De agent kan een pagina selecteren op basis van een fragment en de extractie uitstellen tot zijn hypothese scherper is.
2. Retentie: Pagina's worden niet verwijderd wanneer de agent overgaat naar een nieuwe taak. De werkruimte groeit gedurende het traject, waardoor bewijs over documenten heen kan worden geaccumuleerd.
3. Uitgestelde & Herhaalbare Extractie: De agent kan dezelfde pagina meerdere keren bevragen met verschillende hypothesen zonder deze opnieuw op te halen.

Experimentele Opzet

De studie isoleert de impact van de documentinterface door de zoekbackend (Serper API), de agent harness (ReAct) en de backbone-modellen constant te houden.

• Backbones: Drie modellen die verschillende capaciteitsniveaus beslaan: Qwen3.5-35B-A3B, Qwen3.5-122B-A10B, en DeepSeek-V4-Pro.
• Benchmarks:
  • BrowseComp: Een benchmark voor diep onderzoek die multi-hop redeneren vereist om een enkel moeilijk te vinden feit te vinden (1.266 vragen, gesampled 200).
  • WideSearch: Een brede informatiezoekende benchmark die hoge recall vereist voor tabelinvulling vanuit veel pagina's (200 taken).
• Baselines:
  • Snippet-only: Geen toegang tot documenten.
  • Visit-Snippet / Visit-Summary: Standaard visit-and-read met verschillende compressieniveaus.
  • Open+Find: Stateful browsing met tijdelijke sessies.

Belangrijkste Resultaten

1. Prestatiewinst

• BrowseComp: FTE bereikt de hoogste nauwkeurigheid over alle drie de backbones (respectievelijk 44,5%, 52,5% en 70,5%), waarbij het de sterkste baselines met 2–4,5 procentpunt verslaat en de ruwe visit-snippet baseline met 7–14 punten.
• WideSearch: FTE presteert over het algemeen gelijk aan of beter dan de baselines. Het leidt op de 122B backbone en komt gelijk aan de sterkste baseline op de 122B/Pro backbones, hoewel de visit-summary baseline het op de zwakste backbone licht verslaat.
• Zoekefficiëntie: FTE-agenten voeren minder zoekopdrachten uit dan de baselines. Omdat ze bewijs uit vastgehouden pagina's kunnen extraheren op aanvraag, vertrouwen ze minder op herhaald zoeken om informatie te vinden die ze al bezitten.

2. Gedragsanalyse

• Pagina's Herbezoeken: Het bepalende gedragsverschil is het vermogen om terug te keren naar een pagina nadat deze is verlaten. FTE bezoekt 12–20% van de documenten op BrowseComp en 67–76% op WideSearch, vergeleken met 3–10% voor tijdelijke interfaces.
• Ablatie-studies:
  • Het verwijderen van grep (wat dwingt tot blind bladeren) of read zorgt voor een significante daling in prestaties, wat bevestigt dat beide tools noodzakelijk zijn.
  • Het beperken van grep tot een enkel bestand (het verwijderen van de cross-cache scope) veroorzaakt een prestatiedaling die vergelijkbaar is met het volledig verwijderen van een extractietool. Dit geeft aan dat persistentie alleen niet voldoende is; het vermogen om de gehele geaccumuleerde werkruimte te bevragen is cruciaal.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Identificatie van Persistentie: Het identificeert "persistentie" als een nog niet onderzocht aspect van documentinterfaces voor zoekagenten. Terwijl bestaande agenten ofwel selectie/extractie fuseren of tijdelijke sessies gebruiken, introduceert FTE een persistente, externe werkruimte.
2. Gecontroleerde Isolatie: Door de harness en de zoekbackend vast te houden, isoleert de studie de waarde van de documentinterface. De resultaten tonen aan dat het extern maken van documenttoegang via een persistente cache leidt tot meetbare winst, met name voor diep onderzoek (BrowseComp).
3. Mechanisme van Winst: De analyse herleidt de prestatieverbeteringen tot de specifieke capaciteit om na het verlaten van een pagina naar een pagina terug te keren. Dit stelt agenten in staat om onvolledige hypothesen te corrigeren en gemiste bewijslast te herstellen zonder de kosten van een nieuwe retrieval, een capaciteit die tijdelijke interfaces fundamenteel ontbreekt.

De auteurs concluderen dat het ontkoppelen van operaties van het medium dat hun output bevat, fundamentele vragen oproept over waar het werkgeheugen van een agent moet leven, wat suggereert dat externe, persistente substraten een levensvatbaar en effectief alternatief zijn voor context-window-gebaseerd geheugen voor lange trajecten.