Technische Samenvatting: SAGE – Benchmarking en Verbetering van Retrieval voor Deep Research Agents

1. Probleemstelling

Deep research agents zijn uitgegroeid tot krachtige systemen die complexe vragen kunnen beantwoorden door iteratief te zoeken en informatie te synthetiseren uit meerdere bronnen. Hoewel LLM-gebaseerde retrievers sterke capaciteiten hebben getoond in instructie-opvolging en redeneren, blijft een cruciale vraag over: Kunnen LLM-gebaseerde retrievers effectief bijdragen aan deep research agent-workflows?

Bestaande commerciële agents vertrouwen doorgaans op propriëtaire zoek-API's over grote webcorpora, die vaak afhankelijk zijn van oppervlaktevormige matching (surface-form matching). In contrast zijn LLM-gebaseerde retrievers ontworpen voor semantisch begrip. Het is echter onduidelijk of de specifieke query-generatiegedragingen van deep research agents (die kunnen verschillen van natuurlijke taal-queries) overeenkomen met de sterke punten van semantische retrievers. Bovendien vertrouwen bestaande datasets voor wetenschappelijke literatuurzoektochten vaak op verouderde papers of falen ze in het evalueren van de meerstaps-redeneercapaciteiten die vereist zijn voor moderne agents.

2. Methodologie

2.1 De SAGE Benchmark

Om dit te onderzoeken, introduceren de auteurs SAGE (Scientific AGentic retrieval Evaluation), een benchmark die is ontworpen voor redeneerintensieve wetenschappelijke literatuurretrieval.

• Corpus: Een collectie van 200.000 actuele, open-access wetenschappelijke papers verspreid over vier domeinen: Informatica, Natuurwetenschappen, Gezondheidszorg en Geesteswetenschappen.
• Queries: 1.200 queries verdeeld in twee typen:
  1. Short-form Questions: Vereisen intensief redeneren over metadata, figuren/tabellen en relaties tussen papers (bijv. citatie-overlaps). Antwoorden zijn verifieerbaar en uniek.
  2. Open-ended Questions: Gebaseerd op real-world onderzoekscenario's (bijv. literature reviews), waarbij synthese van meerdere relevante papers vereist is. Antwoorden hebben meerdere grondwaarheden (ground truths) gewogen op basis van relevantie.
• Data Curatie: Vragen worden gegenereerd door LLM's (GPT-5-mini) te instrueren om taken te creëren die synthese van informatie uit paper-metadata, geëxtraheerde figuren/tabellen en referentie-overlaps (papers die ten minste vier gemeenschappelijke referenties delen) noodzakelijk maken.

2.2 Experimentele Opzet

De studie evalueert de prestaties van deep research agents onder twee condities:

1. Web Search: Evaluatie van zes agents (inclusclusief propriëtaire systemen zoals GPT-5, Gemini-2.5-Pro en open-source DR Tulu) met behulp van hun native web search capaciteiten.
2. Corpus Search: Het gebruik van DR Tulu als een gecontroleerde backbone agent, waarbij de web search tool wordt vervangen door specifieke retrievers:
   • BM25: Een traditionele sparse lexicale retriever.
   • gte-Qwen2-7B-instruct: Een algemene LLM-gebaseerde retriever.
   • ReasonIR: Een LLM-gebaseerde retriever die specifiek is getraind voor redeneerintensieve taken.

2.3 Voorgestelde Oplossing: Corpus-Level Test-Time Scaling

Om het geobserveerde prestatiegat aan te pakken, stellen de auteurs een corpus-level test-time scaling framework voor. In plaats van de query-generatie van de agent te wijzigen, vergroot deze aanpak de document-corpus zelf uit.

• Mechanisme: Een LLM (Qwen3-Next-80B-A3B-Instruct) verwerkt elk paper om bibliografische metadata en acht onderwerp-relevante trefwoorden te extraheren die de kernbijdragen samenvatten.
• Implementatie: Deze trefwoorden en metadata worden voorafgevoegd aan de documenttekst. Dit verrijkt het corpus met signalen die retrieval gemakkelijker maken voor off-the-shelf retrievers, met name die welke vertrouwen op keyword matching.

3. Belangrijkste Resultaten

3.1 Agent Prestaties op Web Search

• Propriëtair vs. Open Source: GPT-5 leidt het totaal op short-form vragen. Echter, de open-source DR Tulu is competitief en presteert beter dan closed-source Gemini-2.5 serie agents op short-form vragen.
• Zoekefficiëntie: Zoekhoeveelheid is niet de primaire drijfveer voor nauwkeurigheid. Agents die beter presteren (zoals GPT-5) neigen naar meer accurate query-decompositie en gerichte evidence selectie in plaats van brute-force zoeken.
• Query Decompositie: Propriëtaire modellen genereren de neiging tot frase-gebaseerde, semantisch gestructureerde queries, terwijl DR Tulu vaak minder gestructureerde, met trefwoorden geconcateneerde sub-queries genereert.

3.2 Retriever Prestaties in Corpus Search

• Dominantie van BM25: Verrassend genoeg presteert BM25 aanzienlijk beter dan LLM-gebaseerde retrievers met ongeveer 30% op short-form vragen.
  • Redenering: Deep research agents genereren keyword-georiënteerde sub-queries. Dit gedrag sluit goed aan bij surface-form matching (BM25), maar veroorzaakt een "Query-Retriever Mismatch" voor LLM-gebaseerde retrievers, die getraind zijn op natuurlijke taal-queries en struikelen wanneer ze geconfronteerd worden met gefragmenteerde keyword-strings.
• Open-ended Questions: Het prestatiegat verkleint voor open-ended vragen. BM25 en gte-Qwen bereiken vergelijkbare resultaten, terwijl ReasonIR als laatste eindigt op beide query-typen.
• Diversiteitsproblemen: LLM-gebaseerde retrievers vertonen een lagere diversiteit in de opgehaalde documenten (Unique References per Search) vergeleken met BM25, vooral onder een vastgesteld zoekbudget.

3.3 Impact van Corpus-Level Scaling

• Winst bij Short-Form: Het toepassen van corpus-level scaling (toevoegen van trefwoorden/metadata) levert een verbetering van 8,18% op voor BM2

• Winst bij Open-Ended: De verbeteringen zijn marginaal (1,7%–2,5%) voor alle retrievers. De auteurs schrijven dit toe aan de lage diversiteit in de query-decompositie van de agent, wat de breedte van de opgehaalde bewijsvoering beperkt, ongeacht de verrijking van het corpus.

3.4 Ablatie Studie

• Informatiegevoeligheid: Het belang van query-componenten (metadata, multimodale details, relaties) verschuift op basis van de zoekmethode. Onder web search zijn agents gevoelig voor paper-details; onder corpus search worden inter-paper relaties dominant.
• Retriever-bewustzijn: De retrieval backend bepaalt grotendeels welke delen van de query-informatie de prestaties aansturen.

4. Betekenis en Claims

Het artikel claimt de eerste systematische onderzoek te bieden naar de samenwerking tussen deep research agents en LLM-gebaseerde retrievers binnen een gecontroleerd wetenschappelijk domein.

• Cruciale Bevinding: De auteurs benadrukken een significante mismatch: bestaande deep research agents genereren keyword-georiënteerde sub-queries die beter worden bediend door traditionele sparse retrievers (BM25) dan door state-of-the-art LLM-gebaseerde semantische retrievers.
• Praktische Bijdrage: De voorgestelde corpus-level test-time scaling biedt een praktische, training-vrije methode om de retrieval-prestaties te verbeteren door het corpus aan te passen aan de query-stijl van de agent, in plaats van te proberen de agent of de retriever te hertrainen.
• Nut van de Benchmark: SAGE biedt een rigoureuze, actuele benchmark voor het evalueren van redeneerintensieve retrieval, waarmee het tekortkomingen van eerdere datasets aanpakt die vertrouwden op verouderde literatuur of een gebrek aan meerstaps-redeneereisen hadden.

De auteurs concluderen dat effectieve samenwerking tussen retrievers en agents verdere aanpassing vereist, waarbij zij specifiek opmerken dat huidige agents hun query-generatiestrategieën nog niet aanpassen aan het onderliggende type retriever.