💬 NLP

DeepSearchQA: Bridging the Comprehensiveness Gap for Deep Research Agents

Het artikel introduceert DeepSearchQA, een benchmark van 900 prompts verspreid over 17 vakgebieden, ontworpen om deep research-agenten te evalueren op complexe, meerstaps informatiezoektaken, waarbij wordt onthuld dat zelfs de meest geavanceerde modellen moeite hebben met het balanceren van recall en precisie bij systematische informatieverzameling, entiteitsresolutie en stopcriteria.

Oorspronkelijke auteurs: Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

Gepubliceerd 2026-01-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikita Gupta, Riju Chatterjee, Lukas Haas, Connie Tao, Andrew Wang, Chang Liu, Hidekazu Oiwa, Elena Gribovskaya, Jan Ackermann, John Blitzer, Sasha Goldshtein, Dipanjan Das

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een onderzoeksassistent inhuurt om informatie voor je te zoeken. In het verleden testten we deze assistenten vooral met eenvoudige vragen zoals: "Wat is de hoofdstad van Frankrijk?" Als ze het antwoord goed hadden, slaagden ze. Als ze het fout hadden, faalden ze. Dit was als een meerkeuzequiz: makkelijk te beoordelen, maar het vertelde ons niet of de assistent een echt, complex onderzoeksproject kon afhandelen.

Het paper "DeepSearchQA" introduceert een nieuwe, veel moeilijkere test die ontworpen is om te zien of AI-agenten als echte onderzoekers kunnen optreden, en niet slechts als trivia-bots.

Hier is de uitsplitsing van wat ze hebben gedaan en wat ze hebben gevonden, met behulp van eenvoudige analogieën:

1. Het Probleen: De "Naald in een hooistak" versus de "Hele hooistak"

Oude tests vroegen de AI om één specifieke naald in een hooistak te vinden (bijv. "Wat is de hoofdstad van Frankrijk?").

Het probleem: Het echte leven is niet zo. Soms moet je elke naald in de hooistak weten, of alle verschillende soorten hooi op een rij zetten.
De nieuwe uitdaging: DeepSearchQA stelt vragen zoals: "Lijst elke spelcomputer op die meer dan 100 miljoen exemplaren heeft verkocht, niet draagbaar was, een 32-bit CPU had en waarvan het moederbedrijf in 2010 meer dan $1,7 biljoen aan activa had."
Het doel: De AI kan niet zomaar één antwoord raden. Het moet een volledige, perfecte lijst opstellen. Als de AI één item mist, is de lijst incompleet. Als de AI één nepitem toevoegt, is de lijst onnauwkeurig.

2. De Drie Moeilijke Vaardigheden die worden Getest

Om deze nieuwe test te halen, moet een AI-agent drie moeilijke vaardigheden beheersen die oude tests negeerden:

Vaardigheid 1: De Bibliothecaris (Systematische Samenstelling)
Stel je voor dat je een rapport moet schrijven, maar de informatie is verspreid over 50 verschillende websites en geen enkele website heeft het volledige verhaal. De AI moet al deze websites bezoeken, ze lezen en de stukjes samenvoegen tot één meesterlijst. Het kan niet alleen vertrouwen op de eerste website die het vindt.
** Vaardigheid 2: De Detective (Entiteitsresolutie)**
Stel je voor dat je naar "Apple" zoekt. De ene website zegt "Apple Inc.", een andere zegt "Apple Computer" en een derde zegt "Het bedrijf dat Steve Jobs oprichtte". Een mens weet dat dit hetzelfde is. Een AI raakt vaak in de war en vermeldt deze als drie verschillende bedrijven. Deze test controleert of de AI kan beseffen dat dit hetzelfde is en de duplicaten verwijdert.
Vaardigheid 3: Het Stopbord (Redeneren over Stoppen)
Dit is het moeilijkste deel. Bij een normale zoekopdracht stop je wanneer je het antwoord hebt gevonden. Maar bij een taak voor "diepgaand onderzoek" is er geen finishlijn. De AI moet weten wanneer hij moet stoppen met zoeken.
- Te vroeg: Het stopt voordat het alle antwoorden heeft gevonden (onder-retrieval).
- Te laat: Het blijft doorzoeken en begint antwoorden te verzinnen om de lijst aan te vullen (over-retrieval/hedging). Het is als een chef die ingrediënten blijft toevoegen aan een soep totdat deze vies smaakt, alleen maar om zeker te weten dat hij niets gemist heeft.

3. De Test: 900 Real-World Scenario's

De onderzoekers hebben een benchmark gemaakt genaamd DeepSearchQA met 900 moeilijke vragen over 17 verschillende gebieden (zoals gezondheid, financiën, geschiedenis en gaming).

De regels: De antwoorden zijn gebaseerd op statische feiten (zoals de volkstelling van 2020) zodat ze niet veranderen terwijl de test loopt.
De beoordeling: Ze geven niet om hoe de AI het antwoord heeft gevonden (het pad dat het heeft afgelegd). Ze geven alleen om de uiteindelijke lijst. Is de lijst 100% correct?
- Perfect: De lijst is exact juist.
- Gedeeltelijk: Het heeft er enkele goed, maar heeft er anderen gemist.
- Hallucinatie: Het heeft de juiste items gevonden, maar heeft ook nepitems toegevoegd om grondig te lijken.

4. Wat ze Vonden: Het "Laatste Mijl"-probleem

Ze hebben de slimste beschikbare AI-modellen getest (zoals Google's Gemini Deep Research en OpenAI's GPT-5 Pro). Dit is wat er gebeurde:

Het goede nieuws: De beste AI-agenten worden erg goed in dit werk. De topmodellen kregen ongeveer 66% van de lijsten perfect correct. Dit is een enorme sprong ten opzichte van oudere modellen.
Het slechte nieuws: Zelfs de beste modellen worstelen met de "laatste mijl".
- De kloof: Een AI kan 90% van de juiste antwoorden vinden (hoge recall), maar faalt omdat hij niet stopt met zoeken en 5 foute antwoorden aan de lijst toevoegt. Dit verpest de score.
- De "Hedging"-val: Wanneer een AI niet zeker weet of hij klaar is, probeert hij veilig te spelen door alles op te sommen wat hij kan bedenken, inclusief dingen waar hij niet zeker van is. Dit is als een student die gokt op een toets om deels punten te krijgen, maar in dit geval verlaagt het hun cijfer.
De "Stapfunctie"-val: Als je een kleiner, goedkoper AI-model gebruikt, daalt de prestatie niet slechts een beetje; het stort volledig in. Deze complexe taken vereisen een bepaalde hoeveelheid "hersencapaciteit" om de zoektocht te plannen. Onder een bepaalde drempelwaarde raakt de AI direct de weg kwijt en vindt hij niets.

5. De Conclusie

Het paper betoogt dat we een keerpunt bereiken. We zijn verschoven van het vragen aan AI "Wat is het antwoord?" naar "Kun je het hele onderwerp beheersen?".

De huidige AI-modellen zijn slim genoeg om de naald te vinden, maar ze leren nog steeds hoe ze de hele hooistak in kaart kunnen brengen zonder de weg kwijt te raken of dingen te verzinnen. DeepSearchQA is een hulpmiddel om onderzoekers te helpen dit specifieke probleem op te lossen: de AI leren wanneer hij moet stoppen met zoeken en hoe hij perfect grondig kan zijn zonder slordig te worden.

Kortom: We leren AI om te stoppen met een trivia-kampioen te zijn en te beginnen als een professionele onderzoeker die een complex, meerstaps onderzoek kan afhandelen zonder de controle te verliezen.

Technische Samenvatting: DeepSearchQA: Het overbruggen van de Comprehensive Gap voor Deep Research Agents

1. Probleemstelling

Het vakgebied van kunstmatige intelligentie maakt een transitie door van statische Large Language Models (LLM's) naar autonome web-agents die in staat zijn te interageren met dynamische omgevingen. De huidige evaluatiemethodologieën lijden echter aan een "Comprehensiveness Gap" (het gat in volledigheid). Traditionele benchmarks (bijv. TruthfulQA, SimpleQA) richten zich primair op single-answer retrieval (het ophalen van een enkel antwoord) of brede feitelijkheid. Hoewel dit effectief is voor het isoleren van navigatie- en zoekstrategieën, stimuleert dit paradigma precisie boven recall (volledigheid), waardoor het ongeschikt is om de complexiteit van real-world informatiezoektochten te vatten waarbij gebruikers behoefte hebben aan uitputtende lijsten in plaats van een enkel datapunt.

Bestaande benchmarks vertrouwen vaak op atomaire antwoorden die niet testen op het vermogen van een agent om:

Gefragmenteerde informatie systematisch te verzamelen uit uiteenlopende bronnen.
Entity resolution uit te voeren om duplicaten te verwijderen en precisie te waarborgen.
Na te denken over stopcriteria in open-ended zoekruimtes zonder expliciete terminatiesignalen.

Deze kloof leidt tot een situatie waarin agents weliswa de "naald in de hooiberg" kunnen vinden, maar er niet in slagen de volledige "hooiberg" te verzamelen die vereist is voor uitgebreide onderzoekstaken.

2. Methodologie: DeepSearchQA Benchmark

Dataconstructie

DeepSearchQA is een benchmark bestaande uit 900 handgecreëerde prompts verspreid over 17 diverse domeinen (waaronder Politiek, Financiën, Wetenschap, Gezondheid en Geschiedenis).

Taakstructuur: Taken zijn ontworpen als causale ketens waarbij het ontdekken van informatie voor één stap afhankelijk is van de succesvolle voltooiing van de vorige stap, wat de nadruk legt op long-horizon planning en contextbehoud.
Ground Truth: Alle taken zijn geworteld in het open web met objectief verifieerbare antwoordsets. Prompts zijn tijdgebonden of verwijzen naar statische databronnen om 'ground-truth drift' te minimaliseren.
Antwoordtypen:
- Single Answer: Unieke entiteiten die diep onderzoek vereisen vanwege obscuriteit of tegenstrijdig bewijs.
- Set Answer: Collecties van items, inclus�iet enumeraties (het opsommen van alle items die aan beperkingen voldoen) en samengestelde responsen.
Verificatie: Een rigoureus driefasig protocol (Onafhankelijk Onderzoek, Verificatie/Vergelijking, Conflictresolutie) waarborgt de nauwkeurigheid van de ground-truth. Ambigue prompts worden gefilterd.

Taaktaxonomie

Taken worden gecategoriseerd op basis van cognitieve en operationele eisen:

Structured Retrieval ("De Zoektocht"): Meerstapsstrategieën om obscure, niche informatie op te halen.
Context Management ("De Assemblage"): Het binnenhalen en synthetiseren van grote hoeveelheden informatie, en het beheren van beperkingen in het contextvenster.
Logical Reasoning ("De Denker"): Abstracte deductie, planning en het afleiden van latente informatie uit incomplete data.

Evaluatiemetrieken

DeepSearchQA hanteert een strikt op resultaat gebaseerde evaluatiemethodologie, waarbij de prestaties uitsluitend worden beoordeeld op de volledigheid en correctheid van de ingediende set, in plaats van op het zoektraject.

Continue Metrieken: Standaard Information Retrieval-metrieken worden gebruikt, specifiek Precision, Recall en de F1-score (harmonisch gemiddelde van P en R). Dit straft agents die de recall maximaliseren door te hallucineren of te "hedgen" met antwoorden met een lage betrouwbaarheid.
Categorische Classificatie: Responsies worden ingedeeld in vier disjuncte categorieën:
1. Volledig Correct: De ingediende set is semantisch identiek aan de ground truth ( $S = G$ ).
2. Volledig Incorrect: Geen enkele correcte items zijn gevonden ( $S \cap G = \emptyset$ ).
3. Partieel Correct: Sommige, maar niet alle correcte antwoorden zijn gevonden.
4. Correct met Extraneous Answers: Alle correcte items zijn gevonden, maar er zijn ook incorrecte items opgenomen (falen van stopcriteria/hedging).
Geautomatiseerde Pipeline: Een LLM-as-a-Judge (Gemini 2.5 Flash) bepaat de semantische equivalentie tussen de geëxtraheerde antwoorden en de ground truth.

3. Belangrijkste Resultaten en Analyse

De benchmark werd geëvalueerd op state-of-the-art agents en reasoning modellen (bijv. Gemini Deep Research Agent, GPT-5 Pro High Reasoning, o3, o4 Mini).

Prestatiehiërarchie: Deep Research Agents presteren beter dan standalone reasoning modellen, wat bevestigt dat iteratieve agent-loops vereist zijn om de Comprehensiveness Gap te dichten.
Top Performers: De Gemini Deep Research Agent behaalde de hoogste F1-score (81,90%) en het laagste "Volledig Incorrect" percentage (9,95%), wat een superieure efficiëntie en robuustheid aantoont vergeleken met GPT-5 Pro High Reasoning (F1: 78,98%, Volledig Incorrect: 14,13%).
De Reasoning Threshold: Er bestaat een harde drempel voor autonoom onderzoek. Kleinere modellen (bijv. Gemini 2.5 Flash) vertonen een drastische daling in prestaties (F1: 42,99%, Volledig Incorrect: 45,27%), wat aangeeft dat DeepSearchQA-taken niet uitvoerbaar zijn via eenvoudige semantische zoekopdrachten en gestructureerde retrieval en meerstapsredenering vereisen.
Scaling Behavior: Het verhogen van test-time compute (samplen $n$ keer) verbetert de prestaties aanzienlijk. Voor de top agent steeg het "Volledig Correct" percentage van 67,18% ( $n=1$ ) naar 85,71% ( $n=8$ ).
Het "Last Mile" Probleem: Er bestaat een duidelijk verschil tussen de F1-score en de strikte "Volledig Correct" percentages (bijv. een gat van ~15 punten voor de top agent). Dit gat wordt gedreven door twee faalmodi:
1. Under-retrieval: Het missen van de "long tail" van obscure entiteiten.
2. Over-retrieval (Hedging): Het bereiken van perfecte recall maar niet in staat zijn om te stoppen, waarbij extra items worden gehallucineerd of men afdwaalt naar aangrenzende onderwerpen.

Geobserveerde Faalmodi

Analyse van topmodellen onthulde specifieke faalpatronen:

Fouten in Kwantitatieve Schattingen: Het correct identificeren van kandidaten maar falen in het ranken of accuraat schatten van hoeveelheden.
Tool-beperkingen: Het proces staken wanneer men onleesbare bestandsformaten (bijv. Excel) tegenkomt in plaats van alternatieve bronnen te zoeken.
Falen van Stopcriteria: Het niet filteren van datapunten volgens de prompt-beperkingen nadat de initiële lijst is opgehaald.

4. Betekenis en Claims

De auteurs positioneren DeepSearchQA als een kritiek diagnostisch instrument voor de volgende fase van agent-ontwikkeling. Het paper claimt dat:

Paradigmaverschuiving: De benchmark verschuift de evaluatie van precisie-gebaseerde retrieval naar uitputtende antwoordset-generatie, waarmee een kritiek blinde vlek in de huidige agentische evaluatie wordt geadresseerd.
Diagnostische Bruikbaarheid: Door expliciet te belonen voor uitputtende retrieval en te straffen voor zowel under-retrieval als hedging, benadrukt DeepSearchQA de "Comprehensiveness Gap" waar zelfs geavanceerde modellen moeite hebben met het balanceren van recall en precisie.
Toekomstige Richtingen: De benchmark identificeert specifieke capaciteiten die vereist zijn voor robuuste agents:
- Systematische Exploratie: Verder gaan dan opportunistisch keyword zoeken naar methodische, tree/graph-gebaseerde navigatie.
- Geavanceerde Synthese: Robuuste mechanismen voor het samenvoegen van informatie en het oplossen van entiteitsambiguïteiten.
- Dynamische Stopcriteria: Het vermogen om na te denken over de volledigheid van een zoekopdracht en te bepalen wanneer een zoekopdracht uitputtend is zonder expliciete terminatiesignalen.

De auteurs concluderen dat het optimaliseren voor dit diepere niveau van volledigheid de cruciale volgende stap is naar het bouwen van werkelijk capabele en betrouwbare autonome web-agents, waarbij ze bewegen van agents die een vraag kunnen beantwoorden naar agents die een onderwerp kunnen beheersen en een informatielandschap in kaart kunnen brengen.