💬 NLP

Can Deep Research Agents Retrieve and Organize? Evaluating the Synthesis Gap with Expert Taxonomies

Dit artikel introduceert TaxoBench, een benchmark die aantoont dat huidige Deep Research Agents aanzienlijk achterlopen op menselijke experts in zowel het ophalen van essentiële papers als het organiseren daarvan in coherente taxonomieën, wat duidelijke knelpunten onthult in zowel de nauwkeurigheid van de retrieval als de synthese van hiërarchische structuren.

Oorspronkelijke auteurs: Ming Zhang, Jiabao Zhuang, Wenqing Jing, Kexin Tan, Ziyu Kong, Jingyi Deng, Yujiong Shen, Yuhui Wang, Zhenghao Xiang, Qiyuan Peng, Yuhang Zhao, Ning Luo, Renzhe Zheng, Jiahui Lin, Mingqi Wu, Long Ma

Gepubliceerd 2026-08-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ming Zhang, Jiabao Zhuang, Wenqing Jing, Kexin Tan, Ziyu Kong, Jingyi Deng, Yujiong Shen, Yuhui Wang, Zhenghao Xiang, Qiyuan Peng, Yuhang Zhao, Ning Luo, Renzhe Zheng, Jiahui Lin, Mingqi Wu, Long Ma, Shihan Dou, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de ultieme gids probeert te schrijven voor een enorme, chaotische bibliotheek. Je moet niet alleen de boeken kunnen vinden; je moet ook uitzoeken hoe je ze op de planken organiseert zodat een lezer het verhaal van het vakgebied daadwerkelijk kan begrijpen. Dit is de taak van een "survey", een type academisch artikel dat alles wat we weten over een specifiek onderwerp samenvat. Jarenlang hebben wetenschappers gehoopt dat Kunstmatige Intelligentie (AI) dit zware werk automatisch zou kunnen doen. Ze stelden zich "Deep Research Agents" voor — superintelligente AI-bots die het internet afstruinen, elke belangrijke paper kunnen vinden en deze vervolgens kunnen rangschikken in een perfecte, logische kaart van kennis.

Maar hier is de crux: een boek vinden is makkelijk; het organiseren ervan is moeilijk. Om te bepalen of deze AI-bots echt klaar zijn voor de klus, moeten we twee specifieke vaardigheden testen. Ten eerste, Retrieval (Ophalen): Kan de AI exact dezelfde boeken vinden als een menselijke expert zou kiezen? Als de AI de belangrijkste papers mist, is de gids waardeloos. Ten tweede, Organisatie: Zodra de AI de boeken heeft, kan hij een "taxonomie" bouwerken? Zie een taxonomie als een stamboom voor ideeën. Het is niet zomaar een lijst; het is een hiërarchie met een hoofdonderwerp aan de top, dat uitwaaiert naar grote categorieën, dan kleinere subcategorieën, helemaal tot aan de individuele papers. Een goede taxonomie helpt je om de verbindingen tussen ideeën te zien. Als de AI de papers gewoon in een rommelige hoop dumpt of een verwarrende, platte lijst maakt, heeft hij de taak niet echt volbracht.

Dit artikel, getiteld "Can Deep Research Agents Retrieve and Organize?", onderwerpt zeven van de meest geavanceerde AI-onderzoek agents ter wereld aan een test. De onderzoekers bouwden een speciale uitdaging genaamd TaxoBench, die gebruikmaakt van 72 echte, hoogwaardige surveys geschreven door menselijke experts als de "gouden standaard". Ze vroegen de AI-agents om ofwel de papers vanaf nul te vinden, ofwel, in een tweede test, een vooraf geselecteerde lijst van papers te organiseren in een boomstructuur. De resultaten waren een beetje een reality check voor de AI-wereld.

De studie toonde aan dat hoewel deze AI-agents steeds beter worden in praten en schrijven, ze nog steeds worstelen met de basisprincipes van onderzoek. Wanneer ze de opdracht kregen om de essentiële papers te vinden die experts gebruiken, vond de allerbeste AI-agent slechts ongeveer 20,92% van de papers. Dat betekent dat het bijna 80% van de belangrijkste boeken in de bibliotheek heeft gemist. De andere agents deden het nog slechter, waarbij sommigen minder dan 5% van de cruciale papers vonden. Het is alsof je een gids vraagt om de top 10 bezienswaardigheden van een stad te laten zien, en hij slaagt er slechts in om twee of drie aan te wijzen, terwijl hij de rest volledig mist.

Het tweede deel van de test was nog veelzeggender. Zelfs toen de onderzoekers de AI-agents de perfecte lijst met papers gaven (zodat ze zich geen zorgen hoefden te maken over het vinden ervan), slaagden de agents er nog steeds niet in om de papers te organiseren zoals een menselijke expert dat zou doen. De menselijke experts bouwden diepe, meerlagige bomen met een gemiddelde diepte van 4,86 niveaus (zoals een boom met een stam, grote takken, kleinere takken en twijgen). De AI-agents bouwden echter ondiepe, platte structuren met een gemiddelde diepte van slechts ongeveer 3 niveaus. Ze misten de middelste lagen van de organisatie.

Wanneer de onderzoekers probeerden de AI te dwingen om diepere bomen te bouwen door specifieke instructies te geven, werd de AI niet slimmer; het werd alleen maar slordiger. De AI begon de boom uit elkaar te trekken in kleine, enkelvoudige paper-takjes, waardoor er een "bos" van geïsoleerde twijgjes ontstond in plaats van een gestructureerde boom. Dit wordt "over-segmentatie" genoemd. De AI was zo bang om dingen samen te groeperen dat hij bijna elke paper in zijn eigen kleine, eenzame categorie plaatste.

Het artikel concludeert dat er een enorme "synthese-kloof" bestaat tussen wat AI vandaag de dag kan en wat menselijke experts kunnen. De AI zit momenteel vast op een "vloer" waar de organisatorische vaardigheden nauwelijks beter zijn dan een willekeurige kans. Hoewel de AI-modellen krachtiger worden, hebben ze deze kloof nog niet gedicht. De onderzoekers suggereren dat voordat we AI kunnen vertrouwen om onze wetenschappelijke gidsen te schrijven, we twee aparte problemen moeten oplossen: hen leren hoe ze het juiste bewijs moeten vinden, en hen leren hoe ze een diepe, logische structuur kunnen bouwen om dat bewijs in te houden. Tot die tijd zijn menselijke experts nog steeds de enigen die het terrein van de kennis werkelijk in kaart kunnen brengen.

Technische Samenvatting: TaxoBench – Het evalueren van de synthese-kloof in Deep Research-agenten

1. Probleemstelling

Deep Research (DR) agenten automatiseren steeds vaker het genereren van academische overzichten door het web te doorzoeken, papers te verzamelen en gestructureerde overzichten te produceren. De huidige benchmarks evalueren echter primair de kwaliteit van de gegenereerde tekst, feitelijkheid of citatiecorrectheid, en falen in het gezamenlijk beoordelen van twee fundamentele capaciteiten op het snijvlak van informatieverwerving en structurele generatie:

Retrieval (Verzamelen): Kan de agent de specifieke set papers verzamelen die menselijke experts als essentieel voor een survey beschouwen?
Organisatie: Kan de agent deze papers organiseren in een hiërarchische taxonomie die een expert-geconstrueerde structuur weerspiegelt?

Huidige evaluatiemethoden vertrouwen vaak op platte clustering-metrieken (bijv. ARI, V-Measure) die hiërarchische structuren negeren, of gebruiken door LLM's beoordeelde outlines zonder gronding in paper-naar-categorie toewijzingen. Dit creëert een "synthese-kloof", waarbij het onduidelijk blijft of agenten in staat zijn het expertproces van het identificeren van kernliteratuur en het synthetiseren daarvan tot een coherente, meerlagige taxonomie te repliceren.

2. Methodologie: TaxoBench

De auteurs introduceren TaxoBench, een benchmark die is ontworpen om de capaciteiten van retrieval en organisatie afzonderlijk te isoleren en te evalueren.

Dataset Constructie

TaxoBench is gebouwd op basis van 72 veelgeciteerde LLM-gerelateerde surveys verspreid over 8 AI/ML subdomeinen.

Ground Truth (Grondwaarheid): Elke survey bevat een door experts geschreven taxonomie (hiërarchie van categorieën) en een set van 3.815 geciteerde papers die handmatig door annotators op PhD-niveau aan expert-categorieën zijn toegewezen.
Statistieken: De dataset bevat gemiddeld 354,5 citaties per survey, een hiërarchie-diepte van 4,9 en 14,0 paper-categorieën per taxonomie.

Evaluatiemodi

TaxoBench evalueert systemen in twee verschillende modi om retrieval van organisatie te scheiden:

Deep Research Mode (End-to-End): Agenten ontvangen alleen een survey-onderwerp. Ze moeten webtools gebruiken om papers te verzamelen en deze vervolgens te organiseren in een taxonomie. Dit test zowel retrieval als organisatie tegelijkertijd.
Bottom-Up Mode (Isolatie van Organisatie): Agenten krijgen de exacte set van door experts geciteerde papers ( $P^*$ ) aangeboden. Ze moeten deze vaste set organiseren in een taxonomie. Dit isoleert de organisatie-capaciteit door retrieval als variabele te verwijderen.

Metrieken

Het artikel stelt een reeks metrieken voor om zowel blad-niveau toewijzingen als hiërarchie-niveau structuren te evalueren:

Blad-niveau (Leaf-Level): Adjusted Rand Index (ARI) en V-Measure (Homogeniteit/Volledigheid) om de paper-naar-categorie toewijzing te evalueren.
Hiërarchie-niveau:
- US-TED / US-NTED (Unordered Semantic Tree Edit Distance): Meet de globale structurele divergentie tussen de taxonomie van het model en de expert-referentie, rekening houdend met semantische label-gelijkenis (via embeddings) en het negeren van de volgorde van broer-nodes.
- Sem-Path (Semantische Pad-gelijkenis): Een per-paper metriek die de consistentie van het pad van de wortel naar het blad meet. Het stemt de voorouder-ketens af en straft mismatches in semantische labels en padlengte af.
Kalibratie: De auteurs introduceren "depth-matching" controles om rekening te houden met het feit dat modellen vaak vlakkere bomen produceren dan experts, wat Sem-Path scores kunstmatig verlaagt. Ze stellen ook "floor" baselines vast (bijv. platte taxonomieën) om ruwe scores te interpreteren.

3. Belangrijkste Bijdragen

TaxoBench Dataset: Een benchmark die 72 expert-taxonomieën koppelt aan 3.815 gemapte papers, wat een aparte evaluatie van retrieval en organisatie mogelijk maakt.
Hiërarchie-bewuste Metrieken: Ontwikkeling van US-TED, US-NTED en Sem-Path, die structurele en semantische uitlijning vangen voorbij platte clustering. De auteurs maken ook onderscheid tussen alignment-based bevindingen (overeenstemming met een specifieke expert-referentie) en capability-based bevindingen (structurele statistieken onafhankelijk van specifieke labels).
Uitgebreide Evaluatie: Evaluatie van 7 Deep Research Agenten en 16 frontier LLM-configuraties (inclusclusief o3, GPT-5, Claude, Gemini, etc.) in beide modi.

4. Belangrijkste Resultaten

Retrieval Bottleneck (Deep Research Mode)

Ernstig Retrieval Tekort: Zelfs de beste agent (o3) haalt slechts 20,92% van de door experts geciteerde papers op (Recall). Vier van de zeven agenten scoren onder de 10% F1.
Correlatie met Organisatie: De kwaliteit van de retrieval correleert sterk met de hiërarchie-niveau structuur (Spearman $\rho=0,89$ voor F1 vs. Sem-Path). Agenten die falen in het verzamelen van kernpapers, falen ook in het bouwen van coherente hiërarchieën.
Zelf-Retrieval: Hoewel sommige agenten de bron-survey zelf ophalen, verhoogt dit de Recall-scores niet, omdat de titel van de survey niet deel uitmaakt van de expert-paper set.

Organisatie Bottleneck (Bottom-Up Mode)

Diepte-tekort: Modellen slagen er consequent niet in om diepe taxonomieën te bouwen. De gemiddelde expert-diepte is 4,86, terwijl alle 70 model-runs (over generaties en configuraties heen) gemiddeld tussen de 2,99 en 3,97 liggen. De diepste configuratie is nog steeds 0,89 niveaus te kort.
Over-segmentatie: Modellen hebben de neiging om taxonomieën te fragmenteren in fijnmazige clusters (hoge Homogeniteit) in plaats van ze te consolideren in bredere, expert-stijl categorieën. Bijvoorbeeld: GPT-5.6-sol produceert 28,3 categorieën met een 43,5% singleton-rate (papers in categorieën van grootte 1), vergeleken met de 14,0 categorieën en 17,0% singleton-rate van de expert.
Het Sem-Path Floor Effect: Ruwe Sem-Path scores voor modellen clusteren nauw (28–30%), nauwelijks te onderscheiden van een "Flat" taxonomie baseline (27,49%). Dit komt door het gebrek aan kans-correctie en het diepte-tekort.
- Depth-Matched Analyse: Wanneer modellen worden geëvalueerd tegen een expert-boom die is ingekrompen naar de diepte van het model, stijgen de scores naar 32–42% en wordt de spreiding groter. Desalniettemin blijft er een aanzienlijke kloof: mensen (annotators) bereiken een Sem-Path van 54,09% op gematchte surveys, terwijl modellen gemiddeld 38,71% scoren.
Invloed van Prompts: Een gecontroleerde probe laat zien dat het dwingen van modellen om de expert-diepte te matchen (via expliciete instructies) de organisatie niet verbetert; in plaats daarvan veroorzaakt het verdere fragmentatie (hogere singleton-rates) en verlaagt het de alignment-scores (ARI daalt, Sem-Path daalt). Dit suggereert dat het diepte-tekort een falen is in het bouwen van coherente hiërarchische verfijning, en niet een onvermogen om niveaus toe te voegen.

Human Baseline

In een gematchte subset van 10 surveys bereikten twee onafhankelijke menselijke annotators (zonder de expert-referentie te zien) een Sem-Path van 53,91% en een diepte van ~4,65. Zij kwamen overeen met elkaar op 50,56% Sem-Path. Modellen scoren daarentegen nabij de vloer (28–30%) en komen meer overeen met de expert dan mensen met elkaar (op basis van ARI), wat aangeeft dat ARI verzadigd en onbetrouwbaar is voor deze taak.

5. Betekenis en Claims

Het artikel claimt dat TaxoBench retrieval en hiërarchische organisatie identificeert als afzonderlijke, kritieke bottlenecks in huidige Deep Research-agenten.

Retrieval: Agenten zijn momenteel niet in staat om het literatuuronderzoeksproces van experts te repliceren, waarbij ze minder dan 21% van de essentiële papers verzamelen.
Organisatie: Zelfs met perfecte retrieval falen agenten in het construeren van diepe, coherente taxonomieën. Ze produceren de neiging tot ondiepe, over-gesegmenteerde structuren die de progressieve verfijning missen die in expert-surveys te vinden is.
Metriek Kalibratie: De auteurs betogen dat ruwe hiërarchie-metrieken (zoals Sem-Path) oninterpreteerbaar zijn zonder kalibratie tegen diepte en floor-baselines. Ze demonstreren dat een model-generatie die 3,68 pp wint in ARI, bijna geen beweging vertoont in de ruwe Sem-Path (0,87 pp), wat de gevoeligheid van de metriek in het ondiepe regime benadrukt.
Toekomstige Richtingen: Het werk pleit voor kans-gecorrigeerde hiërarchie-metrieken, rijkere agentic workflows (voorbij huidige productinterfaces) en multi-referentie evaluaties om rekening te houden met de subjectiviteit van taxonomie-ontwerp.

De auteurs concluderen dat hoewel DR-agenten tekst kunnen genereren, ze momenteel niet over de fundamentele capaciteiten beschikken om autonoom expert-niveau survey-structuren te synthetiseren, wat menselijk toezicht noodzakelijk maakt in plaats van volledige automatisering.