DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation

Dit paper introduceert DEER, een benchmark die expertrapporten van diepe onderzoeksagenten evalueert via een gedetailleerd rubric en claimverificatie om de huidige beperkingen in logische volledigheid en expertvoldoening te diagnosticeren.

De kern

Stel je voor dat je een zeer ervaren detective bent die een complex rapport moet schrijven over een mysterie. Je hebt een superkrachtige robot-assistent (een AI) die je helpt om alle bewijsmateriaal op internet te vinden, te lezen en te samenvatten.

Deze robot kan prachtige, lange rapporten schrijven. Maar hoe weet je of het rapport echt goed is? Is het waar wat er staat? Is het logisch? En heeft de robot de juiste vragen beantwoord?

Tot nu toe was het moeilijk om deze robot-rapporten eerlijk te beoordelen. Soms keek de beoordelaar alleen naar de opmaak (mooie letters, goede zinnen), maar miste hij de fouten in de feiten. Soms keek de beoordelaar alleen naar de bronnen waar de robot expliciet naar verwees, maar negeerde hij de feiten die de robot "stiekem" in zijn hoofd had zonder bronvermelding.

De auteurs van dit paper hebben een oplossing bedacht genaamd DEER.

Hier is wat DEER doet, vertaald in een simpel verhaal:

1. De "Gouden Regelboekjes" (Het Taxonomie-systeem)

Stel je voor dat je een restaurantbeoordeling wilt geven. Als je alleen zegt "Het eten was goed", is dat vaag. Wil je dat de chef de ingrediënten goed heeft gekozen? Was het warm? Was het vers?

DEER heeft een groot, gedetailleerd regelboek gemaakt. Dit boek is niet zomaar bedacht door een computer, maar door echte experts (mensen met een masterdiploma in hun vakgebied).

• Ze hebben 7 grote categorieën bedacht (zoals "Voldoet het aan de vraag?", "Is de logica waterdicht?", "Zijn de bronnen betrouwbaar?").
• Binnen die categorieën hebben ze 101 specifieke checkpunten gemaakt.

De analogie: Het is alsof je een auto wilt testen. In plaats van alleen te zeggen "De auto rijdt goed", heb je nu een checklist met 101 punten: "Remmen werken?", "Banden zijn niet versleten?", "Motorolie is op niveau?". Zo kun je precies zien waar de robot het goed doet en waar hij faalt.

2. De "Onzichtbare Bril" (Expert Guidance)

Soms is een robot slim, maar mist hij de "nuance" van een menselijk expert. Een robot kan een rapport over geneeskunde schrijven dat er perfect uitziet, maar een subtiele medische fout bevatten die een leek niet ziet.

DEER geeft de beoordelaar (die ook een AI is) een specifieke "bril" voor elke taak.

• Als de robot een rapport moet schrijven over "Hoe werkt een zonnecel?", krijgt de beoordelaar een lijstje met exact wat er in dat rapport moet staan volgens een echte ingenieur.
• Zonder deze bril zou de beoordelaar misschien denken: "Oh, het klinkt logisch," terwijl hij de essentie mist. Met de bril ziet hij direct: "Ah, de robot heeft vergeten uit te leggen hoe de spanning werkt."

3. De "Detective met een Lijst" (Claim Verification)

Dit is misschien wel het coolste deel. Stel je voor dat de robot een verhaal vertelt. Hij zegt: "De zon schijnt [bron 1]" en "Het is warm [geen bron]".
Oude methoden keken alleen naar de zinnen met [bron 1]. Maar wat als de robot ergens schrijft "Het is warm" en dat is gebaseerd op een zin die hij drie pagina's eerder las, maar die hij niet citeerde?

DEER gebruikt een slimme detectivemethode:

• Het haalt alle feitelijke uitspraken uit het rapport.
• Het zoekt niet alleen naar de bronnen die de robot expliciet noemt.
• Het kijkt ook naar de onzichtbare bronnen: "Waar haalde de robot dit feit vandaan?" Door terug te kijken in het rapport (zoals een detective die eerdere pagina's doorzoekt), vindt hij de bron die de robot "vergeten" was te noemen.
• Vervolgens gaat de robot naar die bron op het internet en checkt: "Zegt de bron echt wat de robot beweert?"

Wat hebben ze ontdekt?

Toen ze dit systeem gebruikten om verschillende AI's te testen, zagen ze iets interessants:

• De robots zijn fantastisch in het schrijven van mooie, gestructureerde rapporten (de "verpakking" is perfect).
• Maar ze zijn nog niet goed genoeg in het echt begrijpen van complexe vragen en het vinden van de juiste, diepgaande antwoorden (de "inhoud" is soms zwak).
• Soms halen ze te weinig bronnen, of gebruiken ze bronnen die niet helemaal kloppen.

Waarom is dit belangrijk?

Voorheen was het alsof je een examen afnam en alleen keek naar de netheid van het handschrift. Met DEER kun je nu kijken naar de inhoud, de logica en de waarheid.

Het helpt ontwikkelaars om hun robots niet alleen "slimmer" te maken, maar vooral betrouwbarder. Het is een meetlat om te zien of een AI echt een expert is, of gewoon een slimme prater.

Kortom: DEER is de nieuwe, super-nauwkeurige meetlat die zegt: "Je rapport ziet er mooi uit, maar laten we eens kijken of je feiten kloppen en of je echt hebt gedaan wat we vroegen."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation", vertaald en samengevat in het Nederlands.

Titel: DEER: Een Benchmark voor het Evalueren van Diepe Onderzoek Agents op Expert Rapportgeneratie

Auteurs: Janghoon Han et al. (LG AI Research, UIC, University of Michigan)

---

1. Het Probleem

Hoewel grote taalmodellen (LLMs) de ontwikkeling van "Deep Research"-systemen hebben mogelijk gemaakt die expert-niveau rapporten genereren via multi-stap redenering en bewijsgebaseerde synthese, blijft de evaluatie van deze rapporten een groot uitdaging. Bestaande methoden kampen met drie fundamentele beperkingen:

1. Onduidelijke evaluatiecriteria: De kwaliteit van rapporten is multifacettig. Bestaande benchmarks gebruiken vaak grove, hoog-niveau dimensies of door LLM's gegenereerde criteria, wat leidt tot inconsistentie en gebrek aan precisie.
2. Gebrek aan domeinexpertise: Zelfs met gedetailleerde rubrieken kunnen LLM-gebaseerde beoordelaars (judges) subtiel fouten missen die specifieke domeinkennis vereisen (bijv. logische sprongen in complexe wetenschappelijke argumenten).
3. Onvolledige verificatie: Huidige bronverificatie is beperkt tot expliciet geciteerde claims. Fouten in niet-geciteerde delen van het rapport of impliciete claims worden vaak genegeerd, waardoor de feitelijke betrouwbaarheid van het volledige rapport niet wordt gewaarborgd.

---

2. Methodologie: Het DEER Framework

DEER (Deep research Expert Report benchmark) is een systematisch evaluatiekader dat is ontworpen om expert-rapporten te beoordelen op basis van twee complementaire componenten: Rapportkwaliteit en Externe Informatie Verificatie.

A. Data Constructie

• Bron: De benchmark is gebaseerd op 50 taken die zijn afgeleid van Humanity's Last Exam (HLE), een dataset met expert-geschreven, moeilijke vragen.
• Reformulering: Deze vragen zijn door domeinexperts (minimaal master-niveau) herschreven van korte Q&A-vorm naar open-ended, expert-niveau rapportopdrachten. Antwoorden en bewijzen zijn verwijderd om het model te dwingen tot zelfstandig redeneren.
• Domeinen: De taken bestrijken 13 verschillende domeinen (bijv. Filosofie, Engineering, Biologie) die zijn afgestemd op de verdeling van echte gebruikersvragen.

B. Evaluatie Taxonomie

DEER introduceert een hiërarchische taxonomie, ontwikkeld door een panel van experts en gebaseerd op 80 bestaande standaarden uit 20 domeinen:

• 7 Hoofddimensies:
  1. Request Fulfillment (Voldoening aan verzoek)
  2. Analytical Soundness (Analytische geldigheid)
  3. Structural Coherence (Structurele samenhang)
  4. Format & Style (Formaat & Stijl)
  5. Ethics & Compliance (Ethiek & Compliance)
  6. Information Sufficiency (Informatie volledigheid)
  7. Information Integrity (Informatie integriteit)
• Operationalisering: Deze taxonomie is vertaald naar 101 fijngranulaire rubriek-items (rubrics), verdeeld over Coverage (is het er?) en Quality (hoe goed is het?).
• Expert Evaluation Guidance (EEG): Om de consistentie van LLM-beoordelaars te verbeteren, wordt voor elke taak specifieke expert-gidsing geboden. Deze bevat domeinspecifieke context en verifieerbare verwachtingen die de LLM moet gebruiken bij het beoordelen.

C. Verificatie Architectuur

Om de betrouwbaarheid van informatie te garanderen, gebruikt DEER een geautomatiseerde verificatiemodule:

• Claim Extractie: Het systeem splitst het rapport op in atomische claims.
• Impliciete Claim Back-Tracking: Een cruciale innovatie. Het systeem herkent claims zonder expliciete citaten (Type B en C) en zoekt semantisch naar de bronnen in eerdere zinnen of secties die deze claims ondersteunen. Dit breidt de verificatie uit tot het volledige rapport, niet alleen naar expliciet gemarkeerde zinnen.
• Verificatie: Claims (Type A, B, C) worden gecontroleerd tegen de gevonden bronnen.
• Metrics: Het systeem berekent kwantitatieve scores voor Claim Factuality, Citation Support, Evidence Coverage en Reference Diversity.

---

3. Belangrijkste Bijdragen

1. DEER Benchmark: Een systematische en interpreteerbare benchmark voor deep research rapporten, gebaseerd op een expert-gedefinieerde taxonomie.
2. Standaardisatie: Vertaling van de taxonomie naar een vaste set van 101 rubriek-items, gecombineerd met taak-specifieke expert-gidsing voor consistente LLM-beoordeling.
3. Geavanceerde Verificatie: Een rapport-niveau verificatie-architectuur die terugkoppelt naar externe bronnen, inclusief het herstel van impliciete citaten, waardoor een vollediger beeld van feitelijke betrouwbaarheid ontstaat.
4. Diagnostisch Vermogen: In plaats van alleen een totaalscore, biedt DEER gedetailleerde inzichten in sterke en zwakke punten van systemen per dimensie en sub-dimensie.

---

4. Resultaten

De benchmark is toegepast op diverse state-of-the-art systemen (o.a. WebThinker, Qwen3, Gemini 2.5, Claude Opus, GPT-5).

• Algemene Prestaties:
  • Systemen scoren hoog op structuur, stijl en ethiek (Format & Style, Structural Coherence).
  • Systemen scoren lager op het vervullen van complexe expert-verzoeken en analytische diepgang (Request Fulfillment, Analytical Soundness).
  • Verrassende bevinding: Systemen die alleen "redeneren" (zonder websearch) presteren vaak beter op rapportkwaliteitsmetrieken dan systemen die "redeneren + zoeken". Dit suggereert dat het integreren van externe informatie de probleemdefinitie en argumentatiestructuur soms kan vertroebelen.
• Domeinvariatie: Prestaties variëren sterk per vakgebied. Agents presteren beter in Filosofie, Psychologie en Engineering, maar worstelen met Computer Science, Geschiedenis en Natuurkunde (vanwege technische complexiteit en specifieke context).
• Validatie:
  • De correlatie tussen LLM-beoordelingen en menselijke experts is het hoogst wanneer Expert Evaluation Guidance wordt gebruikt (Pearson's r = 0.75).
  • Zonder deze gidsing daalt de correlatie, wat aantoont dat domeinkennis essentieel is voor betrouwbare evaluatie.
  • De inter-evaluator betrouwbaarheid (consistentie tussen verschillende LLM's) is het hoogst met de volledige DEER-setup.

---

5. Significantie

DEER markeert een verschuiving in de evaluatie van AI-systemen van simpele antwoordkwaliteit naar de beoordeling van complexe, expert-niveau rapporten.

• Betrouwbaarheid: Door het combineren van expert-gedefinieerde rubrieken met geautomatiseerde, claim-gebaseerde verificatie, biedt DEER een robuustere maatstaf voor feitelijke juistheid dan eerdere benchmarks.
• Interpreteerbaarheid: Het framework maakt het mogelijk om niet alleen te zeggen hoe goed een systeem is, maar waarom het faalt (bijv. gebrek aan brondiversiteit, logische sprongen, of onvolledige dekking van het verzoek).
• Toekomstige Richting: DEER legt de basis voor de ontwikkeling van systemen die niet alleen informatie kunnen vinden, maar deze ook kunnen synthetiseren tot betrouwbare, expert-niveau documenten die voldoen aan strikte academische en professionele standaarden.

Kortom, DEER biedt de gemeenschap een noodzakelijk, gestructureerd instrument om de volgende generatie "Deep Research" agents objectief te beoordelen en te verbeteren.