DRBench: A Realistic Benchmark for Enterprise Deep Research

Dit paper introduceert DRBench, een realistisch benchmark voor het evalueren van AI-agenten op complexe, open-ended diep onderzoekstaken in enterprise-omgevingen die zowel publieke webinformatie als private bedrijfsgegevens vereisen.

De kern

Stel je voor dat je een super-intelligente assistent hebt die niet alleen snel kan zoeken op Google, maar ook de hele archiefkast van je bedrijf kan doorzoeken, e-mails kan lezen, chatgesprekken kan analyseren en vervolgens een slim adviesbriefje schrijft.

Dat is precies wat dit nieuwe onderzoek, genaamd DRBench, wil testen. Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het probleem: De "Google-quiz" is te makkelijk

Vroeger testten we slimme computers (AI) met simpele vragen, zoals: "Wie won de Super Bowl in 2020?" of "Wat is de hoofdstad van Frankrijk?".
Dat is als een leerling die een kruiswoordpuzzel maakt. Het is leuk, maar het zegt niets over of die leerling echt klaar is voor het echte werk. In het echte bedrijfsleven zijn de vragen veel lastiger en complexer.

2. De oplossing: DRBench, de "Grote Proef"

De onderzoekers hebben DRBench bedacht. Dit is geen simpele quiz, maar eerder een grote, echte proefopdracht voor een stagiair.

Stel je voor dat je een stagiair vraagt: "Kijk eens of onze nieuwe productplannen voldoen aan de strenge nieuwe veiligheidsregels, en geef aan wat we moeten veranderen."
Om dit goed te doen, moet de stagiair:

• Op het internet zoeken naar die nieuwe regels (het publieke web).
• Tegelijkertijd in je eigen bedrijf zoeken naar oude e-mails, documenten in de cloud en chatjes (het privé-archief).
• Alles samenvoegen tot één logisch verhaal.

DRBench is de testomgeving waar AI-agenten precies dit soort taken moeten doen.

3. Hoe werkt de test?

De onderzoekers hebben 100 verschillende scenarios bedacht, variërend van verkoop tot cyberveiligheid. Ze hebben dit niet zomaar bedacht, maar met een zorgvuldig proces waarbij echte mensen hebben gecontroleerd of de vragen realistisch zijn.

Het is alsof je 100 verschillende detective-verhalen schrijft. In elk verhaal moet de AI:

• De juiste aanwijzingen vinden (in een berg papierwerk en op het internet).
• Geen fouten maken in de feiten (niet verzonnen verhalen vertellen).
• Een duidelijk, goed gestructureerd rapport schrijven dat een manager echt kan gebruiken.

4. Wat hebben ze ontdekt?

Ze hebben gekeken hoe verschillende AI-modellen (zoals GPT, Llama en Qwen) het deden op deze test. Het resultaat?

• Sommige modellen zijn goed in het vinden van informatie, maar slecht in het samenvatten.
• Andere modellen raken de draad kwijt als ze te veel verschillende bronnen moeten combineren.
• Het laat zien dat we nog een lange weg te gaan hebben voordat AI echt veilig en betrouwbaar is voor complexe bedrijfsbeslissingen.

Waarom is dit belangrijk?

Vroeger was AI als een snelle lezer die alleen boeken kon lezen. Met DRBench proberen we AI te trainen tot een echte onderzoeker die ook in de kelder van het bedrijf (de privé-data) kan kijken en daar slimme conclusies uit kan trekken.

Kortom: DRBench is de rijbewijstest voor AI in het bedrijfsleven. Het zorgt ervoor dat we niet alleen kijken of de AI snel kan rijden, maar of hij ook veilig kan navigeren door de drukke, complexe verkeerssituaties van een echt bedrijf.

(De code en de testvragen zijn openbaar gemaakt, zodat iedereen mee kan helpen de toekomst van slimme bedrijfsassistenten te bouwen.)

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DRBench: A Realistic Benchmark for Enterprise Deep Research", geschreven in het Nederlands.

Probleemstelling

Huidige benchmarks voor AI-agenten richten zich voornamelijk op het beantwoorden van simpele vragen of het uitvoeren van zoekopdrachten die uitsluitend de openbare webwereld betreffen. Deze benadering is ontoereikend voor de complexe behoeften van ondernemingen. In een zakelijke context vereisen taken vaak een diepgaand, meervoudig stappenplan waarbij agenten niet alleen openbare informatie moeten vinden, maar ook toegang moeten hebben tot en inzicht moeten halen uit privébedrijfskennis (zoals interne documenten, e-mails en chatgesprekken). Bestaande evaluaties missen de nuance van realistische gebruikerspersona's, de heterogene zoekruimte van enterprise-systemen en de noodzaak om coherent rapportage te genereren op basis van gefragmenteerde data uit zowel publieke als private bronnen.

Methodologie

De auteurs introduceren DRBench, een nieuw benchmarkkader specifiek ontworpen voor het evalueren van AI-agenten op complexe, open-ended "deep research"-taken. De methodologie omvat de volgende kerncomponenten:

• Synthese-pipeline met menselijke verificatie: Taken worden gegenereerd via een zorgvuldig ontworpen synthese-pipeline. Deze wordt aangevuld met menselijke verificatie ("human-in-the-loop") om de kwaliteit en realisme van de taken te garanderen.
• Heterogene Zoekruimte: Elke taak vereist dat de agent informatie verzamelt uit een breed scala aan bronnen, waaronder:
  • De openbare webwereld.
  • Productiviteitssoftware.
  • Cloud-bestandssystemen.
  • Interne e-mails en chatconversaties.
• Persona-gebaseerde Context: Taken zijn verankerd in realistische gebruikerspersona's en specifieke enterprise-contexten, waardoor de complexiteit van echte zakelijke vraagstukken wordt nagebootst (bijvoorbeeld: "Welke wijzigingen moeten we aanbrengen in onze productroadmap om aan deze standaard te voldoen?").
• Evaluatiemetrics: Agenten worden niet alleen getoetst op het vinden van antwoorden, maar op drie cruciale dimensies:
  1. Het herinneren van relevante inzichten (recall).
  2. Het behoud van feitelijke nauwkeurigheid.
  3. Het produceren van samenhangende, goed gestructureerde rapporten.

Kernbijdragen

1. DRBench Dataset: De publicatie van een dataset met 100 diepe onderzoekstaken verdeeld over 10 verschillende zakelijke domeinen, waaronder Sales, Cybersecurity en Compliance.
2. Realistische Evaluatieomgeving: Het creëren van een benchmark die de kloof tussen academische tests en de werkelijke complexiteit van enterprise-omgevingen overbrugt, door zowel publieke als private data te integreren.
3. Uitgebreide Vergelijking: Een uitgebreide evaluatie van diverse "Deep Research" (DR) agenten, waarbij zowel open-source modellen (zoals Llama en Qwen) als gesloten modellen (zoals GPT) en verschillende zoekstrategieën met elkaar worden vergeleken.
4. Open Source Beschikbaarheid: De volledige code en data zijn openbaar gemaakt via GitHub, wat herhaalbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.

Resultaten

De auteurs hebben DRBench gebruikt om de prestaties van diverse AI-modellen en strategieën te testen. De resultaten tonen de sterke en zwakke punten van huidige systemen aan:

• Er is een duidelijk onderscheid zichtbaar tussen open- en closed-source modellen in hun vermogen om complexe, multi-stap taken te voltooien.
• De evaluatie benadrukt dat hoewel modellen goed zijn in het vinden van feiten, het synthetiseren van deze informatie tot een coherent, feitelijk correct rapport in een zakelijke context nog een uitdaging blijft.
• De studie identificeert specifieke knelpunten in de huidige architectuur van enterprise-agenten, wat een "kritisch pad" (critical path) schetst voor toekomstige verbeteringen.

Significantie

DRBench is een mijlpaal in de ontwikkeling van AI voor ondernemingen. Het verschuift de focus van simpele zoekvragen naar diepgaand onderzoek dat essentieel is voor strategische besluitvorming. Door een gestandaardiseerde manier te bieden om agenten te testen op hun vermogen om privé- en publieke data te integreren, stelt het onderzoekers en ontwikkelaars in staat om systemen te bouwen die daadwerkelijk inzetbaar zijn in complexe zakelijke omgevingen. Dit werk legt de basis voor de volgende generatie AI-assistenten die niet alleen informatie ophalen, maar ook contextueel inzicht bieden voor compliance, productontwikkeling en beveiliging.