Towards Personalized Deep Research: Benchmarks and Evaluations

Deze paper introduceert PDR-Bench, het eerste benchmark voor het evalueren van personalisatie in diepe onderzoeksagenten, en stelt het PQR-evaluatiekader op om de prestaties van deze systemen op het gebied van personalisatie, inhoudskwaliteit en feitelijke betrouwbaarheid te meten.

De kern

Stel je voor dat je een rechercheur huurt om een ingewikkeld probleem voor je op te lossen. Je wilt niet alleen een droge, feitelijke rapportage die voor iedereen hetzelfde is. Je wilt dat de rechercheur weet dat jij een bezorgde ouder bent die op een budget zit, of dat je een student bent die snel moet leren, of dat je een zakenman bent die op reis is.

Dit is precies waar dit nieuwe onderzoek over gaat. Het introduceert een nieuwe manier om te testen of AI-rechercheurs (die "Deep Research Agents" worden genoemd) echt kunnen luisteren naar jou als individu, en niet alleen naar de vraag die je stelt.

Hier is de uitleg, vertaald naar alledaags Nederlands met een paar creatieve vergelijkingen:

1. Het Probleem: De "Kleding op Maat" vs. "One-Size-Fits-All"

Vroeger testten we AI-rechercheurs met vragen die één goed antwoord hadden, zoals "Hoeveel inwoners heeft Amsterdam?". Dat is makkelijk te controleren. Maar in het echte leven is onderzoek anders.

• De oude manier: Het is alsof je een kant-en-klare jas koopt in een winkel. Hij past misschien wel, maar hij is niet op jouw lichaam afgestemd. De AI gaf een perfect rapport, maar het was niet nuttig voor jouw specifieke situatie.
• De nieuwe uitdaging: We hebben AI's nodig die een maatwerk-pak naaien. Als jij een student bent, moet het rapport simpel en goedkoop zijn. Als jij een CEO bent, moet het strategisch en gedetailleerd zijn.

Tot nu toe hadden we geen goede manier om te testen of deze AI's die "maatwerk" konden leveren. Ze misten de "persoonlijke touch".

2. De Oplossing: PDR-Bench (De "Persoonlijke Testbaan")

De auteurs van dit paper hebben een nieuwe testbaan bedacht, genaamd PDR-Bench.

• Hoe werkt het? Ze hebben 50 verschillende onderzoeksopdrachten bedacht (van "Hoe kies ik een auto?" tot "Hoe investeer ik in aandelen?").
• De "Personages": Ze hebben 25 echte mensen (vrijwilligers) gevraagd om hun echte leven, voorkeuren, budget en gewoonten te delen. Denk aan een 20-jarige student die van yoga houdt, of een 40-jarige manager met een drukke agenda en een hond.
• De Mix: Ze hebben deze 50 taken gekoppeld aan de 25 mensen. Dat levert 250 unieke scenario's op.
  • Vergelijking: Het is alsof je 250 verschillende klanten hebt die elk een andere jas laten naaien door 50 verschillende kleermakers. Dan kijk je: past de jas? Is hij comfortabel? En is het materiaal goed?

3. De Scorebord: De "PQR-Methode"

Hoe weet je of de AI het goed heeft gedaan? Ze hebben een nieuw scorebord bedacht, de PQR-methode. Stel je voor dat je een restaurantbeoordeling geeft, maar dan voor een AI-rapport:

1. P = Personalisatie (Is het voor mij?):
   • Vergelijking: Komt de kok met een gerecht dat past bij mijn dieet en smaak?
   • De AI moet weten: "Oh, deze gebruiker heeft een lage budget en houdt van wandelen, dus ik moet geen dure auto's of dure reizen aanraden."
2. Q = Kwaliteit (Is het goed geschreven?):
   • Vergelijking: Is het eten lekker en is het presentatie mooi?
   • Is het rapport logisch, diepgaand en makkelijk te lezen?
3. R = Betrouwbaarheid (Zijn de feiten waar?):
   • Vergelijking: Is het vlees vers en veilig?
   • Heeft de AI de feiten gecontroleerd en bronnen genoemd?

4. Wat hebben ze ontdekt? (De Resultaten)

Ze hebben verschillende AI-systemen op deze testbaan laten racen. Hier zijn de belangrijkste bevindingen:

• Open-source AI's (De "Knutselaars"): Systemen die door de gemeenschap zijn gebouwd (zoals OAgents) waren vaak beter in personalisatie. Ze luisterden goed naar de specifieke wensen van de gebruiker. Maar... ze maakten soms fouten in de feiten (ze waren soms onbetrouwbaar).
• Bedrijfs-AI's (De "Professionals"): Grote bedrijven (zoals Google en OpenAI) leverden zeer betrouwbare en hoge kwaliteit rapporten. Maar hun "maatwerk" was soms wat minder goed; ze waren iets te standaard.
• De "Zoekfunctie" is niet genoeg: Gewone AI's die gewoon een zoekmachine erbij hebben, bleken vaak slecht in het maken van een echt persoonlijk rapport. Ze konden de diepte niet vinden die een echte "Deep Research Agent" nodig heeft.
• Gegevens zijn goud: Als je de AI meer informatie geeft over de gebruiker (bijvoorbeeld een gedetailleerd profiel), wordt het resultaat veel beter. Maar als je alleen maar een losse zin geeft ("Ik wil een auto"), is het resultaat vaak saai.

5. Waarom is dit belangrijk?

Dit onderzoek is een stap in de juiste richting. Het laat zien dat we AI's niet alleen moeten testen op "weet je het antwoord?", maar ook op "weet je wie ik ben?".

In de toekomst willen we AI-assistenten die niet alleen slim zijn, maar ook empatisch. Ze moeten begrijpen dat jij anders bent dan je buurman, en dat jouw onderzoek daarom anders moet zijn. Deze testbaan helpt ontwikkelaars om die volgende generatie AI te bouwen: AI's die zich echt aanpassen aan jou, net als een goede persoonlijke assistent.

Kortom: Het is de eerste keer dat we een echte "proef" hebben om te zien of een AI-rechercheur niet alleen slim is, maar ook attent.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Towards Personalized Deep Research: Benchmarks and Evaluations", gepresenteerd in het Nederlands.

Titel: Towards Personalized Deep Research: Benchmarks and Evaluations

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Yuan Liang et al. (OPPO, Zhejiang University, M-A-P, 2077.AI)

---

1. Het Probleem

Deep Research Agents (DRAs) zijn geavanceerde AI-systemen die autonoom complexe onderzoeken uitvoeren en uitgebreide rapporten genereren. Hoewel er reeds benchmarks bestaan om de feitelijke nauwkeurigheid en volledigheid van deze agents te evalueren (zoals GAIA, BrowseComp en DeepResearch Bench), vertonen deze systemen een kritiek tekort: ze negeren personalisatie.

Bestaande evaluaties zijn voornamelijk "close-ended" (gesloten vragen met één juist antwoord) of open-ended maar generiek. Ze testen niet of een agent zich kan aanpassen aan de specifieke behoeften, voorkeuren, kennisniveau en context van een individuele gebruiker. Tegelijkertijd focussen bestaande benchmarks voor personalisatie (zoals LaMP of PersonaGym) zich op simpele dialogue of aanbevelingstaken en zijn ze niet geschikt voor de complexiteit van diep onderzoek. Er is dus een urgent behoefte aan een benchmark die specifiek de personalisatiecapaciteiten van DRAs meet.

2. Methodologie

De auteurs introduceren een nieuwe aanpak bestaande uit twee hoofdcomponenten: een nieuw benchmark en een nieuw evaluatiekader.

A. PDR-Bench (Personalized Deep Research Bench)

Dit is de eerste benchmark die specifiek is ontworpen om personalisatie in deep research te evalueren. De constructie omvat drie stappen:

1. Takenformulering: Er zijn 50 diverse deep research-taken gedefinieerd over 10 domeinen (bijv. carrière, gezondheid, financiën, onderwijs). Deze taken zijn ontworpen door domeinexperts en gevalideerd door een comité.
2. Authentieke Gebruikersprofielen: In plaats van synthetische persona's, zijn er 25 realistische gebruikersprofielen opgezet op basis van echte vrijwilligers. Elk profiel combineert:
   • Gestructureerde expliciete persona: Demografische gegevens, beroep, gezinssituatie, etc.
   • Dynamische context: Langlopende data verzameld via een app, inclusief dagelijkse interacties, gesprekken met een assistent en geheugenfragmenten (bijv. reiswensen, gezondheidsdoelen).
3. Query-Generatie: Door deze 25 profielen te koppelen aan de 50 taken, zijn er 250 unieke, realistische user-task queries gegenereerd. De koppeling is niet willekeurig, maar gebaseerd op een comité-gestuurd proces om ervoor te zorgen dat de taak relevant is voor de specifieke gebruiker.

B. De PQR Evaluatie Framework

Om de output van de agents te beoordelen, stellen de auteurs een drievoudig evaluatiekader voor (PQR):

1. P - Personalization Alignment (P-Score): Meet hoe goed het rapport is afgestemd op de gebruiker. Dit omvat vier dimensies:
   • Goal Alignment: Begrip van expliciete en impliciete doelen.
   • Content Alignment: Geschiktheid van diepte en breedte voor de kennis van de gebruiker.
   • Presentation Fit: Aansluiting bij de taal en voorkeuren van de gebruiker.
   • Actionability & Practicality: Bruikbaarheid voor besluitvorming.
   • Methode: Een LLM fungeert als meta-evaluator die dynamisch gewichten toekent aan deze dimensies en sub-criteria genereert op basis van de specifieke taak en persona.
2. Q - Content Quality (Q-Score): Meet de intrinsieke kwaliteit van het rapport, ongeacht de gebruiker. Dimensies: Diepte & Inzicht, Logische Coherentie, en Duidelijkheid & Leesbaarheid.
3. R - Factual Reliability (R-Score): Meet de feitelijke juistheid en bronvermelding. Dit omvat:
   • Factuele Nauwkeurigheid (FA): Percentage claims dat wordt ondersteund door de bron.
   • Citation Coverage (CC): Aandeel van de claims dat expliciet is geciteerd.

De uiteindelijke score is het gemiddelde van P, Q en R.

3. Belangrijkste Resultaten

De auteurs hebben diverse systemen getest, waaronder commerciële deep research agents (bijv. Gemini-2.5-Pro, O3, Perplexity), open-source agents (OAgents, DeerFlow, MiroFlow) en LLM's met zoektools.

• Open-source agents excelleren in personalisatie: Agents zoals OAgents behaalden de hoogste scores op personalisatie (P-Score: 6.64), vooral op het gebied van doel- en presentatie-aanpassing. Ze zijn echter minder betrouwbaar qua feitelijke nauwkeurigheid.
• Commerciële agents bieden balans: Systemen zoals Gemini-2.5-Pro presteren iets slechter op personalisatie, maar scoren aanzienlijk hoger op feitelijke betrouwbaarheid (FA en CC) en contentkwaliteit. Ze zijn robuust maar minder flexibel in aanpassing.
• LLM's met zoektools vallen tegen: Alleen een zoekfunctie toevoegen aan een standaard LLM is onvoldoende om de personalisatie en kwaliteit van gespecialiseerde deep research agents te evenaren.
• Invloed van informatie: De prestaties verbeteren consistent naarmate meer informatie beschikbaar is (Task Only < Task met Context < Task met Expliciete Persona). Echter, zelfs met context blijven agents moeite hebben om impliciete voorkeuren volledig af te leiden; expliciete persona's leveren de grootste winst op.
• Geheugensystemen: Experimenten met geavanceerde geheugensystemen (zoals O-Mem) tonen aan dat deze kunnen helpen context om te zetten in persona's, maar er blijft een significant gat tussen de huidige technologie en de ideale "Task w/Persona" prestatie.

4. Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. Definitie van Personalized Deep Research: Het formaliseren van de taak waarbij agents niet alleen informatie moeten synthetiseren, maar hun zoek-, redenerings- en rapportageprocessen moeten aanpassen aan een gebruikerspersona.
2. PDR-Bench: De introductie van de eerste benchmark voor deze taak, met 250 realistische queries die diep onderzoek koppelen aan authentieke, dynamische gebruikersprofielen.
3. PQR Framework: Een nieuw, holistisch evaluatiekader dat personalisatie, kwaliteit en feitelijke betrouwbaarheid simultaan meet, waarbij personalisatie dynamisch wordt beoordeeld op basis van de specifieke gebruiker.
4. Empirische Inzichten: Een uitgebreide analyse van de huidige staat van de kunst, die laat zien dat personalisatie en feitelijke betrouwbaarheid vaak een trade-off vormen en dat huidige systemen moeite hebben met het afleiden van voorkeuren uit ongestructureerde context.

5. Betekenis en Impact

Dit werk vult een kritieke lacune in de evaluatie van AI-agenten. Door personalisatie centraal te stellen, biedt het een rigoureuze basis voor de ontwikkeling van de volgende generatie AI-onderzoekassistenten die niet alleen "slim" zijn, maar ook echt "persoonlijk" en nuttig voor individuele gebruikers in complexe, real-world scenario's. Het benadrukt dat toekomstige systemen niet alleen feiten moeten vinden, maar deze ook moeten vertalen naar actiegerichte inzichten die aansluiten bij de unieke levenssituatie van de gebruiker.