Towards Personalized Deep Research: Benchmarks and Evaluations

Die Arbeit stellt mit PDR-Bench den ersten Benchmark zur Evaluierung personalisierter Deep-Research-Agenten vor, der 250 realistische Nutzer-Aufgaben-Paare mit einem neuen Bewertungsrahmen kombiniert, um Personalisierung, Inhaltsqualität und faktische Zuverlässigkeit zu messen.

Das Wesentliche

Stell dir vor, du hast einen extrem intelligenten, aber noch etwas steifen Forschungsassistenten. Bisher war dieser Assistent wie ein sehr guter Bibliothekar: Wenn du ihn fragst „Was ist die beste Kamera?", sucht er nach Fakten, vergleicht Preise und gibt dir eine neutrale, sachliche Liste. Das ist toll, aber es ignoriert, wer du bist.

Wenn du ein junger Student mit wenig Geld bist, ist die „beste" Kamera eine andere als wenn du ein reicher Fotograf bist, der nur das Beste will. Bisher konnten diese KI-Assistenten diesen Unterschied kaum machen.

Dieses Papier von OPPO und der Zhejiang University möchte genau das ändern. Es stellt einen neuen Standard vor, um zu testen, ob KI-Assistenten wirklich persönlich werden können.

Hier ist die Erklärung in einfachen Bildern:

1. Das Problem: Der „Einheitsbrei"-Assistent

Bisher haben Forscher KI-Systeme getestet, indem sie ihnen Aufgaben wie „Finde den günstigsten Flug nach Berlin" gaben. Die KI musste nur die richtige Antwort finden. Das ist wie ein Multiple-Choice-Test.
Aber im echten Leben ist Forschung selten so einfach. Es geht darum: „Ich brauche einen Flug nach Berlin, aber ich bin allergisch gegen Koffein, mag keine frühen Flüge und habe ein Budget von 500 Euro."
Die alten Tests haben diese persönlichen Details ignoriert. Sie haben nur geprüft: „Ist die Antwort richtig?" Nicht: „Ist die Antwort für dich richtig?"

2. Die Lösung: PDR-Bench (Der neue Prüfstand)

Die Autoren haben einen neuen Test entwickelt, den sie PDR-Bench nennen. Stell dir das wie einen Schaukelstuhl-Test vor.

• Der Stuhl (Die Aufgabe): Es gibt 50 verschiedene komplexe Aufgaben (z. B. „Finde einen PhD-Studienplatz" oder „Plan eine Reise").
• Der Mensch (Das Profil): Es gibt 25 echte Menschen mit echten Geschichten, Vorlieben, Ängsten und Gewohnheiten (z. B. „Student, mag Yoga, hat wenig Geld, liebt Hunde").
• Der Test: Die KI muss für jeden dieser 25 Menschen eine Antwort auf jede der 50 Aufgaben finden. Das ergibt 250 verschiedene Szenarien.

Es ist, als würdest du einen Koch testen, der für 25 verschiedene Gäste kochen muss. Einem Gast muss er ein scharfes Curry kochen, dem anderen ein mildes Gemüsegericht. Wenn der Koch für alle das gleiche Gericht serviert, besteht er den Test nicht, auch wenn das Essen an sich lecker ist.

3. Die Bewertung: Der PQR-Rahmen

Wie messen sie, ob der Koch gut war? Sie nutzen ein neues Bewertungssystem namens PQR, das sich wie ein Dreiklang anhört:

• P = Personalisierung (Passt es zu mir?):

  • Analogie: Wenn du einen Anwalt suchst, der sich auf Sportrecht spezialisiert, und der Anwalt dir einen Vertrag für ein Bauernhaus gibt, ist er zwar ein guter Anwalt, aber für dich nutzlos.
  • Die KI wird geprüft: Hat sie deine Vorlieben (z. B. „Ich mag keine langen Texte") beachtet? Ist die Antwort auf deine Situation zugeschnitten?

• Q = Qualität (Ist es gut gemacht?):

  • Analogie: Selbst wenn der Anwalt genau das richtige Dokument hat, ist es wertlos, wenn es voller Rechtschreibfehler ist oder keinen Sinn ergibt.
  • Hier wird geprüft: Ist der Text logisch, tiefgründig und gut lesbar?

• R = Zuverlässigkeit (Stimmen die Fakten?):

  • Analogie: Ein Anwalt, der dir eine Lüge erzählt, ist gefährlich.
  • Hier wird geprüft: Hat die KI die Informationen wirklich überprüft? Sind die Quellen echt?

4. Was haben sie herausgefunden? (Die Ergebnisse)

Als sie verschiedene KI-Systeme getestet haben, kam eine interessante Geschichte ans Licht:

• Die „Open-Source"-Helden: Einige frei verfügbare KI-Systeme waren sehr gut darin, sich in die Rolle des Nutzers zu versetzen (sie waren sehr „persönlich"). Aber sie hatten manchmal Probleme, die Fakten 100% korrekt zu halten (wie ein sehr empathischer, aber etwas vergesslicher Freund).
• Die „Großen Firmen"-Profis: Die teuren, kommerziellen Systeme (von Google, OpenAI etc.) waren sehr zuverlässig und machten kaum Faktenfehler. Aber sie waren oft etwas steifer und weniger kreativ darin, sich wirklich auf den einzelnen Nutzer einzustellen (wie ein sehr effizienter, aber etwas distanzierter Büroangestellter).
• Das Problem mit dem Kontext: Wenn man der KI nur sagt „Hier ist meine Aufgabe", ohne ihre Persönlichkeit zu zeigen, macht sie es schlecht. Wenn man ihr aber sagt „Hier ist die Aufgabe UND hier ist deine komplette Lebensgeschichte", wird sie viel besser. Das zeigt: KI braucht mehr als nur eine Frage; sie braucht den Kontext des Menschen.

Fazit: Warum ist das wichtig?

Dieses Papier ist wie ein Weckruf für die KI-Entwickler.
Bisher haben wir KI gebaut, die wie ein Wörterbuch funktioniert (alles ist neutral und richtig).
Die Zukunft braucht KI, die wie ein persönlicher Berater funktioniert (der weiß, dass du gerne spät aufbleibst, Angst vor hohen Kosten hast und lieber Bilder als Text magst).

Dieser neue Test (PDR-Bench) ist das erste Maßband, um zu sehen, ob KI-Assistenten wirklich lernen können, uns als individuelle Menschen zu verstehen und nicht nur als Datenpunkte zu behandeln. Es ist der erste Schritt hin zu einem KI-Assistenten, der sich wirklich wie ein Freund anfühlt, der dich kennt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Towards Personalized Deep Research: Benchmarks and Evaluations" auf Deutsch:

Titel: Towards Personalized Deep Research: Benchmarks and Evaluations

Veröffentlicht: ICLR 2026
Autoren: Yuan Liang et al. (OPPO, Zhejiang University, M-A-P, 2077.AI)

---

1. Problemstellung

Deep Research Agents (DRAs) sind fortschrittliche KI-Systeme, die autonome Untersuchungen durchführen und umfassende Berichte generieren können. Trotz ihrer Fähigkeiten in der Informationsbeschaffung und -synthese fehlt es aktuellen Evaluierungsmethoden an einem kritischen Aspekt: der Personalisierung.

• Lücke in der Forschung: Bestehende Benchmarks (z. B. GAIA, BrowseComp, DeepResearch Bench) konzentrieren sich fast ausschließlich auf geschlossene Aufgaben, faktische Genauigkeit und allgemeine Vollständigkeit. Sie ignorieren, wie gut ein Agent auf die spezifischen Bedürfnisse, Vorlieben, das Budget und das Vorwissen eines einzelnen Nutzers eingeht.
• Mangelnde Relevanz: Existierende Personalisierungsbenchmarks (z. B. LaMP, PersonaGym) beschränken sich meist auf Dialoge oder Empfehlungssysteme und erfassen nicht die Komplexität von tiefgehenden Forschungsarbeiten (Deep Research).
• Kernproblem: Es fehlt ein standardisiertes Framework, um zu bewerten, ob ein DRA nicht nur einen „guten" Bericht liefert, sondern einen Bericht, der für einen bestimmten Nutzer wirklich nützlich und maßgeschneidert ist.

2. Methodik und Benchmark-Construction (PDR-Bench)

Die Autoren stellen PDR-Bench vor, den ersten Benchmark zur Evaluierung von Personalisierung in Deep Research Agents. Der Aufbau folgt einem dreistufigen Prozess (siehe Abbildung 1 im Paper):

1. Aufgabengenerierung (Deep Research Tasks):

   • Es wurden 50 diverse Forschungsarbeiten in 10 verschiedenen Domänen (z. B. Bildung, Karriere, Gesundheit, Finanzen, Reisen) definiert.
   • Die Aufgaben wurden von Domänenexperten entworfen und durch ein Komitee validiert, um Komplexität (mehrschrittiges Reasoning), Klarheit und Relevanz für personalisierte Szenarien zu gewährleisten.

2. Erstellung authentischer Nutzerprofile:

   • Anstelle von synthetischen Daten wurden 25 echte Nutzerprofile von Freiwilligen erstellt.
   • Diese Profile kombinieren strukturierte explizite Attribute (Alter, Beruf, Einkommen, Familienstand) mit dynamischem Kontext.
   • Der dynamische Kontext wurde durch Simulation von täglichen Interaktionen (z. B. Tagebucheinträge, Gespräche mit einem Assistenten) über eine App generiert, um implizite Präferenzen und sich entwickelnde Interessen abzubilden.

3. Paarung zu personalisierten Queries:

   • Durch eine nutzergetriebene, komiteegeführte Zuordnung wurden 250 einzigartige Nutzer-Aufgaben-Paare erstellt.
   • Dies stellt sicher, dass jede Forschungsfrage nicht nur technisch lösbar ist, sondern spezifisch auf die Motivation und den Hintergrund eines bestimmten Nutzers zugeschnitten ist.

3. Evaluierungsframework: PQR

Um die Leistung der Agenten zu messen, wurde das PQR-Evaluierungsframework entwickelt, das drei orthogonale Dimensionen kombiniert:

• P – Personalization Alignment (P-Score):

  • Misst, wie gut der Bericht auf den Nutzer zugeschnitten ist.
  • Dimensionen: Zielalignment (GOAL), Inhaltsalignment (CONT), Präsentationsanpassung (PRES) und Handlungsfähigkeit/Praktikabilität (ACTI).
  • Methode: Ein dynamischer, LLM-gesteuerter Prozess, der für jedes Nutzer-Aufgaben-Paar spezifische Gewichte und Unterkriterien generiert, um subjektive Personalisierung objektiv zu bewerten.

• Q – Content Quality (Q-Score):

  • Bewertet die inhärente Qualität des Berichts unabhängig vom Nutzerprofil.
  • Dimensionen: Tiefe & Einsicht (DEIN), Logische Kohärenz (LOGC) und Klarheit & Lesbarkeit (CLAR).

• R – Factual Reliability (R-Score):

  • Bewertet die faktische Zuverlässigkeit und die Nutzung von Quellen.
  • Metriken: Faktische Genauigkeit (FA) und Zitierabdeckung (CC).
  • Methode: Automatisierte Extraktion von Faktenbehauptungen, Rückverfolgung zu Quellen (via Jina Reader API) und Verifizierung, ob die Quelle die Behauptung stützt.

Der Gesamtscore ist der arithmetische Mittelwert aus P, Q und R.

4. Experimente und Ergebnisse

Die Autoren evaluierten eine breite Palette von Systemen, darunter kommerzielle DRAs (Gemini-2.5-Pro, O3, Perplexity), Open-Source-Agenten (OAgents, DeerFlow, MiroFlow) und LLMs mit Suchtools.

Hauptergebnisse:

• Open-Source-Agenten überlegen in Personalisierung: Systeme wie OAgents und MiroFlow erzielten die höchsten Scores im Bereich Personalisierung (P-Score), da sie besser in der Lage waren, Nutzerprofile in die Recherche zu integrieren.
• Kommerzielle Agenten bei Zuverlässigkeit stark: Kommerzielle Systeme (z. B. Gemini-2.5-Pro Deep Research) zeigten eine deutlich höhere faktische Genauigkeit (FA) und Zitierabdeckung (CC), waren aber in der Personalisierung etwas schwächer als die Open-Source-Lösungen.
• LLMs mit Suchtools unterdurchschnittlich: Reine LLMs, die nur mit Suchtools ausgestattet sind, scheiterten oft daran, die Tiefe und Personalisierung dedizierter Deep-Research-Agenten zu erreichen.
• Einfluss der Informationsverfügbarkeit:
  • Die Bereitstellung expliziter Nutzerprofile führt zu den besten Ergebnissen.
  • Die Nutzung von reinem Kontext (ohne explizites Profil) verbessert die Leistung gegenüber „Task Only", bleibt aber hinter der expliziten Profilierung zurück. Agenten haben Schwierigkeiten, implizite Präferenzen aus unstrukturierten Daten vollständig abzuleiten.
• Rolle von Memory-Systemen: Experimente mit fortschrittlichen Memory-Systemen (z. B. O-Mem) zeigten Potenzial, Kontext in nutzbare Profile zu transformieren, aber es besteht noch eine signifikante Lücke zu expliziten Profilen.

5. Bedeutung und Beiträge

• Erster Benchmark für personalisierte Deep Research: PDR-Bench füllt eine kritische Lücke in der KI-Forschung, indem es Personalisierung als zentrale Metrik für Deep Research Agents etabliert.
• Rigoroses Evaluierungsframework: Das PQR-Framework bietet einen ganzheitlichen Ansatz, der über reine Faktenprüfung hinausgeht und die Nutzerzentriertheit (Personalization Alignment) quantifiziert.
• Grundlage für die nächste Generation von KI-Assistenten: Die Arbeit liefert die notwendigen Werkzeuge und Daten, um KI-Systeme zu entwickeln, die nicht nur „richtige" Antworten geben, sondern als echte, individuelle Forschungsassistenten fungieren, die sich an den Kontext, das Wissen und die Ziele des Nutzers anpassen.
• Ethik und Reproduzierbarkeit: Das Paper betont strenge ethische Richtlinien (anonymisierte Daten, informierte Einwilligung) und verspricht die vollständige Veröffentlichung des Benchmarks und der Evaluierungsmethoden.

Zusammenfassend markiert diese Arbeit einen Paradigmenwechsel von der Bewertung von KI als reinem Informationsretriever hin zur Bewertung als personalisiertem, kontextbewusstem Forschungsassistenten.