🤖 AI

Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data

Dieses Paper stellt Setoka vor, einen neuartigen Benchmark, der in der kognitiven und Persönlichkeitspsychologie verwurzelt ist und die Fähigkeit personalisierter Agenten zur hierarchischen Nutzerverständnis – von semantischem und episodischem Gedächtnis bis hin zu Verhaltensmustern und Persönlichkeitsmerkmalen – über heterogene Daten hinweg evaluiert, wobei aufgezeigt wird, dass aktuelle Systeme erheblich bei Aufgaben Schwierigkeiten haben, die die Integration und Abstraktion fragmentierter Langzeitinformationen über die einfache Faktenabfrage hinaus erfordern.

Ursprüngliche Autoren: Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

Veröffentlicht 2026-07-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einen neuen Freund kennenlernen. Sie könnten ihn einfach fragen: „Wie lautet deine Telefonnummer?“ oder „Wann ist dein Meeting?“ und die Antwort aufschreiben. Das ist einfach; es ist nur das Abrufen eines Faktums. Aber echte Freundschaft geht tiefer. Es ist das Bemerken, dass Ihr Freund immer über dieselbe Art von Witzen lacht, oder dass er griesgrämig wird, wenn es regnet, oder dass er die Art von Mensch ist, der seine ganze Woche im Voraus plant. Das sind keine Fakten, die man einfach nachschlagen kann; es sind Muster, die man aus vielen verschiedenen Gesprächen, Texten und Momenten über die Zeit hinweg zusammensetzen muss.

In der Welt der künstlichen Intelligenz bauen wir „Agenten“, die wie persönliche Assistenten agieren. Momentan werden diese KI-Helfer ziemlich gut in den einfachen Dingen: Sie merken sich Ihre Telefonnummer oder finden eine Besprechungszeit in Ihrem Kalender. Aber Wissenschaftler sind besorgt, dass diese Agenten schlecht im „tiefen“ Bereich sind. Sie haben Schwierigkeiten zu verstehen, wer Sie wirklich sind – Ihre Gewohnheiten, Ihre Persönlichkeit und Ihr langfristiges Verhalten. Um dies zu beheben, benötigen Forscher eine Möglichkeit, zu testen, ob eine KI einen Menschen tatsächlich „versteht“ und nicht nur eine Datei liest. Hier kommt eine neue Studie ins Spiel, die versucht, einen besseren Test zu entwickeln, um zu sehen, ob KI von einem einfachen Notiznehmer zu einem echten, verstehenden Begleiter aufsteigen kann.

Das Problem: Die KI hat Amnesie für das, „wer Sie sind“

Stellen Sie sich Ihr digitales Leben wie einen riesigen, unordentlichen Dachboden vor, der mit verschiedenen Arten von Kisten gefüllt ist. Einige Kisten sind mit „Nachrichten“ beschriftet, andere mit „Kalenderereignissen“ und wieder andere mit „Sozialen Kontakten“. Momentan sind die meisten KI-Assistenten wie ein Bibliothekar, der nur eine ganz bestimmte Kiste herausziehen kann, wenn man ihn darum bittet. Wenn Sie fragen: „Wie ist Alices Telefonnummer?“, findet die KI die Kiste „Kontakte“ und liest die Nummer vor. Ganz einfach.

Aber was, wenn Sie fragen: „Bin ich ein extrovertierter Mensch?“ oder „Wie oft treffe ich mich normalerweise an Wochenenden mit Freunden?“ Die KI kann nicht einfach eine Kiste öffnen. Sie muss in Ihren Kalender schauen, um Gruppenevents zu sehen, Ihre Nachrichten prüfen, um zu sehen, wie aktiv Sie in Chats sind, und Ihre sozialen Verbindungen scannen, um zu sehen, wie viele Freunde Sie haben. Sie muss die Punkte über verschiedene Datentypen hinweg verbinden, um ein Muster zu erkennen. Das Problem ist, dass aktuelle KI-Systeme darin sehr schlecht sind. Sie sind großartig darin, Fakten zu finden, aber schrecklich darin, die Geschichte hinter den Fakten zu verstehen.

Setoka: Der ultimative „Lerne dich kennen“-Test

Um dies zu lösen, hat ein Forscherteam einen neuen Benchmark namens Setoka entwickelt. Sie können sich Setoka als ein riesiges, superorganisiertes Simulationslabor vorstellen. Anstatt echte private Daten von Menschen zu verwenden (was ein Albtraum für die Privatsphäre wäre), haben die Forscher eine „Psychologie-Fabrik“ gebaut.

So funktioniert diese Fabrik:

Der Entwurf: Zuer Sie verwenden echte psychologische Wissenschaft, um 10 fiktive Personen zu erschaffen. Sie raten nicht einfach, wie diese Menschen sind; sie nutzen ein spezielles mathematisches Modell, um sicherzustellen, dass die Persönlichkeiten Sinn ergeben. Wenn eine fiktive Person zum Beispiel sehr „extrovertiert“ ist, stellt die Mathematik sicher, dass sie nicht gleichzeitig auf eine Weise „schüchtern“ ist, die bei echten Menschen selten vorkommt.
Das Verhalten: Als Nächstes übersetzen sie diese Persönlichkeiten in tägliche Gewohnheiten. Wenn eine Person „extrovertiert“ ist, generiert das System einen realistischen Zeitplan, in dem sie alle zwei Tage mit Freunden spricht, täglich Multiplayer-Spiele spielt und ein paar Mal pro Woche Sitcoms schaut.
Die unordentlichen Daten: Schließlich verwandeln sie diese Gewohnheiten in einen riesigen Haufen digitaler Unordnung. Sie erstellen tausende von gefälschten Textnachrichten, Kalendereinträgen und Social-Network-Logs, die sich über zwei Monate erstrecken. Dies sind die „heterogenen Daten“ – eine Mischung aus verschiedenen Dateitypen, durch die eine KI sich hindurcharbeiten müsste.

Sobald die Fabrik läuft, stellen sie der KI 1.426 Fragen über diese fiktiven Personen. Die Fragen sind in vier Schwierigkeitsstufen unterteilt, wie in einem Videospiel mit steigenden Endgegnern:

Stufe 1 (Semantisches Gedächtnis): „Wie lautet Alices Telefonnummer?“ (Nur den Fakt finden).
Stufe 2 (Episodisches Gedächtnis): „Was hat der Nutzer am Abend des 20. April gemacht?“ (Kombiniere einen Kalendereintrag, eine Textnachricht und ein Standortprotokoll, um ein spezifisches Ereignis zu rekonstruieren).
Stufe 3 (Verhaltensmuster): „Wie oft pro Woche geht der Nutzer sozial aktiv aus?“ (Betrachte Wochen an Daten und zähle die Gesamtzahl).
Stufe 4 (Persönlichkeitsmerkmal): „Wie extrovertiert ist der Nutzer?“ (Betrachte alle sozialen Daten, die Arbeitsgewohnheiten und die Freizeitaktivitäten, um eine tiefe Persönlichkeitseigenschaft zu erraten).

Was sie fanden: Der „Faktenfinder“ vs. der „Gedankenleser“

Die Forscher testeten 3 verschiedene KI-Gehirne (von einem leistungsstarken Cloud-Modell bis hin zu einem kleineren, das auf einem Telefon laufen könnte) gepaart mit 5 verschiedenen Gedächtnissystemen (einige organisieren Daten wie einen Graphen, andere wie eine einfache Liste).

Die Ergebnisse waren ein wenig wie ein Weckruf für die KI-Welt:

Die einfachen Dinge sind gelöst: Wenn es nur darum ging, ein Faktum zu finden (Stufe 1), war die KI großartig. Tatsächlich brauchte die KI manchmal nicht einmal ein spezielles Gedächtnissystem; sie konnte die Rohdaten einfach wie eine Datenbank abfragen.
Der Mittelweg ist schwierig: Sobald die KI ein paar Informationen kombinieren musste, um ein bestimmtes Ereignis zu erinnern (Stufe 2), sanken die Werte.
Die tiefen Dinge sind defekt: Als die KI Muster finden oder Persönlichkeitsmerkmale erraten musste (Stufe 3 und 4), brach die Leistung ein. Die besten Systeme beantworteten nur etwa 24 % der Fragen zu Persönlichkeitsmerkmalen korrekt.

Die Studie legt nahe, dass es nicht ausreicht, die KI einfach nur mehr Fakten „erinnern“ zu lassen. Die aktuellen Systeme sind wie Schüler, die ein Lehrbuch perfekt auswendig lernen können, aber bei der Essay-Frage scheitern, weil sie die Ideen nicht miteinander verknüpfen können. Die Forscher fanden heraus, dass eine KI, um einen Nutzer zu verstehen, mehr tun muss, als nur Daten abzurufen; sie muss verschiedene Quellen verknüpfen, sie über die Zeit aggregieren und verallgemeinern, um verborgene Eigenschaften zu finden.

Das Fazit

Setoka zeigt uns, dass wir noch weit davon entfernt sind, eine KI zu haben, die uns wirklich „kennt“. Während unsere digitalen Assistenten immer besser darin werden, sich unsere Telefonnummern und Besprechungszeiten zu merken, haben sie immer noch Schwierigkeiten, unsere Gewohnheiten und Persönlichkeiten zu verstehen. Die Studie legt nahe, dass der nächste große Durchbruch nicht einfach dadurch kommen wird, der KI mehr Gedächtnis zu geben, sondern sie zu lehren, wie sie die unordentlichen, verstreuten Teile unseres digitalen Lebens zu einem kohärenten Bild dessen, wer wir wirklich sind, verwebt. Bis dahin werden unsere KI-Freunde vielleicht wissen, was wir gestern gemacht haben, aber sie wissen immer noch nicht wirklich, wer wir sind.

Technisches Resümee: Setoka – Ein Benchmark für hierarchisches Nutzerverständnis in personalisierten Agenten

1. Problemstellung

Personalisierte Agenten auf Basis von Large Language Models (LLMs) werden zunehmend eingesetzt, um Nutzer zu unterstützen, was die Fähigkeit erfordert, sowohl explizite Fakten abzurufen als auch abstrakte persönliche Eigenschaften zu inferieren. Bestehende Memory-Benchmarks bewerten jedoch primär die Kapazität eines Agenten, Informationen abzurufen, die explizit in Gesprächshistorien angegeben sind. Sie versäumen es, das hierarchische Nutzerverständnis zu bewerten, insbesondere die Fähigkeit, implizites Evidenzmaterial über heterogene Datenquellen hinweg (z. B. unstrukturierter Text, strukturierte Datensätze, Graphen) zu integrieren, um tiefere Nutzerattribute wie Verhaltensmuster und Persönlichkeitsmerkmale zu inferieren.

Die Konstruktion eines Benchmarks für diese Aufgabe steht vor vier primären Herausforderungen:

C1 (Hierarchisches Nutzerverständnis): Die Anforderungen an das logische Schließen variieren von einfachem Fakt-Abruf bis hin zu komplexer Persönlichkeitsinferenz, was ein Framework erfordert, das diese Ebenen unterscheidet.
C2 (Realistische Persona-Stichproben): Synthetische Personas müssen kohärente Individuen widerspiegeln, bei denen Merkmalskombinationen realweltlichen psychologischen Korrelationen folgen, statt zufällige Bündel von Merkmalen zu sein.
C3 (Diverse Trait-Behavior-Mapping): Ein einzelnes Persönlichkeitsmerkmal kann sich als vielfältiges Verhalten in verschiedenen Kontexten manifestieren; Generierungsmethoden müssen stereotype Zuordnungen vermeiden.
C4 (Skalierbare und konsistente Generierung): Die Generierung langfristiger, heterogener Nutzerdaten erfordert die Aufrechterhaltung der Konsistenz über Datensätze hinweg sowie die Wahrung von Verhaltensbeschränkungen über die Zeit, ohne dass ein Context Overflow auftritt.

2. Methodik

2.1 Das Setoka-Framework

Setoka definiert eine vierstufige Hierarchie des Nutzerverständnisses, die in der kognitiven und Persönlichkeitspsychologie verwurzelt ist:

Semantisches Gedächtnis (SM): Abruf expliziter Fakten aus einzelnen Datensätzen (z. B. eine Telefonnummer).
Episodisches Gedächtnis (EM): Integration von Datensätzen, die ein spezifisches Ereignis beschreiben (z. B. „Was geschah am 20. April?“).
Verhaltensmuster (BP): Aggregation von Ereignissen über die Zeit, um Regelmäßigkeiten zu identifizieren (z. B. „Wie oft geht der Nutzer sozialisieren?“).
Persönlichkeitsmerkmale (PT): Generalisierung über mehrere Verhaltensmuster und Ereigniskategorien hinweg, um latente Dispositionen zu inferieren (z. B. „Wie extravertiert ist der Nutzer?“).

Das Framework formalisiert den Übergang zwischen den Ebenen mittels vier Operatoren: Selektion ( $\sigma$ ), Verknüpfung ( $\lambda$ ), Aggregation ( $\gamma$ ) und Generalisierung ( $\rho$ ). Evidenzmengen bilden eine verschachtelte Kette ( $E_{SM} \subseteq E_{EM} \subseteq E_{BP} \subseteq E_{PT}$ ), wobei höhere Ebenen breitere Evidenzbereiche und zusätzliche Transformationen erfordern.

2.2 Psychometrie-basierte Generierungspipeline

Um die Herausforderungen einer realistischen und konsistenten Datengenerierung zu adressieren, nutzt Setoka eine Top-Down-Pipeline:

Korrelationsbewusste Merkmalsprobennahme: Anstatt Merkmale unabhängig voneinander zu sampeln, zieht die Pipeline Persönlichkeitsvektoren (Big Five) aus einer multivariaten Gaußschen Verteilung. Die Kovarianzmatrix leitet sich aus metaanalytischen psychometrischen Korrelationen ab, wodurch sichergestellt wird, dass synthetische Personas realistische Interdependenzen der Merkmale widerspiegeln.
Psychologische Skalen-gesteuerte Verhaltensgenerierung: Um eine stereotype LLM-Generierung zu vermeiden, werden die gesampelten Merkmalsvektoren mithilfe validierter psychologischer Skalen (speziell der BFI-2) auf Verhaltensmuster abgebildet. Dies konvertiert Merkmalswerte in Item-Level-Antworten, die wiederum in konkrete, diverse Verhaltensmuster übersetzt werden.
Ereignisbasierter Generierungsbaum: Um langfristige Konsistenz zu gewährleisten, werden Verhaltensmuster in eine temporale Hierarchie von Ereignissen expandiert. Kind-Ereignisse werden sequenziell generiert, um Kontinuität zu wahren, während Details parallel expandiert werden. Alle heterogenen Datensätze (Logs, Relationen, Nachrichten) werden aus einer einzigen „Source of Truth“ (dem Ereignis) abgeleitet, um die konsistente Struktur über verschiedene Schemata hinweg zu wahren.
Query-Konstruktion: Testinstanzen $(q, a, E)$ werden automatisch basierend auf dem Ground Truth des Generierungsprozesses erstellt. Die Queries sind darauf ausgelegt, den spezifischen Reasoning-Operator zu isolieren, der auf der jeweiligen Ebene erforderlich ist (z. B. Partial-Cue Recovery für EM, statistische Aggregation für BP).

2.3 Experimentelles Setup

Die Autoren instanzierten Setoka mit 10 synthetischen Nutzerprofilen, die etwa 1.600 heterogene Datensätze über 23 Schemata und drei Datenmodelle (relational, Graph, unstrukturiert) umfassen.

Evaluierte Modelle: Drei LLMs (DeepSeek-V4-Flash, Ministral 3 14B, Gemma 3 4B-IT).
Memory-Systeme: Fünf Systeme, die unterschiedliche Paradigmen repräsentieren: Graph-strukturiert (Cognee, HippoRAG 2), flach faktenbasiert (Mem0) und hierarchisch (MemMachine, Letta).
Baseline: Eine DBQuery-Baseline, bei der das LLM direkt mit Rohdatenbanken interagiert, ohne eine intermediäre Memory-Konstruktion.
Metriken: LLM-Judge-Ähnlichkeitswerte für SM, EM und BP; Kendall's Rank Correlation Coefficient für PT (Bewertung der korrekten relativen Ordnung der Nutzer).

3. Kernergebnisse

Leistungsabfall mit steigender Abstraktion: Die Genauigkeit sinkt monoton mit zunehmender Abstraktionsebene. Die besten Werte fielen von 0,85 (SM) auf 0,46 (EM), 0,28 (BP) und 0,24 (PT). Die Durchschnittswerte folgten einem ähnlichen Trend und sanken von 0,37 auf 0,07.
Memory-Konstruktion vs. Direkte Abfrage:
- DBQuery übertraf die Memory-Systeme bei SM (0,85), indem es exakte Details aus einzelnen Datensätzen abrief, schnitt jedoch bei EM (0,27) schlecht ab, wo die Integration mehrerer Datensätze erforderlich war.
- MemMachine (hierarchisch) erreichte den besten EM-Wert (0,46), was auf die Kombination aus der Bewahrung feingranularer Details und der zeitlichen Kontextabfrage zurückzuführen ist.
- Graph-strukturierte Systeme (Cognee, HippoRAG 2) schnitten generell besser ab bei BP- und PT-Aufgaben, was darauf hindeutet, dass die Verknüpfung verwandter Datensätze die Aggregation wiederkehrender Verhaltensweisen zu höheren Merkmalen begünstigt.
Antwortrate vs. Kompetenz: Ein kontraintuitiver Befund war, dass die Antwortraten mit steigender Abstraktion zunahmen (72 % für SM zu 93 % für PT), während die Genauigkeit sank. Dies deutet darauf hin, dass Modelle eher dazu neigen, abstrakte Merkmale zu „raten“, wenn Evidenz fehlt, während sie sich bei der Beantwortung konkreter faktischer Fragen enthalten, wenn die Evidenz fehlt.

4. Beiträge und Bedeutung

Das Paper beansprucht die folgenden Beiträge:

Identifikation einer Limitation: Es hebt hervor, dass bestehende Benchmarks das mehrstufige Nutzerverständnis, das für personalisierte Agenten erforderlich ist – insbesondere hinsichtlich der Integration heterogener Daten – unzureichend evaluieren.
Erstes psychologiebasiertes Framework: Setoka führt das erste Framework ein, das von konkreten Erinnerungen bis hin zu abstrakten Charakteristika reicht und dabei die Evidenzbereiche und Reasoning-Operationen für jede Ebene explizit definiert.
Psychometrische Generierungspipeline: Es entwickelt eine skalierbare Generierungspipeline, die kohärente, rückverfolgbare heterogene Nutzerdaten auf Basis psychologischer Theorie produziert und somit leghebenspezifische Abfragen mit verifizierbarer Evidenz ermöglicht.
Umfassende Evaluation: Durch die Evaluierung von 3 Modellen und 5 Memory-Systemen zeigt das Paper auf, dass einfacher Fakt-Abruf für ein tiefes Nutzerverständnis nicht ausreicht.

Bedeutung:
Die Autoren kommen zu dem Schluss, dass aktuelle Memory-Mechanismen für Aufgaben, die eine Integration über Quellen hinweg und Abstraktion über langfristige Verhaltensweisen erfordern, unzureichend sind. Die Ergebnisse motivieren das Design von Memory-Systemen, die in der Lage sind, Nutzer-Evidenz über den rein wörtlichen Abruf hinaus zu verknüpfen, zu aggregieren und zu generalisieren. Setoka dient als Testfeld, um Fortschritte in diesen Bereichen voranzutreiben, und zeigt auf, dass während der Abruf (Retrieval) sich verbessert, die Fähigkeit, latente Attribute aus fragmentierten, heterogenen Daten zu inferieren, weiterhin eine signifikante, ungelöste Herausforderung bleibt.