🤖 AI

Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data

Dit artikel introduceert Setoka, een nieuwe benchmark geworteld in de cognitieve en persoonlijkheidspsychologie die het vermogen van gepersonaliseerde agenten evalueert om hiërarchisch gebruikersbegrip uit te voeren — van semantisch en episodisch geheugen tot gedragspatronen en persoonlijkheidskenmerken — over heterogene data, waarbij wordt onthuld dat huidige systemen aanzienlijk moeite hebben met taken die integratie en abstractie van gefragmenteerde langetermijninformatie vereisen die verder gaat dan eenvoudige feitretrieval.

Oorspronkelijke auteurs: Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

Gepubliceerd 2026-07-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lingyang Zeng, Guangze Chen, Kaichen Yu, Zhicheng Pan, Siyang Weng, Zirui Hu, Xiangyun Du, Hailin He, Rong Zhang, Chengcheng Yang, Kai Huang, Xuan Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe vriend probeer te leren kennen. Je zou gewoon kunnen vragen: "Wat is je telefoonnummer?" of "Hoe laat is je vergadering?" en het antwoord opschrijven. Dat is makkelijk; het is gewoon het ophalen van een feit. Maar echte vriendschap is dieper. Het is opmerken dat je vriend altijd om hetzelfde type grappen lacht, of dat ze chagrijnig lijken als het regent, of dat ze het soort persoon zijn die hun hele week van tevoren plant. Dit zijn geen feiten die je zomaar kunt opzoeken; het zijn patronen die je door de tijd heen uit te puzzelen moet via vele verschillende gesprekken, sms-jes en momenten.

In de wereld van kunstmatige intelligentie bouwen we "agenten" die fungeren als persoonlijke assistenten. Op dit moment worden deze AI-helpers behoorlijk goed in de makkelijke dingen: het onthouden van je telefoonnummer of het vinden van een vergadering in je agenda. Maar wetenschappers maken zich zorgen dat deze agenten slecht zijn in het "diepe" werk. Ze worstelen met het begrijpen van wie je echt bent—je gewoonten, je persoonlijkheid en je langetermijngedrag. Om dit op te lossen, hebben onderzoekers een manier nodig om te testen of een AI een mens echt kan "begrijpen", en niet alleen een bestand kan lezen. Hier komt een nieuwe studie kijken, die probeert een betere test te bouwen om te zien of AI kan evolueren van een eenvoudige notulist naar een echte, begripvolle metgezel.

Het Probleem: AI heeft amnesie voor "Wie Jij Bent"

Beschouw je digitale leven als een enorme, rommelige zolder vol met verschillende soorten dozen. Sommige dozen zijn gelabeld "Berichten", andere zijn "Agenda-evenementen", en weer andere zijn "Sociale Contacten". Op dit moment zijn de meeste AI-assistenten als een bibliothecaris die slechts één specifieke doos kan pakken wanneer je erom vraagt. Als je vraagt: "Wat is het telefoonnummer van Alice?", vindt de AI de "Contacten"-doos en leest het nummer voor. Simpel zat.

Maar wat als je vraagt: "Ben ik een extravert persoon?" of "Hoe vaak hang ik meestal in het weekend met vrienden?" De AI kan niet zomaar één doos openen. Hij moet naar je agenda kijken om groepsevenementen te zien, je berichten controleren om te zien hoe actief je bent in chats, en je sociale contacten scannen om te zien hoeveel vrienden je hebt. De AI moet de punten verbinden tussen verschillende soorten gegevens om een patroon te ontdekken. Het probleem is dat huidige AI-systemen hier heel slecht in zijn. Ze zijn geweldig in het vinden van feiten, maar verschrikkelijk in het begrijpen van het verhaal achter de feiten.

Ontmoet Setoka: De Ultieme "Leer Je Kennen"-Test

Om dit op te lossen, heeft een team van onderzoekers een nieuwe benchmark ontwikkeld genaamd Setoka. Je kunt Setoka zien als een gigantisch, supergeorganiseerd simulatie-laboratorium. In plaats van echte privégegevens van mensen te gebruiken (wat een nachtmerrie voor de privacy zou zijn), bouwden de onderzoekers een "psychologiefabriek".

Zo werkt hun fabriek:

Het Blauwdruk: Eerst gebruiken ze echte psychologische wetenschap om 10 fictieve personen te creëren. Ze gokken niet zomaar hoe deze mensen zijn; ze gebruiken een speciaal wiskundig model om ervoor te zorgen dat de persoonlijkheden logisch zijn. Bijvoorbeeld, als een fictief persoon zeer "extravert" is, zorgt de wiskunde ervoor dat deze persoon niet ook stiekem "verlegen" is op een manier die bij echte mensen zelden voorkomt.
Het Gedrag: Vervolgens vertalen ze deze persoonlijkheden naar dagelijkse gewoonten. Als een persoon "extravert" is, genereert het systeem een realistisch schema waarin ze om de dag met vrienden praten, dagelijks multiplayer games spelen en een paar keer per week sitcoms kijken.
De Rommelige Data: Tot slot veranderen ze die gewoons in een enorme berg digitale rommel. Ze creëren duizenden nep tekstberichten, agenda-items en sociale netwerklogs die een periode van twee maanden beslaan. Dit is de "heterogene data"—een mix van verschillende bestandstypen waar een AI doorheen moet ploeteren.

Zodra de fabriek draait, stellen ze de AI 1.426 vragen over deze fictieve personen. De vragen zijn verdeeld in vier moeilijkheidsgraden, zoals een videogame met toenemende eindbazen:

Niveau 1 (Semantisch Geheugen): "Wat is het telefoonnummer van Alice?" (Vind simpelweg het feit).
Niveau 2 (Episch Geheugen): "Wat was de gebruiker aan het doen op de avond van 20 april?" (Combineer een agenda-item, een tekstbericht en een locatielog om één specifieke gebeurtenis te reconstrueren).
Niveau 3 (Gedragspatroon): "Hoe vaak per week socialiseert de gebruiker?" (Bekijk weken aan data en tel het totaal).
Niveau 4 (Persoonlijkheidskenmerk): "Hoe extravert is de gebruiker?" (Bekijk alle sociale data, de werkgewoonten en de vrijetijdsbesteding om een diepe persoonlijkheidstrek te raden).

Wat Ze Vonden: De "Feitenzoeker" versus de "Gedachtenlezer"

De onderzoekers testten 3 verschillende AI-breinen (variërend van een krachtig cloudmodel tot een kleiner model dat op een telefoon kan draaien) gekoppeld aan 5 verschillende geheugensystemen (sommige die data organiseren als een graaf, andere als een eenvoudige lijst).

De resultaten waren een beetje een waarschuwing voor de AI-wereld:

De Makkelijke Dingen Zijn Opgelost: Wanneer de vraag alleen ging over het vinden van een feit (Niveau 1), deed de AI het geweldig. Sterker nog, soms had de AI niet eens een speciaal geheugensysteem nodig; het kon gewoon de ruwe data opzoeken als een database.
Het Middengebied Is Moeilijk: Zodra de AI een paar stukjes informatie moest combineren om een specifieke gebeurtenis te onthouden (Niveau 2), daalden de scores.
Het Diepe Werk Is Kapot: Wanneer de AI patronen moest vinden of persoonlijkheidskenmerken moest raden (Niveau 3 en 4), stortte de prestatie in. De beste systemen hadden slechts ongeveer 24% van de persoonlijkheidsvragen goed.

De studie suggereert dat het simpelweg laten "onthouden" van meer feiten door AI niet genoeg is. De huidige systemen zijn als studenten die een tekstboek perfect kunnen uit het hoofd leren, maar falen voor de essayvraag omdat ze de ideeën niet kunnen verbinden. De onderzoekers ontdekten dat om een gebruiker te begrijpen, een AI meer moet doen dan alleen gegevens ophalen; het moet verschillende bronnen koppelen, ze over een bepaalde tijd aggregeren en generaliseren om verborgen kenmerken te vinden.

De Conclusie

Setoka laat ons zien dat we nog ver verwijderd zijn van AI die ons echt "kent". Hoewel onze digitale assistenten steeds beter worden in het onthouden van onze telefoonnummers en vergadertijden, worstelen ze nog steeds met het begrijpen van onze gewoonten en persoonlijkheden. De studie suggereert dat de volgende grote doorbraak niet zal komen door AI simpelweg meer geheugen te geven, maar door het te leren hoe het de rommelige, verspreide stukjes van ons digitale leven kan samenweven tot een samenhangend beeld van wie we werkelijk zijn. Tot die tijd weten onze AI-vrienden misschien wat we gisteren deden, maar begrijpen ze ons nog steeds niet echt.

Technische Samenvatting: Setoka – Een Benchmark voor Hiërarchisch Gebruikersbegrip in Gepersonaliseerde Agenten

1. Probleemstelling

Gepersonaliseerde agenten gebaseerd op Large Language Models (LLM's) worden steeds vaker ingezet om gebruikers te assisteren, wat de noodzaak vereist om expliciete feiten te kunnen ophalen en abstracte persoonlijke kenmerken te kunnen afleiden. De huidige geheugenbenchmarks evalueren echter primair het vermogen van een agent om informatie op te halen die expliciet in de conversatiegeschiedenis is vermeld. Ze falen in het beoordelen van hiërarchisch gebruikersbegrip, specifiek het vermogen om impliciet bewijs te integreren uit heterogene databronnen (bijv. ongestructureerde tekst, gestructureerde records, grafen) om diepere gebruikersattributen zoals gedragspatronen en persoonlijkheidskenmerken af te leiden.

Het construeren van een benchmark voor deze taak kent vier primaire uitdagingen:

C1 (Hiërarchisch Gebruikersbegrip): De vereisten voor redeneren variëren van eenvoudige feitenextractie tot complexe persoonlijkheidsinferentie, wat een framework noodzakelijk maakt dat deze niveaus onderscheidt.
C2 (Realistische Persona-sampling): Synthetische persona's moeten coherente individuen reflecteren waarbij de combinatie van eigenschappen de werkelijke psychologische correlaties volgt, in plaats van willekeurige bundels van eigenschappen.
C3 (Diverse Trait-Gedrag Mapping): Een enkel persoonlijkheidskenmerk kan zich als diverse gedragingen manifesteren in verschillende contexten; generatiemethoden moeten stereotiepe mapping voorkomen.
C4 (Schaalbare en Consistente Generatie): Het genereren van langdurige, heterogene gebruikersdata vereist het handhaven van consistentie over records en het bewaren van gedragsbeperkingen in de loop van de tijd zonder context-overflow.

2. Methodologie

2.1 Het Setoka-framework

Setoka definieert een vierniveau-hiërarchie van gebruikersbegrip, geworteld in de cognitieve en persoonlijkheidspsychologie:

Semantisch Geheugen (SM): Ophalen van expliciete feiten uit enkelvoudige records (bijv. een telefoonnummer).
Episodisch Geheugen (EM): Integratie van records die een specifieke gebeurtenis beschrijven (bijv. "Wat is er op 20 april gebeurd?").
Gedragspatronen (BP): Aggregatie van gebeurtenissen over de tijd om regelmatigheden te identificeren (bijv. "Hoe vaak socialiseert de gebruiker?").
Persoonlijkheidskenmerken (PT): Generalisatie over meerdere gedragspatronen en gebeurteniscategorieën om latente disposities af te leiden (bijv. "Hoe extravert is de gebruiker?").

Het framework formaliseert de transitie tussen niveaus met behulp van vier operatoren: selectie ( $\sigma$ ), koppeling ( $\lambda$ ), aggregatie ( $\gamma$ ) en generalisatie ( $\rho$ ). Bewijsmiddelensets vormen een geneste keten ( $E_{SM} \subseteq E_{EM} \subseteq E_{BP} \subseteq E_{PT}$ ), waarbij hogere niveaus een bredere bewijsomvang en aanvullende transformaties vereisen.

2.2 Psychometrie-gebaseerde Generatie-pipeline

Om de uitdagingen van realistische en consistente datageneratie aan te pakken, hanteert Setoka een top-down pipeline:

Correlatie-bewuste Trait Sampling: In plaats van eigenschappen onafhankelijk te samplen, trekt de pipeline persoonlijkheidsvectoren (Big Five) uit een multivariate Gaussische distributie. De covariantie-matrix is afgeleid van meta-analytische psychometrische correlaties, waardoor synthetische persona's realistische onderlinge afhankelijkheden van eigenschappen reflecteren.
Geleide Gedragsgeneratie op basis van Psychologische Schalen: Om stereotiepe LLM-generatie te vermijden, worden gesamplede trait-vectoren naar gedragspatronen gemapt met behulp van gevalideerde psychologische schalen (specifiek de BFI-2). Dit zet score-vectoren om in item-niveau responsen, die vervolgens worden vertaald naar concrete, diverse gedragspatronen.
Event-Grounded Generatieboom: Om langetermijnconsistentie te waarborgen, worden gedragspatronen uitgebreid naar een temporele hiërarchie van gebeurtenissen. Kind-gebeurtenissen worden sequentieel gegenereerd om continuïteit te bewaren, terwijl details parallel worden uitgebreid. Alle heterogene records (logs, relaties, berichten) zijn afgeleid van een enkele "bron van waarheid" (de gebeurtenis) om cross-schema consistentie te behouden.
Query Constructie: Testinstanties $(q, a, E)$ worden automatisch gegenereerd op basis van de grondwaarheid van het generatieproces. Queries zijn ontworpen om de specifieke vereiste redeneeroperator op elk niveau te isoleren (bijv. partial-cue recovery voor EM, statistische aggregatie voor BP).

2.3 Experimentele Opzet

De auteurs hebben Setoka geïnstantieerd met 10 synthetische gebruikersprofielen die ongeveer 1.600 heterogene records bevatten over 23 schema's en drie datamodellen (relationeel, graaf, ongestructureerd).

Geëvalueerde Modellen: Drie LLM's (DeepSeek-V4-Flash, Ministral 3 14B, Gemma 3 4B-IT).
Geheugensystemen: Vijf systemen die verschillende paradigma's vertegenwoordigen: Graaf-gestructureerd (Cognee, HippoRAG 2), Plat feit-gebaseerd (Mem0) en Hiërarchisch (MemMachine, Letta).
Baseline: Een DBQuery baseline waarbij de LLM direct met ruwe databases interageert zonder tussenliggende geheugenconstructie.
Metrieken: LLM-judge gelijkenisscores voor SM, EM en BP; Kendall's rangcorrelatiecoëfficiënt voor PT (het evalueren van de correcte relatieve ordening van gebruikers).

3. Belangrijkste Resultaten

Prestatievermindering bij Abstractie: De nauwkeurigheid neemt monotoon af naarmate het niveau van abstractie toeneemt. De beste scores daalden van 0.85 (SM) naar 0.46 (EM), 0.28 (BP) en 0.24 (PT). Gemiddelde scores volgden een vergelijkbare trend en daalden van 0.37 naar 0.07.
Geheugenconstructie vs. Directe Retrieval:
- DBQuery presteerde beter dan geheugensystemen op SM (0.85) door exacte details uit enkelvoudige records op te halen, maar presteerde slecht op EM (0.27) waar integratie van meerdere records vereist was.
- MemMachine (hiërarchisch) behaalde de beste EM-score (0.46), toe te schrijven aan het behoud van fijnmazige details gecombineerd met temporele context-retrieval.
- Graaf-gestructureerde systemen (Cognee, HippoRAG 2) presteerden over het algemeen beter dan anderen op BP en PT taken, wat suggereert dat het koppelen van gerelateerde records helpt bij het aggregeren van terugkerende gedragingen naar hogere-orde eigenschappen.
Antwoordpercentage vs. Competentie: Een contra-intuïtieve bevinding was dat antwoordpercentages toenamen met abstractie (72% voor SM naar 93% voor PT) terwijl de nauwkeurigheid afnam. Dit geeft aan dat modellen eerder geneigd zijn abstracte eigenschappen te "raden" wanneer bewijs ontbreekt, terwijl ze zich onthouden van antwoorden op concrete feitelijke vragen als bewijs ontbreekt.

4. Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen:

Identificatie van een Beperking: Het benadrukt dat bestaande benchmarks de multi-level gebruikersverstanding die nodig is voor gepersonaliseerde agenten, met name wat betreft heterogene data-integratie, onvoldoende evalueren.
Eerste Psychologie-gebaseerde Framework: Setoka introduceert het eerste framework dat loopt van concrete herinneringen tot abstracte kenmerken, waarbij de bewijsomvang en redeneeroperaties voor elk niveau expliciet worden gedefinieerd.
Psychometrie-gebaseerde Pipeline: Het ontwikkelt een schaalbare generatie-pipeline die coherente, traceerbare heterogene gebruikersdata produceert die geworteld zijn in psychologische theorie, wat niveau-specifieke queries met verifieerbaar bewijs mogelijk maakt.
Uitgebreide Evaluatie: Door de evaluatie van 3 modellen en 5 geheugensystemen toont het paper aan dat eenvoudige feitenextractie onvoldoende is voor diep gebruikersbegrip.

Betekenis:
De auteurs concluderen dat huidige geheugenmechanismen ontoereikend zijn voor taken die cross-source integratie en abstractie over langdurig gedrag vereisen. De bevindingen stimuleren het ontwerp van geheugensystemen die in staat zijn tot het koppelen, aggregeren en generaliseren van gebruikersbewijs voorbij letterlijke herinnering. Setoka dient als testbed om vooruitgang in deze gebieden te stimuleren, waarbij wordt aangetoond dat hoewel retrieval verbetert, het vermogen om latente attributen af te leiden uit gefragmenteerde, heterogene data een significante, onopgeloste uitdaging blijft.