🤖 AI

FinPerMA: A Theory-Informed, Event-Grounded Personalized-Memory Benchmark for LLM Agents

Het artikel introduceert FinPerMA, een op theorie gebaseerde benchmark die gebruikmaakt van bevroren longitudinale investeerders-trajecten om het vermogen van LLM-agenten om gepersonaliseerd geheugen te behouden te evalueren, waarbij wordt onthuld dat huidige frontier-modellen en geheugenconfiguraties aanzienlijk moeite hebben met gebeurtenisgestuurde voorkeursadaptatie en vaak er niet in slagen eenvoudige retrieval-methoden te overtreffen.

Oorspronkelijke auteurs: Ben Wang, Kang Zhou, Lifan Guo, Feng Chen, Chi Zhang

Gepubliceerd 2026-08-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ben Wang, Kang Zhou, Lifan Guo, Feng Chen, Chi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Digitale Sidekick die je Moet Herinneren

Stel je voor dat je praat met een superintelligente robotassistent. Je chat al maanden met deze assistent en hebt je dromen, je angsten en je financiële doelen gedeeld. Op een dag slaat er een enorme economische storm toe — de aandelenmarkten storten in, prijzen schieten omhoog en alles verandert. Je verwacht dat je robotvriend zegt: "Hé, weet je nog dat we het hadden over hoe bang je bent voor risico? Nou, met deze nieuwe storm moeten we misschien wel nóg voorzichtiger zijn." Maar in plaats daarvan doet de robot alsof hij het nooit heeft gehoord, of erger nog, hij vergeet volledig dat de storm heeft plaatsgevonden en suggereert dat je een riskant loterijticket koopt.

Dit is het probleem dat wetenschappers proberen op te lossen in de wereld van Kunstmatige Intelligentie (AI). Specifiek kijken ze naar Large Language Models (LLM's), de hersenen achter deze chatbots. Deze modellen zijn geweldig in het beantwoorden van vragen, maar ze worstelen vaak met het optreden als een echte "persoonlijke assistent" die weet wie je bent over een langere periode. Ze hebben Gepersonaliseerd Geheugen nodig: het vermogen om niet alleen feiten op te slaan (zoals je naam), maar ook om hun begrip van jouw persoonlijkheid en voorkeuren bij te stellen naarmate het leven verandert. De grote vraag is: kunnen deze AI-agenten daadwerkelijk leren van grote levensgebeurtenissen en hun advies dienovereenkomstig aanpassen, of doen ze alsof ze zich herinneren?

Maak kennis met FinPerMA: De Financiële Stress-test voor Robotbreinen

Om het antwoord te vinden, heeft een team onderzoekers van Alibaba Cloud een nieuwe testomgeving gecreëerd genaamd FinPerMA. Zie dit als een gigantisch, hoog-risico videospelniveau dat specifiek is ontworpen om te zien of AI de chaotische, veranderende realiteit van een menselijke investeerder aankan.

In plaats van de AI alleen simpele weetjes te vragen, simuleert FinPerMA een heel jaar uit het leven van een persoon. Het begint met het creëren van 276 unieke "persona's" — digitale mensen met verschillende leeftijden, inkomens en persoonlijkheden. Vervolgens plaatst het hen in een tijdlijn vol met echt financieel drama, zoals de pandemiecrash van 2020 of de rentestijgingen van 2022. De AI moet met deze persona's chatten, naar hun zorgen luisteren en vervolgens, cruciaal, zijn geheugen bijwerken wanneer er een grote "schok"-gebeurtenis plaatsvindt.

De onderzoekers hebben deze test gebouwd met behulp van een slim, driestaps "Impact Model". Eerst gebruikten ze strikte wiskundige regels (gebaseerd op hoe echte mensen meestal reageren op financiële stress) om te bepalen hoe een specif kind specifiek van mening zou veranderen na een schok. Ten tweede gebruikten ze een AI om een verhaal te schrijven over de reactie van de persoon op die schok. Ten derde sloten ze dat verhaal op, zodat elke geteste AI precies hetzelfde script krijgt voorgeschoteld. Dit zorgt ervoor dat de test eerlijk is en niet afhangt van de AI die zijn eigen antwoorden verzint.

De Resultaten: Robots raken nog steeds de weg kwijt in de storm

Toen de onderzoekers zeven van de slimste AI-modellen ter wereld door deze test haalden, waren de resultaten een kleine wake-up call. Zelfs de beste modellen waren verre van perfect.

1. De "Geheugenkloof" is enorm
Zonder enig geheugen van het verleden, behaalden de AI-modellen slechts ongeveer 18% tot 27% van de vragen goed — ze gokten eigenlijk maar wat. Wanneer de onderzoekers hen de volledige geschiedenis van het gesprek gaven (de "full context"), schoten hun scores omhoog naar tussen de 41% en 47%. Dat is een flinke verbetering, maar het betekent dat zelfs de slimste AI nog steeds meer dan de helft van de antwoorden fout heeft. Ze zijn nog lang niet "verzadigd", wat betekent dat er nog een enorme ruimte is voor verbetering.

2. De "Schok"-test is het moeilijkst
Het meest interessante deel van de test was het Post-Shock checkpoint. Dit is het moment direct na een grote financiële ramp. De onderzoekers wilden zien of de AI deze nieuwe, angstaanjagende gebeurtenis kon integreren in zijn begrip van de gebruiker. De resultaten lieten zien dat hoewel de AI feiten kon onthouden (zoals "de gebruiker houdt van aandelen"), het vaak faalde in het bijstellen van het gevoel of de voorkeur (zoals "de gebruiker is nu doodsbang voor aandelen"). De kloof tussen wat de AI wist en wat het had moeten leren, werd aanzienlijk groter na deze schokken.

3. Simpel zoeken verslaat fancy samenvattingen
Een van de meest verrassende bevindingen ging over hoe de AI dingen moet onthouden. Het team testte verschillende geheugensystemen: sommige probeerden het hele gesprek samen te vatten in een kort profiel, terwijl andere simpelweg door de ruwe chatlogs zochten.

De verrassing: De simpele zoeksystemen (retrieval) presteerden eigenlijk beter dan de fancy samenvattingssystemen!
Waarom? De samenvattingssystemen waren goed in het onthouden van feiten, maar gooiden de subtiele aanwijzingen over hoe de gebruiker zich voelde vaak weg. Het simpele zoeken behield alle originele details, waardoor de AI de juiste emotionele context kon vinden.
De efficiëntiewinst: De simpele zoeksystemen bereikten bijna 88% van de prestaties van het "full memory"-systeem, maar gebruikten slechts ongeveer één tiende van de computerkracht (tokens). Het is als het zoeken naar een speld in een hooiberg door naar de hele hooiberg te kijken, versus proberen een beschrijving van de speld te onthouden.

Wat dit betekent voor de toekomst

Het artikel suggereert dat het bouwen van een werkelijk persoonlijke AI niet alleen gaat over het geven van een groter brein of een langer geheugen. Het gaat erom de AI te leren om zijn overtuigingen bij te stellen wanneer de wereld verandert. De huidige AI-modellen zijn geweldig in het opslaan van feiten, maar zijn slecht in het beseffen van: "O, de gebruiker heeft van gedachten veranderd vanwege dat grote nieuwsbericht."

De onderzoekers kwamen tot de conclusie dat de beste aanpak op dit moment een hybride vorm is: houd de stabiele feiten (zoals je leeftijd) gescheiden van de veranderende gevoelens (zoals je angst voor risico), en gebruik simpele zoektools om de specifieke gesprekken te vinden die verklaren waarom een gebruiker van gedachten is veranderd. Totdat AI deze "Post-Shock"-test kan passeren, zullen onze digitale financiële adviseurs misschien nog steeds een beetje te vergeetachtig zijn om tijdens een storm te vertrouwen met ons levensverzekeringsgeld.

Technische Samenvatting: FinPerMA

Probleemstelling

Large Language Model (LLM) agenten worden steeds vaker ingezet als gepersonaliseerde assistenten in kritieke domeinen zoals financieel advies. Het blijft echter onduidelijk of deze systemen een geïndividualiseerd gebruikersmodel over lange perioden kunnen behouden en bijwerken. Bestaande benchmarks voor gepersonaliseerd geheugen lijden onder twee cruciale tekortkomingen:

Beperkte gebeurtenis-geconditioneerde staatswijziging: Huidige benchmarks richten zich op feitelijke retentie of langetermijn-context-herinnering, maar missen controle over hoe latente gebruikersvoorkeuren evolueren na ingrijpende gebeurtenissen. Dit maakt het moeilijk om onderscheid te maken tussen het simpelweg herinneren van oude feiten en het redeneren met een bijgewerkte gebruikersstaat.
Beperkte label-auditbaarheid: Veel benchmarks vertrouwen op zwak gecontroleerde LLM-generatie voor trajecten na een gebeurtenis, waardoor de eigenschappen van de generator verstrengeld raken met het evaluatiemiddel.

Bovendien centreren bestaande financiële LLM-bronnen (bijv. FinGPT, FinBen) zich niet op het longitudinale probleem van gepersonaliseerd geheugen.

Methodologie: FinPerMA Benchmark

De auteurs introduceren FinPerMA, een gebeurtenis-gegronde benchmark die ontworpen is om gepersonaliseerd geheugen te evalueren tegenover bevroren, longitudinale investeertrajecten. Het systeem is gebouwd op een gecontroleerde generatiepijplijn die deterministische, theoretisch onderbouwde regels combineert met gecontroleerde LLM-narratie.

1. Data Generatie Pijplijn

De corpus bestaat uit $N \approx 300$ persona's, elk met een specifieke tijdlijn van gebeurtenissen, multi-sessie dialogen en evaluatievragen.

Persona Synthese: Persona's worden gesampled uit gezamenlijke distributies van demografische, financiële en psychometrische variabelen, gekalibreerd tegen echte retail-investeerdersonderzoeken (Shenzhen Stock Exchange, Asset Management Association of China). Elk persona wordt geclassificeerd in een van de vier Behavioral Investor Types (BITs: Passive Preserver, Friendly Follower, Independent Individualist, Active Accumulator) met behulp van regelgebaseerde mapping.
Event Tijdlijn Constructie: Het systeem cureert 97 gedateerde gebeurtenissen (17 macro, 64 industrie, 16 persoonlijk) van 2020–2026. Elk persona ontvangt een tijdlijn van 5–8 gebeurtenissen, waarbij diversificatie van categorieën en minimale tussenruimte worden gewaarborgd.
Het Impact Model (Kerninnovatie): Een driedelige scaffold genereert de "gebeurtenisreactie" ( $R_{i,k}$ $R_{i, k}$ ) voor elk persona-gebeurtenis paar:
- Laag 1 (Deterministische Regels): Construeert een ImpactConstraint object gebaseerd op vijf submodules: BIT-classificatie, event-shock coëfficiënten (gebaseerd op ernst), Big-Five persoonlijkheidstraits (Neuroticisme/Extraversie), aggregatie van ervaring-historie (leeftijd-gewogen rendementen) en symbolische geheugen-referentie verankering.
- Laag 2 (Geconstrangeerde Narratie): Een LLM genereert een kandidaat EventReaction (voorkeur-delta's, innerlijke monoloog, getriggerde biases, vertrouwen) die strikt voldoet aan de harde restricties uit Laag 1.
- Laag 3 (Geautomatiseerde Validatie): Handhaaft harde controles op de richting van het risico, grootte-grenzen en verboden biases. Mislukte controles leiden tot maximaal drie pogingen; als alle pogingen falen, wordt een template fallback gebruikt.
Dialoog Synthese: Een Task-Oriented User Simulator genereert investeerder-adviseur dialogen waarbij voorkeuren impliciet naar voren komen door middel van transacties en zorgen. Geautomatiseerde kwaliteitscontrole (deduplicatie, financiële plausibiliteit, multi-LLM voting) filtert de output.

2. Evaluatie Framework

De benchmark evalueert geheugen over drie dimensies en vier temporele checkpoints:

Dimensies:
- Memory Fidelity (MF): Feitelijke herinnering van attributen en eerder vertoond gedrag.
- Preference Reasoning (PR): Inferentie van impliciete voorkeuren uit gedragssporen.
- Context Adaptation (CA): Toepassing van bijgewerkte voorkeuren in nieuwe beslissingsscenario's.
Checkpoints:
- Zero-memory: Controle (geen historie).
- In-timeline: Voortdurende retentie terwijl gebeurtenissen zich ontvouwen.
- Post-distraction: Retentie na ongerelateerde sessies.
- Post-Shock: Een nieuw checkpoint dat test of een hoog-ernstige gebeurtenis wordt geïntegreerd in een persistent bijgewerkt gebruikersmodel.

De uiteindelijke corpus bevat 2.994 vragen (2.494 meerkeuze, 500 open vragen) over 276 geëvalueerde persona's.

Belangrijkste Bijdragen

Dynamische Gepersonaliseerde-Geheugen Benchmark: FinPerMA test gezamenlijk stabiele profiel-retentie en gebeurtenis-geconditioneerde voorkeursadaptatie, waarbij het onderscheid tussen herinneren en staat-bijwerken expliciet wordt gemaakt.
Post-Shock Checkpoint: Een directe test of een ingrijpende gebeurtenis wordt geïntegreerd in het persistente geheugen, wat het vermogen om gebruikersstaten bij te werken isoleert van eenvoudige retrieval.
Auditeerbare Generatie Pijplijn: Een hybride systeem dat deterministische, theoretisch onderbouwde regels (gebaseerd op gedragseconomische literatuur) combineert met gecontroleerde LLM-narratie en geautomatiseerde kwaliteitscontrole over 97 gedateerde gebeurtenissen.
Uitgebreide Empirische Evaluatie: Een bevroren evaluatie van zeven frontier LLM's en tot zeven geheugenconfiguraties, met een gedetailleerde attributieanalyse van foutmodi in plaats van een enkele geaggregeerde score.

Resultaten

De auteurs evalueerden zeven frontier LLM's (inclusief Qwen, Claude, Gemini, DeepSeek, GLM, en GPT varianten) en diverse geheugenarchitecturen (BM25, BGE-M3, Mem0, MemOS, Memobase) op de bevroren v8gold corpus.

Prestatiekloof: Alle modellen blijven ver verwijderd van verzadiging. Geen enkele full-context configuratie overschreed ~0,47 algemene nauwkeurigheid of ~39% op meerkeuzevragen.
Impact van Geheugen: Persona-historie verhoogt de prestaties aanzienlijk (1,5–2,4× toename) ten opzichte van de parametrische kennisvloer, wat bevestigt dat persona-specifieke bewijslast cruciaal is. Echter, zelfs met volledige context hebben modellen moeite met voorkeursadaptatie.
Retrieval vs. Gestructureerd Geheugen: Onder een vaste backbone (Qwen3.7-Max) herstelden eenvoudige retrieval-systemen (BGE-M3, BM25) ~88% van de nauwkeurigheidskloof tussen no-memory en full-context, met slechts ~10% van de context tokens. Gestructureerde/profiel-gebaseerde geheugensystemen (Mem0, MemOS) herstelden slechts 54–79% van de kloof.
Foutmodi:
- Samenvattingsgebaseerd geheugen behoudt vaak feitelijke details maar verliest de voorkeurssignalen die nodig zijn voor personalisatie.
- Post-Shock Prestaties: De prestatiekloof tussen full-context en geheugensystemen wordt aanzienlijk groter na een shock-gebeurtenis, wat wijst op een falen in het bijwerken van het gebruikersmodel.
- Attributie: De dominante foutmodus is "zero-memory default", gevolgd door single-signal over-inference en temporele mismatch. Modellen vertonen ook een bias naar stereotype profielen wanneer individueel bewijs conflicteert met bekende typen.

Betekenis en Claims

Het artikel claimt dat FinPerMA een noodzakelijke verschuiving biedt in benchmarking van statische feitelijke retentie naar dynamische, gebeurtenis-geconditioneerde gebruikersmodellering.

Differentiatie: In tegenstelling tot eerder werk (bijv. PersonaMem, LoCoMo, LongMemEval) dat continuïteit of feitelijke herinnering test, isoleert FinPerMA of een agent een ingrijpende gebeurtenis kan integreren in zijn persistente gebruikersmodel.
Ontwerpimplicaties: De resultaten suggereren dat effectief geheugendesign voor agenten een hybride aanpak vereist: het scheiden van stabiele attributen van veranderlijke voorkeuren, het voorzien van tijdstempels, en het ophalen van ruwe dialoogbewijslast in plaats van uitsluitend te vertrouwen op gesommeerde profielen.
Bescheidenheid: De auteurs erkennen dat FinPerMA synthetische persona's en regelgestuurde voorkeursveranderingen gebruikt; daarom garandeert de benchmark-nauwkeurigheid geen prestaties met echte investeerders. De tijdlijnen zijn beperkt tot 5–8 gebeurtenissen, en de vergelijking van geheugensystemen gebruikt een enkele seed. Toekomstig werk is nodig om langere historieën en real-world longitudinale interacties te testen.

Samenvattend demonstreert FinPerMA dat huidige LLM-agenten in staat zijn om gebruikershistorie op te halen, maar moeite hebben om die historie te synthetiseren tot een bijgewerkt, gebeurtenis-responsief gebruikersmodel, vooral na significante schokken. Eenvoudige retrieval presteert vaak beter dan complexe geheugenarchitecturen in het behouden van de nuance die vereist is voor personalisatie.