💬 NLP

PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails

Dit artikel introduceert PersonaTrail, een benchmark voor het evalueren van het vermogen van gepersonaliseerde webagents om gebruikersvoorkeuren af te leiden uit ruwe browsegeschiedenissen, samen met PACMem, een framework dat deze geschiedenis structureert in feitelijke en voorkeursgeheugens om de navigatieprestaties aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

Gepubliceerd 2026-08-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotassistent hebt die het internet voor je kan doorzoeken. Je vraagt hem om "een film te vinden", en dat doet hij. Maar in de echte wereld geef je zelden perfecte instructies. Je zegt misschien: "Zoek een film die lijkt op de films die ik normaal gesproken kijk," of "Laat me dat recept zien waar ik vorige week dinsdag naar heb gekeken." Om dit te kunnen doen, moet de robot je eerdere gewoonten en specifieke momenten uit je digitale leven onthouden. Dit is de wereld van web agents: software die zich als een mens op websites gedraagt, op knoppen klikt en pagina's leest om taken uit te voeren. Een tijdje testten wetenschappers deze robots met zeer strikte, perfecte instructies, zoals een wiskundig probleem waarbij alle getallen zijn ingevuld. Maar dat voelt niet als het echte leven. Het echte leven is rommelig, vol met onvoltooide gedachten en herinneringen aan dingen die we dagen geleden hebben gedaan. De grote vraag is: kunnen deze robots echt jou leren kennen uit jouw rommelige geschiedenis, of volgen ze alleen maar blindelings bevelen op?

Dit artikel introduceert een nieuwe manier om deze robots te testen, genaamd PERSONATRAIL. De onderzoekers bouwden een enorme speeltuin waarin ze nep maar realistische "gebruikers" creëerden met specifieke hobby's, banen en smaken. Vervolgens keken ze hoe deze gebruikers het web doorzochten, waardoor er een lang spoor ontstond van klikken, zoekopdrachten en paginabezoeken. Ze gaven de robots twee lastige uitdagingen. Ten eerste, Preference Inference (voorkeursinferentie): de robot moet raden wat je leuk vindt op basis van een patroon. Bijvoorbeeld, als je altijd op "Mystery"-films en "One-pot"-recepten klikt, moet de robot begrijpen dat je van mysteries en makkelijk koken houdt, zelfs als je het niet hardop zegt. Ten tweede, Episodic Grounding (episodische verankering): de robot moet een specifieke herinnering vinden. Als je zegt: "Laat me het curryrecept zien dat ik vorige week dinsdag heb opgezocht," moet de robot door zijn geheugenbank graven om dat exacte moment te vinden en daarheen terug te gaan.

De onderzoekers ontdekten dat de meeste bestaande robots hier erg slecht in waren. Ze waren als studenten die een tekstboek uit hun hoofd hadden geleerd, maar het niet konden toepassen op een nieuwe situatie. Wanneer de robots probeerden je verleden te onthouden, gooiden ze vaak de belangrijke details weg, zoals waarop je klikte, en hielden ze alleen het algemene idee van hoe je klikte over. Om dit op te lossen, bouwde het team een nieuw geheugensysteem genaamd PACMEM. Denk aan PACMEM als een supergeorganiseerde bibliothecaris voor de robot. In plaats van gewoon een stapel papier op het bureau te gooien, sorteert deze bibliothecaris ze in twee speciale bakken. De ene bak, het Factual Memory (feitelijk geheugen), is een dagboek van precies wat er op specifieke dagen is gebeurd (bijv. "Op 24 mei keek Sarah Bird Box"). De andere bak, het Preference Memory (voorkeursgeheugen), is een samenvatting van je gewoonten (bijv. "Sarah kiest altijd Mystery-films en beoordelingen boven de 6.0").

Wanneer de robot een vraag krijgt, stort PACMEM niet zomaar de hele geschiedenis over hem heen. Het controleert snel de dagboekbak als de vraag over een specifieke dag gaat, of de gewoontebak als de vraag gaat over wat je leuk vindt. De resultaten lieten zien dat robots die het PACMEM-tweebaksysteem gebruikten, veel beter in staat waren om deze gepersonaliseerde puzzels op te lossen dan de oude versies. Ze gokten niet alleen maar; ze gebruikten daadwerkelijk de juiste aanwijzingen om de juiste film of het juiste recept te vinden. Het artikel suggereert dat voor robots om ons echt in de echte wereld te kunnen helpen, ze moeten stoppen met onze browsegeschiedenis te behandelen als een rommelige stapel afval en ermee moeten beginnen het te organiseren in duidelijke verhalen en gewoonten. Hoewel dit een grote stap voorwaarts is, merken de onderzoekers op dat het echte leven nog ingewikkelder is dan hun test, met gewoonten die veranderen en vragen die onmogelijk te beantwoorden zijn, maar dit nieuwe systeem biedt ons een solide fundament om slimmere, meer persoonlijke helpers te bouwen.

Technische Samenvatting: PERSONATRAIL: Benchmarking van Gepersonaliseerde Webagenten door middel van Browsing Trajectories

Probleemstelling

Recente vooruitgang in Large Language Models (LLMs) heeft webagenten in staat gesteld om autonoom complexe navigatietaken uit te voeren. De huidige benchmarks falen echter in het evalueren van agenten in realistische, gebruikersgerichte scenario's waar instructies ondergespecificeerd zijn. In de praktijk verwachten gebruikers dat agenten ontbrekende context — zoals persoonlijke voorkeuren of verwijzingen naar eerdere interacties — afleiden uit ruwe browsegeschiedenissen, in plaats van volledig expliciete prompts te ontvangen. Bestaande benchmarks beperken taken ofwel tot expliciete instructies, abstraheren interactiegeschiedenis naar vereenvoudigde vormen (bijv. transactierecodes of door LLM's gesynthetiseerde hoogwaardige gebeurtenissen), of falen in het vastleggen van de fijnmazige, laag-niveau interactietrajecten (clicks, zoekopdrachten, paginatransities) waar gebruikersvoorkeuren en episodische contexten daadwerkelijk in ingebed zijn. Bijgevolg is er een gebrek aan een gestandaardiseerd framework om het vermogen van een agent te evalueren voor voorkeursinferentie (het afleiden van latente gewoonten) en episodische gronding (het herinneren van specifieke eerdere sessies) in een beheerde open-webomgeving.

Methodologie

1. De PERSONATRAIL Benchmark

De auteurs introduceren PERSONATRAIL, een benchmark die is ontworpen om gepersonaliseerde webagenten te evalueren met behulp van fijnmazige, live-web browsing trajecten. De benchmark wordt geconstrueerd via een pipeline die bestaat uit:

Website Curatie: Selectie van 317 websites uit 23 domeinen van de Tranco-lijst en Similarweb, gefilterd op Engelse inhoud en toegankelijkheid.
Gebruikersprofiel & Toewijzing: Generatie van 200 diverse gebruikerspersona's (leeftijd, beroep, hobby's) en toewijzing van relevante subdomeinen en specifieke websites op basis van deze profielen.
Query Template Ontdekking: Een LLM-gebaseerde agent verkent toegewezen websites om geparametriseerde query-templates te ontdekken die voorkeursvariabelen ( $V_p$ ) en doelvariabelen ( $V_t$ ) bevatten.
Trajectory Rollout: Agenten voeren queries uit op live websites, waarbij ze fijnmazige interactielogs genereren (tijdstempels, URL's, elementen, acties). Voorkeuren worden uitgedrukt via site-native interacties (bijv. filteren op genre), wat consistente gedragspatronen over meerdere sessies creëert.
Taakdefinitie: De benchmark evalueert twee complementaire taken:
- Voorkeursinferentie: De agent moet latente voorkeuren afleiden (bijv. "Zoek een film in het genre dat ik meestal kijk") uit terugkerende patronen in de geschiedenis.
- Episodische Gronding: De agent moet een specifieke eerdere sessie ophalen en opnieuw navigeren die wordt gerefereerd door temporele of gebeurtenisgebaseerde aanwijzingen (bijv. "Laat me het recept zien dat ik vorige dinsdag heb opgezocht").
Validiteitsbehoud: Een beheerd open-web paradigma wordt gebruikt, met een tweestaps verificatiepipeline (automatische replay en LLM-verificatie) om te garanderen dat taken uitvoerbaar blijven ondanks wijzigingen aan websites.

2. PACMEM Framework

Om de beperkingen van bestaande geheugen-gebaseerde agenten aan te pakken, die episodische details en latente voorkeuren weggooien, stellen de auteurs Preference-Aware Contextual Memory (PACMEM) voor. Dit framework structureert ruwe browsing geschiedenissen in een twee-niveau hiërarchie:

Feitelijk Geheugen (Factual Memory): Legt episodische records van eerdere acties vast. Ruwe logs worden gesegmenteerd in atomaire, doelgerichte segmenten, en vervolgens gegroepeerd in coherente episodes op basis van semantische gelijkenis. Elke episode wordt gestructureerd in een geheugeneintrant die een titel, tijdstempels, URL's en interactiesequenties bevat.
Voorkeursgeheugen (Preference Memory): Codeert terugkerende gedragspatronen. Entries uit het feitelijke geheugen worden geclusterd op basis van gelijkenis, en een LLM genereert natuurlijke taalbeschrijvingen van onderliggende patronen (bijv. "Gebruikt altijd IMDb voor films," "Verkiest het genre Mystery").
Retrieval (Ophalen): Tijdens de inferentie selecteert een coarse-to-fine retrieval pipeline taakrelevante entries uit beide geheugenpools. Het gebruikt embedding-gebaseerde gelijkenis voor de initiële kandidaatselectie, gevolgd door LLM-gebaseerde reranking op basis van semantische relevantie, temporele uitlijning en nut.

Belangrijkste Bijdragen

PERSONATRAIL Benchmark: Een nieuwe benchmark voor gepersonaliseerde webagenten met fijnmazige, live-web browsing trajecten als gebruikersgeschiedenis. Het ondersteunt uniek zowel voorkeursinferentie als episodische grondingstaken in zowel single-hop als multi-hop scenario's.
PACMEM Framework: Een eenvoudige maar effectieve referentiemethode die ruwe browser-niveau geschiedenissen transformeert naar gestructureerde feitelijke en voorkeursgeheugens. Deze aanpak vormt een sterke baseline voor gepersonaliseerde webnavigatie door zowel episodische details als voorkeurssignalen te behouden.
Empirische Validatie: Uitgebreide experimenten die aantonen dat het distilleren van ruwe trajecten naar gestructureerd geheugen de bestaande geheugen-geaugmenteerde baselines aanzienlijk overtreft.

Experimentele Resultaten

Experimenten werden uitgevoerd op PERSONATRAIL met diverse backbone modellen (waaronder Claude Haiku 4.5, GPT-5.4-mini, Gemini-3-Flash, en open-source modellen zoals Qwen3.6-27B en Llama-4-Scout).

Prestatiekloof: Baselines zonder retrieval ("No Retrieval") behaalden een bijna nul Task Success Rate (TSR) op personalisatietaken, wat het belang van geschiedenis benadrukt. Hoewel sterke backbones hoge Intent Scores (IS) behaalden zonder retrieval, faalden ze in het toepassen van persoonlijke restricties.
Superioriteit van PACMEM: PACMEM presteerde consequent beter dan geheugen-geaugmenteerde baselines (AWM en ReasoningBank) over alle backbones en taakcomplexiteiten.
- Bij Voorkeursinferentie verbeterde PACMEM de TSR voor Qwen3.6-27B op single-hop queries naar 53,61%, waarmee het ReasoningBank (46,45%) overtrof.
- Bij Episodische Gronding behaalde PACMEM een TSR van 39,03% (Qwen3.6-27B, multi-hop), wat aanzienlijk beter is dan AWM (17,84%).
Ablatie-studies: Het verwijderen van ofwel het feitelijke of het voorkeursgeheugen degradeerde de prestaties. Het feitelijke geheugen was cruciaal voor episodische gronding (TSR daalde met ~22-33% bij verwijdering), terwijl het voorkeursgeheugen essentieel was voor voorkeursinferentie.
Complexiteitsanalyse: Naarmate het volume van de gebruikersgeschiedenis en de taakcomplexiteit (aantal stappen) toenam, degradeerde de prestatie van de baselines scherp. PACMEM behield zijn voordeel, wat suggereert dat gestructureerde geheugendistillatie effectief blijft onder complexiteit.
Foutanalyse: De primaire foutmodus voor PACMEM was "Navigatie Fout" (62-96% van de fouten), waarbij de agent de juiste geheugens ontvangt maar er niet in slaagt deze toe te passen tijdens de navigatie. Dit geeft aan dat hoewel geheugenretrieval verbetert, het vermogen om complexe navigatie uit te voeren op basis van de opgehaalde context nog steeds een uitdaging is.

Betekenis en Claims

Het artikel claimt dat PERSONATRAIL een praktische basis biedt voor het ontwikkelen van webagenten die individuele gebruikers kunnen assisteren in real-world omgevingen. Door de evaluatie te funderen in fijnmazige browsing trajecten in plaats van geabstraheerde samenvattingen, onthult de benchmark dat huidige agenten moeite hebben met het afleiden en toepassen van gebruikersvoorkeuren, zelfs bij statische, oplosbare taken.

De introductie van PACMEM demonstreert dat het transformeren van ruwe geschiedenissen naar gestructureerde geheugenrepresentaties — specifiek het scheiden van episodische details van gegeneraliseerde voorkeuren — een noodzakelijke stap is voor effectieve personalisatie. De auteurs stellen dat dit werk de kloof overbrugt tussen functionele taatautomatisering en de extractie van latente gebruikersvoorkeuren uit lange, ruisige, cross-sessie trajecten.

Het artikel erkent bescheiden beperkingen, waarbij wordt opgemerkt dat de benchmark momenteel uitgaat van stabiele voorkeuren en oplosbare taken, en scenario's zoals voorkeursdrift of onbeantwoordbare verzoeken uitsluit. Daarnaast, hoewel de browsing trajecten worden uitgevoerd op live websites, zijn de onderliggende gebruikersprofielen en intenties synthetisch gegenereerd om privacy en schaalbaarheid te waarborgen, hoewel de auteurs beargumenteren dat deze constructie een veilige en effectieve manier biedt om gebruikersgeschiedenissen op schaal op te bouwen.