💬 NLP

PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails

Cet article introduit PersonaTrail, un benchmark pour évaluer la capacité des agents web personnalisés à inférer les préférences des utilisateurs à partir d'historiques de navigation bruts, ainsi que PACMem, un cadre qui structure cet historique en mémoires factuelles et de préférences afin d'améliorer significativement les performances de navigation.

Auteurs originaux : Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

Publié 2026-08-05

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robotique super intelligent capable de naviguer sur Internet pour vous. Vous lui demandez de « trouver un film », et il le fait. Mais dans le monde réel, vous ne donnez que rarement des instructions parfaites. Vous pourriez dire : « Trouve-moi un film comme ceux que je regarde d'habitude », ou « Montre-moi cette recette que j'ai regardée mardi dernier ». Pour faire cela, le robot doit se souvenir de vos habitudes passées et de moments spécifiques de votre vie numérique. C'est le monde des agents web : des logiciels qui agissent comme un humain sur des sites web, en cliquant sur des boutons et en lisant des pages pour accomplir des tâches. Pendant un certain temps, les scientifiques ont testé ces robots en utilisant des instructions très strictes et parfaites, comme un problème de mathématiques où tous les chiffres sont déjà remplis. Mais cela ne ressemble pas à la vraie vie. La vraie vie est désordonnée, pleine de pensées inachevées et de souvenirs de choses que nous avons faites il y a plusieurs jours. La grande question est : ces robots peuvent-ils réellement apprendre à vous connaître à partir de votre historique désordonné, ou se contentent-ils de suivre des ordres aveuglément ?

Ce document présente une nouvelle façon de tester ces robots, appelée PERSONATRAIL. Les chercheurs ont construit un terrain de jeu géant où ils ont créé de faux « utilisateurs » réalistes avec des passe-temps, des métiers et des goûts spécifiques. Ils ont ensuite observé comment ces utilisateurs naviguaient sur le web, créant une longue trace de clics, de recherches et de visites de pages. Ils ont soumis les robots à deux défis difficiles. Premièrement, l'Inférence de Préférence : le robot doit deviner ce que vous aimez en se basant sur un modèle. Par exemple, si vous cliquez toujours sur les films de « Mystère » et les recettes « Un seul plat », le robot doit comprendre que vous adorez le mystère et la cuisine facile, même si vous ne le dites pas explicitement. Deuxièmement, l'Ancrage Épisodique : le robot doit trouver un souvenir spécifique. Si vous dites : « Montre-moi la recette de curry que j'ai cherchée mardi dernier », le robot doit fouiller dans sa banque de mémoire pour trouver ce moment précis et y revenir.

Les chercheurs ont découvert que la plupart des robots existants étaient terribles à cela. Ils étaient comme des étudiants qui auraient mémorisé un manuel mais qui ne pourraient pas l'appliquer à une nouvelle situation. Lorsque les robots essayaient de se souvenir de votre passé, ils jetaient souvent les détails importants, comme ce sur quoi vous avez cliqué, pour ne garder que l'idée générale de comment vous avez cliqué. Pour corriger cela, l'équipe a construit un nouveau système de mémoire appelé PACMEM. Considérez PACMEM comme un bibliothécaire super organisé pour le robot. Au lieu de simplement jeter un tas de papiers sur le bureau, ce bibliothécaire les trie dans deux bacs spéciaux. L'un est la Mémoire Factuelle, qui est un journal de ce qui s'est exactement passé lors de jours spécifiques (ex : « Le 24 mai, Sarah a regardé Bird Box »). L'autre est la Mémoire de Préférence, qui est un résumé de vos habitudes (ex : « Sarah choisit toujours des films de Mystère et des notes supérieures à 6,0 »).

Lorsqu'un robot reçoit une question, PACMEM ne se contente pas de lui déverser tout l'historique. Il vérifie rapidement le bac du journal si la question porte sur un jour spécifique, ou le bac des habitudes si la question porte sur ce que vous aimez. Les résultats ont montré que les robots utilisant ce système à deux bacs étaient bien meilleurs pour résoudre ces énigmes personnalisées que les anciens modèles. Ils ne se contentaient pas de deviner ; ils utilisaient réellement les bons indices pour trouver le bon film ou la bonne recette. Le document suggère que pour que les robots puissent réellement nous aider dans le monde réel, ils doivent cesser de traiter notre historique de navigation comme un tas de déchets désordonnés et commencer à l'organiser en histoires et en habitudes claires. Bien que ce soit une étape importante, les chercheurs notent que la vie réelle est encore plus complexe que leur test, avec des habitudes qui changent et des questions impossibles à répondre, mais ce nouveau système nous donne une base solide pour construire des assistants plus intelligents et plus personnels.

Résumé Technique : PERSONATRAIL : Évaluer les agents web personnalisés à travers les trajectoires de navigation

Problématique

Les avancées récentes des modèles de langage de grande taille (LLM) ont permis aux agents web d'exécuter de manière autonome des tâches de navigation complexes. Cependant, les benchmarks actuels échouent à évaluer les agents dans des scénarios réalistes et centrés sur l'utilisateur où les instructions sont sous-spécifiées. En pratique, les utilisateurs attendent que les agents déduisent le contexte manquant — tel que les préférences personnelles ou les références à des interactions passées — à partir d'historiques de navigation bruts plutôt que de recevoir des invites entièrement explicites. Les benchmarks existants soit restreignent les tâches à des instructions explicites, soit abstraient l'historique d'interaction sous des formes simplifiées (par exemple, des enregistrements de transactions ou des événements de haut niveau synthétisés par LLM), ou ne parviennent pas à capturer les trajectoires d'interaction fines et de bas niveau (clics, recherches, transitions de pages) où les préférences de l'utilisateur et les contextes épisodiques sont réellement ancrés. Par conséquent, il existe un manque de cadre standardisé pour évaluer la capacité d'un agent à effectuer l'inférence de préférence (déduire les habitudes latentes) et l'ancrage épisodique (se rappeler de sessions passées spécifiques) dans un environnement web ouvert et géré.

Méthodologie

1. Le Benchmark PERSONATRAIL

Les auteurs introduisent PERSONATRAIL, un benchmark conçu pour évaluer les agents web personnalisés en utilisant des trajectoires de navigation sur le web réel et de grain fin. Le benchmark est construit via un pipeline impliquant :

Curation de sites web : Sélection de 317 sites web répartis sur 23 domaines à partir de la liste Tranco et de Similarweb, filtrés pour leur contenu en anglais et leur accessibilité.
Profil d'utilisateur et attribution : Génération de 200 personas d'utilisateurs diversifiés (âge, métier, loisirs) et attribution de sous-domaines et de sites web spécifiques basés sur ces profils.
Découverte de modèles de requêtes : Un agent basé sur un LLM explore les sites web assignés pour découvrir des modèles de requêtes paramétrés contenant des variables de préférence ( $V_p$ ) et des variables cibles ( $V_t$ ).
Déroulement de la trajectoire : Les agents exécutent des requêtes sur des sites web en direct, générant des journaux d'interaction détaillés (horodatages, URL, éléments, actions). Les préférences s'expriment à travers des interactions natives au site (par exemple, le filtrage par genre), créant des modèles de comportement cohérents à travers plusieurs sessions.
Définition des tâches : Le benchmark évalue deux tâches complémentaires :
- Inférence de préférence : L'agent doit inférer des préférences latentes (par exemple, « Trouver un film dans le genre que je regarde habituellement ») à partir de modèles récurrents dans l'historique.
- Ancrage épisodique : L'agent doit récupérer et naviguer à nouveau vers une session passée spécifique référencée par des indices temporels ou événementiels (par exemple, « Montre-moi la recette que j'ai cherchée mardi dernier »).
Maintien de la validité : Un paradigme de web ouvert géré est utilisé, présentant un pipeline de vérification en deux étapes (rejeu automatique et vérification par LLM) pour garantir que les tâches restent exécutables malgré les changements de sites web.

2. Framework PACMEM

Pour remédier aux limites des agents basés sur la mémoire existants qui rejettent les détails au niveau de l'épisode et les préférences latentes, les auteurs proposent la Mémoire Contextuelle Sensible aux Préférences (PACMEM). Ce framework structure les historiques de navigation bruts en une hiérarchie à deux niveaux :

Mémoire Factuelle : Capture les enregistrements épisodiques des actions passées. Les journaux bruts sont segmentés en segments atomiques orientés vers un objectif, puis regroupés en épisodes cohérents basés sur la similitude sémantique. Chaque épisode est structuré en une entrée de mémoire contenant un titre, des horodatages, des URL et des séquences d'interaction.
Mémoire de Préférence : Encode les modèles de comportement récurrents. Les entrées de la mémoire factuelle sont regroupées par similarité, et un LLM génère des descriptions en langage naturel des modèles sous-jacents (par exemple, « Utilise toujours IMDb pour les films », « Préfère le genre Mystère »).
Récupération : Lors de l'inférence, un pipeline de récupération du grossier au fin sélectionne les entrées pertinentes pour la tâche dans les deux réservoirs de mémoire. Il utilise la similitude basée sur l'embedding pour la sélection initiale des candidats, suivie d'un reclassement par LLM basé sur la pertinence sémantique, l'alignement temporel et l'utilité.

Contributions Clés

Benchmark PERSONATRAIL : Un nouveau benchmark pour les agents web personnalisés présentant des trajectoires de navigation sur le web réel et de grain fin comme historique utilisateur. Il supporte de manière unique les tâches d'inférence de préférence et d'ancrage épisodique à travers des scénarios à saut unique (single-hop) et à sauts multiples (multi-hop).
Framework PACMEM : Une méthode de référence simple mais efficace qui transforme les historiques de navigation bruts en mémoires factuelles et de préférences structurées. Cette approche établit une base solide pour la navigation web personnalisée en préservant à la fois les détails épisodiques et les signaux de préférence.
Validation Empirique : Expériences approfondies démontrant que la distillation des trajectoires brutes en une mémoire structurée surpasse significativement les bases de comparaison augmentées par la mémoire.

Résultats Expérimentaux

Les expériences ont été menées sur PERSONATRAIL en utilisant divers modèles de base (incluant Claude Haiku 4.5, GPT-5.4-mini, Gemini-3-Flash, et des modèles open-source comme Qwen3.6-27B et Llama-4-Scout).

Écart de Performance : Les bases sans récupération (« No Retrieval ») ont atteint un taux de succès des tâches (TSR) proche de zéro sur les tâches de personnalisation, soulignant la nécessité de l'historique. Bien que les modèles de base puissants aient obtenu des scores d'intention (IS) élevés sans récupération, ils ont échoué à appliquer les contraintes personnelles.
Supériorité de PACMEM : PACMEM a systématiquement surpassé les bases de comparaison augmentées par la mémoire (AWM et ReasoningBank) à travers tous les modèles et complexités de tâches.
- Sur l'Inférence de Préférence, PACMEM a amélioré le TSR de Qwen3.6-27B sur les requêtes à saut unique à 53,61 %, dépassant ReasoningBank (46,45 %).
- Sur l'Ancrage Épisodique, PACMEM a atteint un TSR de 39,03 % (Qwen3.6-27B, multi-hop), surpassant nettement AWM (17,84 %).
Études d'Ablation : La suppression de la mémoire factuelle ou de la mémoire de préférence a dégradé les performances. La mémoire factuelle était critique pour l'ancrage épisodique (le TSR a chuté d'environ 22-33 % lorsqu'elle était supprimée), tandis que la mémoire de préférence était essentielle pour l'inférence de préférence.
Analyse de Complexité : À mesure que le volume de l'historique de l'utilisateur et la complexité de la tâche (nombre d'étapes) augmentaient, la performance des bases de comparaison chutait brutalement. PACMEM a maintenu son avantage, suggérant que la distillation de la mémoire structurée reste efficace sous la complexité.
Analyse d'Erreur : Le principal mode de défaillance pour PACMEM était l'« Échec de Navigation » (62-96 % des échecs), où l'agent recevait la mémoire correcte mais échouait à l'appliquer lors de la navigation. Cela indique que si la récupération de la mémoire s'améliore, la capacité d'exécuter une navigation complexe basée sur le contexte récupéré reste un défi.

Signification et Revendications

L'article affirme que PERSONATRAIL fournit une base pratique pour le développement d'agents web capables d'assister les utilisateurs individuels dans des environnements réels. En ancrant l'évaluation dans des trajectoires de navigation de grain fin plutôt que dans des résumés abstraits, le benchmark révèle que les agents actuels peinent à inférer et appliquer les préférences des utilisateurs, même sur des tâches statiques et solubles.

L'introduction de PACMEM démontre que transformer les historiques bruts en représentations de mémoire structurées — spécifiquement en séparant les détails épisodiques des préférences généralisées — est une étape nécessaire pour une personnalisation efficace. Les auteurs affirment que ce travail comble le fossé entre l'automatisation des tâches fonctionnelles et l'extraction de préférences utilisateur latentes à partir de trajectoires longues, bruitées et multi-sessions.

Le papier reconnaît modestement des limites, notant que le benchmark suppose actuellement des préférences stables et des tâches solubles, excluant les scénarios comme la dérive des préférences ou les requêtes impossibles à répondre. De plus, bien que les trajectoires de navigation soient exécutées sur des sites web en direct, les profils et intentions d'utilisateurs sous-jacents sont générés synthétiquement pour garantir la confidentialité et l'évolutivité, bien que les auteurs soutiennent que cette construction offre un moyen sûr et efficace de construire des historiques d'utilisateurs à grande échelle.