💬 NLP

PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails

Este artículo presenta PersonaTrail, un punto de referencia para evaluar la capacidad de los agentes web personalizados para inferir las preferencias del usuario a partir de historiales de navegación brutos, junto con PACMem, un marco que estructura este historial en memorias de hechos y de preferencias para mejorar significativamente el rendimiento de la navegación.

Autores originales: Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

Publicado 2026-08-05

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robot súper inteligente que puede navegar por internet por ti. Le pides que "busque una película" y lo hace. Pero en el mundo real, rara vez das instrucciones perfectas. Podrías decir: "Búscame una película como las que suelo ver", o "Muéstrame esa receta que busqué el martes pasado". Para hacer esto, el robot necesita recordar tus hábitos pasados y momentos específicos de tu vida digital. Este es el mundo de los agentes web: software que actúa como un humano en sitios web, haciendo clic en botones y leyendo páginas para lograr objetivos. Durante un tiempo, los científicos probaron estos robots utilizando instrucciones muy estrictas y perfectas, como un problema matemático con todos los números completados. Pero eso no se siente como la vida real. La vida real es desordenada, llena de pensamientos a medio terminar y recuerdos de cosas que hicimos hace días. La gran pregunta es: ¿Pueden estos robots realmente aprender sobre ti a partir de tu historial desordenado, o simplemente siguen órdenes ciegamente?

Este artículo presenta una nueva forma de probar estos robots, llamada PERSONATRAIL. Los investigadores construyeron un patio de juegos gigante donde crearon "usuarios" falsos pero realistas con pasatiempos, trabajos y gustos específicos. Luego observaron cómo estos usuarios navegaban por la web, creando un largo rastro de clics, búsquedas y visitas a páginas. Les dieron a los robots dos desafíos complicados. Primero, Inferencia de Preferencias: el robot tiene que adivinar qué te gusta basándose en un patrón. Por ejemplo, si siempre haces clic en películas de "Misterio" y recetas de "Una sola olla", el robot necesita deducir que te encantan los misterios y la cocina fácil, incluso si no lo dices en voz alta. Segundo, Anclaje Episódico: el robot tiene que encontrar un recuerdo específico. Si dices: "Muéstrame la receta de curry que busqué el martes pasado", el robot tiene que excavar en su banco de memoria para encontrar ese momento exacto y volver allí.

Los investigadores descubrieron que la mayoría de los robots existentes eran terribles en esto. Eran como estudiantes que memorizaron un libro de texto pero no podían aplicarlo a una situación nueva. Cuando los robots intentaban recordar tu pasado, a menudo descartaban los detalles importantes, como qué hiciste clic, y solo conservaban la idea general de cómo hiciste clic. Para solucionar esto, el equipo construyó un nuevo sistema de memoria llamado PACMEM. Piensa en PACMEM como un bibliotecario súper organizado para el robot. En lugar de simplemente volcar una pila de papeles sobre el escritorio, este bibliotecario los clasifica en dos cubetas especiales. Una cubeta, la Memoria Fáctica, es un diario de exactamente lo que sucedió en días específicos (por ejemplo, "El 24 de mayo, Sarah vio Bird Box"). La otra cubeta, la Memoria de Preferencias, es un resumen de tus hábitos (por ejemplo, "Sarah siempre elige películas de Misterio y calificaciones superiores a 6.0").

Cuando el robot recibe una pregunta, PACMEM no solo le lanza todo el historial. Revisa rápidamente la cubeta del diario si la pregunta es sobre un día específico, o la cubeta de hábitos si la pregunta es sobre lo que te gusta. Los resultados mostraron que los robots que utilizaban este sistema de dos cubetas eran mucho mejores resolviendo estos acertijos personalizados que los anteriores. No solo adivinaban; realmente utilizaban las pistas correctas para encontrar la película o la receta adecuada. El artículo sugiere que, para que los robots nos ayuden verdaderamente en el mundo real, deben dejar de tratar nuestro historial de navegación como una pila desordenada de basura y empezar a organizarlo en historias y hábitos claros. Si bien este es un gran paso adelante, los investigadores señalan que la vida real es aún más complicada que su prueba, con hábitos que cambian y preguntas que son imposibles de responder, pero este nuevo sistema nos brinda una base sólida para construir ayudantes más inteligentes y personales.

Resumen Técnico: PERSONATRAIL: Evaluación de Agentes Web Personalizados mediante Trayectorias de Navegación

Planteamiento del Problema

Los avances recientes en los Modelos de Lenguaje Extensos (LLMs) han permitido que los agentes web ejecuten tareas de navegación complejas de forma autónoma. Sin embargo, los benchmarks actuales no logran evaluar a los agentes en escenarios realistas y centrados en el usuario donde las instrucciones son subespecificadas. En la práctica, los usuarios esperan que los agentes infieran el contexto faltante —como preferencias personales o referencias a interacciones pasadas— a partir de historiales de navegación brutos, en lugar de recibir instrucciones totalmente explícitas. Los benchmarks existentes o bien restringen las tareas a instrucciones explícitas, o abstraen el historial de interacción en formas simplificadas (por ejemplo, registros de transacciones o eventos de alto nivel sintetizados por LLMs), o no logran capturar las trayectorias de interacción finas y de bajo nivel (clics, búsquedas, transiciones de página) donde realmente se encuentran embebidos las preferencias del usuario y los contextos episódicos. En consecuencia, existe una falta de un marco estandarizado para evaluar la capacidad de un agente para realizar la inferencia de preferencias (deducir hábitos latentes) y el anclaje episódico (recordar sesiones pasadas específicas) en un entorno de web abierta gestionada.

Metodología

1. El Benchmark PERSONATRAIL

Los autores presentan PERSONATRAIL, un benchmark diseñado para evaluar agentes web personalizados utilizando trayectorias de navegación en la web real y detalladas. El benchmark se construye mediante un pipeline que involucra:

Curación de Sitios Web: Selección de 317 sitios web en 23 dominios de las listas Tranco y Similarweb, filtrados por contenido en inglés y accesibilidad.
Perfil de Usuario y Asignación: Generación de 200 perfiles de usuario diversos (edad, profesión, aficiones) y asignación de subdominios específicos y sitios web relevantes basados en estos perfiles.
Descubrimiento de Plantillas de Consulta: Un agente basado en LLM explora los sitios web asignados para descubrir plantillas de consulta parametrizadas que contienen variables de preferencia ( $V_p$ ) y variables objetivo ( $V_t$ ).
Ejecución de Trayectorias (Rollout): Los agentes ejecutan consultas en sitios web reales, generando registros de interacción detallados (marcas de tiempo, URLs, elementos, acciones). Las preferencias se expresan a través de interacciones nativas del sitio (por ejemplo, filtrar por género), creando patrones de comportamiento consistentes a través de múltiples sesiones.
Definición de Tareas: El benchmark evalúa dos tareas complementarias:
- Inferencia de Preferencias: El agente debe inferir preferencias latentes (por ejemplo, "Busca una película del género que suelo ver") a partir de patrones recurrentes en el historial.
- Anclaje Episódico: El agente debe recuperar y volver a navegar a una sesión pasada específica referenciada por pistas temporales o de eventos (por ejemplo, "Muéstrame la receta que busqué el martes pasado").
Mantenimiento de Validez: Se utiliza un paradigma de web abierta gestionada, que cuenta con un pipeline de verificación de dos etapas (reproducción automática y verificación por LLM) para asegurar que las tareas sigan siendo ejecutables a pesar de los cambios en los sitios web.

2. Marco PACMEM

Para abordar las limitaciones de los agentes actuales basados en memoria que descartan detalles a nivel de episodio y preferencias latentes, los autores proponen la Memoria Contextual con Conciencia de Preferencias (PACMEM). Este marco estructura los historiales de navegación brutos en una jerarquía de dos niveles:

Memoria Fáctica: Captura registros episódicos de acciones pasadas. Los registros brutos se segmentan en segmentos atómicos orientados a objetivos, y luego se agrupan en episodios coherentes basados en similitud semántica. Cada episodio se estructura en una entrada de memoria que contiene un título, marcas de tiempo, URLs y secuencias de interacción.
Memoria de Preferencias: Codifica patrones de comportamiento recurrentes. Las entradas de la memoria fáctica se agrupan según su similitud, y un LLM genera descripciones en lenguaje natural de los patrones subyacentes (por ejemplo, "Siempre usa IMDb para películas", "Prefiere el género de Misterio").
Recuperación: Durante la inferencia, un pipeline de recuperación de grueso a fino selecciona las entradas relevantes para la tarea de ambos depósitos de memoria. Utiliza similitud basada en embeddings para la selección inicial de candidatos, seguida de un reordenamiento (reranking) basado en LLM según la relevancia semántica, la alineación temporal y la utilidad.

Contribuciones Clave

Benchmark PERSONATRAIL: Un nuevo benchmark para agentes web personalizados que presenta trayectorias de navegación en la web real y detalladas como historial de usuario. Apoya de manera única tanto la inferencia de preferencias como las tareas de anclaje episódico en escenarios de un solo salto (single-hop) y de múltiples saltos (multi-hop).
Marco PACMEM: Un método de referencia simple pero efectivo que transforma historiales de navegación brutos en memorias fácticas y de preferencias estructuradas. Este enfoque establece una base sólida para la navegación web personalizada al preservar tanto los detalles episódicos como las señales de preferencia.
Validación Empírica: Experimentos extensos que demuestran que la destilación de trayectorias brutas en memoria estructurada supera significativamente a las líneas base aumentadas con memoria.

Resultados Experimentales

Los experimentos se realizaron en PERSONATRAIL utilizando diversos modelos de base (incluyendo Claude Haiku 4.5, GPT-5.4-mini, Gemini-3-Flash y modelos de código abierto como Qwen3.6-27B y Llama-4-Scout).

Brecha de Rendimiento: Las líneas base sin recuperación ("No Retrieval") alcanzaron tasas de éxito de tarea (TSR) cercanas a cero en tareas de personalización, lo que resalta la necesidad del historial. Aunque los modelos de base fuertes lograron puntuaciones de intención (IS) altas sin recuperación, fallaron al aplicar restricciones personales.
Superioridad de PACMEM: PACMEM superó consistentemente a las líneas base aumentadas con memoria (AWM y ReasoningBank) en todos los modelos de base y complejidades de tarea.
- En Inferencia de Preferencias, PACM mejoró la TSR de Qwen3.6-27B en consultas de un solo salto al 53.61%, superando a ReasoningBank (46.45%).
- En Anclaje Episódico, PACMEM logró una TSR del 39.03% (Qwen3.6-27B, multi-hop), superando significativamente a AWM (17.84%).
Estudios de Ablación: Eliminar la memoria fáctica o la de preferencias degradó el rendimiento. La memoria fáctica fue crítica para el anclaje episódico (la TSR cayó aproximadamente un 22-33% cuando se eliminó), mientras que la memoria de preferencias fue esencial para la inferencia de preferencias.
Análisis de Complejidad: A medida que el volumen del historial de usuario y la complejidad de la tarea (número de pasos) aumentaban, el rendimiento de la línea base se degradaba drásticamente. PACMEM mantuvo su ventaja, sugiriendo que la destilación de memoria estructurada sigue siendo efectiva bajo complejidad.
Análisis de Errores: El principal modo de falla para PACMEM fue "Fallo de Navegación" (62-96% de los fallos), donde el agente recibió la memoria correcta pero falló al aplicarla durante la navegación. Esto indica que, si bien la recuperación de memoria está mejorando, la capacidad de ejecutar una navegación compleja basada en el contexto recuperado sigue siendo un desafío.

Significancia y Reivindicaciones

El artículo sostiene que PERSONATRAIL proporciona una base práctica para desarrollar agentes web capaces de asistir a usuarios individuales en entornos del mundo real. Al fundamentar la evaluación en trayectorias de navegación detalladas en lugar de resúmenes abstractos, el benchmark revela que los agentes actuales luchan por inferir y aplicar las preferencias del usuario incluso en tareas estáticas y resolubles.

La introducción de PACMEM demuestra que transformar historiales brutos en representaciones de memoria estructuradas —específicamente separando los detalles episódicos de las preferencias generalizadas— es un paso necesario para una personalización efectiva. Los autores afirman que este trabajo cierra la brecha entre la automatización de tareas funcionales y la extracción de preferencias latentes del usuario a partir de trayectorias largas, ruidosas y de múltiples sesiones.

El artículo reconoce modestamente sus limitaciones, señalando que el benchmark actualmente asume preferencias estables y tareas resolubles, excluyendo escenarios como el cambio de preferencias (preference drift) o solicitudes imposibles de responder. Además, aunque las trayectorias de navegación se ejecutan en sitios web reales, los perfiles de usuario e intenciones subyacentes se generan sintéticamente para garantizar la privacidad y la escalabilidad, aunque los autores argumentan que esta construcción ofrece una forma segura y efectiva de construir historiales de usuario a escala.