Resumen Técnico: APeB – Evaluación de la Capacidad de Personalización de Agentes de Modelos de Lenguaje Extensos

1. Planteamiento del Problema

Los agentes impulsados por Modelos de Lenguajes Extensos (LLM) enfrentan desafíos significativos en la personalización cuando los usuarios emiten consultas puras y subespecificadas. En escenarios del mundo real, los objetivos del usuario rara vez son explícitos; las preferencias son implícitas y deben inferirse a partir de historiales de interacción ruidosos y heterogéneos (por ejemplo, videos, transmisiones en vivo, visualizaciones de productos). Además, la corrección es centrada en el usuario en lugar de ser globalmente óptima, lo que requiere que los agentes discriminen entre alternativas estrechamente competidoras basadas en la intención latente.

Los benchmarks existentes no logran evaluar adecuadamente esta capacidad porque típicamente dependen de:

• Consultas refinadas por el usuario en lugar de intenciones vagas y en etapas tempranas.
• Historiales simplificados o saneados que carecen del ruido y la diversidad del comportamiento real.
• Candidatos fácilmente separables que no requieren una discriminación de preferencias de grano fino.

Consecuentemente, las evaluaciones actuales suelen confundir el emparejamiento semántico con la verdadera personalización, fallando al evaluar si los flujos de trabajo agénticos (por ejemplo, ReAct) pueden inferir eficazmente la intención y alinear las acciones con las preferencias específicas del usuario.

2. Metodología: El Benchmark APeB

Los autores introducen APeB (Agent Personalized Benchmark), un banco de pruebas diseñado para evaluar la personalización agéntica a través de la tarea de Búsqueda de Productos Personalizada (PPS). APeB se construye a partir de registros de acciones del mundo real de una plataforma líder de comercio de contenido, capturando el flujo de extremo a extremo desde el consumo de contenido hasta la compra de productos.

2.1 Construcción de Datos

• Fuente: 5,648 sesiones de compra no triviales recolectadas de una ventana de sesión retenida de 30 días, con hasta 60 días de historial previo a la sesión.
• Definición de Sesión: Una sesión de "búsqueda a pedido" se define como una ventana de tiempo delimitada que comienza con una consulta de búsqueda y termina con una compra ($\Delta \le 30$ minutos).
• Filtrado de No Trivialidad: Las sesiones se filtran para asegurar que representen regímenes de compra de alto esfuerzo, requiriendo:
  1. Refinamiento Iterativo de Consultas: Al menos dos consultas de búsqueda distintas ($|Q_{search}| \ge 2$).
  2. Navegación Extensa: Exploración sustancial de productos y medios antes de la compra ($|P_{view}| + |V_{view}| \ge \tau_v$).
  3. Alineación Intención-Pedido: La compra final debe ser semánticamente consistente con la intención expresada y los candidatos explorados.

2.2 Componentes del Benchmark

Para cada sesión retenida, APeB construye tres componentes principales:

1. Historiales Heterogéneos ($H_u$): Registros de interacción a largo plazo que contienen señales diversas, incluyendo interacciones con productos (vistas, me gusta, carritos) e interacciones con medios (videos, transmisiones en vivo con contenido de OCR/ASR).
2. Espectro de Consultas:
   • Consulta de Intención ($q_{intent}$): La primera consulta semánticamente alineada con la compra, que representa un objetivo vago y de etapa temprana (por ejemplo, "campus OOTD").
   • Consulta Refinada ($q_{refined}$): La última consulta antes de la compra, que representa una intención bien especificada (por ejemplo, "oversized long-sleeve navy blue").
3. Conjunto de Candidatos Difíciles ($C_{hard}$): Un conjunto de productos que el usuario vio pero no compró, más el artículo comprado finalmente. Estos candidatos son semánticamente cercanos, lo que requiere una discriminación de atributos de grano fino en lugar de un emparejamiento semántico grueso.

2.3 Protocolo de Evaluación

Los modelos son evaluados en su capacidad de clasificar el artículo comprado dentro del conjunto de candidatos difíciles dado un input de $(q, H_u, C_{hard})$.

• Métricas: Hit@1 y Hit@5.
• Análisis de Rúbrica: Los pasos de razonamiento intermedio (Inferencia de Consulta, Calidad de Preferencia, Calidad de Recomendación, Razonamiento Agéntico) se califican utilizando LLM-as-a-Judge para diagnosticar modos de falla específicos.

3. Contribuciones Clave

1. Benchmark APeB: El primer benchmark que evalúa conjuntamente a los agentes en historiales heterogéneos ruidosos, trayectorias de búsqueda de vaga a refinada y candidatos estrechamente competidores. Cierra la brecha entre los sistemas de recomendación (predicción del siguiente ítem) y el razonamiento agéntico (planificación de múltiples pasos).
2. Análisis Empírico de Agentes LLM: Una evaluación exhaustiva de LLMs de vanguardia (incluyendo GPT-4/5, Qwen3, DeepSeek-R1, Gemini) y flujos de trabajo agénticos (ReAct, Deerflow) revela que, si bien los modelos manejan bien las consultas explícitas, tienen dificultades significativas con el descubrimiento de la intención en etapas tempranas y la recuperación de preferencias.
3. Diagnóstico de Modos de Falla: El análisis de rúbrica identifica que las brechas de rendimiento son impulsadas principalmente por una utilización ineficaz del historial. Los modelos fallan al extraer preferencias relevantes de historiales ruidosos para guiar la planificación, y el razonamiento de múltiples pasos (ReAct) a menudo amplifica estos errores bajo intenciones vagas.
4. Pipeline VQRA: Los autores proponen VQRA (Vague Query Refinement Agent), un pipeline simple que utiliza un backbone compartido para reescribir las consultas de intención basadas en el contexto de historial seleccionado antes de la evaluación. Este enfoque produce ganancias consistentes, demostrando que los módulos de utilización de historial explícitos son críticos para los agentes personalizados.

4. Resultados Experimentales

• Brecha de Rendimiento: En configuraciones dominadas por el alineamiento semántico (consultas refinadas o candidatos aleatorios), los LLMs superan sustancialmente a la línea base especializada de PPS (UniSAR). Sin embargo, en tareas que requieren modelado de usuario y refinamiento de intención (consultas de intención con candidatos difíciles), los LLMs caen al nivel de un UniSAR zero-shot, con ganancias limitadas de los flujos de trabajo ReAct.
• Utilización del Historial: Los LLMs luchan por beneficiarse del historial bajo consultas de intención. Si bien añadir historial mejora el rendimiento para las consultas refinadas, ofrece ganancias marginales para las consultas de intención, lo que sugiere que los flujos de trabajo actuales de los LLM no extraen naturalmente preferencias recuperables de contextos ruidosos y subespecificados.
• Dificultad de los Candidatos: Los LLM superan a las líneas base en candidatos aleatorios (emparejamiento semántico grueso) pero fallan en distinguir atributos de grano fino entre candidatos difíciles (ítems vistos por el usuario). Esto indica que los modelos actuales carecen de capacidades de personalización reales cuando las señales semánticas son insuficientes.
• Eficacia de VQRA: La implementación de VQRA mejora el Hit@1 a través de varios backbones, confirmando que el refinamiento de consultas basado explícitamente en el historial ayuda a los modelos a inferir la intención latente y seleccionar los candidatos apropiados.

5. Significado y Reivindicaciones

El artículo afirma que APeB sirve como un banco de pruebas necesario para evaluar sistemas agénticos bajo restricciones de personalización realistas. Su principal significancia radica en exponer las limitaciones de los agentes LLM actuales: son competentes en la ejecución de tareas con objetivos claros, pero luchan con la inferencia de la intención latente y la recuperación de preferencias de historiales ruidosos.

Los autores concluyen que la brecha en la capacidad de personalización no es meramente una falta de escala del modelo, sino una deficiencia estructural en los módulos de utilización de historial. El éxito del simple pipeline VQRA sugiere que los futuros agentes personalizados requieren mecanismos dedicados para fundamentar explícitamente la planificación y la acción en señales históricas específicas del usuario, en lugar de depender únicamente del contexto implícito dentro del prompt.

Limitaciones Reconocidas:

• El benchmark se deriva de una sola plataforma, lo que potencialmente limita la transferibilidad a otros ecosistemas de comercio electrónico.
• La evaluación es estática y offline, no reflejando interacciones dinámicas de múltiples turnos o de inventario en tiempo real.
• Las compras observadas sirven como proxies para la preferencia, pero pueden estar confundidas por la exposición de ranking y la disponibilidad de stock.
• El análisis de rúbrica depende de LLM-as-a-Judge, lo que puede introducir sesgos sistemáticos.