Résumé Technique : APeB – Évaluation de la capacité de personnalisation des agents de grands modèles de langage

1. Énoncé du problème

Les agents alimentés par des grands modèles de langage (LLM) sont confrontés à des défis importants en matière de personnalisation lorsque les utilisateurs émettent des requêtes brutes et sous-spécifiées. Dans des scénarios réels, les objectifs des utilisateurs sont rarement explicites ; les préférences sont implicites et doivent être déduites d'historiques d'interactions bruités et hétérogènes (par exemple, vidéos, lives, vues de produits). De plus, la justesse est centrée sur l'utilisateur plutôt que globalement optimale, ce qui exige que les agents sachent discriminer entre des alternatives très proches basées sur une intention latente.

Les benchmarks existants ne parviennent pas à tester adéquatement cette capacité car ils reposent typiquement sur :

• Des requêtes affinées par l'utilisateur plutôt que sur des intentions initiales vagues.
• Des historiques simplifiés ou nettoyés qui manquent du bruit et de la diversité des comportements réels.
• Des candidats facilement séparables qui ne nécessitent pas une discrimination fine des préférences.

Par conséquent, les évaluations actuelles confondent souvent l'appariement sémantique avec une véritable personnalisation, échouant à évaluer si les flux de travail agentiques (par exemple, ReAct) peuvent effectivement inférer l'intention et aligner les actions avec les préférences spécifiques d'un utilisateur.

2. Méthodologie : Le Benchmark APeB

Les auteurs introduisent APeB (Agent Personalized Benchmark), un banc d'essai conçu pour évaluer la personnalisation agentique à travers la tâche de Recherche de Produits Personnalisée (PPS - Personalized Product Search). APeB est construit à partir de journaux d'actions réels d'une plateforme majeure de commerce de contenu, capturant le flux de bout en bout, de la consommation de contenu à l'achat de produits.

2.1 Construction des données

• Source : 5 648 sessions d'achat non triviales collectées sur une fenêtre de rétention de session de 30 jours, avec jusqu'à 60 jours d'historique pré-session.
• Définition de la session : Une session « de la recherche à la commande » est définie comme une fenêtre de temps limitée commençant par une requête de recherche et se terminant par un achat ($\Delta \le 30$ minutes).
• Filtrage non trivial : Les sessions sont filtrées pour garantir qu'elles représentent des régimes d'achat à fort effort, nécessitant :
  1. Un affinement itératif des requêtes : Au moins deux requêtes de recherche distinctes ($|Q_{search}| \ge 2$).
  2. Une navigation étendue : Une exploration substantielle de produits et de médias avant l'achat ($|P_{view}| + |V_{view}| \ge \tau_v$).
  3. Alignement Intention-Commande : L'achat final doit être sémantiquement cohérent avec l'intention exprimée et les candidats explorés.

2.2 Composantes du Benchmark

Pour chaque session retenue, APeB construit trois composantes clés :

1. Historiques hétérogènes ($H_u$) : Journaux d'interactions à long terme contenant des signaux divers, incluant des interactions avec des produits (vues, likes, paniers) et des interactions avec des médias (vidéos, lives avec contenu OCR/ASR).
2. Spectre de requêtes :
   • Requête d'intention ($q_{intent}$) : La requête la plus précoce sémantiquement alignée avec l'achat, représentant un objectif vague et initial (ex : « tenue de campus »).
   • Requête affinée ($q_{refined}$) : La dernière requête avant l'achat, représentant une intention bien spécifiée (ex : « chemise bleu marine oversize à manches longues »).
3. Ensemble de candidats difficiles ($C_{hard}$) : Un ensemble de produits que l'utilisateur a consultés mais n'a pas achetés, plus l'article finalement acheté. Ces candidats sont sémantiquement proches, nécessitant une discrimination fine des attributs plutôt qu'un appariement sémantique grossier.

2.3 Protocole d'évaluation

Les modèles sont évalués sur leur capacité à classer l'article acheté au sein de l'ensemble de candidats difficiles, étant donné une entrée de $(q, H_u, C_{hard})$.

• Métriques : Hit@1 et Hit@5.
• Analyse par rubriques : Les étapes de raisonnement intermédiaire (Inférence de requête, Qualité des préférences, Qualité de la recommandation, Raisonnement de l'agent) sont notées via un « LLM-as-a-Judge » pour diagnostiquer les modes de défaillance spécifiques.

3. Contributions Clés

1. Benchmark APeB : Le premier benchmark évaluant conjointement les agents sur des historiques hétérogènes bruités, des trajectoires de recherche allant du vague au raffiné, et des candidats étroitement concurrentiels. Il comble le fossé entre les systèmes de recommandation (prédiction du prochain article) et le raisonnement agentique (planification multi-étapes).
2. Analyse empirique des agents LLM : Une évaluation exhaustive des LLM de pointe (incluant GPT-4/5, Qwen3, DeepSeek-R1, Gemini) et des flux de travail agentiques (ReAct, Deerflow) révèle que si les modèles gèrent bien les requêtes explicites, ils éprouvent de grandes difficultés avec la découverte d'intentions précoces et la récupération de préférences.
3. Diagnostic des modes de défaillance : L'analyse par rubriques identifie que les écarts de performance sont principalement dus à une utilisation inefficace de l'historique. Les modèles échouent à extraire les préférences pertinentes des historiques bruités pour guider la planification, et le raisonnement multi-étapes (ReAct) amplifie souvent ces erreurs sous des intentions vagues.
4. Pipeline VQRA : Les auteurs proposent VQRA (Vague Query Refinement Agent), un pipeline simple utilisant un squelette partagé pour réécrire les requêtes d'intention basées sur le contexte de l'historique sélectionné avant l'évaluation. Cette approche génère des gains constants, démontant que les modules d'utilisation explicite de l'historique sont critiques pour les agents personnalisés.

4. Résultats Expérimentaux

• Écart de performance : Dans les configurations dominées par l'alignement sémantique (requêtes affinées ou candidats aléatoires), les LLM surpassent substantiellement la ligne de base spécialisée PPS (UniSAR). Cependant, dans les tâches nécessitant la modélisation de l'utilisateur et l'affinement de l'intention (requêtes d'intention avec candidats difficiles), les LLM retombent au niveau de l'approche zero-shot de UniSAR, avec des gains limités issus des flux de travail ReAct.
• Utilisation de l'historique : Les LLM peinent à bénéficier de l'historique sous les requêtes d'intention. Si l'ajout de l'historique améliore la performance pour les requêtes affinées, il n'offre que des gains marginaux pour les requêtes d'intention, suggérant que les flux de travail actuels des LLM n'extraient pas naturellement les préférences récupérables à partir de contextes bruités et sous-spécifiés.
• Difficulté des candidats : Les LLM surpassent les lignes de base sur les candidats aléatoires (appariement sémantique grossier) mais échouent à distinguer les attributs fins parmi les candidats difficiles (articles consultés par l'utilisateur). Cela indique que les modèles actuels manquent de véritables capacités de personnalisation lorsque les indices sémantiques sont insuffisants.
• Efficacité de VQRA : L'implémentation de VQRA améliore le Hit@1 à travers divers squelettes, confirmant qu'un affinement de requête ancré explicitement dans l'historique aide les modèles à inférer l'intention latente et à sélectionner les candidats appropriés.

5. Signification et Revendications

L'article affirme qu'APeB sert de banc d'essai nécessaire pour évaluer les systèmes agentiques sous des contraintes de personnalisation réalistes. Sa principale importance réside dans l'exposition des limites des agents LLM actuels : ils sont compétents pour exécuter des tâches avec des objectifs clairs, mais peinent avec l'inférence d'intentions latentes et la récupération de préférences à partir d'historiques bruités.

Les auteurs concluent que l'écart de capacité de personnalisation n'est pas simplement un manque d'échelle du modèle, mais une déficience structurelle des modules d'utilisation de l'historique. Le succès du simple pipeline VQRA suggère que les futurs agents personnalisés nécessitent des mécanismes dédiés pour ancrer explicitement la planification et l'action dans les signaux historiques spécifiques à l'utilisateur, plutôt que de compter uniquement sur le contexte implicite au sein du prompt.

Limites reconnues :

• Le benchmark est dérivé d'une seule plateforme, ce qui peut limiter la transférabilité à d'autres écosystèmes de commerce électronique.
• L'évaluation est statique et hors ligne, ne reflétant pas les interactions dynamiques multi-tours ou l'inventaire en temps réel.
• Les achats observés servent de substituts aux préférences mais peuvent être biaisés par l'exposition au classement et la disponibilité des stocks.
• L'analyse par rubriques repose sur le « LLM-as-a-Judge », ce qui peut introduire des biais systématiques.