Résumé Technique : RetailBench

Énoncé du Problème

Bien que les agents basés sur les grands modèles de langage (LLM) aient démontré une certaine compétence dans des tâches à horizon court et bien délimitées (ex. : édition de code, recherche d'informations), leur capacité à maintenir une prise de décision cohérente dans des environnements dynamiques à long horizon reste incertaine. Les benchmarks existants isolent souvent des sous-problèmes individuels ou manquent de la dynamique couplée en boucle fermée propre aux opérations commerciales réelles. Par conséquent, la communauté manque d'un benchmark ouvert et ancré dans les données pour évaluer si les agents LLM utilisant des outils peuvent maintenir un alignement objectif persistant et une stabilité de comportement sur des périodes prolongées, particulièrement lorsque les erreurs locales se cumulent en conséquences différées qui remodèlent les distributions d'états futurs.

Méthodologie : RetailBench

Les auteurs introduisent RetailBench, un benchmark de simulation ancré dans les données, conçu pour évaluer les agents LLM utilisant des outils dans le contexte des opérations d'un supermarché unique. L'environnement est modélisé comme un processus de décision markovien partiellement observable (POMDP), $M = (S, A, O, T, \Omega, R)$, où l'agent interagit avec un simulateur via un ensemble spécifique d'outils.

Construction de l'Environnement

• Ancrage de Données : Le simulateur est ancré dans des données de vente au détail réelles issues du jeu de données Dominick's (University of Chicago Booth School of Business) pour définir l'univers des produits (96 produits répartis en 20 catégories), les prix historiques, les trajectoires de ventes et les coûts d'approvisionnement.
• Feedback Dynamique : Des textes d'avis sont échantillonnés à partir du corpus Amazon Reviews 2023, et des événements d'actualité sont adaptés à partir d'articles de presse financière. Ces éléments introduisent des dynamiques ancrées dans le corpus où des métadonnées cachées pilotent la demande et les effets du côté de l'offre.
• Modules : L'environnement couple sept modules : Inventaire, Fournisseurs & Commandes, Rayonnage, Demande Client, Avis & Retours, Événements d'Actualité, et Finance & Registres.
• État et Actions :
  • État ($S$) : Comprend les attributs des produits, l'inventaire (avec vieillissement), l'assortiment des rayons, les candidats fournisseurs, les facteurs de demande, les actualités externes et la comptabilité financière.
  • Actions ($A$) : Les agents choisissent parmi trois groupes d'outils :
    1. Lecture seule ($A_{read}$) : Requêtes sur les fonds, l'inventaire, les prix, l'historique des ventes, les devis des fournisseurs et les avis.
    2. Auxiliaire ($A_{other}$) : Analyse contrainte, gestion de la mémoire et exécution de code (en bac à sable/sandbox).
    3. Changement d'état ($A_{act}$) : Mise à jour des prix, passage de commandes de réapprovisionnement, gestion de l'assortiment des rayons, rédaction de notes et clôture de la journée.
• Horizon de Simulation : Le benchmark supporte des simulations à l'échelle de milliers de jours. Le protocole d'évaluation utilise un horizon de 180 jours.

Protocole d'Évaluation

• Modèles : Sept LLM contemporains ont été évalués à l'aide de trois cadres basés sur le prompting : ReAct, Reflection, et Plan-and-Act.
• Règle de Sélection : En raison de la variance de la performance à long horizon, les auteurs emploient une règle de sélection « priorité à la survie » : pour chaque modèle, la session ayant le plus long horizon de survie est sélectionnée, la valeur nette finale et les ventes totales servant de critères de départage.
• Référence (Baseline) : Une politique oracle privilégiée est incluse comme référence non-agent. Cette politique a un accès direct aux champs structurés du simulateur (ex. : scores de qualité des fournisseurs cachés) et suit des règles opérationnelles manuelles axées sur la qualité.

Métriques

La performance est mesurée à travers cinq catégories :

1. Viabilité Opérationnelle : Valeur Nette Finale et Jours de Survie.
2. Efficacité des Ventes : Ventes Totales, Produits Vendus par Jour, et Ratio de Retour.
3. Contrôle des Stocks : Jours de Rupture de Stock et Ratio d'Expiration.
4. Comportement d'Utilisation des Outils : Appels d'Outils Directs et Totaux par Jour.
5. Utilisation de Tokens : Consommation quotidienne moyenne de tokens.

Contributions Clés

1. Un Environnement de Vente au Détail à Long Horizon : RetailBench fournit un banc d'essai contrôlé et ancré dans les données qui couple la tarification, l'inventaire, la sélection des fournisseurs, les retours clients, les événements externes et les contraintes financières sur des épisodes étendus.
2. Évaluation des Systèmes Actuels : Le benchmark révèle que les cadres d'agents actuels et les LLM de pointe peinent à atteindre des politiques opérationnelles stables et performantes sur de longs horizons.
3. Analyse Systématique des Défaillances : Les auteurs identifient trois modes de défaillance récurrents via des mesures de diagnostic :
   • Acquisition Incomplète de Preuves : Les agents agissent souvent sans interroger les informations critiques (ex. : proxies de qualité des fournisseurs, vieillissement des stocks).
   • Prise de Décision de Surface : Les agents s'appuient sur des signaux immédiatement visibles (ex. : prix) tout en sous-estimant des facteurs plus discrets mais conséquents (ex. : qualité du fournisseur, risques de retour).
   • Absence de Politique Cohérente à Long Horizon : Les agents ne parviennent pas à maintenir leur attention sur les produits importants et ne reviennent pas systématiquement sur les conséquences différées de leurs actions antérieures.

Résultats

• Survie : Sous le protocole de priorité à la survie, la survie variait de 58 à 180 jours. Seuls DeepSeek-V4-Pro et GPT-5.5 ont complété l'horizon complet de 180 jours. La plupart des autres modèles se sont arrêtés entre 58 et 73 jours.
• Écart de Performance : Même les meilleures sessions de LLM restaient nettement en deçà de la politique oracle.
  • Valeur Nette : La politique oracle a atteint 131 510,42, tandis que le meilleur LLM (GPT-5.5) a atteint 24 350,98.
  • Ventes : La politique oracle a réalisé 267 998 unités, tandis que le meilleur LLM (DeepSeek-V4-Pro) a réalisé 164 417.
• Diagnostics Comportementaux :
  • Acquisition de Preuves : GPT-5.5 a montré la complétude de preuve la plus élevée (0,9689), tandis que d'autres comme Grok-4.3 présentaient une complétude quasi nulle.
  • Qualité de Décision : Les LLM ont montré un fort biais vers le "PriceFirst" (choisir le fournisseur le moins cher) plutôt que le "QualityFirst". La politique oracle privilégiait la qualité, alors que les LLM ont choisi le fournisseur le moins cher dans 55,6 % des commandes, contre seulement 21,5 % pour le meilleur choix de qualité.
  • Suivi Temporel : Les LLM ont manqué entre 32,86 % et 88,18 % des opportunités de haute demande et n'ont pas réussi à assurer un suivi constant des conséquences différées (ex. : ruptures de stock, retours) dans une fenêtre de sept jours.

Signification et Revendications

L'article positionne RetailBench non pas simplement comme un benchmark de performance, mais comme un banc de test diagnostique pour étudier l'autonomie fiable dans la prise de décision économiquement ancrée à long horizon. Les auteurs affirment que les résultats démontrent un fossé critique entre les capacités actuelles des LLM et les exigences d'une continuité opérationnelle soutenue.

La signification réside dans l'identification du fait que l'amélioration des agents LLM à long horizon nécessite plus qu'une simple augmentation de l'usage des outils ; cela nécessite des avancées dans :

1. La Sélection de Preuves : La capacité d'identifier et d'acquérir toutes les informations critiques pour la décision.
2. Le Raisonnement Preuve-Action : La capacité de traduire les preuves acquises en décisions qui tiennent compte des résultats à long terme (ex. : équilibre coût vs qualité).
3. Le Maintien de Politique Étatique : La capacité de maintenir une attention persistante sur des entités critiques et de revenir sur les conséquences différées pour aligner les appels d'outils locaux avec les objectifs commerciaux à long terme.

Les auteurs concluent qu'avant que les agents LLM ne puissent opérer de manière fiable dans des environnements complexes à long horizon, ils doivent surmonter ces goulots d'étranglement spécifiques dans l'acquisition de preuves, la profondeur du raisonnement et la cohérence de la politique.