RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments

Ce papier présente RetailBench, un benchmark haute fidélité et le cadre Evolving Strategy & Execution pour évaluer la stabilité décisionnelle à long terme des agents LLM dans des environnements de vente au détail dynamiques, révélant à la fois les améliorations apportées par cette approche et les limites fondamentales des modèles actuels face à la complexité croissante.

L'essentiel

🛒 Le Contexte : Le Manager "Tout-Puissant" mais Impatient

Imaginez que vous engagez un nouveau directeur de supermarché. Ce n'est pas un humain, c'est une Intelligence Artificielle (IA) basée sur un "Grand Modèle de Langage" (comme les IA qui écrivent des textes ou répondent à des questions).

Ces IA sont brillantes pour des tâches courtes : "Trouve-moi une recette de gâteau" ou "Résume ce texte". Mais si vous lui demandez de gérer un magasin pendant un an entier, en gérant les stocks, les prix, les fournisseurs et les imprévus, c'est une autre histoire.

Les chercheurs ont créé RetailBench (le banc d'essai de la vente au détail) pour tester si ces IA peuvent vraiment tenir le coup sur la durée, ou si elles vont faire faillite après quelques jours.

---

🧪 L'Expérience : Un Supermarché Virtuel en "Mode Survie"

Pour tester ces IA, les chercheurs ont construit un simulateur de supermarché ultra-réaliste. C'est comme un jeu vidéo complexe où l'IA est le seul joueur.

• Le Défi : L'IA doit gérer le magasin jour après jour. Elle doit décider quels produits acheter, à quel prix les vendre, et quand commander de nouvelles marchandises.
• Les Pièges :
  • Les clients sont imprévisibles (parfois il y a la foule, parfois personne).
  • Les produits ont une date de péremption (si vous ne les vendez pas à temps, ils pourrissent et coûtent de l'argent).
  • Il y a des événements extérieurs (comme une nouvelle sur la météo ou une crise économique) qui changent les habitudes d'achat.
  • La Règle de Fer : Si l'IA ne paie pas le loyer du magasin pendant 5 jours consécutifs, le jeu s'arrête : c'est la faillite.

🚀 La Solution Proposée : Le "Planificateur" vs l' "Exécutant"

Les chercheurs ont remarqué que les IA avaient tendance à paniquer. Elles changeaient d'avis toutes les 5 minutes, oubliaient leurs objectifs à long terme, ou faisaient des erreurs bêtes (comme commander 10 000 boîtes de conserve pour un seul client).

Pour régler ça, ils ont inventé une nouvelle méthode appelée "Évolution de la Stratégie et Exécution" (Evolving Strategy & Execution).

Imaginez que l'IA est divisée en deux personnalités qui travaillent en équipe :

1. Le Stratège (Le Chef d'Orchestre) :

   • Il ne touche pas aux étagères.
   • Chaque matin, il prend une grande tasse de café, lit les rapports, regarde les ventes de la semaine dernière et les nouvelles.
   • Il se dit : "Aujourd'hui, on va se concentrer sur les soupes en conserve et baisser le prix des sodas."
   • Il écrit ce plan sur un grand tableau noir et le verrouille.

2. L'Exécutant (Le Manager de Magasin) :

   • Il reçoit le plan verrouillé du Stratège.
   • Son seul travail est d'exécuter ce plan à la lettre : commander les soupes, changer les prix.
   • Il ne peut pas changer le plan en cours de journée, même s'il voit un client bizarre. Il doit rester calme et suivre la stratégie.

L'analogie : C'est comme un capitaine de navire (le Stratège) qui trace la route sur la carte, et le timonier (l'Exécutant) qui tourne le gouvernail. Le timonier ne décide pas de changer de destination au milieu de l'océan juste parce qu'il voit un dauphin ; il suit la route tracée.

📉 Les Résultats : Brillants au début, mais...

Les chercheurs ont testé 8 des IA les plus puissantes du monde avec cette méthode.

• Ce qui a bien fonctionné : La méthode "Stratège/Exécutant" a permis aux IA de tenir plus longtemps et de faire plus de bénéfices que les anciennes méthodes. Elles étaient plus stables, moins paniquées.
• Ce qui a échoué : Même avec cette aide, les IA ont montré leurs limites dès que le jeu devenait difficile (plus de produits, plus de nouvelles, plus de clients).
  • Hallucinations : Parfois, l'IA inventait des produits qui n'existaient pas (ex: "Commander 500 unités de la 'Soupe Fantôme'").
  • Irrationalité : Elles fixaient des prix absurdes (ex: vendre un yaourt 999 € ou -5 €).
  • Oublis : Elles ignoraient des informations cruciales, comme les avis des clients, et continuaient à vendre des produits défectueux.

💡 La Conclusion en une phrase

Bien que nous ayons créé un système pour aider les IA à mieux planifier (comme séparer le chef du cuisinier), les IA actuelles ne sont pas encore prêtes à gérer une entreprise complexe sur le long terme sans faire d'erreurs catastrophiques. Elles sont comme des génies brillants qui perdent leur sang-froid dès que la situation devient trop compliquée.

RetailBench est donc un nouveau terrain de jeu pour apprendre à ces IA à devenir de véritables chefs d'entreprise, et pas seulement de bons exécutants de tâches courtes.

Résumé technique

1. Problématique

Bien que les agents basés sur les Grands Modèles de Langage (LLM) aient démontré des performances remarquables sur des tâches à court terme et hautement structurées, leur capacité à maintenir une prise de décision cohérente sur de longues horizons temporels dans des environnements réalistes et dynamiques reste un défi majeur.

Les benchmarks existants se concentrent souvent sur des interactions web ou des tâches isolées, ne capturant pas la complexité des systèmes économiques réels qui nécessitent :

• Une planification à long terme.
• Une alignement persistant des objectifs.
• Une stabilité comportementale face à des conditions non stationnaires (demande stochastique, événements externes).
• La gestion de l'accumulation d'erreurs et de la dérive des stratégies.

L'article vise à combler ce vide en évaluant la capacité des agents LLM à opérer de manière autonome dans un environnement commercial simulé complexe, où les erreurs de décision peuvent entraîner l'effondrement de l'entreprise simulée.

2. Méthodologie

A. RetailBench : Un Benchmark Haute Fidélité

Les auteurs introduisent RetailBench, un benchmark fondé sur des données commerciales réelles (jeu de données Dominick's) et des principes de modélisation économique.

• Scénario : Gestion autonome d'un supermarché sur une période de plus de 1000 jours simulés.
• Formalisation : Le problème est modélisé comme un Processus de Décision Markovien (MDP).
• État (State Space) : Comprend des données produits (prix, durée de vie, ventes historiques), l'inventaire, la chaîne d'approvisionnement (prix/fournisseurs), les signaux de demande (trafic, avis clients), le contexte externe (actualités financières) et l'état financier (trésorerie, actif net).
• Actions : Ajustement des prix, réapprovisionnement (commandes fournisseurs), requêtes d'information, écriture/lecture de mémoire persistante, et fin de journée.
• Critère d'échec : L'épisode se termine si le magasin ne peut pas payer le loyer pendant 5 jours consécutifs.
• Niveaux de difficulté :
  • Facile : 5 catégories, pas d'actualités dynamiques.
  • Moyen : 20 catégories, pas d'actualités.
  • Difficile : 20 catégories, actualités dynamiques et relations prix-qualité des fournisseurs variables.

B. Framework "Evolving Strategy & Execution" (ESE)

Pour pallier les limites des frameworks existants (comme ReAct ou Reflection simple), les auteurs proposent une architecture à deux étapes distinctes :

1. Phase d'Évolution de la Stratégie (Strategic Deliberation) : L'agent analyse les retours environnementaux et l'historique pour réviser une stratégie globale persistante. Cette stratégie est mise à jour uniquement au niveau journalier (granularité quotidienne) pour éviter une fluctuation excessive à court terme.
2. Phase d'Exécution (Execution) : La stratégie est figée et traitée comme immuable. L'agent génère des actions concrètes strictement conformes à la stratégie définie, sans modification en cours de route.

Cette séparation vise à découpler le raisonnement stratégique de l'exécution opérationnelle, favorisant ainsi la stabilité et l'interprétabilité.

3. Contributions Clés

1. RetailBench : Un benchmark réaliste pour évaluer la prise de décision autonome à long terme dans le commerce de détail, intégrant des dynamiques stochastiques et des contraintes financières réalistes.
2. Framework ESE : Une nouvelle architecture d'agent qui sépare explicitement la stratégie de haut niveau de l'exécution de bas niveau, démontrant une stabilité opérationnelle supérieure par rapport aux baselines (Reflection, Plan-and-Act).
3. Analyse Systématique des Échecs : Identification de modes de défaillance récurrents chez les LLMs actuels, notamment l'incapacité à gérer des espaces de décision à haute dimension, l'utilisation incomplète de l'information, l'instabilité temporelle et les hallucinations.

4. Résultats Expérimentaux

Les expériences ont été menées sur 8 LLMs de pointe (incluant GPT-5.2, Kimi-K2, GLM-4.6, etc.) à travers les trois niveaux de difficulté.

• Performance du Framework ESE : Le framework ESE surpasse systématiquement les autres approches (Reflection niveau jour/étape, Plan-and-Act) en termes de jours d'opération, de ventes moyennes et de réduction du taux de produits périmés. Il améliore la stabilité opérationnelle et l'efficacité économique.
• Limites des Modèles Actuels :
  • Dégradation avec la complexité : La performance chute drastiquement lorsque la difficulté augmente (passage de 5 à 20 catégories, ajout d'actualités). Les agents peinent à maintenir la qualité de décision face à l'expansion de l'espace de décision.
  • Écart avec l'optimum : Même les meilleurs modèles restent loin de la politique heuristique "manuelle" (upper bound), soulignant des limitations fondamentales.
  • Instabilité Temporelle : Les stratégies d'exécution fluctuent considérablement d'un jour à l'autre, même dans des environnements stables, empêchant une cohérence à long terme.
  • Couverture d'Information Incomplète : Les agents se concentrent sur un sous-ensemble limité de signaux (prix, stocks) et ignorent souvent des données critiques comme les avis clients récents ou les taux de retour.
  • Hallucinations et Actions Irrationnelles : Les modèles génèrent parfois des références à des produits inexistants (SKUs hallucinés), inventent des dates, ou proposent des actions économiquement illogiques (quantités de commande excessives, prix négatifs ou dérisoires).

5. Signification et Conclusion

Ce travail met en lumière une limite fondamentale des agents LLM actuels : leur incapacité à maintenir une autonomie stratégique robuste dans des environnements dynamiques et complexes sur de longues périodes.

• Implications : Bien que les frameworks structurés comme ESE atténuent certains problèmes de stabilité, ils ne résolvent pas les problèmes de base liés à la scalabilité de la prise de décision, à la gestion de l'information et à la validité des actions.
• Avenir : RetailBench fournit un terrain d'essai rigoureux pour la recherche future sur le raisonnement agentique à long terme. Les auteurs suggèrent que des approches hybrides (neuro-symboliques), l'apprentissage par renforcement ou des mécanismes d'alignement économique stricts seront nécessaires pour atteindre une véritable autonomie dans des systèmes économiques réels.

En résumé, l'article démontre que si les LLMs peuvent gérer des tâches ponctuelles, la gestion d'entreprise autonome à long terme reste un défi non résolu en raison de l'instabilité stratégique et des erreurs de raisonnement cumulatives.