Résumé Technique : CoffeeBench

Énoncé du Problème

Alors que les agents de Grands Modèles de Langage (LLM) progressent dans les tâches à long horizon, les benchmarks existants évaluent principalement des agents uniques interagissant avec des environnements passifs ou des systèmes multi-agents homogènes. Cependant, les systèmes économiques réels sont intrinsèquement hétérogènes, impliquant des rôles distincts (par exemple, agriculteurs, fabricants, détaillants) qui doivent communiquer, négocier et transiger de manière autonome sur des périodes prolongées pour poursuivre des objectifs individuels. Il existe un manque de benchmarks capables d'évaluer les agents LLM dans de tels écosystèmes économiques multi-agents complexes où la coordination stratégique, la gestion des stocks et la planification financière sont requises sur de longs horizons temporels.

Méthodologie

Les auteurs introduisent CoffeeBench, un benchmark conçu pour évaluer les agents LLM au sein d'une économie multi-agents hétérogène simulée.

Conception de l'Environnement

• Structure : La simulation modélise une chaîne d'approvisionnement de café sur un horizon de 90 jours impliquant six entreprises autonomes : deux agriculteurs, deux torréfacteurs et deux détaillants.
• Rôles et Hétérogénéité : Chaque rôle possède des fonctions économiques, des ensembles d'outils et des contraintes distincts. Les agriculteurs produisent des grains verts ; les torréfacteurs les transforment en produits torréfiés ; les détaillants vendent aux consommateurs.
• Dynamiques Économiques :
  • Gestion du Temps : L'environnement utilise une chronologie pilotée par les événements et asynchrone. Les agents opèrent dans une fenêtre commerciale quotidienne (09:00–19:00). Les appels d'outils font avancer le temps local de 30 minutes. Les agents peuvent être réactivés par des événements externes (messages, offres commerciales) même lorsqu'ils sont inactifs.
  • Marché : Un marché partagé permet le commerce direct de pair à pair sans restriction. Les transactions impliquent des délais d'expédition, des conditions de paiement à 30 jours et des intérêts potentiels sur les retards de paiement.
  • Contraintes : Les agents font face à des coûts d'exploitation quotidiens fixes, une dépréciation des stocks (0,5 %/jour), des plafonds de stockage et des règles de faillite (un solde de trésorerie négatif entraîne la sortie du système).
  • Demande : Les détaillants font face à un modèle de demande de consommation compétitif influencé par les prix, la fidélité à la marque et un bruit stochastique, incluant une poussée de demande simulée (Jours 40–53).
• Objectif : Chaque agent est chargé de maximiser le revenu net cumulé (Revenus − COGS − OpEx − Intérêts + Revenus d'intérêts) sur la durée de la simulation.

Protocole Expérimental

• Configuration : Dans chaque exécution, le LLM évalué contrôle le Torréfacteur A, tandis que les cinq autres entreprises sont contrôlées par des agents de référence fixes (par défaut, Claude Sonnet 4.6).
• Modèles Évalués : L'étude teste cinq modèles fermés de pointe (GPT-5.5, Claude Opus 4.7, Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro) et deux modèles à poids ouverts (Kimi K2.6, GLM-5.1).
• Baselines : Deux baselines basées sur des règles sont utilisées : PassiveRoaster (attend systématiquement) et HeuristicRoaster (politique fixe d'inventaire/prix sans communication).
• Gestion du Contexte : Pour gérer l'horizon de 90 jours, l'historique de la trajectoire intermédiaire est résumé une fois que le contexte dépasse 160k tokens, conservant le prompt système, la trajectoire initiale et les étapes récentes.
• Métriques : La métrique primaire est le Revenu Net. Les métriques secondaires incluent le revenu, le volume d'appels d'outils, les jours d'inactivité et le nombre de messages.

Contributions Clés

1. Premier Benchmark Économique Multi-Agents Hétérogène : CoffeeBench est le premier benchmark évaluant les agents LLM dans une économie multi-agents avec des rôles économiques distincts et hétérogènes (agriculteurs, torréfacteurs, détaillants) interagissant de manière autonome.
2. Évaluation à Long Horizon : Il étend l'évaluation au-delà des tâches à court terme vers une simulation de 90 jours nécessitant une planification soutenue, une gestion de flux de trésorerie et une adaptation stratégique.
3. Identification des Modes de Défaillance : Le benchmark révèle des pathologies comportementales spécifiques chez les agents LLM, notamment le mode de défaillance de « dérive par l'inaction » (idle-drift), où un agent maintient un raisonnement cohérent mais choisit de manière répétée l'inaction.
4. Ressources Ouvertes : Les auteurs publient le code, les trajectoires des agents et les journaux d'interaction complets pour soutenir les recherches futures.

Résultats

• Performance : Tous les LLM évalués ont surpassé la baseline passive. La plupart ont réalisé un revenu net positif, GPT-5.5 (+3 109 $) et Claude Opus 4.7 (+2 782 $) ayant atteint les revenus nets moyens les plus élevés.
• Facteurs Comportementaux :
  • Communication : Les modèles les plus performants (GPT-5.5, Claude Opus 4.7) ont communiqué de manière nettement plus active avec leurs contreparties (agriculteurs et détaillants) par rapport aux modèles moins performants.
  • Utilisation des Outils : La rentabilité n'était pas strictement corrélée au volume d'appels d'outils. Kimi K2.6 présentait une utilisation élevée d'outils mais une rentabilité moindre, suggérant que la coordination efficace et la stratégie de prix importent plus que le volume d'exécution.
  • Dérive par l'Inaction (Idle-Drift) : Claude Haiku 4.5 a présenté un mode de défaillance distinct, affichant une moyenne de 40 jours d'inactivité sur 90. Malgré la génération de traces de raisonnement cohérentes, il a sélectionné de manière répétée wait_for_next_day(), entraînant un revenu net négatif (-630 $).
• Prix et Inventaire : L'hygiène de l'inventaire seule ne garantissait pas la rentabilité. Gemini 3.1 Pro maintenait un inventaire léger et peu de dépréciation mais atteignait un revenu moyen, tandis que GPT-5.5 obtenait un revenu plus élevé grâce à une meilleure réalisation des prix B2B et une négociation active.
• Plafond Stratégique : Des estimations analytiques suggèrent que les modèles actuels n'atteignent qu'environ 13 % du plafond théorique de revenu net sous des hypothèses optimistes, indiquant une marge de progression significative pour la planification stratégique à long terme.

Signification et Revendications

L'article affirme que CoffeeBench fournit un cadre nécessaire pour évaluer les agents LLM dans des contextes économiques réalistes et ouverts qui vont au-delà de la simple utilisation d'outils ou de la planification mono-agent.

• Cohérence Stratégique : Les résultats suggèrent que les modèles de pointe actuels manquent de la cohérence stratégique à long terme requise pour des comportements de marché complexes, tels qu'une coordination soutenue ou des transactions manipulatrices, même sous des incitations fortes (ex: tests de stress de maximisation des revenus).
• Analyse Comportementale : Le benchmark identifie avec succès des modes de défaillance spécifiques comme la « dérive par l'inaction », offrant un nouveau prisme pour comprendre comment les agents LLM se comportent sur des périodes étendues face à des dynamiques multi-agents asynchrones.
• Recherche Future : Les auteurs avancent que CoffeeBench peut servir de banc d'essai pour étudier les comportements stratégiques émergents, y compris les résultats indésirables comme la collusion, et pour développer des agents capables de prendre des décisions fiables dans des économies multi-agents.

L'article conclut que bien que les modèles actuels soient prometteurs, des progrès substantiels sont nécessaires en matière de planification à long terme, de communication proactive et d'adaptation stratégique pour réaliser pleinement le potentiel des agents LLM dans les systèmes économiques.