Build, Judge, Optimize: A Blueprint for Continuous Improvement of Multi-Agent Consumer Assistants

Cet article présente un cadre pratique pour évaluer et optimiser les assistants d'achat conversationnels multi-agents, en introduisant une méthode d'évaluation calibrée et deux stratégies d'optimisation de prompts (Sub-agent GEPA et MAMuT GEPA) appliquées à un assistant d'épicerie à grande échelle.

L'essentiel

🛒 Le Supermarché du Futur : Comment apprendre à un robot à faire vos courses sans erreur

Imaginez que vous avez un assistant personnel ultra-intelligent capable de faire vos courses en ligne pour vous. Vous lui dites : "Je veux préparer un dîner romantique pour deux, avec un budget de 50 €, en évitant les produits sans gluten."

C'est ce que les auteurs appellent un Assistant de Shopping Conversationnel. Mais comme vous le savez, faire des courses n'est pas simple. Il faut gérer le budget, vérifier les stocks, respecter vos goûts, et parfois changer d'avis en cours de route ("Ah non, oubliez le vin, je préfère de la bière").

Ce papier raconte l'histoire de la création de MAGIC, un tel assistant utilisé par DoorDash (une application de livraison de repas). Les chercheurs ont découvert que construire un seul "cerveau" géant pour tout gérer ne fonctionnait pas bien. Alors, ils ont créé une équipe de robots (un système multi-agents) et ont dû inventer une nouvelle façon de les entraîner.

Voici les trois étapes clés de leur recette, expliquées simplement :

1. Le Chef d'Orchestre et son Équipe (L'Architecture)

Au début, ils avaient un seul robot qui faisait tout. C'était comme si un seul cuisinier devait à la fois couper les légumes, surveiller le four, gérer la caisse et discuter avec le client. Ça finissait par être chaotique et plein d'erreurs.

Ils ont donc changé de stratégie : ils ont créé une équipe :

• Le Chef d'Orchestre (Orchestrator) : Il écoute le client et divise la tâche.
• Le Chasseur de Prix (Search Agent) : Il trouve les produits.
• Le Gestionnaire de Panier (Cart Agent) : Il vérifie le budget et ajoute les articles.
• Le Spécialiste des Goûts (Personalization Agent) : Il se souvient que vous n'aimez pas le céleri.

C'est plus efficace, mais c'est comme un orchestre : si le chef donne un mauvais signal, tout le monde joue faux. Si le chasseur de prix envoie trop d'infos, le gestionnaire de panier s'étouffe.

2. Le Juge Sévère (L'Évaluation)

Comment savoir si l'équipe travaille bien ? On ne peut pas juste demander "Est-ce que c'est bien ?". Il faut des règles précises.

Les chercheurs ont créé un Juge Robot (un LLM) qui agit comme un inspecteur de qualité très strict. Au lieu de donner une note sur 10, il coche des cases "Oui/Non" sur des critères concrets :

• Est-ce que le panier contient tout ce qu'on a demandé ?
• Est-ce qu'on a respecté le budget ?
• Est-ce qu'on a oublié les allergies ?
• Est-ce que le ton est poli ?

L'astuce géniale : Ce juge robot a d'abord été un peu bête. Les chercheurs l'ont donc "calibré" en le comparant à des humains. Ils ont utilisé une technique appelée GEPA (un peu comme un coach personnel pour l'IA) pour apprendre au juge à mieux comprendre les nuances. Résultat : le juge robot est devenu aussi bon qu'un humain pour noter la qualité (91,4 % d'accord avec les humains).

3. Deux Façons d'Entraîner l'Équipe (L'Optimisation)

Une fois qu'ils ont un bon juge, ils doivent améliorer l'équipe. Ils ont testé deux méthodes :

• Méthode A : Le Coaching Individuel (Sub-agent GEPA)
  Imaginez que vous entraînez chaque musicien de l'orchestre séparément. Le violoniste s'entraîne seul, le batteur s'entraîne seul.

  • Résultat : Chacun devient excellent dans son rôle. Mais quand ils jouent ensemble, ça peut encore être désordonné. Le chef d'orchestre peut donner un signal trop long, et le batteur ne sait plus quand commencer.

• Méthode B : La Répétition d'Ensemble (MAMUT GEPA)
  Ici, on entraîne toute l'équipe en même temps en simulant des centaines de courses virtuelles. Le système regarde la performance globale de la chanson, pas juste celle d'un musicien.

  • Résultat : C'est la méthode gagnante ! L'équipe apprend à se coordonner. Le chef d'orchestre apprend à être plus concis pour laisser de la place aux autres. Le gestionnaire de panier apprend à anticiper les besoins.

La leçon principale : Améliorer un seul robot ne suffit pas. Pour qu'un système complexe fonctionne, il faut optimiser l'interaction entre tous les robots, pas juste leurs compétences individuelles.

🏆 Le Résultat Final

Grâce à cette méthode (Construire, Juger, Optimiser), l'assistant MAGIC est devenu beaucoup plus fiable :

• Il fait moins d'erreurs de sécurité (il ne propose pas de produits dangereux).
• Il comprend mieux vos préférences personnelles.
• Il gère mieux les conversations longues et complexes.

En résumé : Ce papier nous dit que pour créer de véritables assistants IA capables de gérer des tâches complexes comme les courses, il ne suffit pas d'avoir un super cerveau. Il faut une équipe bien coordonnée, un juge très précis pour noter les performances, et un entraînement global qui apprend à l'équipe à travailler ensemble, pas juste à jouer en solo.

Résumé technique

1. Problématique

L'article aborde les défis critiques liés au passage des assistants d'achat conversationnels (CSA) de prototypes à des systèmes de production à grande échelle, en se concentrant spécifiquement sur le domaine de l'épicerie (MAGIC - Multi-Agent Grocery Intelligent Concierge).

Les principaux problèmes identifiés sont :

• Complexité des interactions : Les demandes des utilisateurs sont souvent imprécises (« mes habitudes »), soumises à des contraintes évolutives (« moins de 25 $ ») et nécessitent une gestion en temps réel des stocks et de l'état du panier sur plusieurs tours de conversation.
• Limites des architectures monolithiques : Les agents uniques deviennent fragiles face à la complexité croissante, entraînant des ambiguïtés silencieuses et des erreurs en cascade.
• Évaluation insuffisante : Les métriques traditionnelles de recherche et de classement sont inadéquates pour évaluer la qualité multidimensionnelle des trajectoires d'interaction multi-tours.
• Optimisation difficile : Améliorer des sous-agents individuellement ne garantit pas une meilleure performance globale en raison des effets retardés et du couplage étroit entre les agents. Les erreurs ne se manifestent souvent qu'après plusieurs tours de conversation.

2. Méthodologie

L'approche proposée suit un pipeline en trois étapes : Construire, Juger, Optimiser.

A. Architecture Multi-Agent (Construire)

Le système MAGIC a évolué d'un agent unique vers une architecture modulaire :

• Orchestrateur : Décompose l'intention de l'utilisateur et coordonne les sous-agents.
• Sous-agents : Interagissent avec des API programmatiques et des modèles ML pour exécuter des tâches spécifiques (recherche, gestion du panier, personnalisation).
• Cette architecture améliore le contrôle mais introduit un couplage plus fort, nécessitant une évaluation au niveau de la trajectoire globale.

B. Évaluation et Calibration (Juger)

Pour pallier le manque de métriques adaptées, les auteurs proposent :

• Rubrique Structurée : Une grille d'évaluation multidimensionnelle divisée en quatre domaines orthogonaux :
  1. Exécution des achats (50% du poids).
  2. Personnalisation et contexte (20%).
  3. Qualité conversationnelle (10%).
  4. Sécurité et conformité (20%).
• Juge LLM (LLM-as-a-Judge) : Au lieu de jugements ordinaux vagues, le système utilise un LLM pour évaluer les traces d'interaction via des vérifications booléennes basées sur des artefacts observables (actions d'outils, état final du panier). Cela assure un score déterministe.
• Calibration : Le juge LLM est calibré contre des annotations humaines en utilisant l'optimisation de prompts GEPA. Cela a permis d'augmenter l'accord entre le juge et les humains de 84,1 % à 91,4 %, en particulier pour les domaines complexes comme la personnalisation.

C. Stratégies d'Optimisation (Optimiser)

Deux stratégies d'optimisation de prompts sont comparées, toutes deux basées sur GEPA (un optimiseur de prompts SOTA) :

1. Sub-agent GEPA : Optimise chaque nœud (sous-agent) indépendamment contre une micro-rubrique locale. Cela transforme le problème multi-tours en un problème mono-tour pour chaque agent.
2. MAMUT GEPA (Multi-Agent Multi-Turn) : Une approche systémique qui optimise conjointement un « bundle » de prompts pour l'ensemble du système.
   • Simulation : Utilise un simulateur hybride qui rejoue les réponses réelles des utilisateurs lorsque l'action de l'agent optimisée est sémantiquement équivalente, et génère des réponses synthétiques via un « Agent Persona » sinon.
   • Objectif : Maximiser le score de la rubrique sur la trajectoire complète, permettant des compromis entre agents (ex: rendre l'orchestrateur plus concis pour laisser de la place aux résultats de recherche).

3. Résultats Clés

Les expériences ont été menées sur un ensemble de 238 trajectoires de test hors échantillon (held-out).

• Supériorité de l'optimisation systémique (MAMUT) :
  • Le taux de réussite global de la rubrique est passé de 77,1 % (Sub-agent GEPA) à 84,7 % (MAMUT).
  • Les gains les plus significatifs avec MAMUT se situent dans :
    • Sécurité et Conformité : +12,0 % (réduction des hallucinations et respect des politiques).
    • Qualité Conversationnelle : +8,0 %.
    • Personnalisation : +6,8 % (l'orchestrateur apprend mieux à transmettre les préférences aux sous-agents).
• Limites de l'optimisation locale : Bien que le Sub-agent GEPA résolve efficacement les erreurs atomiques (ex: erreurs d'exécution d'outils), il échoue à corriger les défauts d'interaction (ex: inondation du contexte partagé, manque de coordination).
• Performance du Juge : L'optimisation GEPA du juge lui-même a considérablement amélioré la précision de l'évaluation, notamment dans les domaines de l'exécution des achats (+5,1 %) et de la personnalisation (+13,2 %).

4. Contributions Principales

1. Blueprint de Production : Une feuille de route pratique pour évaluer et optimiser les assistants conversationnels de niveau production, illustrée par le cas réel MAGIC.
2. Rubrique et Juge Calibré : Introduction d'une méthode d'évaluation basée sur des vérifications booléennes déterministes, calibrée à >91 % avec l'humain, servant de signal de récompense fiable pour l'optimisation.
3. MAMUT GEPA : Proposition d'une nouvelle méthode d'optimisation de prompts au niveau du système pour les architectures multi-agents, démontrant que l'optimisation conjointe est nécessaire pour maîtriser la coordination complexe.
4. Ressources Open : Mise à disposition de modèles de rubriques et de directives de conception pour soutenir les praticiens.

5. Signification et Impact

Ce travail démontre que dans les domaines sensibles aux préférences et à haute ambiguïté comme l'épicerie, l'optimisation locale des agents est insuffisante. La clé de la réussite réside dans une boucle de rétroaction d'évaluation rigoureuse (Juge Calibré) couplée à une optimisation systémique (MAMUT).

L'article établit que pour déployer des systèmes multi-agents robustes, il faut passer d'une approche de « silo » (optimiser chaque pièce séparément) à une approche holistique où le système entier est optimisé pour maximiser la qualité de l'expérience utilisateur globale. Cette méthodologie « évaluation d'abord » offre un cadre systématique pour le développement d'agents agiles dans des environnements de production complexes.