💬 NLP

PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows

PROTEA est une interface unifiée pour le raffinement hors ligne et piloté par des tests des flux de travail d'agents multiples basés sur les LLM, qui localise les goulots d'étranglement grâce à un score basé sur les graphes et une évaluation rétroactive, permettant aux développeurs d'éditer et de valider de manière itérative les révisions de prompts pour améliorer significativement les performances du système.

Auteurs originaux : Kazuki Kawamura, Satoshi Waki, Kei Tateno

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kazuki Kawamura, Satoshi Waki, Kei Tateno

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le metteur en scène d'une pièce dont la distribution est entièrement composée de robots IA. Chaque robot a un rôle précis : l'un lit le scénario, un autre vérifie les faits, un troisième écrit les dialogues, et un quatrième assure la performance finale. C'est ce que les développeurs appellent un "flux de travail multi-agents LLM".

Habituellement, ces équipes de robots fonctionnent mieux qu'un seul robot essayant de tout faire à la fois. Mais voici le problème : si la performance finale est mauvaise, c'est un cauchemar de déterminer quel robot a fait une erreur. Est-ce que le vérificateur de faits a obtenu de mauvaises informations ? Est-ce que l'auteur a mal compris le ton ? Ou est-ce que le dernier acteur a simplement trébuché ?

Actuellement, les développeurs doivent regarder des heures de vidéo (la "trace") de toute la pièce, en devinant où l'erreur a commencé. C'est comme essayer de trouver une seule faute de frappe dans un livre de 500 pages en relisant chaque mot.

Voici PROTEA.

Pensez à PROTEA comme à une "salle de répétition" intelligente et interactive avec un projecteur magique. Il aide les développeurs à déboguer et à améliorer ces équipes de robots sans avoir à revoir le film entier encore et encore.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Projecteur Magique (Diagnostic au niveau du nœud)

Au lieu d'examiner toute la pièce, PROTEA place un feu de circulation sur la station de chaque robot individuel.

🟢 Vert : Ce robot a parfaitement fait son travail.
🟡 Jaune : Ce robot était correct, mais peut-être un peu négligent.
🔴 Rouge : Ce robot a fait une erreur.

Lorsque la réponse finale est incorrecte, PROTEA ne se contente pas de dire "La pièce a échoué". Il met immédiatement en évidence le robot Rouge et dit : "Hé, regardez ici ! Ce robot a donné la mauvaise information au robot suivant." Il évite au développeur de parcourir tout le scénario.

2. Le "Reverse Engineer" (Inférence inverse)

Parfois, les développeurs ne connaissent que la réponse finale attendue (par exemple, "La pièce doit se terminer par un rire heureux"), mais ils n'ont pas de scénario spécifique pour ce que les robots du milieu doivent dire.

PROTEA utilise une astuce appelée Inférence Inverse. Imaginez que vous connaissez la destination d'un voyage routier mais pas les virages le long du chemin. PROTEA remonte le chemin depuis le "Rire Heureux" pour demander : "Pour que le robot final rie, que le robot auteur devait-il dire ? Et pour que l'auteur dise cela, que le vérificateur de faits devait-il fournir ?"

Il génère un "scénario fantôme" pour les étapes intermédiaires basé sur l'objectif final. Ensuite, il compare ce que les robots ont réellement dit à ce "scénario fantôme" pour identifier les maillons faibles.

3. Le "Bouton Modifier" (Raffinement des invites)

Une fois que PROTEA a trouvé le robot Rouge, il ne se contente pas de le pointer du doigt ; il propose une correction suggérée.

Il affiche les instructions actuelles du robot (l'"Invite" ou "Prompt").
Il suggère une nouvelle version améliorée de ces instructions.
Il montre une comparaison "Avant vs Après", comme un outil de retouche photo montrant l'original et la version modifiée côte à côte.

Le développeur peut accepter la suggestion, l'ajuster, ou l'ignorer.

4. Le "Replay Instantané" (Nouvelle exécution automatique)

La meilleure partie ? Dès que le développeur clique sur "Enregistrer", PROTEA relance instantanément toute la pièce avec les nouvelles instructions. Il affiche ensuite un graphique des scores : "Voyez ? Avant, le score était de 64 %. Après votre modification, il est maintenant de 84 % !"

Cela crée une boucle rapide : Trouver le problème → Suggérer une correction → Tester → Voir le résultat. Fini d'attendre des jours pour savoir si un changement a fonctionné.

Qu'ont-ils réellement accompli ?

L'article a testé ce système dans deux scénarios réels (bien qu'ils aient gardé les noms spécifiques des entreprises secrets) :

Inspection de documents : Un système qui vérifie les documents selon des règles strictes. PROTEA a aidé à améliorer sa précision de 64,3 % à 83,9 %.
Système de recommandation : Un chatbot qui suggère des articles (comme des films ou des produits). PROTEA l'a aidé à placer la bonne recommandation dans le top 5 plus souvent, améliorant un score de 0,30 à 0,38.

Ils l'ont également testé sur un groupe de six développeurs IA expérimentés. Ces développeurs ont adoré le système car il les a empêchés de fixer des logs interminables et leur a permis de se concentrer sur la réparation du robot spécifique qui causait le problème.

La Conclusion

PROTEA est un outil qui transforme le travail confus et désordonné du débogage d'une équipe de robots IA en un processus propre et visuel. Il agit comme un entraîneur avec un film des meilleurs moments, vous montrant exactement quel joueur a laissé tomber le ballon et vous donnant un manuel pour le réparer, le tout au même endroit.

Résumé Technique : PROTEA

Énoncé du Problème
Les flux de travail de modèles de langage à grande échelle (LLM) multi-agents, qui composent plusieurs appels de LLM spécifiques à un rôle en un graphe acyclique dirigé (DAG), surpassent souvent les bases de référence à prompt unique. Cependant, le raffinement de ces systèmes constitue une tâche complexe de débogage au niveau du système. Les échecs dans la sortie finale découlent souvent d'erreurs subtiles dans les sorties des nœuds intermédiaires qui se propagent en aval. Les outils d'évaluation actuels (par exemple, AgentBench, OpenAI Evals, RAGAs) se concentrent généralement sur des métriques de réussite de bout en bout ou sur une évaluation au niveau des composants (comme la pertinence de la récupération), mais manquent d'un diagnostic conscient du graphe. Par conséquent, les développeurs doivent inspecter manuellement de longues traces d'exécution pour déduire quel nœud modifier et comment réviser son prompt. De plus, dans des environnements de production réalistes, les équipes ne possèdent souvent des étiquettes que pour la sortie terminale, rendant la création de sorties de référence pour chaque nœud intermédiaire coûteuse et peu pratique.

Méthodologie : Le Cadre PROTEA
PROTEA est une interface unifiée, hors ligne et pilotée par des tests, conçue pour le raffinement itératif des flux de travail de LLM multi-agents. Elle fonctionne selon une boucle d'itération sur une suite fixe : exécution du flux de travail, évaluation des nœuds intermédiaires, localisation des goulots d'étranglement, révision des prompts et réévaluation. Le système est construit autour de trois mécanismes fondamentaux :

Évaluation Rétrograde des Nœuds : Pour pallier la pénurie de références intermédiaires, PROTEA génère des attentes au niveau des nœuds candidats à partir de la référence de la réponse finale et du contexte du graphe. Formellement, en partant du signal de supervision du nœud final ( $y^*_{final}$ ), le système utilise une étape de génération de référence ( $M_{gen}$ ) pour inférer la sortie requise pour les nœuds en amont en fonction des exigences en aval. Cela permet au système d'évaluer les nœuds intermédiaires dans l'ordre topologique inverse, en comparant les sorties observées ( $y_v$ ) à ces attentes générées ( $\hat{y}_v$ ) pour produire des scores et des justifications.
Diagnostic Basé sur le Graphe : PROTEA superpose les états par nœud (PASS/WARN/FAIL) et les justifications de l'évaluateur directement sur le graphe du flux de travail. Les nœuds sont triés par statut et score, guidant les développeurs vers les goulots d'étranglement probables sans nécessiter d'inspection manuelle des traces.
Raffinement Localisé des Prompts : Pour un nœud sélectionné, PROTEA propose des révisions ciblées de prompts ( $I'_v$ ) basées sur la justification de l'évaluateur. Ces révisions sont présentées sous forme de comparaisons modifiables « avant/après ». Le système impose des contraintes pour préserver le passage des variables, les formats de sortie et empêcher la fuite de contenu spécifique aux tests dans les prompts. Après acceptation, le flux de travail est automatiquement relancé sur la suite de tests hors ligne pour suivre les trajectoires de scores et vérifier les améliorations.

Contributions Clés

Interface Unifiée pour le Raffinement Itératif : PROTEA intègre l'exécution, l'évaluation, le diagnostic et l'édition de prompts dans une seule boucle, réduisant l'effort manuel requis pour traduire les preuves d'évaluation en correctifs.
Inférence Rétrograde pour la Supervision : Le système introduit une méthode pour générer des attentes de nœuds intermédiaires à partir des réponses finales, permettant un débogage efficace même lorsque la vérité terrain intermédiaire n'est pas disponible.
Flux de Travail Centré sur le Développeur : Contrairement aux méthodes d'optimisation automatique (par exemple, DSPy, OPRO) qui optimisent de manière autonome contre une fonction objectif, PROTEA met en évidence les goulots d'étranglement candidats et propose des révisions inspectables, permettant aux développeurs d'adopter, modifier ou annuler les changements dans leur contexte.

Résultats Expérimentaux
Les auteurs ont évalué PROTEA à travers deux études de flux de travail proches de la production, un test de stress d'itération automatique et une étude utilisateur formative avec six développeurs de LLM expérimentés.

Études Proches de la Production :
- Inspection de Documents : Dans un flux de travail d'entreprise à 5 nœuds, le raffinement itératif a amélioré la précision de l'inspection de documents de 64,3 % à 83,9 %.
- Recommandation Conversationnelle : Dans un flux de travail de recommandation à 6 nœuds, la métrique Hit@5 est passée de 0,30 à 0,38.
- Dans les deux cas, le système a aidé à tracer la propagation des contraintes et a réduit la nécessité de lire de longues traces de bout en bout.
Test de Stress d'Itération Automatique :
- Le système a été testé sur 11 flux de travail générés indépendamment. Dans un sous-ensemble de 5 flux de travail avec des prompts initiaux minimaux, le mode « AUTO LOOP » (cycle automatisé de proposition et de conservation) a obtenu des meilleurs scores plus élevés qu'une base de référence sans réécriture dans 4 cas sur 5.
- Des gains notables incluent un bond de 0,186 à 0,800 dans un flux de travail de planification de cours.
- Des limitations ont été observées dans les tâches avec des critères quasi-binaires (par exemple, problèmes de mots à correspondance exacte), où le manque de signaux gradués pour le raisonnement intermédiaire entravait l'optimisation.
Étude Utilisateur :
- Six développeurs expérimentés ont trouvé de la valeur dans la localisation au niveau du graphe, les justifications par nœud et la capacité de comparer les révisions de prompts avec des réexecutions automatiques.
- Les participants ont identifié des priorités futures, notamment l'étalonnage de l'évaluateur, l'intégration avec les chaînes d'outils existantes (CI/CD) et le support de la gestion des versions.

Signification et Revendications
L'article revendique que PROTEA comble une lacune critique dans le cycle de vie de l'ingénierie des LLM : la difficulté de déboguer des systèmes multi-agents complexes où la supervision est limitée aux sorties finales. En combinant l'inférence rétrograde avec une interface intégrant le développeur dans la boucle, PROTEA permet un raffinement rapide et piloté par des tests sans nécessiter d'étiquetage manuel exhaustif des étapes intermédiaires. Les auteurs positionnent l'outil comme complémentaire à l'optimisation automatique des prompts ; tandis que des méthodes comme DSPy optimisent le comportement du programme contre un objectif, PROTEA se concentre sur le flux de travail du développeur pour des graphes multi-agents concrets, mettant en évidence des goulots d'étranglement spécifiques et actionnables ainsi que des correctifs localisés. Les résultats suggèrent qu'une telle interface peut améliorer significativement les performances des flux de travail (par exemple, +19,6 % de précision dans l'inspection de documents) tout en réduisant la charge cognitive associée au traçage des erreurs à travers des graphes d'agents complexes.