MyAG: A Graph-Based Framework for Designing and Analyzing Composable LLM Agent Systems

Imaginez un monde où les ordinateurs ne se contentent pas de répondre à des questions, mais font réellement des choses. Ils peuvent naviguer sur le Web, réserver des vols ou résoudre des énigmes complexes en agissant comme des assistants numériques. C'est le domaine des Agents IA. Ne les voyez pas comme de simples chatbots, mais comme de petits robots dotés d'un cerveau (un grand modèle de langage) et d'un ensemble de mains (des outils pour interagir avec le monde). Mais voici la partie délicate : construire ces robots est un processus désordonné. Vous devez décider de quels outils ils disposent, comment ils réfléchissent étape par étape et ce qu'ils font lorsqu'ils sont bloqués. C'est comme essayer de construire une voiture où le moteur, le volant et le GPS sont tous collés ensemble d'une manière qui rend impossible leur remplacement. Si vous voulez changer la façon dont la voiture conduit, vous pourriez devoir reconstruire tout le moteur. Les chercheurs tentent de comprendre comment construire ces agents pour qu'ils soient flexibles, efficaces et faciles à réparer, car actuellement, il est difficile de dire si un robot échoue parce qu'il est « stupide » ou parce que les instructions étaient simplement mal rédigées.

Entrez dans MyAG, un nouvel ensemble d'outils créé par Zhisong Zhang de la City University of Hong Kong. L'article présente MyAG comme un « cadre basé sur des graphes », ce qui est une façon sophistiquée de dire qu'il organise la conception d'agents en trois plans distincts et clairs au lieu d'un seul bloc géant et emmêlé. Les auteurs suggèrent qu'en séparant le « qui » (les composants), le « comment » (le flux de travail) et le « et si » (la stratégie de recherche), les développeurs peuvent mélanger et assortir les pièces comme des briques Lego. Ils ont constaté que cette séparation facilite grandement le test de différentes stratégies sans avoir à réécrire tout le système. Dans leurs expériences, ils ont montré que cette approche permet d'examiner en détail les compromis entre la performance d'un agent pour une tâche et le temps ou l'argent nécessaire pour l'accomplir. Ils n'ont pas prétendu avoir résolu tous les problèmes de l'IA, mais ils ont démontré que leur méthode aide les chercheurs à voir exactement où l'agent passe son temps et où il gaspille ses ressources.

Les trois plans d'un cerveau numérique

Pour comprendre MyAG, imaginez que vous dirigez un film. Vous avez trois tâches distinctes, et MyAG insiste pour que vous les gardiez séparées afin de pouvoir en corriger une sans gâcher les autres.

1. Le graphe de composants : La distribution et l'équipe technique
C'est votre liste de qui participe au film. Dans le monde de l'IA, il s'agit des agents (les acteurs qui prennent des décisions), des environnements (les décors sur lesquels ils agissent, comme un navigateur Web) et des outils (les accessoires qu'ils utilisent). Dans MyAG, cela est dessiné comme une carte montrant qui peut parler à qui. Par exemple, un « Agent d'Action » peut être connecté à un « Environnement de Navigateur », ce qui signifie que l'agent peut cliquer sur des boutons d'une page Web. Le truc cool ici, c'est que vous pouvez réutiliser le même acteur pour différentes scènes. Vous n'avez pas besoin de construire un nouvel acteur simplement parce que la scène change ; vous lui dites juste quoi faire ensuite.

2. Le graphe de flux de travail : Le scénario
C'est le scénario qui dit aux acteurs quand parler et quoi faire ensuite. C'est le déroulement de l'histoire. L'agent doit-il consulter la météo, puis réserver un billet ? Ou doit-il boucler et réessayer s'il échoue ? MyAG vous permet de dessiner ce scénario sous forme de diagramme de flux. Vous pouvez avoir des boucles, des embranchements (si cela arrive, allez à gauche ; si cela arrive, allez à droite) et des conditions d'arrêt. Le meilleur ? Vous pouvez garder le même casting (Graphe de Composants) mais changer le scénario (Graphe de Flux de Travail) pour voir si une structure d'histoire différente fonctionne mieux.

3. Le graphe de recherche : Les répétitions du « Et si »
C'est là que cela devient vraiment intéressant. Parfois, un robot doit explorer différents chemins avant de décider du meilleur. Peut-être qu'il essaie une porte, réalise qu'elle est verrouillée, puis essaie une fenêtre. Le Graphe de Recherche enregistre tous ces scénarios de « et si ». Il garde une trace de chaque branche empruntée par l'agent, de chaque impasse et de chaque chemin réussi. Cela permet au système d'utiliser des stratégies comme la « Recherche de premier choix » (toujours choisir le chemin le plus prometteur) ou le « Retour en arrière » (revenir à une étape précédente si les choses tournent mal). C'est comme avoir un réalisateur qui peut dire : « Coupez ! Essayons cette scène à nouveau, mais cette fois, le personnage court au lieu de marcher », sans avoir à reconstruire tout le décor du film.

Construire des tours avec des blocs Lego

L'une des grandes idées de l'article est la Composition Hiérarchique. Imaginez que vous construisez un robot géant. Au lieu d'essayer de concevoir chaque petite vis et chaque fil à la fois, vous construisez une main, puis une jambe, puis une tête, et enfin vous les assemblez. MyAG vous permet de faire cela avec des agents d'IA. Vous pouvez construire un petit « Système de Navigation Web » qui est très bon pour trouver des articles sur Internet. Ensuite, vous pouvez encapsuler tout ce système et le traiter comme un outil unique à l'intérieur d'un système plus vaste d'« Assistant de Recherche ».

L'article explique que ces « sous-systèmes » peuvent être sans état (se réinitialisant à chaque utilisation, comme une calculatrice) ou avec état (se souvenant de ce qui s'est passé auparavant, comme un assistant humain qui se souvient de vos préférences). Cette modularité signifie que vous pouvez construire des agents complexes en assemblant des pièces plus petites et testées, plutôt qu'en partant de zéro à chaque fois.

Le chronomètre et le portefeuille : Mesurer l'efficacité

Les auteurs se soucient également de l'efficacité. Ils soutiennent que ce n'est pas parce qu'un agent trouve la bonne réponse qu'il est un bon agent ; il pourrait avoir fait 100 essais et coûté une fortune en temps informatique.

Ils mesurent deux choses principales :

• Coût LLM ($C_L$) : Combien coûte le « cerveau ». Cela est calculé en fonction du nombre de mots (tokens) que l'IA lit et écrit. Ils utilisent une formule où ils pondèrent les tokens d'entrée et de sortie, permettant aux utilisateurs de fixer des prix selon le coût du modèle d'IA.
• Coût de l'Environnement ($C_E$) : Combien coûtent les « mains ». Cela mesure le temps nécessaire pour effectuer des actions dans le monde réel, comme attendre qu'une page Web se charge ou faire défiler une page.

En suivant ces coûts, les chercheurs peuvent observer le compromis performance-efficacité. Par exemple, ils ont trouvé qu'une stratégie simple de type « Greedy » (faire simplement la première chose qui vient à l'esprit) est la plus rapide et la moins chère, car elle ne perd pas de temps à vérifier les alternatives. Cependant, une stratégie de « Retour en arrière » (qui permet à l'agent de revenir en arrière et de réessayer) peut être légèrement plus coûteuse mais obtient souvent un meilleur résultat. La stratégie « Best-of-N » (essayer de nombreux chemins à la fois et choisir le meilleur) peut être très précise, mais elle est très lente et coûteuse.

Ce que les expériences ont montré

L'équipe a testé MyAG sur deux tâches du monde réel : répondre à des questions complexes (en utilisant le benchmark GAIA) et naviguer sur des sites Web (en utilisant Mind2Web-Live). Ils ont mené ces tests avec différentes stratégies pour voir comment elles se comparent.

• Vitesse vs Intelligence : La stratégie Greedy était la plus efficace, prenant le moins de temps et utilisant le moins de tokens informatiques car elle ne perdait pas de temps à vérifier les alternatives.
• Le pouvoir des secondes chances : La stratégie de Retour en arrière a été la plus performante globalement lorsqu'on lui donnait suffisamment de temps. Elle a permis à l'agent d'admettre ses erreurs et de réessayer, ce qui a conduit à une meilleure précision, même si cela coûtait un peu plus en temps et en tokens.
• Le coût de la complexité : Les stratégies comme Best-First et Best-of-N pouvaient améliorer les performances, mais elles s'accompagnaient d'une facture salée. Elles nécessitaient beaucoup plus de puissance informatique et de temps. L'article note que le succès de ces méthodes complexes dépend fortement de la présence d'un bon « juge » pour décider quel chemin est le meilleur.

Ils ont également analysé précisément où le temps a été passé. Pour la navigation Web, ils ont trouvé que le « défilement » (scrolling) était étonnamment peu coûteux et rapide, tandis que l'« attente » du chargement d'une page était l'action la plus coûteuse, occupant une énorme partie du temps même si elle se produisait moins souvent. Ce genre d'analyse détaillée aide les développeurs à savoir exactement où optimiser leurs agents.

La conclusion

MyAG n'est pas une baguette magique qui résout tous les problèmes de l'IA, et les auteurs sont clairs : il est conçu comme un outil de recherche, et non comme un produit fini pour construire des applications commerciales destinées à des millions d'utilisateurs. Il ne gère pas encore des aspects comme la sécurité ou les réseaux distribués. Cependant, il prouve avec succès que séparer le « qui », le « comment » et le « et si » rend la conception, le test et la compréhension des agents d'IA beaucoup plus faciles. En donnant aux chercheurs un moyen clair de visualiser et de mesurer leurs agents, MyAG les aide à déterminer comment construire des assistants numériques plus intelligents, plus rapides et plus rentables. L'article suggère que cette approche est une étape solide vers la création de systèmes d'agents d'IA plus transparents et plus maniables.