The Scaffolding Matters More Than the Interface: A Controlled Comparison of MCP and CLI Tool Use Across Seven Agent Scaffoldings, Five Language Models, and One Software Task
Cette étude démontre que le choix de l'échafaudage de l'agent a un impact bien plus important sur le coût et la fiabilité des agents de codage IA que l'interface d'outil sous-jacente (MCP vs CLI), révélant que le support MCP est souvent inutile et peut être nettement plus coûteux qu'une exécution directe via CLI.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'Atelier Numérique : Préparer la Scène
Imaginez que vous avez un assistant robotique brillant mais très littéral. Ce robot peut écrire des histoires, résoudre des problèmes mathématiques et discuter de n'importe quel sujet, mais il vit dans une pièce scellée. Il ne peut pas voir votre écran d'ordinateur, ouvrir vos fichiers ou cliquer sur les boutons d'un site web. Pour accomplir un travail réel, vous avez besoin d'un « contremaître » pour se tenir entre le robot et le monde réel. Ce contremaitre est appelé un échafaudage d'agent (agent scaffolding). Son rôle est d'écouter les idées du robot, de les traduire en actions (comme « ouvrir ce fichier » ou « envoyer cet e-mail »), puis de rapporter les résultats afin que le robot puisse continuer à réfléchir.
Pendant longtemps, les gens se sont disputés sur la meilleure façon de construire ce contremaître. Une méthode populaire, appelée MCP (Model Context Protocol), revient à donner au robot une encyclopédie géante et détaillée de chaque outil qu'il pourrait un jour avoir besoin. Chaque fois que le robot demande de l'aide, le contremaître lui redonne l'encyclopédie entière, juste au cas où. Une autre méthode, l'Interface en Ligne de Commande (CLI - Command-Line Interface), est plus simple : le contremaître donne simplement au robot une boîte à outils de base et lui dit : « Tu sais comment utiliser un marteau et un tournevis, n'est-ce pas ? Débrouille-toi pour trouver comment utiliser les outils spécifiques dont tu as besoin. »
La grande question que tout le monde pose est la suivante : Quelle méthode coûte le moins cher ? Puis que chaque fois que le robot communique avec l'ordinateur, il doit payer pour les mots (tokens) qu'il envoie et reçoit, les gens supposaient que la méthode de la « l'encyclopédie géante » (MCP) serait incroyablement coûteuse car elle envoie énormément de texte supplémentaire. Certains experts ont même estimé que le MCP pourrait coûter 35 fois plus cher que la méthode de la simple boîte à outils. Mais personne n'avait mesuré cela de manière équitable, et les chiffres étaient très disparates.
Le Duel des Boîtes à Outils
Dans cette étude, une équipe de chercheurs a décidé de trancher le débat en menant une expérience massive et contrôlée. Ils ne se sont pas contentés de deviner ; ils ont construit un parcours d'obstacles numérique — une tâche spécifique comprenant six étapes comme trouver un bug dans un code, le corriger, puis l'envoyer à une équipe. Ils ont ensuite soumis cette même tâche à sept « contremaîtres » différents (échafaudages d'agents) et cinq différents « cerveaux de robots » (modèles d'IA) pour voir combien il en coûtait réellement pour terminer le travail.
Voici le rebondissement : les chercheurs ont découvert que le contremaître lui-même importait bien plus que la boîte à outils.
La découverte la plus surprenante est que deux des sept contremaîtres testés ne possédaient même pas la capacité de l'« encyclopédie géante » (MCP). Ils utilisaient uniquement la simple boîte à outils (CLI). Pourtant, ils ont terminé chaque tâche parfaitement. Non seulement ils ont terminé, mais ils étaient 5 à 28 fois moins chers que les contremaîtres sophistiqués qui possédaient l'encyclopédie. En fait, pour un cerveau de robot spécifique et de petite taille, le coût a bondi de 139 fois simplement parce qu'il était associé à un contremaître différent, bien que le robot et la tâche soient exactement les mêmes.
Alors, qu'en est-il de l'aspect coûteux de l'« encyclopédie géante » (MCP) ?
Les chercheurs ont tenté de comparer les deux méthodes directement au sein d'un même contremaître, mais les résultats étaient désordonnés et incohérents. Parfois, l'encyclopédie coûtait plus cher, parfois moins cher, et parfois c'était la même chose. Les données étaient trop instables pour affirmer qu'une méthode était définitivement moins chère que l'autre lors d'un affrontement équitable. Cependant, ils ont trouvé une différence claire : quand les choses tournaient mal, la méthode de l'encyclopédie était beaucoup plus coûteuse. Environ 12,9 % de l'argent dépensé sur les exécutions MCP n'a rien acheté (car la tâche a échoué), contre seulement 2,2 % pour les exécutions de la simple boîte à outils. Mais les robots échouaient tout aussi souvent avec les deux méthodes ; c'est simplement que lorsque les robots MCP échouaient, ils gaspillaient plus d'argent en le faisant.
La « Magie » du Contremaître
L'étude a également mis au jour une astuce sournoise. Les chercheurs ont indiqué aux robots exactement quelle boîte à outils utiliser. Mais lorsqu'ils ont vérifié les journaux (logs), ils ont constaté que les robots ignoraient souvent les instructions ! Certains robots recevaient l'« encyclopédie géante » mais utilisaient discrètement la simple boîte à outils. D'autres faisaient l'inverse. Cela signifie que si vous demandez simplement à un robot « combien cela a coûté ? » sans vérifier ce qu'il a réellement fait, vous pourriez mesurer un mélange des deux méthodes, ce qui rend les chiffres inutilisables.
L'Essentiel à Retenir
La conclusion principale n'est pas qu'un outil est magique et l'autre est médiocre. Au contraire, l'étude suggère que la façon dont vous construisez le contremaître de votre robot est le facteur le plus important dans le calcul de son coût.
- Pour des tâches simples et répétitives : Un contremaître sur mesure et de petite taille qui n'utilise que la boîte à outils de base (CLI) est nettement moins cher et plus fiable qu'un assistant généraliste massif transportant une encyclopédie géante.
- Pour les petits cerveaux de robots : Si vous utilisez un modèle d'IA plus petit et moins cher sur votre propre ordinateur, les contremaîtres « à usage général » peuvent rendre la tâche près de 140 fois plus coûteuse simplement en étant trop bavards et en transportant trop de bagages inutiles.
Les chercheurs ont conclu que pour des tâches spécifiques et bien définies, nous n'avons pas besoin de l'approche lourde et coûteuse de l'« encyclopédie géante ». Nous pouvons construire des systèmes plus légers et moins chers qui accomplissent le travail sans le poids supplémentaire. Et si vous décidez d'utiliser la méthode de l'encyclopédie sophistiquée, vous devez vous assurer que votre robot l'utilise réellement, sinon vous pourriez payer pour un outil que vous n'avez jamais touché.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.