Tokenomics: Quantifying Where Tokens Are Used in Agentic Software Engineering
Cet article analyse les modèles de consommation de jetons dans les systèmes d'ingénierie logicielle multi-agents basés sur les LLM, révélant que l'étape itérative de revue de code et les jetons d'entrée dominent l'utilisation des ressources, soulignant ainsi que les coûts principaux résident dans l'affinement et la vérification automatisés plutôt que dans la génération initiale de code.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous engagiez une équipe de robots IA pour construire un logiciel pour vous. Vous pourriez penser que la partie la plus coûteuse du travail est la "construction" proprement dite (l'écriture du code). Cependant, cet article suggère que c'est comme penser que la partie la plus chère de la construction d'une maison est la pose des briques, alors qu'en réalité, le coût provient des réunions interminables où l'équipe se dispute pour savoir si la couleur de la peinture est la bonne.
Voici une décomposition simple de ce que les chercheurs ont découvert :
L'idée centrale : La « Tokenomics »
Les auteurs ont inventé un nouveau mot, la « Tokenomics », pour décrire l'« économie » de l'IA. Tout comme une équipe humaine dépense de l'argent en salaires et en café, les équipes d'IA dépensent des « tokens » (la monnaie que l'IA utilise pour réfléchir et parler). Chaque fois que l'IA lit une instruction ou écrit une ligne de code, cela coûte des tokens. Les chercheurs voulaient répondre à une question simple : Où va exactement cet argent ?
L'expérience : Une usine logicielle virtuelle
Pour le découvrir, les chercheurs ont mis en place une entreprise de logiciels virtuelle appelée ChatDev. Ils ont confié à cette équipe d'IA 30 tâches différentes, allant de problèmes mathématiques simples à la création d'un jeu d'échecs. Ils ont utilisé un modèle d'IA très intelligent (GPT-5) pour piloter l'équipe.
Ils ont observé l'équipe d'IA travailler étape par étape, en suivant chaque token utilisé, et ont cartographié ces étapes sur les phases réelles du développement de logiciels :
- Conception : Planifier ce qui doit être construit.
- Codage : Écrire le premier jet.
- Revue de code : Vérifier le travail et corriger les erreurs.
- Tests : Essayer de "casser" le programme pour voir s'il fonctionne.
- Documentation : Rédiger le manuel.
Les résultats surprenants
1. La « Revue de code » est le gouffre financier
Vous pourriez vous attendre à ce que la phase de « Codage » soit la plus coûteuse. Ce n'est pas le cas.
- L'analogie : Imaginez un chantier de construction. Le martelage effectif des clous (Codage) est rapide et peu coûteux. Mais la partie où le contremaître et l'architecte tournent autour du chantier, pointant le même mur, se disputant, réécrivant les plans et vérifiant les mesures encore et encore ? C'est la Revue de code.
- Le constat : Les chercheurs ont découvert que 59,4 % de tous les tokens (l'argent) ont été dépensés uniquement dans cette phase de « Revue de code ». Les agents d'IA passaient leur temps à discuter entre eux pour affiner et corriger le code, ce qui était incroyablement coûteux.
2. La taxe de l'« Écoute »
Les tokens de l'IA sont divisés en trois types : Entrée (ce que l'IA lit), Sortie (ce que l'IA écrit) et Raisonnement (ce que l'IA pense).
- L'analogie : Imaginez un groupe de personnes essayant de résoudre un puzzle. Ils passent 2 minutes à lire les instructions et à regarder les pièces (Entrée), mais seulement 1 minute à réellement placer les pièces (Sortie).
- Le constat : L'IA a passé 53,9 % de son temps à simplement lire le contexte (Entrée). Les chercheurs appellent cela la « Taxe de communication ». Parce que les agents se parlent dans une boucle, ils continuent de transmettre l'intégralité de la conversation et du code à l'aller et au retour. Ils dépensent la majeure partie de leur budget juste pour répéter ce qu'ils savent déjà, plutôt que de créer quelque chose de nouveau.
3. Des tâches différentes, des coûts différents
- Codage : C'était en fait la partie la moins chère. C'était une phase riche en « Sortie », ce qui signifie que l'IA était occupée à écrire de nouvelles choses.
- Documentation et Revue : Elles étaient riches en « Entrée ». L'IA devait lire de grandes quantités de code existant pour écrire un court résumé ou trouver un petit bug.
L'essentiel à retenir
L'article conclut que le coût élevé de l'utilisation de l'IA pour construire des logiciels ne vient pas du fait que l'IA est mauvaise pour écrire du code. C'est parce que les équipes d'IA sont inefficaces pour communiquer entre elles.
Elles dépensent la grande majorité de leurs ressources dans une boucle de vérification et de re-vérification du travail (Revue de code) et de re-lecture du même contexte (Entrée). Les chercheurs suggèrent que si nous voulons rendre le développement de logiciels par l'IA moins cher et plus rapide, nous ne devrions pas nous concentrer sur la manière de faire écrire le code plus vite à l'IA ; nous devrions nous concentrer sur la manière de faire en sorte que l'équipe d'IA arrête de tant argumenter et de tant relire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.