Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks
Cet article étudie comment les spécifications des tâches impactent la consommation de jetons dans les flux de travail de codage agentiques, démontrant que des instructions trop brèves augmentent considérablement les coûts tout en introduisant une méthode prédictive pour estimer la dépense de jetons à travers différentes configurations avec une grande précision.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde moderne du développement logiciel, un nouveau type de travailleur a émergé : l'agent d'intelligence artificielle. Contrairement à un simple chatbot qui répond à une question isolée, ces agents sont conçus pour s'attaquer à des tâches complexes et multi-étapes, comme la correction d'un bogue dans un programme informatique ou la création d'une nouvelle fonctionnalité de toutes pièces. Ils y parviennent en lisant une description de tâche, en réfléchissant au problème, en utilisant des outils numériques pour écrire et tester du code, et en répétant le processus jusqu'à ce que le travail soit terminé. Cependant, cette autonomie a un prix. Chaque fois que l'IA réfléchit, lit ou écrit, elle consomme des ressources numériques mesurées en « tokens », qui sont les unités de base de texte que le modèle traite. Ces tokens se traduisent directement en argent. À mesure que ces agents deviennent plus courants dans les systèmes réels, les ingénieurs sont confrontés à une question pressante : combien coûtera le fait de laisser une IA résoudre un problème, et ce coût peut-il être contrôlé ?
La réponse n'est pas aussi simple que de choisir un modèle informatique moins cher. Des études récentes ont montré que même lorsqu'une IA reçoit exactement les mêmes instructions, le montant dépensé peut varier considérablement d'une tentative à l'autre. Parfois, deux exécutions identiques d'une même tâche peuvent présenter une différence de coût d'un facteur de trente. Cette imprévisibilité rend la budgétisation difficile. De plus, alors que les chercheurs ont examiné les performances de différents modèles d'IA, ils ont largement ignoré comment la manière dont un humain décrit la tâche elle-même modifie le prix. Un ingénieur senior pourrait rédiger une spécification détaillée et structurée pour une correction logicielle, tandis qu'un ingénieur junior pourrait coller un message d'erreur brut. Ces différentes descriptions entraînent-elles des coûts différents, ou l'IA effectue-t-elle simplement la même quantité de travail quel que soit le mode de formulation de la requête ?
Pour le découvrir, un chercheur de l'Université de Stanford a mené une expérience à grande échelle utilisant un modèle d'IA spécifique connu sous le nom de Kimi K3. L'équipe a sélectionné cinq tâches de réparation de logiciels distinctes issues d'une suite de tests standard utilisée par les développeurs. Pour chaque tâche, ils ont créé une grande variété d'instructions, allant d'un document complet et hautement structuré contenant tous les détails possibles à une description sommaire avec presque aucune information. Ils ont également testé trois niveaux différents d'« effort de réflexion », ce qui contrôle essentiellement la force avec laquelle l'IA raisonne sur le problème avant d'agir. Au total, ils ont fait fonctionner le système 2 700 fois, suivant méticuleusement l'argent dépensé pour chaque tentative et le nombre de fois où l'agent a dû se tourner vers l'ordinateur pour accomplir ses tâches.
Les résultats ont révélé un schéma clair et surprenant. La manière dont une tâche est décrite a un impact massif sur le coût moyen. Lorsque les chercheurs ont réduit une spécification complète et détaillée à un simple récit en langage courant de ce que l'utilisateur souhaite, le coût de résolution du problème a bondi de près de trente pour cent. Cela s'est produit systématiquement pour chaque tâche testée. Il semble que lorsque l'IA ne reçoit pas assez de détails spécifiques, elle doit passer plus de temps et d'argent pour identifier elle-même les éléments manquants. Cependant, l'étude a également constaté que les instructions ne changeaient pas l'imprévisibilité du coût. Peu importe que la consigne soit détaillée ou vague, la différence entre une exécution et la suivante restait sensiblement la même. Le coût d'une tentative unique est intrinsèquement instable, et la seule façon de rendre la facture totale plus prévisible est de rendre les tentatives individuelles moins coûteuses.
Une autre découverte clé est que le niveau de détail des instructions importe davantage lorsque l'IA dispose d'un budget de réflexion limité. Lorsque l'IA est autorisée à réfléchir profondément et de manière extensive, la différence de coût entre une consigne détaillée et une consigne vague diminue. Cela suggère que si vous donnez à l'IA suffisamment de temps pour raisonner, elle peut combler les lacunes d'une description médiocre par elle-même, mais si vous restreignez son temps de réflexion, une consigne claire et détaillée devient essentielle pour économiser de l'argent. Les chercheurs ont également constaté que la suppression de sections spécifiques d'une description de tâche, comme la liste des cas limites ou les critères de réussite, avait un effet minime en soi, mais que la suppression de l'intégralité de l'histoire utilisateur ou des scénarios de test provoquait une hausse spectaculaire des coûts.
La conclusion la plus pratique pour quiconque utilise ces outils est une méthode pour prédire les coûts sur de nouvelles tâches. L'équipe a démontré qu'il n'est pas nécessaire d'exécuter une tâche des dizaines de fois pour savoir combien elle coûtera. En effectuant un seul test peu coûteux sur un nouveau problème, ils pouvaient prédire le coût de ce même problème sous différents styles d'instructions et paramètres de réflexion avec une précision raisonnable. Sans ce test unique, toute estimation du coût d'une nouvelle tâche risquait d'être erronée de plus de cent pour cent. Avec une seule petite mesure, l'erreur est tombée à environ trente-six pour cent. Cela signifie que les ingénieurs peuvent rapidement évaluer l'impact financier de leurs choix sans gaspiller de ressources en essais et erreurs extensifs.
L'étude conclut que bien que le comportement de l'IA soit naturellement imprévisible, le coût de son travail est fortement influencé par la manière dont l'humain formule la requête. Une description de tâche bien structurée et détaillée peut réduire considérablement l'argent dépensé, surtout lorsque l'IA n'est pas dotée d'un temps de réflexion illimité. La recherche suggère que la manière la plus efficace de gérer ces coûts n'est pas de tenter d'éliminer l'aléa de l'IA, mais de concevoir soigneusement les instructions de la tâche et d'utiliser un test unique à faible coût pour calibrer les attentes pour les nouveaux travaux. À mesure que ces agents s'intègrent dans le travail quotidien, comprendre la relation entre les mots que nous utilisons et l'argent que nous dépensons sera tout aussi important que le code qu'ils écrivent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.