Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?
Cet article évalue l'efficacité des fichiers de contexte au niveau du dépôt (comme AGENTS.md) pour les agents de codage et conclut que, contrairement à la pratique courante, ils échouent généralement à améliorer les taux de réussite des tâches tout en augmentant les coûts d'inférence de plus de 20 %.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous embauchiez un assistant très intelligent, mais légèrement novice, pour réparer un problème spécifique dans votre immense atelier encombré. Cet assistant est un agent de codage IA.
Pour aider votre assistant, vous décidez de lui laisser une « fiche mémo » ou un « manuel d'utilisation » (appelé un fichier AGENTS.md) sur l'établi. Ce manuel est censé dire à l'assistant :
- « Voici comment cet atelier est organisé. »
- « Voici les règles spécifiques que nous suivons pour construire des choses. »
- « Voici la meilleure façon d'utiliser nos outils spéciaux. »
La grande question posée est la suivante : Le fait de laisser cette fiche mémo aide-t-il réellement l'assistant à finir le travail plus vite et mieux, ou cela ne fait-il que le rendre confus et gaspiller du temps ?
Les chercheurs ont mis en place une expérience géante pour le découvrir. Voici ce qu'ils ont découvert, expliqué simplement :
1. Le paradoxe de la « Fiche Mémo »
L'équipe a testé deux types de fiches mémo :
- Celle écrite par un humain : Écrite par le véritable propriétaire de l'atelier (le développeur).
- Celle générée par l'IA : Écrite par une autre IA, simplement parce que le framework de l'agent l'a demandé.
Le résultat : Étonnamment, aucune des deux types de fiches mémo n'a permis à l'assistant de terminer le travail plus souvent. En fait, le taux de réussite est resté presque exactement le même, que la fiche soit présente ou non.
2. L'assistant « trop préparé »
Bien que les fiches mémo n'aient pas aidé l'assistant à trouver la bonne réponse plus souvent, elles ont changé la manière dont l'assistant travaillait.
- Sans fiche : L'assistant regardait autour de lui, essayait quelques trucs et réparait le problème.
- Avec une fiche : L'assistant lisait la fiche, la prenait très au sérieux, puis partait en « voyage de recherche ». Il vérifiait plus de fichiers, lançait plus de tests et double-vérifiait son travail.
Le piège : Cette « minutie » supplémentaire coûtait de l'argent. Parce que l'assistant passait plus de temps à lire et à tester, la facture du temps de l'IA augmentait de plus de 20 %. C'est comme embaucher un détective qui lit toute l'encyclopédie avant de résoudre une simple affaire de chaussette perdue. Il est très prudent, mais il est coûteux et n'est pas nécessairement plus rapide.
3. La « Carte » vs Les « Instructions »
Les chercheurs ont découvert une distinction dans ce que les fiches mémo faisaient réellement :
- La « Carte » (Vue d'ensemble) : La plupart des fiches mémo incluaient une grande description de tout l'atelier (« Voici l'abri à outils, voici la salle de peinture... »). L'assistant lisait cela, mais cela ne l'aidait pas à trouver le bon outil. C'était comme donner à quelqu'un une carte détaillée d'une ville alors qu'il a juste besoin de savoir à quel coin de rue tourner.
- Les « Instructions » (Règles) : Les fiches mémo contenaient également des règles spécifiques (« Utilisez toujours la clé rouge », « Ne peignez pas avant de poncer »). L'assistant suivait ces règles parfaitement. Ils utilisaient les outils spécifiques mentionnés et suivaient les étapes spécifiques.
4. Le verdict : Moins, c'est mieux (pour l'instant)
L'article conclut qu'actuellement, générer automatiquement ces fiches mémo est une perte d'argent.
- Si vous utilisez une IA pour écrire la fiche mémo, elle ne fait qu'ajouter du superflu (des vues d'ensemble trop longues) qui confond l'agent et épuise votre budget.
- Si un humain l'écrit, cela aide un tout petit peu plus que la version IA, mais cela n'améliore toujours pas de manière significative le taux de réussite.
L'essentiel :
Si vous êtes un développeur d'agents IA, ne vous contentez pas de déverser un manuel massif généré par l'IA sur votre agent. Cela le fait travailler plus dur et coûte plus cher sans le rendre plus intelligent.
Si vous devez avoir une fiche mémo, gardez-la courte. Incluez uniquement les règles spécifiques et étranges qui ne sont pas déjà évidentes dans le code (comme « Utilisez toujours la clé rouge »). N'incluez pas une longue histoire de l'atelier ; l'agent peut découvrir cela par lui-même.
En bref : La fiche mémo fait de l'agent un élève plus obéissant qui étudie plus dur, mais cela ne fait pas de lui un meilleur élève qui obtient de meilleures notes. Et étudier plus dur coûte plus cher en frais de scolarité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.