💻 computer science

Comparing AI Coding Agents: A Task-Stratified Analysis of Pull Request Acceptance

Cette étude empirique analyse 7 156 demandes d'intégration pour révéler que, bien que Devin présente une tendance temporelle positive unique en matière d'acceptation, le type de tâche est le facteur dominant influençant les taux de réussite, OpenAI Codex démontrant la performance élevée la plus cohérente à travers diverses catégories, bien qu'aucun agent unique ne se distingue dans tous les types de tâches.

Auteurs originaux : Giovanni Pinna, Jingzhi Gong, David Williams, Federica Sarro

Publié 2026-05-08

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Giovanni Pinna, Jingzhi Gong, David Williams, Federica Sarro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le gestionnaire d'un chantier de construction très animé. Au lieu d'ouvriers humains, vous disposez de cinq robots IA différents (OpenAI Codex, GitHub Copilot, Devin, Cursor et Claude Code) capables d'écrire du code, de corriger des bugs et de rédiger de la documentation. Votre objectif est de déterminer quel robot est le meilleur pour obtenir l'approbation de ses travaux auprès des inspecteurs du chantier (le « taux d'acceptation des demandes de tirage »).

Ce document est comparable à un bulletin de notes détaillé comparant ces cinq robots sur plusieurs mois. Voici ce qu'ils ont découvert, expliqué simplement :

1. Le « type de tâche » compte plus que le robot

La plus grande surprise ne fut pas de savoir quel robot était le plus rapide, mais quel type de tâche ils accomplissaient.

L'analogie : Imaginez demander à un robot de « rédiger un poème » plutôt que de « construire un pont ». Rédiger un poème est généralement plus facile à faire approuver que de construire un pont.
La découverte : Le document a révélé que le type de tâche est le facteur le plus important.
- Lorsque les robots étaient chargés de documentation (comme rédiger des manuels ou des commentaires), ils obtenaient une approbation dans 82 % des cas.
- Lorsqu'ils devaient créer de nouvelles fonctionnalités (comme ajouter une nouvelle pièce à une maison), ils n'obtenaient une approbation que dans 66 % des cas.
La leçon : Si vous jugez un robot uniquement sur sa note globale, vous risquez d'être trompé. Un robot qui effectue principalement des tâches faciles de « rédaction de poèmes » paraîtra comme une superstar, même s'il est terrible pour la « construction de ponts ».

2. Aucun robot ne gagne dans toutes les catégories

Il n'existe pas de « meilleur robot » pour tout. Chacun possède une super-puissance spécifique.

OpenAI Codex : C'est le polyvalent fiable. Il a performé de manière constamment satisfaisante dans presque tous les types de tâches, sans jamais descendre en dessous d'une note décente.
Claude Code : C'est le spécialiste de la documentation. Il était le meilleur pour rédiger des manuels et créer de nouvelles fonctionnalités, mais il faut être prudent car il n'a pas accompli beaucoup d'autres tâches dans cette étude.
Cursor : C'est le réparateur de bugs. Lorsqu'il s'agissait de réparer des choses cassées, il était le meilleur performer.
Devin : Ce robot a commencé lentement mais s'est amélioré avec le temps. C'était le seul à montrer une tendance claire d'amélioration semaine après semaine, passant d'environ 60 % d'approbation à 80 %.

3. Le temps change les choses (mais pas pour tout le monde)

Les chercheurs ont observé ces robots pendant des mois pour voir s'ils apprenaient ou s'amélioraient.

L'analogie : Pensez-y comme à un élève passant un test chaque semaine.
- Devin est comme l'élève qui étudie sérieusement et continue d'obtenir des scores plus élevés chaque semaine.
- Les autres sont comme des élèves déjà intelligents ; ils commencent avec un niveau élevé et le maintiennent, mais ils ne montrent pas beaucoup d'amélioration au fil du temps. Ils restent simplement constants.

4. Pourquoi la « note globale » est trompeuse

Le document met en garde contre le fait de se fier à une seule « note moyenne » pour un robot.

L'analogie : Imaginez deux chefs. Le chef A ne cuisine que des salades simples (que tout le monde adore). Le chef B ne cuisine que des ragoûts complexes et épicés (plus difficiles à réussir). Si vous regardez uniquement la « note moyenne des clients », le chef A pourrait sembler meilleur. Mais cela ne signifie pas que le chef A est un meilleur chef ; cela signifie simplement qu'on lui a donné des ingrédients plus faciles.
La découverte : Les chercheurs ont dû séparer les robots selon le type de tâche qu'ils accomplissaient pour obtenir une comparaison équitable. Une fois cela fait, ils ont découvert que le « meilleur » robot changeait selon qu'il s'agissait de corriger un bug, d'écrire un test ou de mettre à jour un document.

Résumé

Si vous souhaitez embaucher un assistant de codage IA, ne demandez pas simplement : « Qui est le meilleur ? »

Si vous avez besoin de corrections de bugs, regardez Cursor ou OpenAI Codex.
Si vous avez besoin de nouvelles fonctionnalités ou de documentation, Claude Code ou OpenAI Codex pourraient être votre meilleur choix.
Si vous voulez un robot qui semble apprendre et s'améliorer avec le temps, Devin est celui à surveiller.

L'enseignement principal est que le contexte est roi. Vous ne pouvez pas juger un outil sans savoir exactement quelle tâche on lui demande d'accomplir.

Résumé technique : Comparaison des agents de codage IA : Une analyse stratifiée par tâche de l'acceptation des demandes de tirage

Énoncé du problème

L'intégration rapide d'assistants de codage alimentés par l'IA dans les flux de travail de l'ingénierie logicielle a déplacé le paradigme de la simple complétion de code vers des agents autonomes capables de générer des fonctions, de corriger des bogues et de créer des demandes de tirage (PR) de manière indépendante. Cependant, les comparaisons systématiques de l'efficacité de ces agents restent limitées. Les évaluations existantes reposent souvent sur des métriques de performance globales qui ne parviennent pas à distinguer la capacité inhérente d'un agent de la distribution spécifique des tâches qui lui sont assignées. Par exemple, un agent traitant principalement des tâches de documentation (qui ont généralement des taux d'acceptation plus élevés) peut sembler supérieur à un autre gérant des implémentations de fonctionnalités complexes, même si ce dernier possède des capacités sous-jacentes plus fortes. Cet effet de confusion, combiné à un manque de données longitudinales sur l'évolution de la performance des agents au fil du temps, crée un vide dans la compréhension de l'efficacité réelle de différents agents de codage IA dans le développement logiciel réel.

Méthodologie

Cette étude présente une analyse empirique de 7 156 demandes de tirage fermées issues de l'ensemble de données AIDev, spécifiquement le sous-ensemble AIDev-POP (dépôts avec plus de 100 étoiles). L'ensemble de données couvre cinq agents de codage IA populaires : OpenAI Codex, GitHub Copilot, Devin, Cursor et Claude Code.

Filtrage et prétraitement des données :
Les auteurs ont filtré l'ensemble de données brut de 33 596 PR pour ne retenir que :

Les PR fermées.
Les PR provenant de dépôts avec des licences permissives (MIT ou Apache-2.0).
Les PR ayant reçu au moins une revue ou un commentaire d'un humain autre que le créateur, assurant une évaluation significative.

Métriques et approche statistique :

Métrique de succès : Définie comme le taux d'acceptation (proportion de PR fusionnées).
Analyse temporelle (RQ1) : Des modèles de régression linéaire ( $y = \beta_0 + \beta_1 \cdot t + \varepsilon$ ) et un lissage LOESS ont été appliqués aux taux d'acceptation au fil du temps pour identifier les schémas d'évolution.
Analyse factorielle (RQ2) : L'étude a examiné les corrélations entre les taux d'acceptation et les types de tâches, ainsi que la fréquence des revues.
Analyse comparative (RQ3) : Pour répondre à l'hétérogénéité de la charge de travail, les auteurs ont effectué des comparaisons par paires stratifiées par tâche. En utilisant les tests du khi-deux de Pearson d'indépendance (et le test exact de Fisher pour les données éparses), ils ont comparé les agents au sein de catégories de tâches spécifiques (par exemple, fonctionnalités, corrections, documentation).
- Contrôle de la significativité : Une correction de Bonferroni a été appliquée sur 64 tests ( $\alpha \approx 0,00078$ ) pour contrôler les comparaisons multiples.
- Taille de l'effet : Le coefficient phi ( $\phi$ ) a été rapporté pour mesurer l'ampleur de l'effet.

L'étude reconnaît explicitement son caractère observationnel, notant que bien qu'elle documente des schémas, elle ne revendique pas de causalité en raison de facteurs de confusion potentiels tels que la concentration des dépôts, les changements de comportement des utilisateurs et les mises à jour des modèles.

Contributions clés

Analyse de l'évolution temporelle : L'étude révèle des schémas d'évolution hétérogènes entre les agents. Devin est le seul agent à démontrer une tendance positive constante du taux d'acceptation sur une période de 32 semaines, tandis que les autres restent largement stables.
Méthodologie stratifiée par tâche : L'article introduit une méthodologie qui contrôle l'hétérogénéité de la charge de travail en évaluant les agents au sein de catégories de tâches spécifiques, empêchant ainsi des conclusions trompeuses tirées de moyennes globales.
Dominance du type de tâche : Les preuves empiriques démontrent que le type de tâche est un facteur dominant influençant les taux d'acceptation, créant un écart de 29 points de pourcentage entre les catégories les plus performantes (corvée : 84,0 %) et les moins performantes (performance : 55,4 %). Cet écart dépasse souvent la variance observée entre différents agents au sein de la même catégorie.
Forces spécifiques aux agents : L'analyse identifie qu'aucun agent unique ne surpasse tous les autres dans tous les types de tâches. La performance est hautement dépendante du contexte.

Résultats clés

Tendances temporelles (RQ1) :

Devin a montré une amélioration constante de +0,77 % par semaine ( $R^2 = 0,34$ ), passant d'environ 60 % à environ 80 % d'acceptation.
OpenAI Codex et GitHub Copilot ont présenté un comportement de plateau, maintenant des taux d'acceptation constamment élevés dès leur première semaine observée.

Facteurs de performance (RQ2) :

Type de tâche : Les tâches de documentation ont atteint un taux d'acceptation de 82,1 %, contre 66,1 % pour les nouvelles fonctionnalités — un écart de 16 points de pourcentage.
Fréquence des revues : Les PR de GitHub Copilot ont reçu significativement plus de revues par PR (4,94) que celles d'OpenAI Codex (1,39), corrélées à des taux d'acceptation plus faibles, bien que les auteurs notent que cela peut refléter la complexité des tâches ou les politiques des dépôts plutôt qu'un lien de causalité direct.

Comparaisons d'agents (RQ3) :

OpenAI Codex a démontré des taux d'acceptation constamment élevés dans les neuf catégories de tâches analysées (variant de 59,6 % à 88,6 %), menant dans les tâches de correction (83,0 %) et de refactorisation (74,3 %).
Claude Code a mené dans la documentation (92,3 %) et les fonctionnalités (72,6 %), bien que avec une taille d'échantillon plus petite.
Cursor a excellé dans les tâches de test (77,8 %) et de correction (80,4 %).
Significativité statistique : Sur 64 comparaisons stratifiées, seules 6 étaient statistiquement significatives après correction de Bonferroni. Toutes les différences significatives concernaient des tâches de correction ou de fonctionnalité. Notamment, Devin a sous-performé par rapport à Codex, Copilot et Cursor spécifiquement dans les tâches de correction.

Importance et implications

L'article soutient que le « meilleur » agent de codage IA n'est pas un concept universel mais dépend de la tâche spécifique à accomplir. La variance significative des taux d'acceptation basée sur le type de tâche suggère que les métriques de performance globales peuvent être trompeuses.

Pour les praticiens : Le choix de l'agent devrait être guidé par le flux de travail spécifique. Pour les corrections de bogues, Cursor et OpenAI Codex montrent de fortes performances, tandis que Devin montre une faiblesse relative dans ce domaine. Les tâches de documentation montrent une différenciation minimale entre les agents. Les auteurs suggèrent que les praticiens pourraient bénéficier de l'adoption d'une combinaison d'agents adaptés à différents flux de travail.
Pour les chercheurs : L'étude plaide pour la stratification par tâche comme pratique standard dans les futures évaluations. Les métriques globales doivent être accompagnées de distributions de tâches, et les comparaisons doivent être stratifiées pour contrôler les variables de confusion. Les auteurs soulignent également le besoin de métriques complémentaires (par exemple, analyse statique, dette technique) au-delà des simples taux d'acceptation pour capturer la qualité du code à long terme.

L'étude conclut que si les agents IA transforment le développement logiciel, leur évaluation nécessite des méthodologies nuancées et conscientes du contexte qui tiennent compte à la fois de l'hétérogénéité des tâches et des dynamiques temporelles.