Active-SWE: Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports

Imaginez un monde où le logiciel est comme une immense ville bouillonnante construite par des millions de personnes. Parfois, un bâtiment présente une fissure cachée, un pont a un boulon desserré, ou un feu de signalisation reste bloqué au vert alors qu'il devrait être au rouge. Dans le monde réel, nous attendons généralement que quelqu'un crie : « Hé, le pont est cassé ! » avant d'envoyer une équipe de réparation. Dans le monde numérique, ce « cri » est appelé un rapport d'incident (issue report). C'est une note détaillée écrite par un humain décrivant précisément où se trouve le bug, quel message d'erreur est apparu et comment le logiciel devrait se comporter.

Pendant longtemps, les informaticiens ont entraîné des assistants IA super intelligents, appelés agents de codage, pour agir comme des équipes de réparation. Ces agents utilisent des modèles puissants semblables à des cerveaux (appelés Grands Modèles de Langage ou LLM) pour lire le code et corriger les problèmes. Mais voici le hic : la majeure partie de l'entraînement et des tests effectués sur ces agents jusqu'à présent suppose qu'un « cri » parfait et détaillé (le rapport d'incident) les attend toujours. C'est comme entraîner un mécanicien uniquement sur des voitures qui sont déjà dépannées au garage avec une note disant : « Le moteur fait un bruit de cognement ».

Mais dans le monde réel, les choses ne se passent pas toujours aussi bien. Parfois, les bugs sont si sournois qu'ils se glissent dans le produit final sans que personne ne les remarque avant qu'il ne soit trop tard, provoquant un chaos massif. D'autres fois, les notes laissées par les humains sont vagues, confuses ou manquent de détails cruciaux. Cela soulève une question grande et passionnante : ces équipes de réparation IA peuvent-elles trouver et réparer les parties défectueuses de la ville avant même que quiconque ne sache qu'elles sont cassées ? Peuvent-elles agir comme des détectives proactifs, scannant le code par elles-mêmes, repérant les fissures et les réparant sans le moindre manuel d'instructions ?

C'est exactement ce que l'article intitulé « Benchmarking Coding Agents for Proactive Bug Fixing without Issue Reports » cherche à explorer. Les auteurs, une équipe de chercheurs issus d'universités et de laboratoires indépendants, introduisent un nouveau défi appelé Active-SWE. Voyez cela comme un niveau de jeu vidéo géant et à enjeux élevés, conçu pour tester si les agents d'IA peuvent être de véritables détectives plutôt que de simples mécaniciens obéissants.

Au lieu de donner à l'IA une liste de « choses cassées » à réparer, les chercheurs lui ont remis une immense bibliothèque de code — 1 663 tâches différentes réparties sur six types de bugs et huit langages de programmation différents — et lui ont dit : « Allez trouver les problèmes et réparez-les. Bonne chance, pas d'indices autorisés. »

Les chercheurs ont construit ce défi de deux manières. D'abord, ils ont créé un « Cadre Simple » (Simple Setting) où l'IA devait trouver et réparer un bug unique caché dans une base de code, un peu comme chercher une faute de frappe spécifique dans un roman. Ensuite, ils ont augmenté la difficulté avec un « Cadre Difficile » (Hard Setting), où l'IA devait traquer plusieurs bugs à la fois, comme un détective essayant de résoudre toute une série de crimes en une seule nuit. Ils ont également testé l'IA sur des « Bugs Potentiels », des scénarios où l'IA pourrait trouver un problème qui n'était même pas sur la liste originale des problèmes connus, lui demandant essentiellement : « Avez-vous trouvé quelque chose de nouveau qui est réellement cassé ? »

Pour s'assurer que l'IA ne faisait pas que deviner, les chercheurs ont utilisé un système de notation ingénieux à « double voie ». Une voie vérifiait si l'IA trouvait les bugs qu'ils savaient être présents (Bugs Enregistrés). L'autre voie était plus délicate : si l'IA affirmait avoir trouvé un nouveau bug, le système forçait l'IA à écrire un test pour le prouver. Si l'IA ne pouvait pas prouver l'existence du bug par un test, la découverte ne comptait pas. C'est comme si un détective affirmait avoir trouvé un coffre-fort caché ; il doit vous montrer la clé et l'ouvrir pour prouver qu'il est réel.

Les résultats ? Il s'avère que même les agents d'IA les plus intelligents et les plus avancés d'aujourd'hui sont encore en difficulté avec ce travail de détective proactif. Lorsque les chercheurs ont testé les modèles de pointe (comme Claude Opus 4.8, GPT-5.5 et d'autres), ils ont constaté que la plupart ne pouvaient réparer qu'environ 20 % des bugs connus lorsqu'elles étaient laissées sans guide. C'est une chute importante par rapport au moment où on leur fournit un rapport d'incident détaillé.

L'étude suggère que, bien que ces agents d'IA deviennent meilleurs pour suivre des instructions, ils sont encore assez mauvais pour regarder autour d'eux dans une pièce en désordre et comprendre ce qui est cassé par eux-mêmes. Ils se perdent souvent dans le code, ne parviennent pas à localiser précisément l'endroit du problème (une compétence appelée « localisation ») et peinent à réparer plusieurs problèmes à la fois. Curieusement, l'IA était légèrement meilleure pour trouver certains types de bugs, comme ceux liés à la logique ou au flux de données, mais elle était presque impuissante face aux bugs impliquant l'« état » du système (comme un feu de signalisation qui reste bloqué).

Plus important encore, l'article montre que trouver le bug n'est que la moitié de la bataille. Les données suggèrent que si l'IA ne peut pas localiser avec précision la partie défectueuse du code, elle ne la répare presque jamais correctement. C'est comme essayer de réparer un tuyau qui fuit sans savoir quel tuyau fuit ; vous risquez de serrer le mauvais.

En résumé, cet article ne prétend pas que l'IA a résolu la réparation logicielle. Au contraire, il tire la sonnette d'alarme : la génération actuelle d'agents de codage est encore trop dépendante des humains pour lui indiquer les problèmes. Le rêve « proactif » — où l'IA scanne le code et répare les problèmes avant qu'ils ne provoquent un crash — est encore un travail en cours. Les chercheurs concluent que, bien que ces agents soient puissants, ils doivent devenir bien meilleurs en tant que détectives indépendants avant que nous puissions leur confier la sécurité de nos villes numériques sans filet de sécurité.