BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing?

Ce papier présente BeyondSWE, un nouveau benchmark évaluant les agents de code au-delà des correctifs de dépôts uniques, et SearchSWE, un cadre d'augmentation par recherche, révélant que les modèles actuels peinent à maîtriser des tâches complexes multi-dépôts et que l'intégration de la recherche n'améliore pas systématiquement leurs performances.

L'essentiel

🚗 Au-delà du garage : Le test de conduite ultime pour les voitures autonomes (les IA)

Imaginez que vous avez construit une voiture autonome très intelligente. Pour la tester, vous la mettez dans un petit garage fermé. Vous lui donnez une tâche simple : « Changez la roue avant gauche ». La voiture le fait parfaitement. Bravo !

Mais dans la vraie vie, un conducteur ne reste pas dans un garage. Il doit traverser des villes, gérer des embouteillages imprévus, consulter une carte GPS, réparer une panne moteur en utilisant un manuel technique, et parfois même construire une nouvelle voiture à partir de zéro en suivant un plan d'architecte.

C'est exactement le problème que soulève cet article. Les chercheurs se sont dit : « Nos intelligences artificielles (les agents de code) sont excellentes pour réparer de petits bugs dans un seul projet, mais sont-elles prêtes pour la vraie vie ? »

Pour répondre à cette question, ils ont créé deux choses principales : un nouveau terrain de jeu difficile (le benchmark BeyondSWE) et un nouvel outil de navigation (le framework SearchSWE).

---

1. Le Nouveau Terrain de Jeu : BeyondSWE 🎮

Jusqu'à présent, on testait les IA sur des tâches de réparation de code très limitées (comme changer une seule ligne dans un seul fichier). C'est comme tester un pilote de course uniquement sur une piste de karting.

Les chercheurs ont créé BeyondSWE, un parcours d'obstacles beaucoup plus complexe avec 4 épreuves différentes, basées sur de vrais problèmes rencontrés par les développeurs humains :

• 🔗 L'Enquêteur (CrossRepo) : L'IA doit réparer un bug dans un projet, mais la solution se trouve dans un autre projet différent.
  • Analogie : Vous avez une fuite dans votre cuisine. Au lieu de chercher dans votre propre maison, vous devez aller voir comment votre voisin a réparé la sienne, puis adapter sa solution chez vous.
• 🧠 Le Spécialiste (DomainFix) : L'IA doit résoudre un problème dans un domaine très pointu (comme la physique quantique ou la biologie).
  • Analogie : On demande à un mécanicien de réparer un moteur de fusée. Il ne suffit pas de savoir visser des boulons, il faut comprendre la physique des fusées !
• 🔄 Le Déménageur (DepMigrate) : Une mise à jour majeure d'une technologie oblige l'IA à modifier tout le code d'un projet pour qu'il fonctionne avec la nouvelle version.
  • Analogie : Imaginez que votre maison est construite avec des briques rouges, mais la ville impose soudainement des briques bleues. L'IA doit transformer toute la maison, brique par brique, sans que le toit ne s'effondre.
• 🏗️ L'Architecte (Doc2Repo) : L'IA reçoit un document écrit (un plan) et doit construire un projet informatique complet de zéro, sans aucun code de départ.
  • Analogie : On donne à un maçon un plan de maison dessiné sur un bout de papier, et il doit construire toute la maison, du sol au toit, sans avoir de murs préfabriqués.

Le verdict ? 📉
Même les IA les plus intelligentes (les "modèles de pointe") échouent souvent. Elles réussissent moins de 45 % des tâches. Elles sont comme des élèves brillants qui savent réciter leur leçon, mais qui paniquent dès qu'on leur pose une question imprévue en dehors du manuel scolaire.

---

2. Le Nouvel Outil : SearchSWE 🔍

Puisque les IA échouent souvent parce qu'elles manquent d'informations (elles ne savent pas où chercher la solution), les chercheurs ont créé SearchSWE.

C'est comme donner une boussole et un accès à Internet à la voiture autonome. Au lieu de rester bloquée dans son garage, l'IA peut maintenant :

1. Chercher sur le web des tutoriels.
2. Lire la documentation officielle.
3. Consulter des forums de discussion.

Le résultat est surprenant et un peu décevant : 🤷‍♂️
Avoir accès à Internet n'aide pas toujours ! Parfois, l'IA trouve trop d'informations, se perd, lit de mauvaises versions de documents, ou confond des concepts.

• Analogie : C'est comme si vous donniez un livre de cuisine à un chef, mais que ce livre contenait des recettes pour 100 ans dans le futur. Le chef essaie de les utiliser, mais ça ne marche pas avec les ingrédients d'aujourd'hui.

L'étude montre qu'il y a un décalage : les IA sont très bonnes pour coder et très bonnes pour chercher, mais elles sont mauvaises pour combiner les deux. Elles ne savent pas encore bien décider quand chercher, quoi chercher, et comment utiliser cette information pour réécrire le code correctement.

---

🎯 En résumé : Que nous apprend cet article ?

1. Le test actuel est trop facile : Les benchmarks actuels ne mesurent pas la vraie capacité des IA à travailler comme de vrais ingénieurs.
2. Il y a un grand fossé : Les IA actuelles ne sont pas encore prêtes pour les tâches complexes du monde réel (comme gérer des mises à jour massives ou des domaines scientifiques).
3. La recherche ne suffit pas : Donner un moteur de recherche à une IA ne résout pas tout. Il faut apprendre à l'IA à être un bon chercheur (filtrer l'info, vérifier la date, comprendre le contexte) avant de devenir un bon codeur.

La conclusion ?
Nous sommes encore au stade des "voitures autonomes" qui savent rouler sur une piste fermée. Pour qu'elles puissent conduire sur l'autoroute, il faut leur apprendre à gérer le chaos, à lire les panneaux (la documentation) et à s'adapter aux imprévus. C'est le but de ce nouveau travail : pousser les IA à devenir de véritables ingénieurs logiciels.

Résumé technique

1. Problématique et Contexte

Les agents de code basés sur les grands modèles de langage (LLM) ont fait des progrès significatifs dans la résolution de problèmes logiciels, principalement évalués via des benchmarks comme SWE-bench. Cependant, ces évaluations actuelles présentent des limites fondamentales :

• Portée restreinte : Elles se concentrent presque exclusivement sur la correction de bugs au niveau d'une fonction ou d'un fichier à l'intérieur d'un seul dépôt (Single-Repo).
• Manque de contexte externe : Elles supposent que toutes les informations nécessaires sont contenues dans le dépôt cible, ignorant la réalité du développement logiciel où les ingénieurs consultent constamment des ressources externes (documentation, forums, autres dépôts).
• Absence de scénarios complexes : Les tâches réelles impliquent souvent la migration de dépendances à grande échelle, la résolution de problèmes nécessitant une expertise de domaine (ex: physique quantique, bio-informatique) ou la génération de systèmes complets à partir de spécifications.

La question centrale posée par les auteurs est la suivante : Les agents de code actuels peuvent-ils survivre au-delà de la simple correction de bugs dans un seul dépôt ?

2. Méthodologie

Pour répondre à cette question, les auteurs ont développé deux piliers principaux : un nouveau benchmark (BeyondSWE) et un cadre d'évaluation intégrant la recherche (SearchSWE).

A. Le Benchmark BeyondSWE

BeyondSWE élargit l'évaluation des agents selon deux axes :

1. Portée de la résolution (Resolution Scope) : De la correction locale à la refonte complète d'un dépôt ou à la génération de systèmes.
2. Portée des connaissances (Knowledge Scope) : De l'information interne au dépôt à l'utilisation de ressources externes (autres dépôts, documentation spécialisée, web).

Le benchmark comprend 500 instances réelles réparties en quatre tâches distinctes :

• CrossRepo (Résolution inter-dépôts) : L'agent doit corriger un problème en s'appuyant sur le code ou les solutions d'autres dépôts externes (ex: liens vers des PRs dans d'autres projets).
• DomainFix (Résolution spécifique au domaine) : L'agent doit résoudre des problèmes nécessitant une expertise scientifique pointue (ex: chimie computationnelle, physique quantique) au-delà de la simple programmation.
• DepMigrate (Migration pilotée par les dépendances) : L'agent doit effectuer une migration à l'échelle du codebase suite à des changements cassants (breaking changes) de dépendances majeures (ex: passage de Pydantic v1 à v2, NumPy 1.x à 2.x).
• Doc2Repo (Génération Document-vers-Dépôt) : L'agent doit construire un dépôt fonctionnel complet à partir d'une spécification textuelle (document de conception), sans code de départ.

Infrastructure technique :

• Construction automatisée d'environnements Docker reproductibles via des agents LLM pour gérer la dégradation des dépendances (dependency decay).
• Vérification stricte via des tests "Pass-to-Pass" (fonctionnalités existantes préservées) et "Fail-to-Pass" (bug résolu).
• Isolement de l'environnement pour éviter la contamination des données (pas d'accès à l'historique Git futur).

B. Le Framework SearchSWE

Pour étudier l'impact de la recherche d'information externe, les auteurs ont introduit SearchSWE, un cadre agentic qui intègre des capacités de recherche profonde (Deep Search) :

• Outils : Intégration d'un moteur de recherche web et d'un navigateur pour extraire et résumer le contenu des pages.
• Workflow : L'agent alterne entre l'exploration locale (Docker, exécution de tests) et la recherche globale (documentation, forums).
• Prévention de la triche : Un mécanisme de "blocklist" empêche l'accès direct au dépôt cible ou aux solutions via les résultats de recherche, forçant l'agent à synthétiser des solutions à partir de ressources indirectes.

3. Contributions Clés

1. BeyondSWE : Le premier benchmark holistique évaluant les agents de code au-delà du contexte d'un seul dépôt, couvrant la complexité de la migration, de l'expertise de domaine et de la génération de systèmes.
2. SearchSWE : Un cadre unifié pour étudier systématiquement l'intégration entre les compétences de codage et la recherche d'information, révélant un décalage critique entre ces deux capacités.
3. Analyse des échecs : Une investigation qualitative détaillée des modes d'échec des agents lors de la recherche d'informations (ex: décalage temporel des versions, bruit sémantique, manque de précision des moteurs de recherche pour le code brut).

4. Résultats Expérimentaux

Les expériences ont été menées sur une gamme de modèles de pointe (Gemini 3 Pro, GPT-5.2, DeepSeek-V3.2, etc.) en utilisant OpenHands (baseline) et SearchSWE.

• Fossé de capacités significatif : Même les modèles les plus avancés plafonnent en dessous de 45 % de taux de réussite global sur BeyondSWE, contre plus de 80 % sur SWE-bench Verified. Aucun modèle ne domine toutes les catégories de tâches.
• Faiblesses spécifiques :
  • DomainFix : C'est la tâche la plus difficile (souvent < 36 %), confirmant que le raisonnement scientifique spécialisé reste un goulot d'étranglement majeur.
  • Doc2Repo : Bien que les taux de réussite partiels soient modérés, la génération de dépôts entièrement corrects est extrêmement rare (au maximum 2 instances sur 50). Les agents peinent à architecturer des systèmes cohérents.
• Impact de la recherche (SearchSWE) :
  • Les gains sont incohérents. Pour certains modèles et tâches (ex: Gemini 3 Pro sur DomainFix), la recherche améliore les performances (+7,5 %).
  • Pour d'autres, la recherche dégrade les performances (ex: Seed-Coder sur CrossRepo).
  • Conclusion majeure : L'intégration de la recherche ne se traduit pas automatiquement par une meilleure performance. Les agents ont du mal à filtrer le bruit, à gérer les conflits de versions (ex: chercher de la documentation pour une version future alors que l'environnement est ancien) et à distinguer les résultats pertinents du bruit sémantique.

5. Signification et Implications

Ce travail met en lumière une réalité critique pour l'avenir des agents de code :

• Limites actuelles : Les agents actuels sont excellents pour des tâches locales mais échouent à reproduire le flux de travail humain complexe qui intercale recherche, raisonnement et codage.
• Nécessité d'une intégration explicite : La capacité à rechercher et à coder ne suffit pas ; il faut développer des mécanismes pour que le modèle sache quand chercher, quoi chercher et comment valider l'information trouvée contre les contraintes locales (versions, architecture).
• Direction future : BeyondSWE et SearchSWE fournissent une base essentielle pour guider la recherche vers des agents capables de gérer l'incertitude, l'information externe et la complexité systémique du génie logiciel réel.

En résumé, l'article démontre que la prochaine frontière pour les agents de code n'est pas seulement la qualité du code généré, mais leur capacité à naviguer dans un écosystème logiciel vaste, hétérogène et en constante évolution, en intégrant efficacement la recherche d'information dans leur processus de résolution de problèmes.