daVinci-Env: Open SWE Environment Synthesis at Scale

Le papier présente OpenSWE, un cadre open-source à grande échelle générant des milliers d'environnements Docker exécutables et filtrés par qualité pour l'entraînement d'agents d'ingénierie logicielle, permettant d'atteindre des performances de pointe sur les benchmarks SWE tout en améliorant les capacités de raisonnement dans d'autres domaines.

L'essentiel

🌟 Le Problème : Construire un terrain de jeu pour les robots

Imaginez que vous voulez apprendre à un robot à devenir un développeur de logiciels (un "ingénieur en code"). Pour apprendre, le robot ne peut pas juste lire des livres ; il a besoin de pratiquer. Il doit écrire du code, le tester, voir s'il plante, et réessayer.

Le problème, c'est que pour faire cela, il faut un laboratoire virtuel (un environnement informatique) qui soit :

1. Réaliste : Comme un vrai projet de code.
2. Sûr : Pour ne pas casser l'ordinateur du robot.
3. Fiable : Pour que le robot sache immédiatement s'il a réussi ou échoué.

Jusqu'à présent, créer ces laboratoires était comme essayer de construire des maisons entières à la main, une par une. C'était trop cher, trop lent, et souvent, les maisons étaient mal construites (des problèmes impossibles à résoudre ou trop faciles). Seules les grandes entreprises technologiques pouvaient se le permettre, laissant les chercheurs universitaires dans l'ombre.

🚀 La Solution : OpenSWE, l'usine à robots

L'équipe derrière OpenSWE (une collaboration entre SII, l'université SJTU et le laboratoire GAIR) a décidé de changer la donne. Ils ont créé la plus grande usine de terrains de jeu pour robots jamais vue, et ils l'ont offerte gratuitement à tout le monde.

Voici comment ils ont fait, avec des analogies simples :

1. L'Usine Automatisée (Le Pipeline Multi-Agents)

Au lieu de construire un seul laboratoire à la fois, ils ont créé une usine robotisée.

• Imaginez une chaîne de montage géante avec 64 robots travaillant en même temps.
• Ces robots parcourent des milliers de projets de code réels sur Internet (GitHub).
• Ils sélectionnent les meilleurs projets, préparent le terrain (créent des "Docker", qui sont comme des boîtes de transport sécurisées pour le code), et écrivent les règles du jeu (les tests).
• Tout cela se fait automatiquement, sans intervention humaine, à une vitesse fulgurante.

2. Le Filtre de Qualité (La Chasse aux Trésors)

Avoir beaucoup de laboratoires ne sert à rien si tous sont pourris. L'équipe a mis en place un filtre de qualité très strict.

• Le problème des "fausses pistes" : Parfois, un problème sur Internet est mal décrit, ou la solution est déjà donnée dans la question. C'est comme demander à un élève de résoudre un problème de maths dont la réponse est écrite en rouge sur le tableau. C'est inutile pour apprendre.
• Le problème des "impossibles" : Parfois, le problème est si mal défini qu'aucun humain ne pourrait le résoudre.
• La solution : OpenSWE utilise des agents intelligents pour éliminer ces cas. Ils ne gardent que les problèmes "justes" : ni trop faciles, ni impossibles, mais parfaits pour apprendre. C'est comme un entraîneur sportif qui ne laisse jouer que les matchs dont le niveau est idéal pour faire progresser l'athlète.

3. Le Résultat : Une Bibliothèque Géante

Le résultat est impressionnant :

• 45 320 environnements prêts à l'emploi.
• Plus de 12 800 projets différents.
• Tout est ouvert : Les plans de l'usine, les boîtes, les règles, tout est disponible gratuitement sur Internet pour que n'importe qui puisse vérifier et améliorer le travail.

🧠 Ce que cela apprend aux robots (Les Résultats)

Ils ont entraîné des modèles d'intelligence artificielle (des "cerveaux" de robots) avec ces nouveaux terrains de jeu. Les résultats sont bluffants :

• Des champions du monde : Les robots entraînés avec OpenSWE sont devenus les meilleurs au monde pour résoudre des problèmes de code réels (ils ont battu tous les autres modèles sur le test "SWE-bench").
• Plus de données = Plus de sagesse : Contrairement à ce qu'on pensait, plus ils ajoutaient de données d'entraînement, plus les robots devenaient intelligents. Il n'y avait pas de "plafond" atteint. C'est comme si apprendre à coder rendait le robot plus intelligent dans d'autres domaines.
• Des compétences inattendues : En apprenant à réparer du code, ces robots sont devenus soudainement meilleurs en mathématiques et en sciences ! Pourquoi ? Parce que réparer un code demande de la logique, de la planification et de la déduction, des compétences qui servent aussi pour résoudre des équations complexes.

💡 En résumé

OpenSWE, c'est comme si une équipe de génies avait construit une immense école de pilotage pour les robots, avec des milliers de scénarios de vol réalistes et parfaitement calibrés.

Au lieu de laisser les robots apprendre seuls dans le brouillard, cette école leur donne des exercices précis. Résultat ? Les robots apprennent plus vite, deviennent plus intelligents, et sont capables de résoudre des problèmes complexes que personne n'aurait cru possible pour eux. Et le meilleur de tout ? L'école est ouverte à tout le monde.

Résumé technique

Résumé Technique : OpenSWE – Synthèse d'Environnements SWE à Grande Échelle et Ouverte

1. Problématique et Contexte

Le développement d'agents autonomes en ingénierie logicielle (SWE) repose sur la capacité des modèles à naviguer, éditer et tester du code dans des environnements exécutables et vérifiables (comme Docker). Cependant, la communauté fait face à deux obstacles majeurs :

• Barrières de l'échelle et de la transparence : Les solutions industrielles sont opaques (infrastructures non divulguées), tandis que les datasets open-source existants (comme SWE-rebench) sont limités en taille et en diversité de dépôts.
• Qualité et difficulté des environnements : La simple augmentation du nombre d'environnements ne suffit pas. Beaucoup souffrent de problèmes de désalignement PR-Issue (le correctif ne résout pas réellement le problème décrit) ou de trivialité (la solution est évidente ou l'issue est mal formulée). Ces instances non solubles ou trop simples nuisent à l'efficacité de l'apprentissage.

L'objectif de ce travail est de créer le plus grand cadre transparent pour l'entraînement d'agents SWE, capable de générer des environnements de haute qualité, vérifiables et diversifiés à grande échelle.

2. Méthodologie : La Pipeline OpenSWE

L'approche proposée, OpenSWE, repose sur un pipeline de synthèse multi-agents déployé sur un cluster distribué de 64 nœuds. Le processus se décompose en plusieurs étapes clés :

A. Collecte et Filtrage des PRs GitHub

• Collecte : Récupération massive de Pull Requests (PRs) et de leurs issues associées via les API GitHub.
• Filtrage en 4 étapes :
  1. Viabilité du dépôt : Conservation uniquement des dépôts avec ≥ 5 étoiles (maturité).
  2. Filtre linguistique : Restriction aux dépôts principalement en Python.
  3. Exigence d'issue : Nécessité d'une description d'issue claire liée à la PR.
  4. Changements de code substantiels : Exclusion des PRs modifiant uniquement les fichiers de test.

B. Synthèse Multi-Agents Automatisée

Un système d'agents coordonne la création de l'environnement :

1. Exploration du Dépôt : Un agent léger inspecte le dépôt local pour extraire les dépendances, les fichiers de configuration (README, CONTRIBUTING) et les instructions de test.
2. Construction du Dockerfile : Un agent génère un conteneur Docker reproductible.
   • Optimisation : Utilisation d'images de base pré-construites (openswe-python) pour éviter les timeouts réseau et la réinstallation des dépendances.
   • Stratégie de couches : Séparation des couches stables (base OS) et des couches changeantes (dépendances) pour accélérer les itérations.
3. Génération du Script d'Évaluation : Création de scripts Bash dynamiques qui exécutent uniquement les tests pertinents pour l'issue, avec des marqueurs de sortie spécifiques (OPENSWE EXIT CODE) pour valider la correction.
4. Analyse des Tests et Validation :
   • Validation par règles : Le correctif doit faire échouer les tests sur le code original et les faire passer sur le code corrigé.
   • Agent d'analyse : Diagnostique les échecs (mauvaise configuration Docker, script erroné, ou environnement intrinsèquement insoluble) et fournit un retour d'information itératif aux agents constructeurs.

C. Infrastructure Distribuée

• Cluster : 64 nœuds ECS (Intel Xeon, 128 Go RAM, 4 To SSD).
• Architecture : Parallélisme de données découplé via une file d'attente de messages sur système de fichiers partagé pour éviter les goulots d'étranglement et les pertes de données en cas de panne de nœud.
• Coût : Environ 1,47 million de dollars investis au total (891k$ pour la construction des environnements + 576k$ pour l'échantillonnage de trajectoires et le filtrage).

3. Contributions Clés

1. Échelle sans précédent et Transparence Totale :
   • 45 320 environnements Docker exécutables couvrant 12 800 dépôts uniques.
   • Publication complète de l'infrastructure : Dockerfiles, scripts d'évaluation, et pipeline de synthèse distribué sur GitHub.
2. Filtrage Centré sur la Qualité (Curated Difficulty) :
   • Mise en place d'un pipeline de filtrage basé sur la difficulté pour éliminer les instances insolubles ou triviales.
   • Résultat final : ~13 000 trajectoires curatées issues d'environ 9 000 environnements de haute qualité, garantissant un signal d'apprentissage optimal.
3. Validation Empirique Robuste :
   • Démonstration que la qualité des données (filtrage) et l'échelle sont des facteurs complémentaires essentiels.
   • Analyse de l'échelle des données montrant une tendance log-linéaire sans signe de saturation.

4. Résultats Expérimentaux

Les modèles entraînés sur OpenSWE (OpenSWE-32B et OpenSWE-72B, basés sur Qwen2.5) ont été évalués sur le benchmark SWE-Bench Verified :

• Performance État-de-l'Art (SOTA) :
  • OpenSWE-32B : 62,4 % de réussite (Pass@1).
  • OpenSWE-72B : 66,0 % de réussite.
  • Ces résultats surpassent toutes les méthodes SFT (Supervised Fine-Tuning) existantes dans la série Qwen2.5, y compris celles utilisant des modèles pré-entraînés spécifiquement pour le code (Coder).
• Comparaison avec SWE-rebench :
  • Les modèles OpenSWE surpassent systématiquement ceux entraînés sur SWE-rebench, avec un gain de +12,2 % pour le modèle 32B (SWE-Agent).
  • Le mélange des données (SWE-rebench + OpenSWE) apporte des gains supplémentaires pour les modèles 72B (atteignant 68,0 %), mais peut légèrement dégrader les performances des modèles 32B, suggérant une sensibilité aux décalages de distribution.
• Évolutivité (Scaling) :
  • La courbe de performance suit une tendance log-linéaire forte (coefficient de corrélation de Pearson > 0,88) sans signe de saturation, indiquant que l'ajout de données de haute qualité continue d'améliorer les performances.
• Capacités Hors Domaine (Out-of-Domain) :
  • Améliorations significatives en raisonnement mathématique (jusqu'à +12 points sur MATH-500) et en sciences (+5 points).
  • Aucune dégradation de la mémorisation factuelle (MMLU, TriviaQA), confirmant que l'entraînement SWE améliore les capacités de résolution de problèmes procéduraux sans affecter la connaissance générale.

5. Signification et Impact

Le projet OpenSWE marque une avancée majeure dans le domaine des agents d'ingénierie logicielle pour plusieurs raisons :

• Démocratisation de la recherche : En rendant public l'ensemble du pipeline de construction (y compris les coûts et l'infrastructure), il permet aux groupes de recherche académiques de reproduire et d'améliorer des environnements à grande échelle, comblant le fossé avec les solutions industrielles fermées.
• Preuve de l'importance de la qualité : Il démontre que la simple quantité de données ne suffit pas ; un filtrage rigoureux basé sur la difficulté et la solvabilité est crucial pour l'efficacité de l'apprentissage.
• Généralisation des capacités : Les résultats montrent que l'entraînement sur des tâches de débogage et de correction de code complexes améliore les capacités de raisonnement logique et mathématique des LLMs, suggérant que l'ingénierie logicielle est un vecteur puissant pour l'apprentissage de compétences cognitives avancées.

En résumé, OpenSWE établit une nouvelle référence pour l'entraînement d'agents SWE, combinant une infrastructure massive, une transparence totale et une curation de données rigoureuse pour atteindre des performances inédites.