RepoLaunch: Automating Build&Test Pipeline of Code Repositories on ANY Language and ANY Platform

Le papier présente RepoLaunch, le premier agent capable d'automatiser entièrement la compilation, la gestion des dépendances et l'exécution des tests pour des dépôts de code sur n'importe quelle langue et plateforme, permettant ainsi la création d'ensembles de données pour l'ingénierie logicielle avec une intervention humaine minimale.

L'essentiel

Imaginez que vous êtes un architecte de logiciels. Votre travail consiste à construire des maisons (des programmes) dans des villes très différentes : certaines ont des routes en terre battue (Linux), d'autres des autoroutes en béton (Windows), et les matériaux de construction varient du bois au verre en passant par la pierre (Python, C++, Java, etc.).

Jusqu'à présent, pour tester si une maison était solide, il fallait qu'une équipe entière de maçons humains passe des jours, voire des semaines, à :

1. Trouver les bons matériaux.
2. Assembler les fondations.
3. Vérifier que les portes s'ouvrent et que l'eau coule.
4. Réparer les fuites avant de pouvoir dire si la maison est habitable.

C'était lent, coûteux et épuisant.

RepoLaunch, présenté dans cet article, c'est comme si vous aviez embauché un robot super-intelligent et polyvalent capable de faire tout cela seul, partout, et à la vitesse de l'éclair.

Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Le Chaos des Chantiers

Aujourd'hui, chaque projet informatique est unique. Certains ont besoin d'outils spécifiques, d'autres de bases de données complexes. Souvent, les instructions sont incomplètes ou perdues.

• L'analogie : C'est comme recevoir une boîte de Lego sans notice, avec des pièces de différentes couleurs, et on vous demande de construire un château qui doit absolument tenir debout. Si vous essayez de le faire à la main pour 1000 châteaux différents, vous ne finirez jamais.

2. La Solution : RepoLaunch, le "Chef de Chantier Robot"

Les chercheurs de Microsoft ont créé RepoLaunch. C'est un agent (un programme piloté par une intelligence artificielle) qui agit comme un chef de chantier infatigable.

Il fonctionne en trois étapes magiques :

• Étape 1 : La Préparation (Le "Kit de Démarrage")
  Le robot arrive sur le chantier. Il regarde les plans (le code), identifie de quel type de maison il s'agit (quel langage de programmation ?) et choisit le bon conteneur de chantier (le système d'exploitation). Il s'assure d'avoir tous les outils nécessaires avant même de commencer.

• Étape 2 : La Construction (Le "Bricolage")
  C'est là que la magie opère. Le robot essaie d'installer les pièces, de compiler le code et de lancer les tests.

  • Si ça plante : Au lieu de se décourager, le robot cherche sur Internet (comme un maçon qui demande conseil à un collègue), ajuste les outils, réinstalle une pièce et réessaie. Il ne s'arrête pas tant que la maison ne tient pas debout.
  • Son super-pouvoir : Il peut gérer n'importe quel langage (du Python au Rust) et n'importe quel système (Windows ou Linux). C'est comme s'il parlait toutes les langues et connaissait toutes les règles de construction de la planète.

• Étape 3 : La Livraison (Le "Rapport de Qualité")
  Une fois la maison construite, le robot ne part pas. Il crée un "manuel d'utilisation" simplifié. Il dit : "Si vous modifiez une fenêtre, voici la commande exacte pour reconstruire la maison en 5 minutes." Il extrait aussi un rapport clair : "La porte fonctionne (Test réussi), mais la fenêtre fuit (Test échoué)."

3. Pourquoi c'est révolutionnaire ? (La Création de "Jeux de Données")

Avant, pour entraîner les nouvelles intelligences artificielles (les "apprentis architectes"), les humains devaient créer manuellement des milliers de problèmes à résoudre. C'était comme dessiner des exercices de mathématiques à la main pour des millions d'élèves.

Avec RepoLaunch, le processus est automatisé :

1. Un humain dit simplement : "Je veux un exercice sur la réparation de portes en bois."
2. RepoLaunch va chercher un vrai projet sur Internet, y introduit un bug (une porte cassée), construit l'environnement de test, et vérifie si le bug est bien là.
3. Résultat : En quelques heures, vous avez des milliers d'exercices réalistes et prêts à l'emploi pour entraîner des IA.

4. Les Résultats : Un Robot qui ne dort jamais

Les chercheurs ont testé ce robot sur des milliers de projets réels.

• Succès : Il a réussi à construire et tester environ 70% des projets, ce qui est énorme pour une tâche aussi complexe.
• Comparaison : Les anciens robots (comme repo2run) ne savaient faire que des maisons en Python sur Linux. RepoLaunch, lui, gère tout : Windows, C++, Java, Go, etc.
• L'impact : Grâce à cet outil, des équipes comme celle de GLM-5 (un autre modèle d'IA) peuvent maintenant entraîner leurs robots beaucoup plus vite et mieux, car ils ont accès à une "piscine" infinie de problèmes réels à résoudre.

En Résumé

RepoLaunch, c'est le passage de la construction manuelle et artisanale à l'industrialisation intelligente.

• Avant : "Je vais passer 3 jours à essayer de faire fonctionner ce code."
• Avec RepoLaunch : "Le robot a fait le travail en 30 minutes, m'a donné le code qui fonctionne, et m'a dit exactement ce qui ne marchait pas."

C'est un outil qui libère les humains de la tâche fastidieuse de "mettre en place les choses" pour qu'ils puissent se concentrer sur la créativité et la conception, tandis que le robot s'occupe de la logistique lourde. C'est une étape majeure vers un futur où le développement logiciel est plus rapide, plus fiable et accessible à tous.

Résumé technique

Titre : RepoLaunch : Automatisation du pipeline de construction et de test de dépôts de code pour tout langage et toute plateforme

1. Problématique

La construction et la mise en place d'environnements exécutables pour des dépôts de code (repositories) logiciels nécessitent traditionnellement un effort manuel considérable. Les configurations varient considérablement d'un projet à l'autre, la documentation est souvent incomplète, et les erreurs de dépendances ou de compilation sont spécifiques à la plateforme (OS) et au langage.

Les travaux récents sur les agents pilotés par des modèles de langage (LLM) pour l'ingénierie logicielle (SWE) se heurtent à un goulot d'étranglement : la difficulté de créer des "bac à sable" (sandboxes) exécutables à grande échelle. Des benchmarks existants comme SWE-bench se limitent souvent à un seul langage (Python) et un seul OS (Linux). Des études antérieures (ex: GitTaskBench) ont montré que dans 65 % des cas, les agents échouent à construire l'environnement exécutable avant même de tenter de résoudre un problème. Il existe donc un besoin critique d'automatiser non seulement la résolution de problèmes, mais aussi l'ensemble du cycle de vie du dépôt : installation des dépendances, compilation, exécution des tests de régression et extraction des résultats, de manière généralisable à tous les langages et systèmes d'exploitation.

2. Méthodologie : RepoLaunch

Les auteurs proposent RepoLaunch, le premier agent capable de gérer automatiquement la construction et l'état des tests de dépôts de code, quel que soit le langage de programmation ou la plateforme (Windows, Linux).

RepoLaunch fonctionne comme un workflow multi-agents divisé en trois étapes principales :

• Étape 1 : Préparation (Preparation)

  • Un agent scanne l'arborescence du dépôt pour identifier les fichiers de configuration et les instructions.
  • Il sélectionne une image de base appropriée (OS minimaliste avec les dépendances de base du langage) et lance un conteneur.
  • Il injecte des instructions spécifiques au langage (guides de construction et de test) dans le contexte des agents suivants.

• Étape 2 : Construction (Build)

  • Agent de Configuration (Setup Agent) : Utilise des outils (Bash, recherche web) pour installer les dépendances, compiler le code et tenter d'exécuter les commandes de test. Il itère pour résoudre les erreurs de compilation.
  • Agent de Vérification (Verify Agent) : Valide le résultat de la construction pour éviter les "hallucinations" de l'agent de configuration. Il inspecte l'historique des commandes pour identifier les commandes de test et vérifier si la majorité des cas de test passent. Si la validation échoue, le processus boucle vers l'agent de configuration pour réessayer.

• Étape 3 : Publication (Release)

  • Agent d'Organisation (Organize Agent) : Une fois le dépôt construit avec succès, cet agent extrait les artefacts réutilisables :
    • Commandes de reconstruction minimales : Un sous-ensemble optimisé de commandes pour reconstruire le projet après des modifications de code.
    • Commandes de test et analyseur (Parser) : Génération d'un script (souvent Python) capable de parser les logs de test bruts et de retourner un état structuré (Pass/Fail/Skip) pour chaque cas de test.
    • (Optionnel) Génération d'un Dockerfile ou de commandes pour exécuter des tests unitaires spécifiques.

Application : Création de jeux de données SWE automatisée
RepoLaunch est utilisé pour créer un pipeline entièrement automatisé de génération de tâches SWE (SWE-bench-Live/MultiLang et Windows). Les humains ne définissent que la conception de la tâche (sélection du dépôt, identification du commit, introduction d'un bug). RepoLaunch gère ensuite la construction, l'extraction des commandes et la validation des résultats.

3. Contributions Clés

1. Méthode d'agent généralisée : Un système capable de construire et tester des dépôts sur n'importe quel langage (C/C++, C#, Java, Go, Rust, JS/TS, Python) et n'importe quelle plateforme (Linux, Windows), éliminant le besoin d'intervention humaine pour la configuration.
2. Pipeline de création de données SWE : Une approche entièrement automatisée pour générer des instances de tâches d'évaluation et d'entraînement, avec la conception de la tâche comme unique intervention humaine. Les auteurs publient les datasets SWE-bench-Live/MultiLang et SWE-bench-Live/Windows.
3. Analyse des échecs : Une analyse approfondie des motifs d'échec des agents lors de la construction et du test de dépôts, fournissant des directives pour la recherche future.

4. Résultats Expérimentaux

Les expériences ont été menées sur des dépôts réels de GitHub couvrant 9 langages sur Linux et Windows.

• Taux de réussite : RepoLaunch atteint un taux de réussite de construction d'environ 70 % globalement.
  • Sur Linux, les taux varient de ~60 % (Go) à ~76 % (C#, Java, Python).
  • Sur Windows, le taux de réussite est légèrement inférieur (~64,5 %), reflétant la complexité accrue de la configuration des environnements Windows.
• Comparaison avec l'état de l'art :
  • RepoLaunch surpasse significativement les agents de base comme SWE-agent et repo2run (limité au Python/Linux).
  • Sur les tâches de construction et de validation combinées, RepoLaunch atteint un taux de réussite global de 75,56 %, contre 51,35 % pour SWE-agent.
  • Pour les tâches Python, RepoLaunch surpasse repo2run de 18 %.
• Performance des LLMs : L'évaluation des derniers LLMs (GPT-5.2, Claude-4.5, etc.) sur les tâches générées montre une amélioration par rapport aux générations précédentes (taux de réussite proche de 30 % contre 15 % auparavant). Cependant, aucun agent ne maîtrise tous les langages ; C/C++ semble être le plus simple, tandis que C# est le plus difficile.
• Analyse des échecs :
  • Phase de Construction : Les échecs majeurs sont dus aux dépôts non prêts pour la production, aux frameworks de test incomplets, aux timeouts de compilation et à la résolution de dépendances.
  • Phase de Publication : Les échecs sont principalement dus à des hallucinations sur le succès de la construction, à l'incapacité de générer des commandes de reconstruction ou d'analyser correctement les logs de test.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'écosystème de l'ingénierie logicielle assistée par IA :

• Scalabilité : Il permet la création massive de benchmarks et de données d'entraînement pour les agents de codage, dépassant les capacités de l'ingénierie manuelle.
• Diversité : En supportant Windows et de multiples langages, il comble un vide important dans les benchmarks actuels (souvent limités à Linux/Python), permettant d'évaluer la robustesse des agents sur des environnements réels et hétérogènes.
• Adoption : Le papier note que des travaux récents (comme le modèle de base GLM-5) ont déjà adopté RepoLaunch pour l'entraînement d'agents.
• Open Source : L'outil et les datasets sont rendus publics, favorisant la reproductibilité et l'innovation communautaire.

En résumé, RepoLaunch déplace le fardeau de la configuration technique des chercheurs vers l'automatisation, permettant de se concentrer sur la conception des tâches et l'entraînement des modèles, tout en fournissant une infrastructure robuste pour évaluer les progrès réels des agents d'IA en ingénierie logicielle.