Echo: Graph-Enhanced Retrieval and Execution Feedback for Issue Reproduction Test Generation

Le papier présente Echo, un agent novateur qui génère des tests de reproduction de bugs en combinant une récupération de contexte enrichie par un graphe de code, une exécution automatique pour valider les résultats et fournir des retours, et une stratégie de génération unique, atteignant ainsi un taux de réussite de 66,28 % sur le benchmark SWT-Bench Verified.

L'essentiel

Imaginez que vous êtes un détective privé (le développeur) qui reçoit un rapport de crime très vague : « Quelque chose ne va pas dans ma maison, mais je ne sais pas exactement quoi ni où. » Votre tâche est de créer une simulation parfaite du crime pour comprendre ce qui s'est passé et prouver que vous avez résolu le problème.

C'est exactement le défi que rencontre Echo, un nouvel outil intelligent présenté dans cet article. Voici comment il fonctionne, expliqué simplement avec des images de la vie quotidienne.

🕵️‍♂️ Le Problème : Le rapport de crime flou

Dans le monde du logiciel, les utilisateurs signalent des bugs (des erreurs) via des rapports souvent incomplets. Ils disent : « Ça ne marche plus ! » mais ne donnent pas les détails techniques.

• L'ancien problème : Pour créer un test qui reproduit l'erreur, il fallait un humain (ou un vieux robot) qui fouillait dans des milliers de dossiers, devinait où chercher, et essayait de lancer le test. C'était lent, coûteux, et souvent, le robot se perdait dans les détails ou ne savait pas comment lancer le test correctement.

🚀 La Solution : Echo, le détective surdoué

Echo est un agent intelligent (basé sur une IA très puissante) qui fait trois choses magiques pour résoudre ce problème :

1. La Carte Trésor (Le "Code Graph")

Au lieu de lire le code ligne par ligne comme un livre, Echo construit une carte interactive de tout le projet.

• L'analogie : Imaginez que le code est une immense ville. Les anciens outils cherchaient une adresse en regardant juste le nom de la rue. Echo, lui, a une carte qui montre non seulement les rues, mais aussi comment les maisons sont connectées, où sont les ponts, et quels bâtiments sont liés entre eux.
• Le résultat : Quand on lui donne un rapport de bug vague, Echo sait exactement quels bâtiments (fichiers de code) et quels voisins (fonctions liées) inspecter, sans se perdre. Il affine même sa propre question pour trouver l'information manquante, comme un détective qui se dit : « Attends, si je cherche ici, je vais trouver ça... »

2. Le Laboratoire d'Essai (L'Exécution Autonome)

Une fois qu'Echo a écrit son "test" (la simulation du crime), il ne se contente pas de le laisser sur une feuille de papier. Il l'exécute réellement.

• L'analogie : C'est comme si, après avoir écrit le scénario d'un film, Echo montait sur le plateau, allumait les caméras, jouait la scène, et vérifiait si l'acteur tombait vraiment comme prévu.
• L'innovation : Avant, les outils avaient besoin d'un humain pour configurer le laboratoire. Echo sait lui-même trouver les instructions pour lancer le test, même si les règles changent d'un projet à l'autre.

3. Le Double Vérificateur (Le "Fail-to-Pass")

C'est le cœur de la magie. Echo ne se contente pas de voir si le test échoue. Il veut être sûr que l'échec est vrai.

• L'analogie : Imaginez que vous essayez de prouver qu'un pont est cassé.
  1. Vous faites passer un camion sur le pont cassé : il tombe (Échec).
  2. Ensuite, vous prenez une version réparée du pont (le "patch" ou la correction).
  3. Vous faites passer le même camion : il traverse sans problème (Succès).
• Si le camion tombe sur le pont cassé mais passe sur le pont réparé, vous avez la preuve absolue que votre test est correct. Echo fait cela automatiquement en créant une version réparée du logiciel pour valider son test.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Les chercheurs ont testé Echo sur une grande compétition de résolution de bugs (SWT-Bench).

• Le score : Echo a réussi à résoudre 66% des problèmes, ce qui est un record mondial pour un outil ouvert (gratuit).
• L'efficacité : Au lieu de générer des centaines de tests au hasard pour en espérer un bon (ce qui coûte cher et prend du temps), Echo vise à créer un seul test parfait par problème, en l'améliorant à chaque essai grâce aux retours du laboratoire.

💰 Le Coût : Un bon rapport qualité-prix

Même si Echo est très intelligent, il est économe.

• L'analogie : D'autres détectives dépensent une fortune en enquêtes inutiles. Echo, grâce à sa carte précise et son laboratoire automatisé, dépense moins d'argent (en calculs d'IA) pour obtenir de meilleurs résultats que ses concurrents.

En résumé

Echo, c'est comme avoir un détective privé qui :

1. Possède une carte 3D parfaite de la ville du code.
2. Sait se débrouiller seul pour monter sur le plateau de tournage et tester la scène.
3. Vérifie deux fois son travail en comparant le monde "cassé" et le monde "réparé".

Grâce à cela, il aide les développeurs à trouver et réparer les bugs beaucoup plus vite, sans avoir à passer des heures à chercher l'aiguille dans la botte de foin.

Résumé technique

Voici un résumé technique détaillé de l'article "Echo: Graph-Enhanced Retrieval and Execution Feedback for Issue Reproduction Test Generation", présenté en français.

1. Problématique

La reproduction automatique des bogues à partir de rapports d'erreurs (issues) sur des plateformes comme GitHub est une étape critique pour la résolution de problèmes et l'assurance qualité. Cependant, cette tâche reste extrêmement difficile pour plusieurs raisons :

• Ambiguïté des rapports : Les descriptions de bogues sont souvent vagues, manquent de détails techniques et ne fournissent pas de cas de test exécutables.
• Limites de la récupération de contexte : Les approches existantes utilisent souvent des méthodes de localisation de fichiers basées sur des heuristiques simples ou des modèles de langage (LLM) hiérarchiques, ce qui échoue à capturer les relations structurelles profondes et la sémantique à long terme dans de grandes bases de code.
• Configuration d'exécution : Les commandes et configurations d'exécution des tests sont souvent implicites et dispersées, rendant l'exécution automatique des tests générés complexe.
• Absence d'oracle fiable : Il est difficile de vérifier qu'un test généré reproduit bien le bogue spécifique (critère "échec-puis-réussite" ou fail-to-pass) sans une version corrigée du code ou des logs d'exécution précis.
• Coût et efficacité : Les méthodes actuelles génèrent souvent de nombreux candidats pour en sélectionner un, ce qui est coûteux en tokens et en temps de calcul.

2. Méthodologie : L'Agent Echo

Echo est un agent autonome conçu pour générer un seul cas de test de haute qualité par problème, en utilisant une boucle de raffinement itérative. Son architecture repose sur six phases principales :

A. Récupération de contexte améliorée par graphe (Context Retrieval)

Contrairement aux méthodes traditionnelles, Echo transforme la base de code en un graphe de code hétérogène (stocké dans Neo4j) contenant des nœuds de ressources (fichiers), de syntaxe (arbres de parsing Tree-sitter) et de texte.

• Affinement automatique des requêtes : Un mécanisme d'auto-amélioration utilise un LLM pour évaluer la pertinence du contexte récupéré. Si le contexte est insuffisant, le LLM génère une nouvelle requête de recherche itérative jusqu'à obtenir les informations nécessaires (code focal et tests de régression pertinents).
• Récupération ciblée : Le système extrait le "code focal" (les fonctions concernées par le bug) et des tests de régression existants, en assurant que les tests récupérés sont complets et auto-contenus.

B. Génération de correctifs (Patch Generation)

Echo utilise un outil de réparation automatique (Prometheus) pour générer un correctif candidat (patch) à partir du rapport de bug. Ce patch sert de référence pour créer une version "corrigée" du projet, essentielle pour la vérification ultérieure.

C. Génération du cas de test

Le LLM génère un fichier de test autonome en combinant :

• La description du problème.
• Le code focal récupéré.
• Des exemples de tests de régression.
• Le patch candidat.
  Le modèle est contraint de produire un test minimaliste respectant les conventions du projet (imports, fixtures, assertions).

D. Exécution autonome (Autonomous Execution)

Echo tente d'exécuter le test généré dans un environnement conteneurisé.

• Contraintes de sécurité : Le LLM est strictement limité à l'identification de la commande d'exécution correcte. Il lui est interdit de modifier les fichiers, d'installer des dépendances ou d'exécuter la suite de tests complète. Il ne doit exécuter que le fichier de test généré.
• Rôle : Cette étape fournit des logs d'exécution (succès ou échec) pour le feedback.

E. Vérification et Boucle de Raffinement

• Vérification sémantique : Un LLM analyse les logs d'exécution pour déterminer si l'échec correspond bien au comportement décrit dans le rapport de bug.
• Vérification Dual-Version (Fail-to-Pass) : C'est une innovation majeure. Echo applique le patch généré au codebase et exécute le test sur la version corrigée. Un test valide doit échouer sur la version originale et passer sur la version corrigée.
• Itération : Si le test échoue à ce critère, les logs d'exécution sont renvoyés au générateur pour raffiner le test. Ce processus est répété jusqu'à ce que le critère soit satisfait ou que la limite d'itérations soit atteinte.

3. Contributions Clés

1. Récupération de contexte par graphe : Introduction d'une approche basée sur un graphe de code et un raffinement automatique de requêtes pour surmonter les limites de la récupération de contexte textuel simple.
2. Exécution et Feedback intégrés : Echo est le premier outil à intégrer de manière transparente l'exécution automatique des tests et l'utilisation des logs d'exécution pour le raffinement itératif dans un flux de travail de développement pratique.
3. Stratégie "Un Test par Issue" : Contrairement aux approches qui génèrent un grand nombre de candidats pour en sélectionner un, Echo vise à produire un seul test de haute qualité par itération, offrant un meilleur compromis coût-performance.
4. Oracle basé sur le Patch : Utilisation de versions corrigées (générées automatiquement) comme oracles pour valider le critère fail-to-pass, réduisant la dépendance à l'évaluation sémantique pure des LLMs.
5. Open Source : Mise à disposition publique du code, des logs d'exécution et des résultats complets.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark SWT-Bench Verified (433 instances réelles de bogues).

• Performance (SOTA) : Echo atteint un taux de réussite de 66,28%, établissant un nouvel état de l'art (SOTA) parmi les approches open-source. Il surpasse des outils utilisant des modèles plus puissants (comme GPT-5-mini ou Claude 3.7 Sonnet) et des méthodes antérieures comme e-Otter++ (62,1%) et OpenHands (62,4%).
• Efficacité du raffinement : L'ablation de la boucle de raffinement (Echo sans raffinement) fait chuter le taux de réussite à 59,12%, prouvant que le feedback d'exécution et la vérification dual-version sont cruciaux pour la qualité finale.
• Analyse des erreurs : Les échecs sont principalement dus à des erreurs d'assertion (30,4%) ou à des problèmes d'environnement d'exécution (import de modules manquants, imports relatifs incorrects).
• Coût : Le coût moyen par instance est de 1,54 $ (environ 924 000 tokens). Bien que cela représente un coût significatif dû à l'analyse de contexte étendue, il reste compétitif par rapport aux méthodes agentices de pointe tout en offrant une performance supérieure.

5. Signification et Impact

Echo représente une avancée majeure dans l'automatisation de la reproduction de bogues. En démontrant qu'une combinaison de recherche de contexte structurelle (graphe), de vérification exécutable (dual-version) et de raffinement itératif peut surpasser les méthodes purement basées sur l'échantillonnage massif, Echo offre une voie plus efficace et fiable pour les développeurs.

Son approche permet non seulement d'accélérer la localisation des bogues, mais aussi de renforcer la robustesse des systèmes logiciels en intégrant des tests de régression fiables directement dans le flux de développement. La disponibilité open-source de l'outil favorise la reproductibilité et ouvre la voie à de futures recherches sur l'optimisation du contexte et la fiabilité des oracles de correction.