Résumé Technique : Au-delà du Fail-to-Pass : Durcissement Itératif des Tests de Reproduction de Bugs Co-générés et de leurs Correctifs

Problématique

La réparation automatique de programmes (APR) pilotée par les modèles de langage de grande taille (LLM) a progressé de manière significative, mais la réparation de bugs directement à partir de rapports en langage naturel reste fondamentalement sous-contrainte. Les rapports de bugs sont souvent incomplets, et de nombreux correctifs candidats semblent superficiellement raisonnables sans pour autant corriger la cause racine. Bien que les Tests de Reproduction de Bugs (BRT) soient de plus en plus utilisés pour guider la réparation en convertissant les descriptions de problèmes en signaux exécutables, le critère d'évaluation standard de ces tests — le Fail-to-Pass (F→P) — est insuffisant.

Le critère F→P exige qu'un test généré échoue sur le code erroné et réussisse sur le correctif « doré » (correct). Cependant, les auteurs démontrent que le F→P seul ne garantit pas l'efficacité d'un test pour la réparation en aval. Plus précisément :

1. Tests Lax : Certains tests F→P sont « lax », ce qui signifie qu'ils détectent le symptôme observé mais admettent des correctifs plausibles mais incorrects qui ne traitent pas la cause racine.
2. Tests Désalignés : Certains tests rejettent le correctif correct tout en acceptant des correctifs incorrects.
3. Couplage Test-Correctif : Dans la co-génération (où un agent génère simultanément le test et le correctif), les erreurs dans le test et le correctif sont corrélées. Un agent peut générer un test faible (lax) et un correctif incorrect correspondant qui réussit le test, amenant l'agent à s'arrêter prématurément sous la fausse hypothèse de succès.

Méthodologie

Le papier propose un cadre en deux phases appelé COHARDEN pour remédier à ces limitations. La méthodologie repose sur un nouvel indicateur d'évaluation et une boucle de durcissement itérative.

1. Évaluation par Patch de Mutation (MPE)

Pour distinguer les tests efficaces des tests inefficaces, les auteurs introduisent l'Évaluation par Patch de Mutation (MPE). Au lieu de se fier uniquement au correctif doré, la MPE évalue un test généré contre un ensemble de correctifs de mutation plausibles mais incorrects. Ces correctifs sont générés en appliquant des opérateurs sémantiques (ex. : suppression de symptôme, correctifs incomplets, raccourcis spécifiques à l'entrée, substitution de comportement) au correctif doré.

Selon la réaction d'un test à ces mutations, il est classé dans trois catégories :

• Rigoureux : Le test échoue sur le code erroné, réussit sur le correctif doré, et rejette les mutations plausibles mais incorrectes.
• Lax : Le test échoue sur le code erroné et réussit sur le correctif doré, mais accepte des mutations plausibles mais incorrectes (sous-contraignant l'espace de réparation).
• Désaligné : Le test rejette le correctif doré (conflit avec la spécification de correction).

2. Le Cadre COHARDEN

COHARDEN est une boucle de co-génération conçue pour produire des tests Rigoureux et des correctifs corrects en évitant les pièges de la co-génération standard. Elle opère en deux phases :

• Phase 1 : Lax-init (Génération Test-First) :
  Avant de tenter tout correctif de code, l'agent génère un test de reproduction ($t_0$) ciblant l'échec observable (ex. : exception, divergence de sortie). Il est explicitement interdit à l'agent de modifier le code source à ce stade. Cela découple le test initial de toute hypothèse de correctif spécifique (potentiellement incorrect), réduisant ainsi le risque de générer un test « Désaligné » qui coderait en dur une mauvaise solution.

• Phase 2 : Durcissement Itératif :
  À partir de $t_0$, l'agent entre dans une boucle pour affiner conjointement le test ($t_k$) et le correctif ($c_k$). À chaque tour :

  1. Mutate : Le correctif actuel $c_k$ est muté pour créer un pool de correctifs adverses ($C_k$).
  2. Évalue : Le test actuel $t_k$ et le test du tour précédent $t_{k-1}$ sont exécutés contre $C_k$. Cela peuple une Matrice Temporelle (analogue à la matrice de confusion MPE) pour suivre combien de mutations sont acceptées ou rejetées.
  3. Harden (Durcit) : L'agent reçoit un retour sur les mutants « survivants » (correctifs ayant réussi le test). L'objectif est de resserrer le test afin qu'il rejette ces mutants.

  Critère de Convergence : La boucle continue jusqu'à ce que le test soit « non trivialement modifié » et que le Taux de Laxité (la fraction de mutations acceptées par le nouveau test mais rejetées par le test de référence) tombe en dessous d'un seuil ($\tau = 0.2$). Cela garantit que le test évolue de Lax vers Rigoureux sans nécessiter l'accès au correctif doré pendant la boucle.

Contributions Clés

1. Évaluation par Patch de Mutation (MPE) : Un cadre d'évaluation plus fin qui partitionne les BRT en catégories Rigoureux, Lax et Désaligné. Cela expose une dimension de qualité orthogonale au F→P, révélant que le F→P est trop grossier pour prédire l'utilité de la réparation.
2. Analyse Empirique de l'Utilité des BRT :
   • Les auteurs montrent que le gain de succès de réparation provenant des tests passant le F→P provient entièrement du niveau Rigoureux ; les tests Lax apportent un gain nul ($\Delta = 0.0$).
   • Ils identent que la co-génération standard produit des tests Lax où les erreurs de test et de correctif sont corrélées (le taux d'échec conjoint est 1.87$\times$ plus élevé que la prédiction indépendante), provoquant l'arrêt des agents sur des solutions incorrectes.
3. Cadre COHARDEN : Une boucle de co-génération en deux phases qui utilise le signal de Laxité comme critère de convergence en boucle. En générant d'abord le test et en le durcissant itérativement contre des pools de mutation, COHARDEN produit des tests de reproduction plus forts et des correctifs de meilleure qualité.

Résultats Expérimentaux

Les auteurs ont évalué COHARDEN sur le sous-ensemble SWE-bench Verified $\cap$ SWT-bench Verified (433 instances) en utilisant OpenHands avec GPT-5-mini comme moteur de base.

• Performance : COHARDEN a atteint 69.4% Résolu (correctifs passant les tests dorés) et 78.9% F→P (tests passant les correctifs dorés).
• Comparaison :
  • A surpassé le plus fort baseline de type « fix-only » (SWE-Agent) de +9.6 points de pourcentage en Résolu.
  • A surpassé le plus fort baseline de co-génération (InfCode) de +7.9 points de pourcentage en Résolu.
  • A surpassé la baseline de co-génération vanilla (OpenHands + COGEN) de +8.0 points de pourcentage en Résolu.
• Généralisation : Des gains constants ont été observés sur différents backbones de LLM (GPT-5.4, Claude Opus 4.5) et sur le benchmark SWE-bench Lite.
• Coût : Le coût moyen par instance était de 0.84 $, comparable aux méthodes de co-génération existantes, la majorité des gains étant obtenus dès les premiers tours de durcissement.

Signification

Le papier soutient que le domaine de la réparation automatique de programmes doit aller au-delà du critère Fail-to-Pass. Les auteurs démontrent que la capacité d'un test à réussir un correctif de référence spécifique n'est pas un indicateur de sa capacité à contraindre l'espace de recherche vers la cause racine correcte. En formalisant la distinction entre tests Rigoureux et Lax et en utilisant le retour par mutation pour durcir itérativement les tests, COHARDEN comble le fossé entre la génération de tests et une réparation efficace. Ce travail suggère que les futurs systèmes d'APR devraient traiter la qualité des tests non pas comme une métrique binaire de réussite ou d'échec, mais comme une propriété dynamique qui doit être activement renforcée contre des variations incorrectes plausibles pour garantir une correction de bug robuste.