Résumé Technique : ConformalFL

Énoncé du Problème

La localisation de fautes basée sur le spectre (SBFL) génère un classement des lignes de programme exécutables en fonction de la couverture de tests, mais ne parvient pas à fournir au développeur un critère d'arrêt concret. Les développeurs doivent décider combien de lignes inspecter avant d'abandonner le classement, une décision compliquée par les vastes différences de taille de programme, de support de tests, de concentration des scores et d'exactes égalités de scores. Les approches existantes reposent souvent sur des politiques Top-N fixes ou des heuristiques non calibrées qui ignorent ces réalités opérationnelles et n'offrent pas de garantie formelle concernant le risque de manquer une faute.

Le papier traite de la nécessité d'une méthode capable de traduire un « risque de ratage marginal » sélectionné par l'utilisateur (par exemple, « je suis prêt à rater la faute 10 % du temps ») en un ensemble d'inspection adaptatif au bug. L'objectif est de fournir un ensemble de candidats auditable et complet vis-à-vis des ex-aequo qui contient au moins une ligne fautive cartographiée avec une probabilité garantie, sans supposer que la méthode améliore la qualité du classement SBFL sous-jacent.

Méthodologie

La méthode proposée, ConformalFL, applique la Régression de Quantile Conforme (CQR) pour prédire le point de coupure d'inspection pour un bug spécifique basé sur ses caractéristiques de spectre pré-faute.

1. Formulation de la Cible

La méthode définit la cible de prédiction comme la position d'entrée normalisée du premier groupe de scores fautifs ($y_{entry}$).

• Logique Opérationnelle : Les candidats sont ordonnés par score SBFL décroissant. Les ex-aequos exacts forment des groupes de scores. La méthode prédit une fraction $b_i$ et calcule un indice de coupure $k_i$. L'ensemble de candidats résultant inclut toutes les lignes ayant des scores supérieurs ou égaux au score à la position $k_i$.
• Gestion des Ex-aequos : Pour garantir qu'un ensemble soit « complet vis-à-vis des ex-aequos », si la coupure tombe dans un groupe d'égalité, l'ensemble du groupe est inclus. La cible est le point d'entrée du groupe d'égalité fautif, et non la fin, afin d'éviter un double comptage inutile de l'expansion des ex-aequos.

2. Pipeline de Prédiction

• Vecteur de Caractéristiques : Le modèle utilise 20 caractéristiques disponibles avant la révélation de la faute, incluant la taille du code, les métriques de tests/couverture, et 12 caractéristiques de distribution des scores Ochiai (moments, entropie, écarts, nombre d'ex-aequos, etc.). L'identité du projet et la localisation de la faute sont exclues du modèle primaire.
• Régression de Quantile : Un régresseur à gradient boosté estime le quantile supérieur conditionnel ($bq_{1-\alpha}$) de la cible $y_{entry}$ étant donné les caractéristiques $x_i$.
• Correction Conforme : Pour obtenir des garanties de couverture marginale sur échantillon fini, la méthode utilise un ensemble de calibration mis de côté. Elle calcule les résidus unilatéraux ($r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$) et applique une correction basée sur le quantile $(1-\alpha)$ de ces résidus.
• Coupure Finale : Le budget final est la somme du quantile prédit et de la correction conforme, bornée par $[0, 1]$. Si la taille d'échantillon de calibration requise est insuffisante (par exemple, pour des cibles de haute couverture avec de petits jeux de données), la méthode revient par défaut à un résultat de « non-compression » (inspection complète), signalant explicitement que le niveau de risque demandé n'est pas supporté.

3. Conception Expérimentale

• Jeu de Données : Un univers figé de 395 bugs historiques de Defects4J (Java), réduit à 248 bugs « présence de candidat » (ceux ayant au moins une ligne exécutable fautive cartographiée et des tests passant et échouant).
• Protocole : 30 divisions stratifiées par projet (60 % entraînement, 20 % calibration, 20 % test).
• Comparateurs :
  • GBR : Le régresseur de quantile à gradient boosté non calibré.
  • Conforme Global : Une coupure constante indépendante des caractéristiques dérivée des cibles de calibration.
  • Politiques Fixes : Politiques Top-N et pourcentages fixes pré-enregistrés (ex: Top-10 %).
• Tests de Stress : Évaluations par projet tenu à l'écart (Leave-One-Project-Out), chronologique (décalage temporel), et inter-langage (transfert vers Python/BugsInPy).

Résultats Clés

Évalués à un niveau de couverture nominal de 90 % :

1. Couverture vs Charge de Travail :

   • ConformalFL (CQR) : A atteint 91,8 % de couverture moyenne en inspectant 30,2 % des candidats exécutables (médiane de 508,5 lignes).
   • Non-calibré (GBR) : A atteint 87,6 % de couverture à 15,6 % d'inspection.
   • Conforme Global : A atteint 91,8 % de couverture mais a nécessité 44,2 % d'inspection.
   • Top-10 % Fixe : A atteint 90,1 % de couverture à 28,3 % d'inspection.

2. Valeur de la Calibration :

   • La calibration a ajouté environ 4,2 points de pourcentage de couverture par rapport au GBR non calibré, mais au coût de +14,7 points de pourcentage d'effort d'inspection.
   • Comparé à la coupure constante du Conforme Global, le CQR a maintenu la même couverture moyenne tout en réduisant l'inspection de 14,0 points de pourcentage, démontant la valeur des coupures adaptatives au bug par rapport aux coupures statiques.

3. Distribution de la Charge de Travail :

   • La distribution de la charge de travail est fortement asymétrique. Bien que la médiane d'inspection soit d'environ 508 lignes, la moyenne était d'environ 1 521 lignes en raison d'une queue de distribution lourde.
   • 18,9 % des cas ont abouti à une « non-compression » (inspection complète) car les ex-aequos de scores étendaient l'ensemble des candidats à l'ensemble du classement. Cela s'est produit spécifiquement lorsque la coupure tombait sur une frontière de score nul.

4. Tests de Stress :

   • Décalage de Projet : La couverture variait selon le projet (85,7 % – 100 %), et de petits échantillons de calibration (ex: 5 bugs) ont entraîné des résultats vacus (100 % d'inspection).
   • Inter-langage : Lors du transfert vers Python (BugsInPy) sans réentraînement, le CQR a maintenu une couverture empirique élevée (98,3 %) mais a subi une dégradation sévère de la charge de travail, inspectant 66,9 % des instructions en moyenne, avec 53,3 % des cas nécessitant une inspection complète.

Signification et Revendications

Le papier formule des revendications modestes et spécifiques concernant la contribution de ConformalFL :

• Contrôle du Risque Auditable : La contribution principale est une cartographie auditable d'un risque de ratage demandé vers un ensemble d'inspection adaptatif au bug et complet vis-à-vis des ex-aequos. Il fournit une garantie formelle de couverture marginale sous l'hypothèse d'échangeabilité entre les bugs de calibration et de déploiement.
• Pas de Dominance Universelle : Le papier stipule explicitement que ConformalFL ne domine pas empiriquement les politiques fixes bien choisies (comme le Top-10 %) sur ce benchmark. La politique fixe Top-10 % a performé de manière comparable en termes de couverture et d'effort sans nécessiter de calibration.
• Limites :
  • La méthode n'améliore pas la qualité du classement SBFL sous-jacent.
  • Elle ne garantit pas la couverture conditionnelle pour des projets ou des sous-populations spécifiques.
  • Elle ne garantit pas la validité sous des changements de distribution (ex: inter-langage ou nouveaux projets) où l'échangeabilité échoue.
  • Elle ne mesure pas le temps de débogage humain, car le nombre de lignes n'équivaut pas aux coûts de changement de contexte ou à l'effort de compréhension.

Conclusion : ConformalFL offre un outil pratique pour les équipes disposant de données de fautes historiques afin de remplacer les heuristiques non calibrées par une règle transparente qui arbitre explicitement entre le risque de ratage et l'effort d'inspection. Cependant, son utilité est limitée par l'exigence de données de calibration représentatives et par le potentiel de résultats de « non-compression » lorsque les ex-aequos de scores sont fréquents ou que les échantillons de calibration sont de petite taille.