Verifier Warnings Do Not Improve Comprehensibility Prediction

Résumé Technique : Les avertissements des vérificateurs n'améliorent pas la prédiction de la compréhensibilité

Problématique

La compréhension du code est une tâche cruciale mais chronophage pour les développeurs. Pour automatiser l'évaluation de la difficulté de compréhension (la "compréhensibilité"), la recherche s'est tournée vers des modèles d'apprentissage automatique (ML) utilisant des caractéristiques syntaxiques (ex: complexité cyclomatique) et des caractéristiques liées au développeur (ex: expérience).

Une étude méta-analytique récente (Feldman et al.) avait suggéré qu'il existe une corrélation entre le nombre d'avertissements générés par les outils de vérification formelle (verificateurs) et la difficulté de compréhension humaine. L'hypothèse de cet article était que l'ajout de ces avertissements comme "signal sémantique" permettrait d'améliorer la précision des modèles de ML pour prédire l'effort de compréhension.

Méthodologie

Les auteurs ont conçu une expérience de type contrôle-traitement pour tester cette conjecture :

1. Données : Ils ont utilisé les deux plus grands jeux de données Java disponibles sur la compréhensibilité (DS1 et DS2), comprenant des mesures humaines (subjectives et objectives) sur des extraits de code open-source.
2. Configuration expérimentale :
   • Groupe de Contrôle ($C$) : Modèles entraînés uniquement sur les caractéristiques syntaxiques et les caractéristiques des développeurs.
   • Groupe de Traitement ($T$) : Modèles entraînés sur les mêmes caractéristiques, augmentées par une nouvelle caractéristique sémantique : la somme des avertissements des vérificateurs (obtenue via quatre outils : Checker Framework, OpenJML, JaTyC et Infer).
3. Modèles et Évaluation : Six modèles de ML ont été testés (Naïve Bayes, KNN, Régression Logistique, MLP, Random Forest, SVM). L'évaluation a été réalisée via une validation croisée imbriquée (nested cross-validation) pour minimiser les biais, en utilisant des métriques telles que le score F1 pondéré ($wF1$) et l'aire sous la courbe ROC ($wAUC$).
4. Analyses complémentaires : Pour comprendre l'absence d'amélioration, les auteurs ont effectué des analyses de corrélation (Kendall’s $\tau$), d'information mutuelle (MI) et des explications de modèles via les valeurs SHAP.

Contributions Clés

• Validation rigoureuse d'une hypothèse : L'étude apporte une réponse empirique négative à l'idée que le simple comptage des avertissements de vérification est un prédicteur efficace de la compréhension humaine.
• Analyse de la granularité : L'étude examine également si l'utilisation d'avertissements spécifiques à chaque outil (plutôt qu'une somme globale) offre un avantage, concluant également à une absence d'amélioration significative.
• Analyse statistique approfondie : L'utilisation de tests de Mann-Whitney U et de l'analyse SHAP permet de démontrer que les avertissements n'apportent pas de signal apprenable ou fiable pour les modèles de ML actuels.

Résultats

• Absence d'amélioration significative : L'ajout de la somme des avertissements n'a pas amélioré de manière significative la performance prédictive des modèles. Dans la majorité des configurations (56,6 % à 66,7 %), les performances ont soit stagné, soit légèrement diminué.
• Performance des métriques : Les métriques basées sur la perception humaine (PBU, RL) sont plus faciles à prédire que les mesures objectives (AU), mais même pour ces dernières, l'apport sémantique est négligeable.
• Faiblesse du signal : Les analyses statistiques (Kendall, MI, SHAP) ont confirmé que la caractéristique "somme des avertissements" présente une association quasi nulle avec les mesures de compréhensibilité.
• Cas isolés : Seules quelques améliorations marginales et non statistiquement significatives ont été observées pour certaines combinaisons spécifiques (ex: modèle MLP sur la métrique BD50%).

Signification et Implications

Cette étude a deux implications majeures pour la recherche en génie logiciel :

1. Limites des caractéristiques actuelles : Le fait que les caractéristiques syntaxiques et les profils de développeurs soient déjà suffisants (ou que l'ajout de signal sémantique échoue) suggère que les modèles actuels ne capturent pas encore la richesse du modèle cognitif construit par un humain lors de la lecture de code.
2. Nouvelles directions de recherche : Les auteurs suggèrent que pour améliorer la prédiction, il ne faut pas se contenter de compter les avertissements, mais plutôt explorer des représentations sémantiques plus riches, telles que les types spécifiques d'erreurs détectées ou les relations de flux de données et de contrôle (data-flow/control-flow) extraites par l'analyse de programme.

En conclusion, l'étude souligne que les outils de vérification formelle, bien qu'utiles pour la correction, ne fournissent pas de "raccourci" simple pour modéliser la charge cognitive humaine via le simple comptage de leurs alertes.