Résumé Technique : AgenticSZZ

Énoncé du Problème

L'identification du Commit Inducteur de Bogue (BIC) est une tâche fondamentale dans la maintenance logicielle, permettant la prédiction de défauts, la réparation automatique de programmes et l'analyse historique des bogues. L'approche dominante depuis deux décennies est l'algorithme SZZ et ses variantes, qui s'appuient sur git blame pour retracer les lignes supprimées ou modifiées dans un Commit de Correction de Bogue (BFC) jusqu'au commit qui les a touchées en dernier.

Cependant, cette approche souffre de limitations fondamentales concernant le rappel. Une étude préliminaire de 2 102 commits de correction de bogues validés par les auteurs révèle que git blame seul est insuffisant pour près de la moitié de tous les cas :

• 28 % des BIC nécessitent de parcourir l'historique des commits au-delà des résultats directs de blame (soit en tant qu'ancêtres des commits de blame, soit en tant qu'ancêtres du BFC).
• 14 % des cas sont « sans blame », où le BFC ne contient que des lignes ajoutées sans lignes supprimées/modifiées à blâmer, rendant le SZZ standard inapplicable.
• Même au sein des 57 % de cas où les BIC apparaissent dans les résultats de blame, identifier le bon BIC parmi plusieurs candidats reste difficile en raison de la complexité élevée de certains projets.

Les améliorations existantes du SZZ se sont concentrées sur des heuristiques de filtrage, la détection de refactorisation, ou le classement des candidats de blame en utilisant l'apprentissage profond et les LLM, mais elles restent contraintes par l'espace de recherche défini strictement par git blame.

Méthodologie : AgenticSZZ

Les auteurs proposent AgenticSZZ, la première approche appliquant les Graphes de Connaissances Temporels (TKG) à l'analyse de l'évolution logicielle. L'idée centrale consiste à reformuler l'identification du BIC d'un problème de classement sur une liste statique de candidats de blame en un problème de recherche sur graphe sur l'historique temporel des commits.

La méthodologie opère en deux phases distinctes :

1. Construction du Graphe de Connaissances Temporel (TKG)

Le système construit un graphe qui encode les commits comme des nœuds avec un ordre temporel et des connexions structurelles (fichiers et fonctions partagés). L'espace de recherche est étendu au-delà des résultats directs de blame grâce à deux directions de parcours :

• Parcours des Ancêtres de Blame : À partir des commits de blame, le système remonte l'historique des fichiers pour trouver des commits antérieurs qui auraient pu introduire la logique du bogue.
• Parcours des Ancêtres du BFC : À partir du BFC, le système remonte vers les commits de blame pour identifier les commits intermédiaires qui auraient pu transformer du code correct en code erroné.
• Expansion du Contexte : Pour gérer les cas « sans blame » et améliorer la qualité des graines, le système applique une stratégie de repli en blâmant les lignes de contexte (2 lignes avant et après) entourant le code ajouté.

Le schéma du graphe inclut :

• Nœuds : Commits (étiquetés comme BFC, blame, blame_ancestor, ou bfc_ancestor), Fichiers et Fonctions.
• Arêtes : PRECEDES (ordre temporel), MODIFIES_FILE, MODIFIES_FUNCTION, et DEFINED_IN.

2. Recherche Agente de BIC

Un agent LLM navigue dans le TKG construit en utilisant quatre outils spécialisés pour raisonner sur les relations causales :

1. Énumération des Candidats (list_candidates) : Récupère les $K$ meilleurs candidats classés par un score de fitness (priorisant blame > blame_ancestor > bfc_ancestor).
2. Parcours Structurel (traverse_graph) : Suit les arêtes pour découvrir les commits modifiant les mêmes entités de code.
3. Requête de Propriété (query_node) : Examine les métadonnées du commit (messages, horodatages, chevauchements).
4. Analyse Causale (read_node_content) : Lit les diffs de code pour vérifier si les changements d'un candidat sont causalement liés à la correction du bogue.

L'agent enquête itérativement sur les candidats, pouvant potentiellement outrepasser les classements initiaux basés sur le raisonnement sémantique et la vérification causale, jusqu'à ce qu'une décision soit prise ou qu'une limite d'étapes soit atteinte.

Contributions Clés

1. Étude Préliminaire (RQ0) : Une caractérisation systématique des emplacements des BIC par rapport aux commits de blame, quantifiant que 28 % des cas nécessitent un parcours d'historique et que 14 % sont sans blame, établissant la nécessité de stratégies de recherche étendues.
2. Cadre AgenticSZZ : La première application des TKG à l'analyse de l'évolution logicielle, reformulant l'identification du BIC comme un problème de recherche sur graphe. Cela permet d'identifier des BIC en dehors de l'ensemble de candidats traditionnellement défini par le blame.
3. Évaluation Complète : Une évaluation rigoureuse sur trois jeux de données (Linux, Apache, GitHub) comparant AgenticSZZ à sept variantes du SZZ et à l'état de l'art LLM4SZZ.
4. Analyse de Sensibilité des LLM : Une investigation sur la manière dont différents LLM à poids ouverts affectent les performances, identifiant un seuil de capacité pour une navigation TKG efficace.

Résultats

L'évaluation sur 2 102 paires validées BFC-BIC démontre qu'AgenticSZZ atteint des performances de pointe :

• Performances : AgenticSZZ atteint des scores F1 allant de 0,47 à 0,79 sur les jeux de données. Il surpasse l'état de l'art précédent (LLM4SZZ) de 16,0 % à 34,2 % en score F1.
• Significativité Statistique : Les améliorations sont statistiquement significatives (test de McNemar, $p < 0,001$) sur trois des quatre partitions de jeux de données. Même l'exécution la moins performante d'AgenticSZZ surpasse la meilleure exécution de LLM4SZZ.
• Étude d'Ablation :
  • Le TKG et l'agent LLM sont mutuellement essentiels ; le TKG seul introduit du bruit sans filtrage intelligent, tandis que l'agent seul est limité par l'espace de recherche de blame restreint.
  • La combinaison du parcours TKG et de l'expansion du contexte débloque la catégorie « Ancêtre », générant un gain net de 60 vrais positifs sur les jeux de données par rapport à LLM4SZZ.
  • L'expansion du contexte échange environ 48 vrais positifs « Blame » contre 106 vrais positifs « Ancêtre » supplémentaires, résultant en un gain net positif sur la plupart des jeux de données.
• Sensibilité des LLM : Seuls les modèles avec 37B+ paramètres actifs (DeepSeek-V3.2 et DeepSeek-V4-Pro) surpassent constamment la simple base de repli Blame. Les modèles plus petits échouent à effectuer une vérification multi-étapes suffisante (en sautant les appels query_node et read_node_content), se réduisant efficacement à une heuristique moins fiable.
• Amplification Architecturale : Une comparaison contrôlée utilisant DeepSeek-V4-Pro montre que l'architecture TKG amplifie les bénéfices des LLM plus puissants. L'écart de performance entre AgenticSZZ et LLM4SZZ s'élargit de 18,8 % (avec V3.2) à 32,0 % (avec V4-Pro), tandis que les gains de LLM4SZZ plafonnent en raison de son espace de recherche borné par le blame.

Signification et Revendications

L'article revendique qu'AgenticSZZ ouvre une nouvelle direction de recherche pour le raisonnement temporel et causal dans l'analyse de l'évolution logicielle. En transformant l'identification du BIC en un problème de recherche sur graphe, l'approche surmonte les limitations inhérentes de rappel des méthodes basées sur git blame.

Les auteurs soulignent que l'amélioration est pilotée par le paradigme guidé par le TKG plutôt que simplement par le choix d'un LLM plus capable. Le TKG fournit un espace de raisonnement structuré qui permet aux modèles plus puissants de naviguer efficacement dans des historiques de commits complexes, tandis que les approches confinées à des listes de blame linéaires font face à un plafond de performance indépendamment de la capacité du LLM sous-jacent. Le travail suggère que les progrès futurs dans l'identification des BIC dépendront de l'intégration d'espaces de recherche structurés avec un raisonnement agentique, à condition que le LLM possède une capacité suffisante pour effectuer une vérification multi-étapes.