Résumé Technique : Analyse Empirique et Détection des Hallucinations dans les Résumés de Rapports de Bugs Générés par des LLM

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour générer des résumés structurés de rapports de bugs logiciels, en extrayant spécifiquement des sections telles que les Étapes de Reproduction (S2R), le Comportement Réel (AB) et le Comportement Attendu (EB). Cependant, ces modèles produisent fréquemment des « hallucinations » : un contenu plausible mais factuellement non étayé. Les méthodes existantes de détection des hallucinations évaluent généralement les sorties au niveau de la réponse complète, traitant les hallucinations comme une classe d'erreur monolithique. Cette approche ne tient pas compte des propriétés structurelles des documents techniques, où différentes sections (par exemple, les étapes procédurales par rapport aux comportements déclaratifs) jouent des rôles sémantiques distincts. Par conséquent, les méthodes actuelles négligent la façon dont les schémas d'hallucination varient selon les sections et ne fournissent pas d'analyses granulaires sur l'emplacement ou le type d'erreurs factuelles, limitant ainsi leur utilité dans les flux de travail critiques du génie logiciel (SE).

Méthodologie

Les auteurs proposent un cadre de détection d'hallucinations conscient des sections, validé par une méthodologie en trois phases utilisant le jeu de données BugsRepo (dérivé de projets OSS de Mozilla).

1. Analyse Exploratoire et Modélisation de l'Attention

• Observation Empirique : Une étude initiale sur 80 résumés générés par des LLM a révélé que ~47,9 % contenaient des informations manquantes et que 12,3 % incluaient du contenu fabriqué.
• Analyse de l'Attention : Les auteurs ont analysé la façon dont les modèles transformateurs (BERT, RoBERTa, SciBERT, DeBERTa, DistilBERT) distribuent l'attention entre les sections S2R, AB et EB. Ils ont constaté que le Comportement Attendu (EB) reçoit l'attention la plus élevée, tandis que les Étapes de Reproduction (S2R) reçoivent la plus faible, suggérant que les S2R sont plus susceptibles aux hallucinations en raison d'une sous-utilisation des informations procédurales.

2. Construction d'un Jeu de Données Synthétique

En raison de l'absence de références existantes pour les hallucinations conscientes des sections, les auteurs ont construit un jeu de données synthétique :

• Conversion Structuré vers Non Structuré : Les rapports de bugs structurés ont été convertis en récits non structurés en utilisant Mistral-7B.
• Filtrage de la Qualité : Une métrique PARENT modifiée (spécifiquement PARENTtable), qui privilégie l'alignement avec le tableau source par rapport au texte de référence, a été utilisée pour filtrer les conversions de faible qualité. Cela a assuré que les données d'entraînement préservaient fidèlement les informations structurées.
• Injection d'Hallucinations : Un pipeline contrôlé a injecté des hallucinations synthétiques dans des sections spécifiques. Les hallucinations ont été catégorisées en trois types : Ajout (contenu fabriqué), Suppression (informations manquantes) et Réorganisation (changements structurels).

3. Modèle de Détection Conscient des Sections

Les auteurs ont proposé une approche d'apprentissage multi-tâches construite sur un encodeur transformateur préentraîné avec un ajustement fin efficace en paramètres (LoRA). Le modèle effectue simultanément trois tâches :

1. Détection au Niveau du Rapport : Classification binaire de savoir si un résumé contient des hallucinations.
2. Localisation au Niveau de la Section : Identification de la section spécifique (S2R, AB ou EB) affectée.
3. Classification du Type : Catégorisation du type d'hallucination (Ajouter, Supprimer, Réorganiser).

Le modèle est entraîné en utilisant une fonction de perte combinée : $L = L_{report} + \lambda_s L_{section} + \lambda_t L_{type}$.

Contributions Clés

1. Cadre Conscient des Sections : Une approche novatrice qui modélise explicitement les rôles sémantiques des S2R, AB et EB pour détecter conjointement les hallucinations, localiser les sections affectées et classifier les types d'erreurs, dépassant ainsi la détection monolithique.
2. Référence Synthétique : Le développement d'un pipeline pour convertir les rapports de bugs structurés en récits non structurés et injecter des hallucinations contrôlées, créant une référence publiquement disponible pour la recherche sur les hallucinations au niveau des sections.
3. Insights Empiriques : Des preuves démontrant que la sensibilité aux hallucinations corrèle avec l'allocation de l'attention (par exemple, les S2R sont plus vulnérables) et que les hallucinations de type suppression sont significativement plus difficiles à détecter que les ajouts.

Résultats

Des expériences ont été menées sur quatre modèles préentraînés (Mini-LLaMA-1B, Ministral-3B, Mistral-7B, LLaMA-8B) en utilisant le jeu de données synthétique construit.

• Performance : Les modèles ajustés finement ont considérablement surpassé les références de prompt en zéro-shot, few-shot et Chain-of-Thought (CoT).
  • Le modèle le plus performant, Ministral-3B, a obtenu un Macro-F1 de 0,891 pour la détection au niveau du rapport, un Macro-F1 de 0,829 pour la localisation au niveau de la section et un Macro-F1 de 0,836 pour la classification du type d'hallucination.
  • Mistral-7B et LLaMA-8B ont montré des performances comparables, tandis que les modèles plus petits (Mini-LLaMA) ont présenté des performances inférieures, indiquant la nécessité d'une capacité de représentation suffisante.
• Localisation des Sections : Le modèle a atteint la précision la plus élevée pour les S2R (F1=0,891) mais un rappel plus faible pour les AB et EB. Cela suggère que le modèle est conservateur dans l'alerte des hallucinations AB/EB, manquant souvent les erreurs de suppression dans ces sections.
• Classification des Types : Le modèle a bien performé sur les hallucinations d'Ajout (F1=0,976) et de Réorganisation (F1=0,924). Les hallucinations de Suppression ont été les plus difficiles (F1=0,525), principalement parce que détecter des informations manquantes nécessite d'identifier l'absence de données sources plutôt que de repérer un texte non étayé.
• Analyse des Erreurs : L'analyse qualitative de 163 prédictions incorrectes a révélé que 44,8 % des erreurs étaient dues à des « informations manquantes ou implicites difficiles à remarquer », en particulier dans les cas de suppression au sein des sections AB et EB.

Importance et Revendications

L'article affirme que l'intégration de la structure du document dans l'analyse des hallucinations est cruciale pour améliorer la fiabilité de la synthèse de rapports de bugs assistée par LLM. En passant d'une vision monolithique à une perspective consciente des sections, l'approche proposée fournit :

• Diagnostique Granulaire : La capacité de pointer exactement où (quelle section) et quel type d'erreur s'est produit, plutôt que de simplement signaler un résumé comme « halluciné ».
• Efficacité des Ressources : La découverte qu'un modèle à échelle moyenne (Ministral-3B) peut atteindre de fortes performances suggère qu'une détection de haute qualité des hallucinations ne nécessite pas nécessairement des ressources de calcul massives.
• Fondement pour l'Atténuation : Comprendre que différentes sections ont des profils de vulnérabilité différents (par exemple, S2R par rapport à EB) permet de développer des stratégies de détection et d'atténuation ciblées dans les flux de travail de maintenance logicielle.

Les auteurs maintiennent une modestie concernant leurs revendications, reconnaissant que leur jeu de données synthétique sert de proxy opérationnel et que des travaux futurs sont nécessaires pour valider ces résultats sur des jeux de données réels annotés manuellement et à travers divers systèmes de suivi de bugs d'entreprise.