Automating the Detection of Requirement Dependencies Using Large Language Models

Titre : Automatisation de la détection des dépendances de exigences à l'aide de grands modèles de langage (LLM)

1. Problématique

Les systèmes logiciels modernes sont caractérisés par une complexité croissante et un grand nombre d'exigences interconnectées. L'identification, la classification et la gestion de ces dépendances entre exigences (par exemple, une exigence qui en nécessite une autre, ou des conflits) sont cruciales pour l'analyse d'impact, la cohérence du système et la qualité des livraisons.

Cependant, cette tâche reste :

• Manuelle et coûteuse : Elle nécessite un effort cognitif important.
• Ambiguë : La majorité des exigences sont rédigées en langage naturel (NL), ce qui introduit de l'ambiguïté.
• Limitée par les approches existantes :
  • Les méthodes basées sur la récupération d'information (TF-IDF, LSA) manquent de raisonnement inférentiel et de contexte spécifique au domaine.
  • Les méthodes basées sur la connaissance (ontologies) sont coûteuses à maintenir et à développer.
  • Les approches d'apprentissage automatique (ML) traditionnelles souffrent du déséquilibre des classes (les exigences indépendantes sont bien plus nombreuses que les dépendantes) et nécessitent de vastes jeux de données annotées.
• Inexplorée pour les LLM : Bien que les Grands Modèles de Langage (LLM) excellent dans le traitement du langage naturel, leur efficacité pour détecter automatiquement les dépendances d'exigences n'avait pas été suffisamment évaluée jusqu'à présent.

2. Méthodologie : LEREDD

Les auteurs proposent LEREDD (LLM-Enabled REquirement Dependency Detection), une approche automatisée qui combine deux techniques avancées pour guider le modèle :

• RAG (Retrieval-Augmented Generation) :
  • Le système récupère du contexte spécifique au domaine à partir du document de spécification des exigences logicielles (SRS).
  • Il extrait des chunks (fragments) sémantiquement pertinents décrivant l'architecture du système et les interactions entre composants, fournissant ainsi au LLM les informations nécessaires pour comprendre les relations structurelles implicites.
• ICL (In-Context Learning) / Apprentissage par quelques exemples (Few-Shot) :
  • Pour chaque paire d'exigences à analyser, le système récupère dynamiquement des exemples similaires depuis un jeu de données annoté.
  • Ces exemples couvrent tous les types de dépendances (y compris l'absence de dépendance) pour guider le modèle dans sa classification.

Le processus de LEREDD :

1. Entrée : Un document SRS et des paires d'exigences.
2. Récupération de connaissances :
   • Contexte : RAG extrait les sections pertinentes du SRS.
   • Exemples : Un modèle SBERT calcule la similarité sémantique pour sélectionner les $k=4$ exemples les plus pertinents pour chaque type de dépendance.
3. Inférence : Un LLM (GPT-4.1, identifié comme le meilleur) reçoit un prompt enrichi contenant :
   • Les définitions formelles des types de dépendances (Requiert, Implémente, Conflit, Contradiction, Détails, Similaire, Variante).
   • Le contexte récupéré et les exemples.
   • Les exigences à analyser.
4. Sortie : Pour chaque paire, le modèle génère :
   • Le type de dépendance (ou "Aucune dépendance").
   • Une rationale (explication du raisonnement).
   • Un score de confiance (échelle de 1 à 5).

3. Contributions Clés

• Cadre LEREDD : Une nouvelle approche intégrant RAG et ICL pour la détection de dépendances, capable de gérer une large gamme de types de dépendances.
• Jeu de données annoté : Création et publication d'un corpus de 813 paires d'exigences annotées manuellement, couvrant trois systèmes automobiles distincts (Traffic Jam Assist, Automated Parking Assist, Adaptive Driving Beam). Ce jeu de données comble un vide majeur dans la recherche publique.
• Évaluation rigoureuse : Comparaison contre des états de l'art (SOTA) incluant des approches basées sur la récupération (TF-IDF/LSA) et l'apprentissage automatique (BERT finetuné), ainsi que des configurations de LLM (Zero-shot, Few-shot, RAG).

4. Résultats Expérimentaux

L'évaluation a été menée sur trois systèmes réels avec des métriques de précision, rappel et F1-score.

• Performance Globale :
  • LEREDD atteint une précision globale de 92,66 % et un score F1 moyen de 84,33 %.
  • Il surpasse significativement les modèles Zero-shot et les baselines (TF-IDF/LSA et BERT finetuné).
• Détection des "Aucune Dépendance" :
  • LEREDD obtient un score F1 exceptionnel de 96 % pour identifier les paires sans lien. Cela est crucial car la majorité des paires d'exigences dans la réalité sont indépendantes ; filtrer ces cas réduit considérablement l'effort manuel.
• Détection des Dépendances Fines (ex: "Requiert") :
  • LEREDD montre des gains relatifs massifs par rapport aux baselines : +94,87 % et +105,41 % en score F1 pour la dépendance "Requiert" par rapport aux meilleures approches existantes.
• Robustesse (Évaluation Cross-Dataset) :
  • Contrairement aux modèles ML (comme BERT) dont les performances chutent drastiquement lorsqu'ils sont entraînés sur un système et testés sur un autre, LEREDD maintient une performance élevée (F1 moyen de 0,76 en cross-dataset contre 0,31 pour BERT). Cela démontre sa capacité à généraliser sans nécessiter de réentraînement massif.
• Optimisation des Prompts :
  • L'étude a identifié que l'utilisation de SBERT pour les embeddings, de la distance euclidienne, d'une agrégation par maximum de similarité et de 4 exemples par type, combinée à 10 chunks de contexte de 500 caractères, constitue la configuration optimale.

5. Signification et Implications

• Réduction de l'effort manuel : En automatisant avec une grande fiabilité le filtrage des paires indépendantes (qui constituent l'essentiel du travail), LEREDD permet aux ingénieurs de se concentrer uniquement sur les paires potentiellement dépendantes.
• Supériorité du raisonnement inférentiel : Les résultats prouvent que la détection de dépendances ne repose pas uniquement sur la similarité sémantique, mais nécessite un raisonnement contextuel que les LLM, guidés par RAG et ICL, peuvent fournir mieux que les modèles statistiques classiques.
• Adaptabilité Industrielle : La robustesse de LEREDD face aux changements de systèmes (cross-dataset) en fait une solution viable pour des environnements industriels où les données annotées pour le système cible sont souvent indisponibles.
• Transparence : La génération de rationales et de scores de confiance par le modèle améliore l'interprétabilité et la confiance des utilisateurs dans les résultats automatisés.

En conclusion, LEREDD représente une avancée majeure dans l'ingénierie des exigences, démontrant que l'hybridation des LLM avec des techniques de récupération de connaissances permet de résoudre efficacement un problème complexe et historiquement manuel.