Supporting System Testing with a Multi-Agent LLM-based Framework for Knowledge Graph Extraction: A Case Study with Ethernet Switch Systems

Résumé Technique : Prise en charge des tests système par un cadre multi-agents basé sur les LLM pour l'extraction de graphes de connaissances

Énoncé du problème
Les documents techniques, tels que les manuels de configuration des commutateurs Ethernet (ESCM), contiennent des connaissances métier riches essentielles pour automatiser les tâches d'ingénierie logicielle en aval, en particulier les tests système. Cependant, les ESCM sont intrinsèquement semi-structurés et conçus pour des utilisateurs humains plutôt que pour l'automatisation. Ils présentent des défis significatifs pour l'extraction directe de connaissances en raison de :

1. Attributs implicites : Les étapes de configuration contiennent souvent des objectifs, des notes et des dépendances implicites qui ne sont pas explicitement étiquetés.
2. Dépendances complexes : Il existe souvent des mappings plusieurs-à-plusieurs entre les étapes de haut niveau de la « Feuille de route de configuration » et les étapes détaillées de la « Procédure », qui ne sont pas explicitement documentés.
3. Variabilité structurelle : La mise en forme, les styles d'écriture et les marqueurs structurels varient considérablement d'un manuel à l'autre, rendant les méthodes basées sur des règles et les techniques NLP traditionnelles inefficaces pour une extraction précise.

Par conséquent, la dérivation de cas de test complets à partir de ces manuels reste un processus manuel et laborieux. Bien que les graphes de connaissances (KG) offrent une représentation structurée adaptée à l'automatisation, la génération de KG à haute précision à partir de tels documents techniques complexes est difficile, surtout lorsque les approches existantes de modèles de langage (LLM) sont principalement calibrées pour le texte général plutôt que pour une adhérence précise aux schémas techniques.

Méthodologie
Les auteurs proposent un cadre basé sur un multi-agents LLM conçu pour extraire, évaluer et améliorer les KG à partir d'ESCM. Le cadre fonctionne sur un schéma de KG finement granulaire spécifiquement adapté au domaine des commutateurs Ethernet, capturant des entités telles que les Scénarios de cas d'utilisation, les Exigences de réseau, les Feuillets de route de configuration (avec des étapes hiérarchiques, des objectifs et des notes) et les Procédures (avec des commandes, des résultats attendus et des notes).

Le cadre se compose des composants principaux suivants :

1. Découpage (Chunking) : Les ESCM sont décomposés en blocs basés sur les sections (par exemple, Feuille de route, Procédure) pour gérer les limites de tokens et isoler les types d'informations.
2. Agents d'extraction (ExtrAgents) : Trois agents LLM spécialisés effectuent des tâches d'extraction distinctes :
   • Agent d'extraction de la feuille de route : Extrait le contexte, les étapes hiérarchiques, les objectifs et les notes de la Feuille de route de configuration.
   • Agent de mapping Feuille de route-Procédure : Identifie les mappings sémantiques entre les étapes de la feuille de route de haut niveau et les étapes de procédure détaillées, gérant les relations plusieurs-à-plusieurs.
   • Agent d'extraction de procédure : Extrait les étapes hiérarchiques, les commandes, les résultats attendus et les notes de la section Procédure. Cet agent utilise l'inférence par quelques exemples (few-shot prompting) avec des exemples représentatifs pour gérer les variations structurelles.
3. Boucle d'Extraction-Évaluation-Amélioration (EEI) du Graphe de Connaissances : Pour garantir une haute correction, le cadre emploie une boucle itérative :
   • Agent d'évaluation (EvalAgent) : Utilise le paradigme LLM-comme-Juge pour évaluer les entités extraites par rapport à des directives spécifiques à la tâche (par exemple, copie verbale, correspondance correcte des étapes). Il fournit des scores binaires et des retours détaillés.
   • Agent d'amélioration (ImprovAgent) : Analyse les retours de l'EvalAgent et affine les prompts d'extraction pour corriger des erreurs spécifiques (par exemple, clarifier comment distinguer les notes des détails d'action).
   • La boucle régénère les entités du KG avec des prompts affinés jusqu'à ce qu'un seuil de correction (fixé à 0,9) soit atteint ou qu'un nombre maximum d'itérations (3) soit atteint.
4. Amélioration du KG : Des sections supplémentaires (par exemple, Fichiers de configuration, Exigences de réseau) sont intégrées dans le KG final pour soutenir les tâches en aval.
5. Application en aval : Les KG générés sont convertis en Spécifications de Cas de Test (TCS), un format structuré et révisable par l'humain contenant des préconditions, des étapes de configuration et des résultats attendus, destinés à guider la génération automatisée de tests.

Contributions clés

1. Cadre Multi-Agents : Un cadre novateur comprenant des agents spécialisés pour l'extraction, l'évaluation et le raffinement des prompts, guidé par un mécanisme EEI itératif pour gérer les variations structurelles et sémantiques dans les documents techniques.
2. Schéma de KG Finement Granulaire : Un schéma spécifique au domaine conçu pour les ESCM qui capture explicitement les attributs au niveau de l'étape (objectifs, notes, commandes) et les dépendances inter-sections (mappings feuille de route-procédure).
3. Mécanisme de Raffinement Itératif : L'introduction de la boucle EEI, qui exploite les retours du paradigme LLM-comme-Juge pour affiner automatiquement les prompts d'extraction, améliorant considérablement la correction pour les cas difficiles sans nécessiter de références de vérité terrain.
4. Validation Empirique : Une évaluation complète sur 50 ESCM réels provenant d'un partenaire industriel (Huawei), démontrant une haute correction d'extraction et l'utilité pratique des KG générés pour la génération de cas de test.

Résultats
L'étude a été menée sur 50 ESCM couvrant 18 sous-catégories.

• Correction d'extraction (RQ1) : En utilisant les prompts originaux (avant le raffinement EEI), le cadre a obtenu des scores de correction moyens élevés allant de 0,97 à 0,99 à travers les trois tâches d'extraction. La plupart des ESCM n'ont nécessité aucun raffinement.
• Impact de l'EEI (RQ2) : Pour le petit sous-ensemble d'ESCM où les scores initiaux étaient inférieurs au seuil de 0,9, la boucle EEI a déclenché un raffinement des prompts. Cela a entraîné des améliorations substantielles, avec des gains de correction moyens de 0,12 pour l'extraction de la feuille de route et de 0,15 pour le mapping feuille de route-procédure, amenant tous les cas au niveau de qualité requis.
• Accord LLM vs Humain (RQ3) : Le LLM-comme-Juge a montré un accord substantiel avec les évaluateurs humains à travers toutes les tâches, avec des scores de kappa de Cohen allant de 0,72 à 0,80. Les écarts étaient principalement dus à de légères différences de catégorisation (par exemple, distinguer les notes des détails d'action) ou à des problèmes de mise en forme plutôt qu'à des erreurs d'extraction critiques.
• Utilité en aval (RQ4) : Cinq testeurs industriels expérimentés ont évalué les TCS générés à partir des KG. Les TCS ont reçu des notes constamment élevées, avec un score moyen global de 4,18/5 et un taux de notation positive de 95,3 %. Les testeurs ont trouvé les spécifications utiles, claires et techniquement précises, bien que certains aient noté que les préconditions et les résultats attendus nécessitaient parfois un raffinement supplémentaire pour une exécution directe.

Signification et revendications
L'article revendique que son cadre proposé comble efficacement le fossé entre la documentation technique semi-structurée et les tests système automatisés. En tirant parti d'une architecture multi-agents et d'une boucle de raffinement itérative, l'approche atteint une extraction de connaissances de haute précision là où les méthodes traditionnelles échouent. Les auteurs soulignent que, bien que l'étude se concentre sur les ESCM, le cadre est modulaire et généralisable ; son adaptation à d'autres domaines nécessite principalement de redéfinir le schéma du KG et d'adapter les prompts d'extraction/évaluation, plutôt que de redessiner l'architecture.

La signification réside dans la démonstration que les LLM, lorsqu'ils sont intégrés dans un cadre structuré et piloté par des retours d'information, peuvent extraire de manière fiable des dépendances et des attributs implicites de documents industriels complexes. Cette capacité soutient l'automatisation des tâches en aval, spécifiquement la génération de spécifications de cas de test, réduisant ainsi l'effort manuel et les coûts associés aux tests des commutateurs Ethernet. Les auteurs maintiennent une position modeste, reconnaissant que, bien que les TCS générés soient très utiles, ils peuvent encore nécessiter une révision humaine ou un raffinement supplémentaire pour être entièrement exécutables, et que la généralisabilité du cadre à d'autres types de documents nécessite des investigations supplémentaires.