WSymBert: A Weighted Neuro-Symbolic Attention Model for Interpretable CVSS Prediction

Résumé technique : WSymBert – Un modèle d'attention neuro-symbolique pondéré pour la prédiction interprétable du CVSS

Définition du problème
La prolifération rapide des vulnérabilités logicielles a créé un goulot d'étranglement critique dans les opérations de sécurité : l'évaluation manuelle des métriques du Common Vulnerability Scoring System (CVSS) est lente, dépendante des experts et difficile à mettre à l'échelle. Par conséquent, de nombreuses vulnérabilités restent non scorées pendant de longues périodes, entravant la hiérarchisation des correctifs et l'atténuation des risques. Bien que les approches automatisées utilisant des modèles basés sur les transformeurs (par exemple, BERT, SBERT) aient amélioré la précision des prédictions, elles fonctionnent souvent comme des « boîtes noires ». Ces modèles manquent de transparence, s'appuyant sur des motifs statistiques plutôt que sur une logique métier, et leurs explications (souvent générées via des méthodes post-hoc) peuvent mettre en évidence des jetons (tokens) non pertinents ou ne pas s'aligner sur le raisonnement des experts. Le défi consiste à développer un système qui non seulement prédit les huit métriques de base du CVSS v3.1 (Vecteur d'attaque, Complexité de l'attaque, Privilèges requis, Interaction de l'utilisateur, Étendue, Confidentialité, Intégrité, Disponibilité) avec une grande précision, mais fournit également un raisonnement interprétable cohérent avec les connaissances du domaine de la cybersécurité.

Méthodologie : Architecture WSymBert
Les auteurs proposent WSymBert, un cadre neuro-symbolique pondéré qui intègre la compréhension contextuelle du langage avec une connaissance experte structurée. L'architecture se compose de trois composants principaux :

1. Encodage sémantique : Le modèle utilise un encodeur SBERT affiné pour générer des plongements de jetons contextuels ($H$) à partir de descriptions de vulnérabilités non structurées.
2. Extraction de connaissances symboliques : Des arbres de décision définis par des experts, dérivés des directives officielles du CVSS et des ontologies de sécurité, sont utilisés pour construire des « lexiques d'experts ». Ces lexiques associent des phrases descriptives spécifiques (par exemple, « nécessite un accès local ») à des valeurs de métriques CVSS. De plus, KeyBERT est utilisé pour extraire les mots-clés pertinents pour le modèle à partir du texte d'entrée.
3. Attention symbolique pondérée : Il s'agit de l'innovation centrale. Au lieu de s'appuyer uniquement sur l'attention apprise, WSymBert introduit un mécanisme de pondération symbolique.
   • Pour chaque jeton, un poids symbolique ($w_i$) est attribué en fonction de sa présence dans l'intersection du lexique de l'expert et des mots-clés extraits par le modèle.
   • Les jetons confirmés à la fois par la logique de l'expert et la sémantique du modèle reçoivent un poids élevé (10), ceux qui se trouvent dans la différence symétrique reçoivent un poids de 1, et les autres reçoivent 0.
   • Pour éviter un « échec silencieux » où l'absence de correspondances symboliques ferait s'effondrer le vecteur, un poids de base de 1 est ajouté, garantissant que le modèle puisse revenir à un regroupement appris ($\alpha_i$) lorsque les indices symboliques sont absents.
   • La représentation finale agrégée ($z_m$) pour chacune des huit métriques est calculée en fusionnant les scores d'attention appris avec ces poids symboliques.
4. Prédiction multi-têtes : Huit classifieurs linéaires indépendants sont entraînés sur les représentations fusionnées pour prédire les valeurs catégorielles de chaque métrique de base. L'architecture SBERT est partagée entre toutes les têtes pour minimiser les coûts d'entraînement et agir comme un régularisateur.

Contributions clés

• Cadre neuro-symbolique : L'article présente WSymBert, un modèle hybride qui prédit les huit métriques de base du CVSS v3.1 en intégrant explicitement des connaissances symboliques d'experts dans le mécanisme d'attention d'un modèle transformeur.
• Attention guidée : Contrairement aux méthodes d'explicabilité post-hoc, le modèle incorpore un guidage structuré directement dans le processus de décision, orientant l'attention vers des indices pertinents pour la sécurité définis par des règles d'experts.
• Performance robuste : Le modèle est évalué sur deux ensembles de données de référence (le jeu de données « Combine » et un jeu de données « NVD » spécialisé), démontrant une supériorité constante sur les bases de comparaison fortes (SBERT et DistilBERT), particulièrement sur les métriques déséquilibrées et difficiles.
• Explicabilité quantitative : L'étude fournit une analyse rigoureuse montrant que les prédictions de WSymBert reposent davantage sur des preuves spécifiques au domaine et moins sur des jetons non pertinents (mots vides, nombres) par rapport aux modèles de base.

Résultats expérimentaux
Le modèle a été évalué sur les ensembles de données Combine et NVD en utilisant la Précision, le Rappel et le score F1.

• Précision (Accuracy) : WSymBert a atteint une précision moyenne de 96,2 % sur le jeu de données NVD et environ 95 % sur le jeu de données Combine, surpassant SBERT (92 % et 92 % respectivement) et DistilBERT (89 % et 89 % respectivement).
• Métriques déséquilibrées : Des améliorations significatives ont été observées pour les métriques présentant des distributions de classes asymétriques, telles que la Complexité de l'attaque (AC) et les Privilèges requis (PR). Par exemple, sur le jeu de données Combine, WSymbert a obtenu un score F1 de 97,76 % pour AC, contre 56,10 % pour DistilBERT et 83,70 % pour SBERT.
• Réduction des erreurs : WSymBert a démontré une erreur quadratique moyenne (MSE) et une erreur absolue moyenne (MAE) plus faibles dans la prédiction du score numérique CVSS final par rapport aux modèles de comparaison.
• Analyse de l'interprétabilité : En utilisant les gradients intégrés (IG), l'étude a révélé que les dix premiers jetons les plus influents de WSymBert présentaient un « taux de bruit » (proportion de mots vides, nombres ou jetons courts) inférieur à 5 %, tandis que DistilBERT dépassait les 30 %. De plus, WSymBert a présenté une infidélité plus faible et une complétude plus élevée dans ses explications, indiquant que ses attributions sont plus fidèles au processus de raisonnement réel du modèle.

Signification et affirmations
L'article affirme que WSymBert offre une solution pratique pour l'évaluation automatisée de la sévérité des vulnérabilités en comblant le fossé entre la prédiction neurale de haute précision et l'interprétabilité alignée sur le domaine. En intégrant des contraintes symboliques directement dans la couche d'attention, le modèle garantit que son raisonnement est traçable jusqu'à des preuves significatives dans le texte, répondant ainsi à la limitation de la « boîte noire » des transformeurs standards. Les auteurs soutiennent que cette approche fournit une base de confiance pour les analystes de sécurité, leur permettant de justifier les décisions de sévérité avec des explications qui s'alignent sur la logique des experts plutôt que sur des raccourcis statistiques. Le travail démontre que la combinaison de l'apprentissage neural et du guidage symbolique est une voie viable vers une IA responsable et explicable en cybersécurité.

Limites et directions futures
Les auteurs reconnaissent que la dépendance à des indices symboliques prédéfinis pourrait introduire une surface d'attaque potentielle où des adversaires pourraient manipuler les descriptions de vulnérabilités avec des indices lexicaux saillants pour gonfler les scores. Les travaux futurs suggèrent l'intégration de mécanismes de vérification et de calibration de la confiance pour atténuer cela. De plus, les auteurs proposent d'étendre le modèle pour incorporer des données structurées externes (CWE, CPE), des métriques environnementales dynamiques et des graphes de connaissances afin d'améliorer davantage la compréhension du contexte et l'applicabilité en temps réel.