WSymBert: A Weighted Neuro-Symbolic Attention Model for Interpretable CVSS Prediction

Technische Samenvatting: WSymBert – Een Gewogen Neuro-Symbolisch Attention-model voor Interpreteerbare CVSS-voorspelling

Probleemdefinitie
De snelle proliferatie van softwarekwetsbaarheden heeft een kritieke flessenhals gecreëerd in security operations: de handmatige beoordeling van Common Vulnerability Scoring System (CVSS) metrieken is traag, afhankelijk van experts en moeilijk schaalbaar. Als gevolg hiervan blijven veel kwetsbaarheden gedurende lange tijd ongescoord, wat effectieve patch-prioritering en risicobeperking belemmert. Hoewel geautomatiseerde benaderingen met transformer-gebaseerde modellen (bijv. BERT, SBERT) de voorspellingsnauwkeurigheid hebben verbeterd, functioneren deze vaak als "black boxes". Deze modellen missen transparantie, omdat ze vertrouwen op statistische patronen in plaats van op domeinlogica, en hun verklaringen (vaak gegenereerd via post-hoc methoden) kunnen irrelevante tokens benadrukken of er niet in slagen aan te sluiten bij de redenering van experts. De uitdaging is het ontwikkelen van een systeem dat niet alleen de acht CVSS v3.1 Base-metrieken (Attack Vector, Attack Complexity, Privileges Required, User Interaction, Scope, Confidentiality, Integrity, Availability) met hoge nauwkeurigheid voorspelt, maar ook interpreteerbare redenering biedt die consistent is met de cybersecurity-domeinkennis.

Methodologie: WSymBert Architectuur
De auteurs stellen WSymBert voor, een gewogen neuro-symbolisch framework dat contextueel taalbegrip integreert met gestructureerde expertkennis. De architectuur bestaat uit drie primaire componenten:

1. Semantische Codering: Het model maakt gebruik van een gefinetunede SBERT-encoder om contextuele token-embeddings ($H$) te genereren uit ongestructureerde kwetsbaarheidsbeschrijvingen.
2. Symbolische Kennisextractie: Expert-gedefinieerde beslissingsbomen, afgeleid van officiële CVSS-richtlijnen en security-ontologieën, worden gebruikt om "expert-lexiconen" te construeren. Deze lexiconen koppelen specifieke beschrijvende zinsdelen (bijv. "requires local access") aan CVSS-metriekwaarden. Daarnaast wordt KeyBERT gebruikt om model-relevante trefwoorden uit de invoertekst te extraheren.
3. Gewogen Symbolische Attention: Dit is de kerninnovatie. In plaats van uitsluitend te vertrouwen op geleerde attention, introduceert WSymBert een symbolisch wegingsmechanisme.
   • Voor elk token wordt een symbolische weging ($w_i$) toegekend op basis van de aanwezigheid in de intersectie van het expert-lexicon en de door het model geëxtraheerde trefwoorden.
   • Tokens die door zowel de expertlogica als de modelsemantiek worden bevestigd, ontvangen een hoge weging (10); tokens in het symmetrisch verschil ontvangen een weging van 1; anderen ontvangen 0.
   • Om "silent failure" te voorkomen, waarbij een gebrek aan symbolische matches de vector doet instorten, wordt een baseline-weging van 1 toegevoegd, zodat het model kan terugvallen op geleerde pooling ($\alpha_i$) wanneer symbolische aanwijzingen ontbreken.
   • De uiteindelijke gepoolde representatie ($z_m$) voor elke van de acht metrieken wordt berekend door de geleerde attention-scores te fuseren met deze symbolische wegingen.
4. Multi-Head Voorspelling: Acht onafhankelijke lineaire classificators worden getraind op de gefuseerde representaties om de categorische waarden voor elke Base-metriek te voorspellen. De SBERT-backbone wordt gedeeld over alle heads om de trainingskosten te minimaliseren en als regularisator te fungeren.

Belangrijkste Bijdragen

• Neuro-Symbolisch Framework: Het artikel introduceert WSymBert, een hybride model dat alle acht CVSS v3.1 Base-metrieken voorspelt door expliciet symbolische expertkennis te integreren in het attention-mechanisme van een transformer-model.
• Gestuurde Attention: In tegen tegenstelling tot post-hoc verklaarbaarheidsmethoden, incorporeert het model gestructureerde sturing direct in het beslissingsproces, waardoor de aandacht wordt gestuurd naar security-relevante signalen die zijn gedefinieerd door expertregels.
• Robuuste Prestaties: Het model wordt geëvalueerd op twee benchmark-datasets (de "Combine" dataset en een gecureerde "NVD" dataset), waarbij het consequent beter presteert dan sterke baselines (SBERT en DistilBERT), met name op ongebalanceerde en moeilijke metrieken.
• Kwantitatieve Verklaarbaarheid: De studie biedt een rigoureuze analyse die aantoont dat de voorspellingen van WSymBert meer leunen op domeinspecifieke bewijslast en minder op irrelevante tokens (stopwords, getallen) vergeleken met baseline-modellen.

Experimentele Resultaten
Het model werd geëvalueerd op de Combine- en NVD-datasets met behulp van Accuracy, Precision, Recall en F1-score.

• Accuracy: WSymBert behaalde een gemiddelde nauwkeurigheid van 96,2% op de NVD-dataset en ongeveer 95% op de Combine-dataset, waarmee het SBERT (92% en 92% respectievelijk) en DistilBERT (89% en 89% respectievelijk) overtreft.
• Ongebalanceerde Metrieken: Significante verbeteringen werden waargenomen in metrieken met scheve klassenverdelingen, zoals Attack Complexity (AC) en Privileges Required (PR). Zo behaalde WSymBert op de Combine-dataset bijvoorbeeld een F1-score van 97,76% voor AC, vergeleken met 56,10% voor DistilBERT en 83,70% voor SBERT.
• Foutreductie: WSymBert vertoonde een lagere Mean Squared Error (MSE) en Mean Absolute Error (MAE) bij het voorspellen van de uiteindelijke numerieke CVSS-score vergeleken met de baselines.
• Interpretatieanalyse: Gebruikmakend van Integrated Gradients (IG), toonde de studie aan dat de top-10 meest invloedrijke tokens van WSymBert een "Noise Rate" (proportie aan stopwords, getallen of korte tokens) hadden van minder dan 5%, terwijl DistilBERT meer dan 30% overschreed. Bovendien vertoonde WSymBert lagere Infidelity en hogere Completeness in zijn verklaringen, wat aangeeft dat de attributies trouwer zijn aan het werkelijke redeneerproces van het model.

Betekenis en Claims
Het artikel claimt dat WSymBert een praktische oplossing biedt voor de geautomatiseerde beoordeling van de ernst van kwetsbaarheden door de kloof te overbruggen tussen hoogwaardige neurale voorspelling en domein-gealigneerde interpreteerbaarheid. Door symbolische restricties direct in de attention-laag in te bedden, zorgt het model ervoor dat de redenering traceerbaar is naar betekenisvolle bewijslast in de tekst, wat de "black box"-beperking van standaard transformers aanpakt. De auteurs stellen dat deze aanpak een betrouwbare basis biedt voor security-analisten, waardoor zij de beslissingen over de ernst kunnen rechtvaardigen met verklaringen die aansluiten bij de logica van experts in plaats van bij statistische shortcuts. Het werk demonstreert dat het combineren van neurale leerprocessen met symbolische sturing een levensvatbaar pad is naar verantwoorde en verklaarbare AI in cybersecurity.

Beperkingen en Toekomstige Richtingen
De auteurs erkennen dat de afhankelijkheid van vooraf gedefinieerde symbolische signalen een potentieel aanvalsoppervlak kan introduceren waarbij tegenstanders de beschrijvingen van kwetsbaarheden kunnen manipuleren met prominente lexicon-signalen om scores op te drijven. Toekomstig werk suggereert het integreren van verificatiemechanismen en confidence-calibratie om dit te mitigeren. Daarnaast stellen de auteurs voor om het model uit te breiden door externe gestructureerde data (CWE, CPE), dynamische omgevingsmetrieken en knowledge graphs te integreren om het begrip van de context en de real-time toepasbaarheid verder te versterken.