WSymBert: A Weighted Neuro-Symbolic Attention Model for Interpretable CVSS Prediction

Sintesi Tecnica: WSymBert – Un modello di attenzione neuro-simbolica pesata per la predizione interpretabile di CVSS

Definizione del Problema
La rapida proliferazione delle vulnerabilità software ha creato un collo di bottiglia critico nelle operazioni di sicurezza: la valutazione manuale delle metriche del Common Vulnerability Scoring System (CVSS) è lenta, dipendente dagli esperti e difficile da scalare. Di conseguenza, molte vulnerabilità rimangono non punteggiate per periodi prolungati, ostacolando la priorità di patching e la mitigazione del rischio. Sebbene gli approoli automatizzati che utilizzano modelli basati su transformer (ad esempio, BERT, SBERT) abbiano migliorato l'accuratezza della predizione, essi spesso funzionano come "black box". Questi modelli mancano di trasparenza, affidandosi a pattern statistici piuttosto che alla logica di dominio, e le loro spiegazioni (spesso generate tramite metodi post-hoc) possono evidenziare token irrilevanti o non allinearsi al ragionamento degli esperti. La sfida consiste nello sviluppare un sistema che non solo predica con alta accuratezza gli otto parametri Base di CVSS v3.1 (Vettore di Attacco, Complessità dell'Attacco, Privilegi Richiesti, Interazione dell'Utente, Scope, Confidenzialità, Integrità, Disponibilità), ma fornisca anche un ragionamento interpretabile coerente con la conoscenza del dominio della cybersecurity.

Metodologia: Architettura WSymBert
Gli autori propongono WSymBert, un framework neuro-simbolico pesato che integra la comprensione contestuale del linguaggio con la conoscenza strutturata degli esperti. L'architettura è composta da tre componenti primarie:

1. Codifica Semantica: Il modello utilizza un encoder SBERT raffinato (fine-tuned) per generare embedding di token contestuali ($H$) da descrizioni di vulnerabilità non strutturate.
2. Estrazione della Conoscenza Simbolica: Alberi decisionali definiti dagli esperti, derivati dalle linee guida ufficiali CVSS e dalle ontologie di sicurezza, sono utilizzati per costruire "lessici esperti". Questi lessici mappano frasi descrittive specifiche (ad esempio, "richiede accesso locale") ai valori delle metriche CVSS. Inoltre, viene utilizzato KeyBERT per estrarre parole chiave rilevanti per il modello dal testo in input.
3. Attenzione Simbolica Pesata: Questa è l'innovazione centrale. Invece di fare affidamento esclusivamente sull'attenzione appresa, WSymBert introduce un meccanismo di pesatura simbolica.
   • Per ogni token, viene assegnato un peso simbolico ($w_i$) basato sulla sua presenza nell'intersezione tra il lessico esperto e le parole chiave estratte dal modello.
   • I token confermati sia dalla logica dell'esperto che dalla semantica del modello ricevono un peso elevato (10), quelli nella differenza simmetrica ricevono un peso di 1, e gli altri ricevono 0.
   • Per prevenire il "fallimento silenzioso" in cui la mancanza di corrispondenze simboliche faccia collassare il vettore, viene aggiunto un peso base di 1, garantendo che il modello possa ricorrere al pooling appreso ($\alpha_i$) quando i segnali simbolici sono assenti.
   • La rappresentazione finale aggregata ($z_m$) per ciascuna delle otto metriche è calcolata fondendo i punteggi di attenzione appresi con questi pesi simbolici.
4. Predizione Multi-Testa (Multi-Head): Otto classificatori lineari indipendenti vengono addestrati sulle rappresentazioni fuse per predire i valori categorici per ciascuna metrica Base. Il backbone SBERT è condiviso tra tutte le teste per minimizzare i costi di addestramento e agire come regolarizzatore.

Contributi Chiave

• Framework Neuro-Simbolico: Il documento presenta WSymBert, un modello ibrido che predice tutti gli otto parametri Base di CVSS v3.1 integrando esplicitamente la conoscenza simbolica degli esperti nel meccanismo di attenzione di un modello transformer.
• Attenzione Guidata: A differenza dei metodi di spiegabilità post-hoc, il modello incorpora una guida strutturata direttamente nel processo decisionale, indirizzando l'attenzione verso segnali rilevanti per la sicurezza definiti da regole esperte.
• Prestazioni Robuste: Il modello è valutato su due dataset di benchmark (il dataset "Combine" e un dataset "NVD" curato), dimostrando di superare costantemente i baseline forti (SBERT e DistilBERT), in particolare su metriche sbilanciate e difficili.
• Spiegabilità Quantitativa: Lo studio fornisce un'analisi rigorosa che mostra come le predizioni di WSymBert facciano affidamento maggiormente su evidenze specifiche del dominio e meno su token irrilevanti (stopword, numeri) rispetto ai modelli baseline.

Risultati Sperimentali
Il modello è stato valutato sui dataset Combine e NVD utilizzando Accuratezza, Precisione, Recall e F1-score.

• Accuratezza: WSymBert ha raggiunto un'accuratezza media del 96,2% sul dataset NVD e circa il 95% sul dataset Combine, superando SBERT (92% e 92% rispettivamente) e DistilBERT (89% e 89% rispettivamente).
• Metriche Sbilanciate: Sono stati osservati miglioramenti significativi nelle metriche con distribuzioni di classe sbilanciate, come la Complessità dell'Attacco (AC) e i Privilegi Richiesti (PR). Ad esempio, sul dataset Combine, WSymBert ha ottenuto un F1-score del 97,76% per AC, rispetto al 56,10% di DistilBERT e all'83,70% di SBERT.
• Riduzione dell'Errore: WSymBert ha dimostrato un errore quadratico medio (MSE) e un errore assoluto medio (MAE) inferiori nella predizione del punteggio numerico finale di CVSS rispetto ai baseline.
• Analisi dell'Interpretabilità: Utilizzando i Gradienti Integrati (IG), lo studio ha rilevato che i primi 10 token influenti di WSymBert avevano un "Tasso di Rumore" (proporzione di stopword, numeri o token brevi) inferiore al 5%, mentre DistilBERT superava il 30%. Inoltre, WSymbert ha mostrato minore Infedeltà e maggiore Completezza nelle sue spiegazioni, indicando che le sue attribuzioni sono più fedeli al reale processo di ragionamento del modello.

Significatività e Rivendicazioni
Il documento afferma che WSymBert offre una soluzione pratica per la valutazione automatizzata della severità delle vulnerabilità, colmando il divario tra l'alta accuratezza della predizione neurale e l'interpretabilità allineata al dominio. Incorporando vincoli simbolici direttamente nello strato di attenzione, il modello assicura che il suo ragionamento sia tracciabile verso evidenze significative nel testo, affrontando il limite della "black box" dei comuni transformer. Gli autori sostengono che questo approccio fornisca una base affidabile per gli analisti di sicurezza, consentendo loro di giustificare le decisioni sulla severità con spiegazioni che si allineano alla logica degli esperti piuttosto che a scorciatoie statistiche. Il lavoro dimostra che combinare l'apprendimento neurale con la guida simbolica è una via percorribile verso un'IA responsabile e spiegabile nella cybersecurity.

Limitazioni e Direzioni Future
Gli autori riconoscono che la dipendenza da segnali simbolici predefiniti potrebbe introdurre una potenziale superficie di attacco in cui gli avversari potrebbero manipolare le descrizioni delle vulnerabilità con segnali lessicali salienti per gonfiare i punteggi. Il lavoro futuro suggerisce l'integrazione di meccanismi di verifica e calibrazione della confidenza per mitigare questo rischio. Inoltre, gli autori propongono di estendere il modello per incorporare dati strutturati esterni (CWE, CPE), metriche ambientali dinamiche e grafi di conoscenza per migliorare ulteriormente la comprensione del contesto e l'applicabilità in tempo reale.