WSymBert: A Weighted Neuro-Symbolic Attention Model for Interpretable CVSS Prediction

Resumo Técnico: WSymBert – Um Modelo de Atenção Neuro-Simbólica Ponderada para Predição Interpretável de CVSS

Definição do Problema
A rápida proliferação de vulnerabilidades de software criou um gargalo crítico nas operações de segurança: a avaliação manual das métricas do Common Vulnerability Scoring System (CVSS) é lenta, dependente de especialistas e difícil de escalar. Consequentemente, muitas vulnerabilidades permanecem sem pontuação por períodos prolongados, dificultando a priorização de patches e a mitigação de riscos. Embora abordagens automatizadas usando modelos baseados em transformer (ex: BERT, SBERT) tenham melhorado a precisidade da predição, elas frequentemente funcionam como "caixas pretas". Esses modelos carecem de transparência, baseando-se em padrões estatísticos em vez de lógica de domínio, e suas explicações (frequentemente geradas via métodos post-hoc) podem destacar tokens irrelevantes ou falhar em alinhar-se com o raciocínio de especialistas. O desafio é desenvolver um sistema que não apenas preveja as oito métricas de Base do CVSS v3.1 (Vetor de Ataque, Complexidade de Ataque, Privilégios Requeridos, Interação do Usuário, Escopo, Confidencialidade, Integridade, Disponibilidade) com alta precisão, mas que também forneça um raciocínio interpretável consistente com o conhecimento de domínio de cibersegurança.

Metodologia: Arquitetura WSymBert
Os autores propõem o WSymBert, um framework neuro-simbólico ponderado que integra compreensão de linguagem contextual com conhecimento estruturado de especialistas. A arquitetura consiste em três componentes primários:

1. Codificação Semântica: O modelo utiliza um codificador SBERT ajustado (fine-tuned) para gerar embeddings de tokens contextuais ($H$) a partir de descrições de vulnerabilidades não estruturadas.
2. Extração de Conhecimento Simbólico: Árvores de decisão definidas por especialistas, derivadas das diretrizes oficiais do CVSS e ontologias de segurança, são usadas para construir "léxicos de especialistas". Esses léxicos mapeiam frases descritivas específicas (ex: "requer acesso local") para valores de métricas CVSS. Além disso, o KeyBERT é utilizado para extrair palavras-chave relevantes para o modelo a partir do texto de entrada.
3. Atenção Simbólica Ponderada: Esta é a inovação central. Em vez de depender apenas de atenção aprendida, o WSymBert introduz um mecanismo de ponderação simbólica.
   • Para cada token, um peso simbólico ($w_i$) é atribuído com base em sua presença na interseção do léxico do especialista e nas palavras-chave extraídas pelo modelo.
   • Tokens confirmados tanto pela lógica do especialista quanto pela semântica do modelo recebem um peso alto (10), aqueles na diferença simétrica recebem um peso de 1, e outros recebem 0.
   • Para evitar a "falha silenciosa", onde a falta de correspondências simbólicas colapsaria o vetor, um peso base de 1 é adicionado, garantindo que o modelo possa recorrer ao pooling aprendido ($\alpha_i$) quando as pistas simbólicas estiverem ausentes.
   • A representação final agrupada ($z_m$) para cada uma das oito métricas é computada fundindo os escores de atenção aprendidos com esses pesos simbólicos.
4. Predição Multi-Cabeça (Multi-Head): Oito classificadores lineares independentes são treinados nas representações fundidas para prever os valores categóricos de cada métrica Base. O backbone SBERT é compartilhado entre todas as cabeças para minimizar custos de treinamento e atuar como um regularizador.

Principais Contribuições

• Framework Neuro-Simbólico: O artigo introduz o WSymBert, um modelo híbrido que prevê todas as oito métricas de Base do CVSS v3.1 ao integrar explicitamente o conhecimento simbólico de especialistas no mecanismo de atenção de um modelo transformer.
• Atenção Guiada: Diferente dos métodos de explicabilidade post-hoc, o modelo incorpora orientação estruturada diretamente no processo de decisão, direcionando a atenção para pistas relevantes à segurança definidas por regras de especialistas.
• Desempenho Robusto: O modelo é avaliado em dois conjuntos de dados de referência (o dataset "Combine" e um dataset "NVD" curado), demonstrando superação consistente sobre bases fortes (SBERT e DistilBERT), particularmente em métricas desbalanceadas e difíceis.
• Explicabilidade Quantitativa: O estudo fornece uma análise rigorosa mostrando que as predições do WSymBert dependem mais fortemente de evidências específicas de domínio e menos de tokens irrelevantes (stopwords, números) em comparação com os modelos de base.

Resultos Experimentais
O modelo foi avaliado nos datasets Combine e NVD usando Acurácia, Precisão, Recall e F1-score.

• Acurácia: O WSymBert alcançou uma acurácia média de 96,2% no dataset NVD e aproximadamente 95% no dataset Combine, superando o SBERT (92% e 92%, respectivamente) e o DistilBERT (89% e 89%, respectivamente).
• Métricas Desbalanceadas: Melhorias significativas foram observadas em métricas com distribuições de classe enviesadas, como Complexidade de Ataque (AC) e Privilégios Requeridos (PR). Por exemplo, no dataset Combine, o WSymBert alcançou um F1-score de 97,76% para AC, comparado a 56,10% para o DistilBERT e 83,70% para o SBERT.
• Redução de Erro: O WSymBert demonstrou menores Erros Quadráticos Médios (MSE) e Erros Absolutos Médios (MAE) na predição da pontuação numérica final do CVSS em comparação com os modelos de base.
• Análise de Interpretabilidade: Usando Gradientes Integrados (IG), o estudo descobriu que os 10 principais tokens influentes do WSymBert possuíam uma "Taxa de Ruído" (proporção de stopwords, números ou tokens curtos) inferior a 5%, enquanto o DistilBERT excedia 30%. Além disso, o WSymBert exibiu menor Infidelidade e maior Completude em suas explicações, indicando que suas atribuições são mais fiéis ao processo de raciocínio real do modelo.

Significância e Alegações
O artigo afirma que o WSymBert oferece uma solução prática para a avaliação automatizada da severidade de vulnerabilidades ao preencher a lacuna entre a alta precisão de predição neural e a interpretabilidade alinhada ao domínio. Ao incorporar restrições simbólicas diretamente na camada de atenção, o modelo garante que seu raciocínio seja rastreável a evidências significativas no texto, abordando a limitação de "caixa preta" dos transformers padrão. Os autores sustentam que esta abordagem fornece uma base confiável para analistas de segurança, permitindo que justifiquem decisões de severidade com explicações que se alinham à lógica do especialista em vez de atalhos estatísticos. O trabalho demonstra que combinar aprendizado neural com orientação simbólica é um caminho viável para uma IA responsável e explicável em cibersegurança.

Limitações e Direções Futuras
Os autores reconhecem que a dependência de pistas simbólicas predefinidas pode introduzir uma potencial superfície de ataque onde adversários podem manipular descrições de vulnerabilidades com pistas de léxico salientes para inflar as pontuações. Trabalhos futuros sugerem a integração de mecanismos de verificação e calibração de confiança para mitigar isso. Adicionalmente, os autores propõem estender o modelo para incorporar dados estruturados externos (CWE, CPE), métricas ambientais dinâmicas e grafos de conhecimento para aumentar ainda mais a compreensão do contexto e a aplicabilidade em tempo real.