Resumo Técnico: SynAT

Declaração do Problema

Os ataques cibernéticos representam uma ameaça significativa aos sistemas de software, exigindo bases de conhecimento de segurança robustas (ex: CVE, CAPEC e bases de dados corporativas como a da Huawei) para identificar vulnerabilidades e modelar ameaças. No entanto, esses repositórios oficiais sofrem com atrasos temporais na liberação de informações, deixando os sistemas vulneráveis a riscos emergentes, como ataques de dia zero (zero-day). Por outro meio, plataformas de compartilhamento de conhecimento online, como o Stack Overflow, contêm ricas discussões de segurança em tempo real da multidão que frequentemente precedem as divulgações oficiais. O desafio reside na dificuldade de sintetizar diretamente árvores de ataque estruturadas a partir de discussões textuais não estruturadas. As árvores de ataque são diagramas conceituais altamente abstratos que exigem a inferência de relações complexas entre múltiplos eventos de ataque, uma tarefa que não é trivial de automatizar devido ao ruído e à diversidade do texto gerado pela multidão.

Metodologia: SynAT

O artigo propõe o SynAT, uma abordagem automática para sintetizar árvores de ataque a partir de postagens de segurança da multidão. A metodologia segue um pipeline de três estáções:

1. Restrição do Escopo das Sentenças

Para mitigar o ruído inerente às postagens de segurança completas, o SynAT primeiro estreita o input para sentenças que provavelmente contêm informações de ataque.

• Técnica: Emprega um Modelo de Linguagem de Grande Escala (LLM) combinado com Aprendizado de Prompt (Prompt Learning).
• Implementação: Um template de prompt de "Teste de Lacunas" (Cloze-Testing) é projetado onde o LLM prevê sentenças específicas ($K$) da pergunta da postagem e da resposta aceita que podem conter árvores de ataque.
• Seleção de Modelo: Experimentos compararam Albert, T5, GPT-3 e ChatGPT. O GPT-3 (especificamente o text-davinci-003) com Ajuste de Prompt de Correção (Fix-prompt Tuning) alcançou o maior desempenho (97,24% de Precisão, 99,36% de Recall) na identificação de sentenças relevantes.

2. Extração Conjunta de Eventos e Relações

Uma vez restrito o escopo, o SynAT extrai eventos de ataque e suas relações lógicas simultaneamente usando uma estrutura baseada em transição (transition-based framework).

• Definições:
  • Evento de Ataque: Composto por um Gatilho (verbo principal), um Alvo (objeto) e um Instrumento (ferramenta).
  • Relações: Definidas como And (ambos necessários), Or (um ou outro é suficiente) e AchievedBy (dependência pai-filho).
• Arquitetura: O modelo utiliza uma máquina de estados com 12 ações de transição (ex: GEN-TRG, RIGHT-SHIFT, O-DELETE) para percorrer a sentença restrita uma única vez.
  • Estado ($S$): Inclui pilhas para gatilhos ($\xi$), argumentos ($\tau$) e um buffer ($\beta$), além de conjuntos para eventos ($E$) e relações ($R$).
  • Mecanismo: Um StackLSTM incorpora o estado atual, e um classificador multilabel prevê a próxima ação. Isso permite uma complexidade de tempo de $O(n)$.
• Refinamento: Pós-extração, o sistema aplica regras Transitivas e Assimétricas para identificar relações implícitas e evitar dependências circulares na árvore.
• Treinamento: O modelo é ajustado (fine-tuned) usando uma função de perda combinada que equilibra a perda de extração de evento/relação (SSVM) e a perda de predição de ação (Entropia Cruzada).

3. Sintetização de Árvores de Ataque

Os eventos e relações extraídos são convertidos em uma estrutura formal de árvore de ataque usando três regras heurísticas desenhadas com especialistas em segurança:

1. Identificação do Objetivo de Ataque: O evento que representa o alvo final (ex: "Roubar sessão") torna-se o nó raiz.
2. Identificação de Métodos de Ataque: Eventos intermediários tornam-se nós de método, formatados como "atacante usa [instrumento] para atacar [alvo]".
3. Construção de Portões e Camadas: Relações AchievedBy definem as camadas da árvore, enquanto relações And e Or definem as portas lógicas entre os nós na mesma camada.

Principais Contribuições

• Técnica: O SynAT é apresentado como o primeiro trabalho a sintetizar automaticamente árvores de ataque a partir de postagens de segurança da multidão usando uma combinação de restrição de escopo baseada em LLM e extração conjunta baseada em transição.
• Avaliação: Uma avaliação abrangente em 5.070 postagens de segurança do Stack Overflow e 2.350 relatórios de problemas (issues) do GitHub.
• Aplicação: Implementação prática para aprimorar a base de conhecimento de segurança interna da Huawei e bases de dados públicas (CVE, CAPEC).
• Dados: Liberação pública de um conjunto de dados contendo 1.354 árvores de ataque rotuladas e código-fonte.

Resultados Experimentais

O estudo avaliou o SynAT contra baselines de estado da arte (Structured-Joint+, Albert, T5, GPT-3, ED3C, MLBiNet, etc.) através de quatro questões de pesquisa:

1. Sintetização de Árvore de Ataque: O SynAT alcançou a maior similaridade com o ground truth, com uma Distância de Hamming Média (AHD) de 10,24% e uma Similaridade de Distância de Edição de Árvore (TEDS) de 7,93%, superando o melhor baseline em 8,20% e 7,13%, respectivamente.
2. Extração de Eventos: O SynAT alcançou um F1 score médio de 80,93%, superando o melhor baseline em 8,50%.
3. Extração de Relações: O Synksam alcançou um F1 score médio de 87,81%, superando o melhor baseline em 13,59%.
4. Aprimoramento de Base de Conhecimento:
   • Bases de Dados Públicas: Das 121 árvores sintetizadas, 40,50% foram propostas no Stack Overflow antes de sua divulgação no CVE, e 16,53% foram identificadas como potenciais novos ataques ainda não presentes no CVE.
   • Base de Dados Privada: Na base de dados da Huawei, 84,30% das árvores sintetizadas foram aceitas por especialistas, resultando em um incremento de 42,32% em seu repositório existente de árvores de ataque.
   • Avaliação Humana: Especialistas classificaram as árvores do SynAT significativamente mais alto (pontuação média de 3,8/5) do que os baselines (2,4–3,5) em termos de precisão e adequação ($p < 0,01$).
   • Design de Patch: A integração das árvores do SynAT melhorou a taxa de correção de vulnerabilidades ($Fix@10$) em 35,14% para correção manual e 25,14% para correção automática (CodeT5).

Significância e Alegações

O artigo afirma que o SynAT preenche efetivamente a lacuna entre discussões não estruturadas da multidão e o conhecimento de segurança estruturado. Ao automatizar a extração de árvores de ataque, o SynAT aborda o crítico atraso temporal nas bases de dados de segurança oficiais, permitindo que organizações identifiquem e mitiguem ameaças emergentes (como zero-days) de forma mais rápida. A aplicação bem-sucedida tanto em contextos públicos (CVE/CAPEC) quanto privados (Huawei) demonstra a praticidade da abordagem para o aprimoramento da postura de segurança de software. Os autores enfatizam que, embora o método dependa de regras heurísticas e LLMs, a extração baseada em transição garante eficiência e alta precisão, tornando-o uma ferramenta viável para a manutenção contínua de bases de conhecimento de segurança.