Quantitative Evaluation of APT Attack and Defense Effectiveness based on Variable Fuzzy Sets

Resumo Técnico: Avaliação Quantitativa da Eficácia de Ataque e Defesa de APT baseada em Conjuntos Fuzzy Variáveis

Definição do Problema
As Ameaças Persistentes Avançadas (APT) são caracterizadas por pertinência, complexidade e ocultação, apresentando riscos significativamente maiores do que ataques de rede comuns. Os métodos tradicionais de modelagem e análise frequentemente falham em descrever e avaliar com precisão a eficácia das ações de ataque e defesa de APT. As abordagens existentes sofrem de diversas limitações:

• Falta de Avaliação Holística: Muitos modelos avaliam a eficácia de ataque e defesa separadamente, carecendo de um framework unificado que as considere como um todo dentro de um jogo de ataque-defesa.
• Insensibilidade ao Cenário: Os modelos existentes frequentemente não levam em conta as mudanças de eficiência das mesmas ações sob diferentes cenários.
• Tratamento de Incerteza: A avaliação de APT envolve uma incerteza significativa tanto nos métricas quanto nos dados. Métodos determinísticos e métodos clássicos de avaliação fuzzy abrangente lutam para lidar com essa incerteza de forma objetiva, muitas vezes dependendo do julgamento humano subjetivo ou falhando em utilizar padrões baseados em intervalos de forma eficaz.

Metodologia
O artigo propõe um novo framework denominado APT-VFSEA (Avaliação de Eficiência de Conjuntos Fuzzy Variáveis para APT) para avaliar quantitativamente a eficácia das ações de ataque e defesa de APT. A metodologia consiste em três componentes principais:

1. Critérios de Avaliação Unificados e Ponderação:

   • Um método de seleção de métricas flexível é projetado para ser aplicável tanto a cenários de ataque quanto de defesa.
   • Cálculo de Peso: O artigo emprega uma combinação linear de ponderação subjetiva e objetiva.
     • Processo de Hierarquia Analítica (AHP): Utilizado para calcular pesos subjetivos baseados no julgamento de especialistas e na estrutura hierárquica de indicadores (características, subcaracterísticas, métricas).
     • Método do Peso de Entropia (EWM): Utilizado para calcular pesos objetivos baseados na entropia da informação dos dados, refletindo a quantidade de informação fornecida por cada indicador.
     • O peso final é uma combinação linear: $w_i = \alpha \cdot w_A(i) + \beta \cdot w_E(i)$, onde $\alpha$ e $\beta$ são coeficientes que somam 1.

2. Construção do Modelo de Conjunto Fuzzy Variável (VFS):

   • O núcleo do modelo é o Conjunto Fuzzy Variável, uma extensão dos conjuntos fuzzy clássicos que lida com a incerteza permitindo que os parâmetros do modelo variem.
   • Entradas: O modelo recebe uma matriz de amostra ($X$) de dados de avaliação, um vetor de pesos ($W$) e uma matriz de intervalo de padrão de avaliação ($S_{ab}$) dividida em $c$ níveis.
   • Mecanismo: Em vez de centros de agrupamento fixos, o modelo utiliza centros de agrupamento baseados em intervalos e intervalos de alcance variável ($S_{a'b'}$). Ele calcula o grau de pertinência relativa das amostras a diferentes categorias usando distâncias de peso métricas generalizadas.
   • Otimização: O modelo resolve uma função objetivo para determinar os graus de pertinência ótimos, centros de agrupamento e pesos. Ele utiliza parâmetros variáveis ($\alpha$ e $p$) para o critério de otimização e a métrica de distância (ex: mínimos quadrados, Manhattan, Euclidiana), permitindo múltiplas combinações de modelos para aumentar a confiabilidade.

3. Algoritmo de Avaliação:

   • O algoritmo normaliza os dados, calcula vetores de pertinência relativa para diferentes combinações de parâmetros do modelo e deriva graus de pertinência relativa abrangentes.
   • Ele calcula um autovalor para cada amostra com base na média ponderada dos graus de pertinência entre os níveis.
   • A pontuação de eficácia final é a média dos resultados obtidos a partir de diferentes combinações de parâmetros, garantindo estabilidade e reduzindo o impacto de escolhas específicas de parâmetros.

Principais Contribuições

• Framework Unificado: O artigo propõe um método adequado para avaliar tanto ações de ataque quanto de defesa no mesmo cenário, abordando a falta de comparabilidade nos modelos existentes.
• Aplicação de Conjuntos Fuzzy Variáveis: Introduz Conjuntos Fuzzy Variáveis à avaliação de eficácia de APT para lidar com a incerteza tanto em métricas quanto em dados. Esta abordagem supera as limitações de métodos determinísticos e de avaliação fuzzy abrangente clássica, particularmente quando os padrões de métricas são intervalos.
• Ponderação Flexível: A integração de AHP e EWM fornece uma abordagem equilibrada para o cálculo de pesos, combinando o conhecimento do especialista com a objetividade orientada por dados.
• Robustez: Ao combinar os resultados de quatro diferentes configurações de parâmetros de modelo ($\alpha \in \{1,2\}, p \in \{1,2\}$), o método aumenta a confiabilidade, consistência e estabilidade dos resultados da avaliação.

Resultados Experimentais
Os autores validaram o modelo APT-VFSEA usando um cenário de ataque APT simulado envolvendo a organização APT32 (OceanLotus) explorando a vulnerabilidade CVE-2017-11882 em um ambiente de rede universitária.

• Cenário: O experimento simulou seis ações específicas: três ações de ataque (exploração de vulnerabilidade, implantação de Trojan) e três ações de defesa (IDS, coleta de log do Sysmon, bloqueio de firewall, varredura de antivírus).
• Descobertas:
  • O modelo atribuiu pontuações de eficácia variando de 1 a 5.
  • Eficácia de Ataque: A exploração de vulnerabilidade pontuou ~3,68 e a implantação de Trojan pontuou ~3,31.
  • Eficácia de Defesa: O IDS e o Sysmon pontuaram mais baixo (2,79 e ~3,50 respectivamente) na prevenção da intrusão inicial, consistente com a simulação onde o atacante teve sucesso inicialmente. No entanto, as ações de firewall e antivírus pontuaram mais alto (3,62 e ~3,93), refletindo seu sucesso em interceptar comunicações e remover arquivos maliciosos.
  • Validação: Os resultados quantitativos alinharam-se com os resultados observados reais da simulação (ex: a falha das ferramentas de detecção iniciais versus o sucesso das ferramentas de contenção e remoção).
  • Flutuação: Os resultados da avaliação mostraram pequenos intervalos de flutuação (ex: 3,59–3,74 para a exploração de vulnerabilidade), demonstrando a estabilidade do modelo.

Significância e Alegações
O artigo afirma que o modelo APT-VFSEA oferece um método confiável e preciso para avaliar quantitativamente a eficácia de ataque e defesa de APT. Sua significância reside em:

• Tratamento Objetivo de Incerteza: Gerencia efetivamente a incerteza inerente aos cenários de APT sem depender apenas de julgamento subjetivo.
• Suporte de Dados para Estratégia: Os resultados da avaliação podem fornecer suporte de dados para revisar eventos passados de APT, determinar consequências de ataques e formular futuras estratégias de defesa.
• Aplicabilidade: O método é apresentado como tendo melhor operabilidade, confiabilidade e consistência em comparação com métodos determinísticos ou fuzzy clássicos existentes.

Limitações
Os autores reconhecem que a pesquisa atual é limitada a:

• Simular uma cadeia de ataque específica de vulnerabilidade de documento (CVE-2017-11882) por APT32, sem verificar grupos APT de múltiplos tipos usando vulnerabilidades zero-day, ataques de cadeia de suprimentos ou outros métodos de intrusão.
• Um ambiente de rede virtual de campus de pequeno a médio porte, carecendo de verificação em redes de controle industrial de grande escala ou intranets governamentais.

Estas limitações são anotadas como áreas para pesquisas futuras.