Resumo Técnico: Avaliando e Combatendo o Impacto do Concept Drift em Sistemas de Detecção de Phishing Baseados em Aprendizado de Máquina

1. Declaração do Problema

O artigo aborda a vulnerabilidade dos sistemas de detecção de phishing baseados em aprendizado de máquina (ML) ao concept drift (deriva de conceito). À medida que as técnicas de phishing evoluem rapidamente para contornar filtros existentes, a distribuição estatística dos dados de phishing muda ao longo do tempo ($P(x, y)$), fazendo com que os modelos treinados em dados históricos degradem seu desempenho. Embora os métodos de ML tenham alcançado alta precisão inicial, eles frequentemente tornam-se obsoletos conforme os atacantes se adaptam. As soluções existentes frequentemente dependem de retreinamento ou abordagens híbridas que podem não abordar totalmente a evolução contínua dos vetores de ataque. Os autores identificam uma lacuna na aplicação de estruturas matemáticas, anteriormente bem-sucedidas na detecção de ransomware (ex: a estrutura FeSAD), ao domínio do phishing para mitigar esses efeitos de deriva sem a necessidade de retreinamento constante.

2. Metodologia

Os autores propõem uma estrutura estatística projetada para ser agnóstica a algoritmos, capaz de operar junto a classificadores de ML padrão para detectar e compensar o concept drift. A metodologia consiste nos seguintes componentes principais:

2.1 Seleção de Características (Feature Selection)

Um algoritmo genético modificado é empregado para selecionar características de alto ganho de informação. Este processo visa identificar conjuntos de características que sejam robustos contra o concept drift, calculando valores de deriva nos dados de treinamento para distinguir entre níveis de deriva aceitáveis e anormais.

2.2 Métricas de Cálculo de Deriva

A estrutura calcula a "deriva de amostra" combinando métricas de distância matemática com probabilidades de predição algorítmica.

• Razão de Distância ($dist_i$): Mede a razão da distância de uma amostra em relação aos exemplos malignos (phishing) versus exemplos benignos usando a Métrica de Sobreposição Euclidiana Heterogênea (HEOM). A HEOM é escolhida por sua capacidade de lidar com atributos contínuos e nominais.
  • $dist_m$: Distância média para amostras malignas.
  • $dist_b$: Distância média para amostras benignas.
  • $dist_i = dist_m / dist_b$.
• Pesos de Predição: Pesos ($w_m, w_b$) são calculados dividindo a probabilidade de predição da amostra pela probabilidade média de predição incorreta para aquela classe no conjunto de treinamento.
• Distância Ponderada: Combina a razão de distância e os pesos de predição para criar uma métrica ($dw$) que aumenta a separação entre classes quando o classificador está confiante.

2.3 Limiares de Deriva e Calibração

O sistema estabelece limiares para categorizar a deriva:

• Deriva Esperada ($D_e$): Calculada usando um conjunto de calibração para determinar a faixa normal de deriva entre distribuições (ex: treinamento vs. dados mais recentes).
• Limite de Deriva ($D_{max}$): Definido como o ponto médio entre a distância ponderada média das classificações corretas e incorretas. Se a deriva de uma amostra exceder $D_{max}$, ela é considerada uma classificação incorreta e reavaliada.
• Deriva Anormal: Amostras que apresentam deriva além do limiar esperado, mas dentro do limite máximo, são sinalizadas. Se um número definido pelo usuário ($z$) de tais amostras se acumular, o sistema aciona um alerta de retreinamento.

2.4 Configuração Experimental

• Datasets: O estudo utiliza datasets de phishing abrangendo de 2016 a 2024 para simular o concept drift. Aproximadamente 10.000 amostras foram extraídas de cada dataset para garantir testes proporcionais.
• Algoritmos: Três classificadores foram testados: Random Forest, Rede Bayesiana e Perceptron Multicamadas (MLP).
• Configuração: A estrutura foi implementada em Java utilizando a API do WEKA. Os experimentos envolveram o treinamento em dados antigos (ex: 2016) e o teste em dados novos (ex: 2021, 2024) para medir a degradação e a recuperação.

3. Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Aplicação de uma Estrutura Estatística ao Phishing: Os autores adaptam uma estrutura matemática (semelhante ao FeSAD) do domínio de ransomware para a detecção de phishing, hipotetizando que ela pode estender a vida útil dos sistemas de detecção de ML sob concept drift.
2. Quantificação do Concept Drift: A estrutura deriva valores numéricos para quantificar a deriva, permitindo a avaliação da qualidade do dataset e da robustez das características. Ela identifica quais características fornecem as diferenças mais distinguíveis entre URLs benignas e de phishing, apesar da evolução.
3. Melhoria de Desempenho sob Deriva: O estudo demonstra que combinar um índice de similaridade (HEOM) com algoritmos de classificação pode melhorar as taxas de detecção e reduzir os falsos positivos quando os modelos são expostos a amostras de phishing evoluídas.

4. Resultados

Os experimentos produziram os seguintes achados:

• Degradação da Linha de Base (Baseline): Sem a estrutura, as taxas de detecção degradaram significamente ao testar em dados mais recentes. Por exemplo, a taxa de detecção da Random Forest caiu de 86,3% (dados de 2016) para 78,4% (dados de 2021), com a Taxa de Falsos Positivos (FPR) aumentando de 10,8% para 16,9%.
• Eficácia da Estrutura:
  • Random Forest: A estrutura melhorou consistentemente o desempenho em todos os cenários. Quando treinada com dados de 2016 e testada com dados de 2024, a estrutura manteve uma taxa de detecção de ~74,1% (comparado a 56,9% sem a estrutura) e reduziu a FPR de 19,3% para 10,3%.
  • Outros Algoritmos: A estrutura mostrou melhorias significativas para Redes Bayesianas e MLPs, particularmente em cenários de forte degradação. Por exemplo, a taxa de detecção da Rede Bayesiana em dados de 2024 melhorou de 56,9% para 74,2% quando a estrutura foi aplicada.
  • Redução de Deriva Anormal: O componente de calibração reduziu o número de amostras sinalizadas como "anormais" em aproximadamente 45%, indicando que o sistema distinguiu com sucesso entre a evolução normal e verdadeiros outliers.
• Avaliação da Qualidade do Dataset: A estrutura foi utilizada para avaliar a distinguibilidade estatística de três datasets externos (Kaggle, Maribor, Badji Mokhtar). O dataset Maribor apresentou a maior diferença de deriva entre amostras benignas e de phishing (1,17), correlacionando-se com os maiores ganhos de desempenho (a detecção da Random Forest saltou de 93,9% para 97,8%).

5. Significância e Alegações

Os autores alegam modestamente que sua pesquisa demonstra a viabilidade do uso de índices de similaridade combinados com classificadores de ML para fortalecer sistemas de detecção de phishing contra o concept drift.

• Vida Útil Estendida: A estrutura permite que os sistemas de detecção mantenham um desempenho consistente através de diferentes distribuições de dados (períodos de tempo) sem retreinamento imediato.
• Insight sobre Datasets: As métricas de deriva fornecem um método estatístico objetivo para avaliar a qualidade dos datasets de phishing e a robustez de características específicas, independentemente da confiança de algoritmos de ML individuais.
• Limitações: O artigo reconhece que, embora a estrutura melhore as taxas de detecção, ela não resolve completamente o problema das altas taxas de falsos positivos em todos os casos. Os autores sugerem que abordagens baseadas apenas em URL podem ter limitações inerentes quanto a falsos positivos que evoluem ao longo do tempo.

Em conclusão, o artigo postula que estruturas matemáticas podem mitigar efetivamente os efeitos do concept drift na detecção de phishing, oferecendo um mecanismo para identificar quando o retreinamento é necessário e melhorando a robustez dos modelos de ML existentes.