A Robust and Explainable Transformer-Based Framework for Phishing Email Detection

Resumo Técnico: Um Framework Robusto e Explicável Baseado em Transformer para Detecção de E-mails de Phishing

Definição do Problema
Os ataques de phishing permanecem como uma ameaça cibernética persistente e sofisticada, utilizando cada vez mais IA para mimetizar fontes confiáveis e explorar vulnerabilidades humanas. Embora modelos baseados em Transformer (ex: BERT, DistilBERT) tenham demonstrado um desempenho superior na captura de padrões linguísticos contextuais para a detecção de phishing, eles sofrem de duas limitações críticas: a falta de interpretabilidade (operando como "caixas pretas") e a vulnerabilidade a perturbações adversárias. Ataques adversários recentes, incluindo modificações menores ao nível de caracteres e manipulações ao nível de embedding, podem facilmente contornar os mecanismos de detecção padrão. Além disso, pesquisas existentes frequentemente abordam robustez e explicabilidade de forma isolada, deixando uma lacuna entre a confiabilidade do modelo e a confiança do usuário.

Metodologia
O artigo propõe um framework unificado, leve e de ponta a ponta centrado no DistilBERT (uma variante destilada e eficiente do BERT) para enfrentar esses desafios por meio de três componentes integrados:

1. Treinamento de Robustez Híbrida:
   Para aumentar a resiliência contra ataques tanto ao nível de embedding quanto de superfície, os autores empregam uma abordagem de treinamento de estratégia dupla:

   • Treinamento Adversário de Nível de Embedding: Utilizando o Método de Gradiente Rápido (FGM), o modelo é treinado com perturbações baseadas em gradiente aplicadas diretamente aos embeddings de tokens. Isso suaviza a fronteira de decisão no espaço contínuo de embeddings.
   • Aumento de Ruído de Nível de Caractere: Perturbações estocásticas (inserção, exclusão e substituição de caracteres, incluindo substituições visualmente semelhantes como 'o'→'0') são aplicadas a 30% das amostras de treinamento antes da tokenização. Isso simula táticas de evasão do mundo real e força o modelo a aprender representações contextuais e de subpalavras robustas.
   • Otimização: O modelo minimiza uma função de perda composta ($L_{total} = L_{clean} + \lambda L_{adv}$) onde $\lambda=0,5$, equilibrando a precisão de classificação padrão com a resiliência adversária.

2. Integração de IA Explicável (XAI):
   Para melhorar a transparência, o framework integra três métodos de atribuição local: LIME (Explicações Locais Interpretáveis Agnósticas ao Modelo), SHAP (Explicações Aditivas de Shapley) e IG (Gradientes Integrados). Esses métodos quantificam a importância de tokens específicos no processo de tomada de decisão do modelo. O estudo conduz uma avaliação comparativa desses métodos sob perturbações de entrada para avaliar a estabilidade da explicação.

3. Geração de Explicação em Linguagem Natural:
   Para reduzir a lacuna entre as atribuições técnicas de características e a compreensão do usuário, o framework utiliza o Flan-T5-Small, um transformer de sequência-para-sequência leve e ajustado por instruções. Os principais tokens influentes derivados do LIME, seus escores de atribuição e a confiança da previsão do modelo são formatados em prompts estruturados e baseados em regras. O Flan-T5-Small então gera narrativas concisas, em linguagem simples e baseadas em evidências, explicando por que um e-mail foi sinalizado como phishing ou legítimo.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

• Robustez Híbrida Aprimorada: Demonstra que a combinação do treinamento de embedding baseado em FGM com o aumento de ruído de nível de caractere melhora significamente a resiliência do DistilBERT a ataques de perturbação de caracteres, oferecendo uma alternativa computacionalmente eficiente às defesas adversárias de múltiplos passos.
• Avaliação Comparativa de XAI: Fornece uma comparação sistemática de LIME, SHAP e IG sob distorções de entrada realistas, quantificando a interpretabilidade e a robustez qualitativa dos métodos de atribuição.
• Explicações Fundamentadas em Evidências: Estabelece uma camada que converte atribuições técnicas de características em narrativas legíveis por humanos usando o Flan-T5-Small, fundamentando diretamente as explicações na evidência do modelo em vez de alertas estáticos.
• Framework de Ponta a Ponta: Unifica treinamento robusto, XAI e racionalização em linguagem natural em um pipeline implantável que aborda o equilíbrio entre robustez do modelo e confiança do usuário.

Resultados Experimentais
O framework foi avaliado em um conjunto de dados público de e-mails de phishing (aprox. 18.650 amostras) e validado em um conjunto de dados de domínio cruzado (subconjunto CEAS 08).

• Robustez: Sob ruído crescente de nível de caractere (até 20% de corrupção), o framework proposto manteve 93,2% de precisão, uma melhoria drástica em relação ao baseline DistilBERT, que caiu para 54,5%. A abordagem híbrida reduziu a queda de precisão de dados limpos para 20% de ruído para apenas 4,9 pontos percentuais, comparado a 43,5 pontos para o baseline.
• Estabilidade da Explicação: A análise qualitativa mostrou que, enquanto os modelos baseline exibiam atribuições de tokens voláteis e reversões de polaridade sob modificações de texto menores, o framework proposto manteve padrões de atribuição estáveis, baseando-se em indicadores semanticamente significativos em vez de pistas superficiais frágeis.
• Estudo com Usuários: Um estudo piloto com 30 participantes usando um protótipo baseado na web rendeu pontuações altas para Clareza de Decisão (Média: 4,34/5) e Foco de Informação (Média: 4,22/5), indicando que as explicações geradas foram percebidas como claras e relevantes.
• Generalização de Domínio Cruzado: No conjunto de dados CEAS, o framework proposto manteve 95,7% de precisão com 20% de ruído, comparado aos 67,6% do baseline, demonstrando fortes capacidades de generalização.

Significância e Alegações
Os autores alegam que esta abordagem integrada efetivamente preenche a lacuna entre a confiabilidade do modelo e a confiança do usuário. Ao abordar simultaneamente a robustez adversária e a interpretabilidade, o framework avança na detecção de phishing transparente. O artigo enfatiza que o método proposto não é meramente uma ferramenta de detecção, mas um sistema de suporte à decisão que aumenta a transparência, permitindo que os usuários entendam a lógica por trás dos alertas de segurança. Os autores observam modestamente que, embora o framework melhore a resilição a táticas de ofuscação comuns, ele não captura totalmente ataques adversários otimizados ou paráfrases semânticas sofisticadas, sendo necessário trabalho futuro para abordar essas ameaças em evolução. O estudo posiciona estritamente suas técnicas adversárias como medidas defensivas para aumentar a resiliência do sistema contra atores maliciosos.