Resumo Técnico: Detecção de Phishing Adversariamente Robusta e Semanticamente Consciente usando Aprendizado Multimodal Calibrado

1. Definição do Problema

Os atuais sistemas automatizados de detecção de phishing dependem frequentemente de fontes únicas de informação, particularmente de características lexicais de URL. Embora rápidas, esses detectores unimodais são frágeis; eles falham quando páginas enganosas parecem lexicalmente benignas, mas permanecem semântica ou visualmente enganosas. Além disso, a literatura existente frequentemente negligencia duas propriedades críticas para controles de segurança implantáveis: robustez adversarial (vulnerabilidade a perturbações direcionadas projetadas para evitar a detecção) e calibração de probabilidade (a confiabilidade dos escores de confiança, que determina ações operacionais como quarentena automática ou acionamento de analista). Este estudo aborda a necessidade de um framework que integre conjuntamente fusão multimodal, defesa adversarial e estimativa de confiança calibrada.

2. Metodologia

2.1 Construção do Dataset

O estudo utiliza o "Phishing Website Dataset" (Putra, 2023), uma coleção multimodal de 10.395 sites rotulados (5.151 phishing, 5.244 legítimos) personificando 86 marcas. Unicamente, este dataset fornece dados co-localizados para os mesmos sites: URLs completas, HTML bruto/texto visível, capturas de tela renderizadas e metadados de domínio (WHOIS, SSL, IP).

• Pré-processamento: O dataset foi limpo para 10.391 registros. A divisão foi realizada ao nível de domínio registrado (70/15/15 treino/validação/teste) para evitar vazamento de dados de páginas quase duplicadas que compartilham o mesmo domínio.
• Subamostragem: Devido a restrições de apenas CPU, a modalidade visual e os estudos de ablação tri-modal foram conduzidos em uma subamostra limitada de 395 sites com capturas de tela verificadas.

2.2 Arquitetura Multimodal

O framework emprega três codificadores específicos de modalidade que mapeiam as entradas para um espaço comum de 128 dimensões:

1. Codificador de URL: Combina 25 características léxicas/estruturais engenheiradas (ex: entropia, profundidade de subdomínio) com um CNN 1D de nível de caractere treinável (usando kernels 3x5x7) para capturar padrões estruturais.
2. Codificador de Texto: Utiliza um sentence-transformer all-MiniLM-L6-v2 congelado para gerar embeddings semânticos do texto visível da página, capturando urgência e pedidos de credenciais sem engenharia de características manual.
3. Codificador Visual: Utiliza um ResNet-18 congelado (pré-treinado no ImageNet) para extrair características de capturas de tela da página.

2.3 Mecanismos de Fusão

Três estratégias de fusão foram avaliadas:

• Concatenação (Fusão Precoce): Concatenação direta de embeddings.
• Fusão por Portão (Gated Fusion): Um portão escalar aprendido pondera a contribção de cada modalidade.
• Atenção Cross-Modal: Empilha os embeddings como uma sequência de tokens processada por uma camada de auto-atenção de múltiplas cabeças, seguida de pooling de média.

2.4 Framework Adversarial

• Ataques: Perturbações offline que preservam a semântica foram geradas.
  • URL: Substituição por homógrafos, preenchimento de subdomínios benignos, anexação de caminhos, codificação percentual e inserção de hifens.
  • Texto: Substituição de sinônimos via WordNet e transposição de caracteres (ruído de erro de digitação).
  • Visual: Ataques de norma $L_\infty$ de caixa branca (FGSM e PGD) em tensores de pixels.
• Defesa: Um protocolo de treinamento adversarial foi implementado para o ramo URL+texto, aumentando o conjunto de treinamento com uma cópia perturbada de cada exemplo.

2.5 Calibração

A calibração post-hoc foi aplicada no conjunto de validação usando três métodos: Escalonamento de Temperatura (Temperature Scaling), Escalonamento de Platt (Platt Scaling) e Regressão Isotônica (Isotonic Regression). Estes foram avaliados contra o baseline não calibrado usando Erro de Calibração Esperada (ECE), escore de Brier e diagramas de confiabilidade.

3. Principais Contribuições

O artigo reivindica cinco contribuições primárias:

1. Pipeline de Dataset: Um pipeline consciente do domínio e com controle de vazamento usando um dataset de licença permissiva que fornece conjuntamente URL, texto, captura de tela e metadados para os mesmos sites.
2. Arquitetura de Fusão: Um modelo de fusão de atenção cross-modal que supera empiricamente os baselines unimodais e mecanismos de fusão mais simples (concatenação, gating) no dataset completo de URL+texto.
3. Avaliação Adversarial: Um protocolo de avaliação offline sistemática cobrindo ataques de modalidade única e combinada, quantificado via acurácia limpa/robusta e Taxa de Sucesso de Ataque (ASR).
4. Estudo de Calibração: Uma comparação abrangente de calibradores tanto para o modelo multimodal quanto para as ablações unimodais, demonstrando melhoria na confiabilidade sem perda de acurácia.
5. Ablação Abrangente e Explicabilidade: Um estudo de ablação completo sobre todos os subconjuntos de modalidades e tipos de fusão, suportado por SHAP (para características engenheiradas) e análise de pesos de atenção, juntamente com validação externa em um benchmark independente.

4. Resultados Principais

4.1 Desempenho de Detecção

• Superioridade Multimodal: O modelo de Atenção Cross-Modal URL+Texto alcançou o melhor desempenho com um F1-score de 0,9506 e MCC de 0,8847.
• Comparação de Modalidades: Embeddings semânticos de texto foram significativamente mais fortes do que as características de URL engenheiradas sozinhas (Melhor MCC de Texto: 0,8928 vs. Melhor MCC de URL: 0,6418).
• Modalidade Visual: Na subamostra limitada, a detecção puramente visual foi mais fraca (F1 0,7123), mas forneceu um sinal discriminativo. Em configurações tri-modais, a concatenação simples superou a fusão por gating/atenção, sugerindo overfitting de mecanismos de fusão complexos em amostras pequenas.

4.2 Robustez Adversarial

• Vulnerabilidade: Modelos unimodais foram altamente vulneráveis. O modelo apenas de URL sofreu uma Taxa de Sucesso de Ataque (ASR) de 16,07% sob ataques de URL, e o modelo apenas de texto sofreu 10,34% sob ataques de texto.
• Benefício da Fusão: O modelo fundido demonstrou redundância. Sob ataques de apenas URL, o ASR do modelo fundido caiu para 0,79% (aproximadamente 20x menor que o unimodal) porque ele pôde confiar no sinal de texto não perturbado.
• Vulnerabilidade Visual: O classificador puramente visual colapsou sob ataques FGSM/PGD (Acurácia caiu para 0,0000), destacando uma vulnerabilidade severa não mitigada.
• Treinamento Adversarial: O retreinamento com exemplos adversariais reduziu a degradação relativa do F1 sob ataques de texto e combinados em cerca de uma ordem de magnitude (ex: 6,09% $\to$ 0,66%) com um custo de acurácia limpa desprezível (<1%).

4.3 Calibração

• A calibração post-hoc melhorou significativamente a confiabilidade. Para o modelo multimodal, o Escalonamento de Temperatura reduziu o ECE de 0,0472 para 0,0338 (redução de 28,4%) sem degradar o F1.
• A Regressão Isotônica foi mais eficaz para o modelo SVM apenas de texto (ECE 0,0343 $\to$ 0,0233).

4.4 Validação Externa

Quando o modelo profundo apenas de URL foi testado em um benchmark independente (Hannousse & Yahiouche, 2021), o desempenho degradou (F1 0,7854 vs. 0,8771 in-distribution), confirmando o gap de generalização sob mudança de distribuição, embora o modelo tenha permanecido melhor que o acaso (MCC 0,5944).

5. Significância e Alegações

O artigo posiciona sua significância não meramente por atingir a acurácia de estado da arte em dados limpos, mas como o primeiro estudo a reportar conjuntamente métricas de calibração (ECE, escore de Brier) e métricas de robustez adversarial para o mesmo sistema de detecção de phishing multimodal.

• Valor Prático: Os autores argumentam que um modelo que é simultaneamente robusto e bem calibrado é mais valioso na prática do que um que é meramente acurado em dados limpos. A confiança calibrada permite políticas acionáveis em operações de segurança (ex: quarentena automática vs. revisão por analista).
• Defesa em Profundidade: Os resultados demonstram que a fusão multimodal atua como uma defesa natural contra ataques de modalidade única, pois o modelo pode recorrer a sinais não corrompidos.
• Escopo Honesto: Os autores explicitamente reconhecem limitações, particularmente o pequeno tamanho da amostra para experimentos visuais (n=395) e o uso de encoders congelados devido a restrições de CPU. Eles alertam que a vulnerabilidade severa do ramo visual requer treinamento adversarial específico antes da implantação.

Em conclusão, o estudo valida que combinar características estruturais de URL com embeddings semânticos de texto via atenção cross-modal, enquanto aplica treinamento adversarial e calibração de probabilidade, cria um pipeline de detecção de phishing mais confiável e robusto do que abordagens unimodais ou não calibradas.