PhreshPhish: A Real-World, High-Quality, Large-Scale Phishing Website Dataset and Benchmark

Resumo Técnico: PhreshPhish

1. O Problema

O phishing continua sendo uma ameaça cibernética pervasiva e em crescimento, causando bilhões em perdas financeiras e danos reputacionais. Embora a detecção baseada em aprendizado de máquina (ML) seja eficaz, o progresso na área é severamente limitado pela falta de conjuntos de dados (datasets) grandes, de alta qualidade e benchmarks realistas.

Os principais gargalos identificados nos datasets existentes são:

• Qualidade Pobre: Dados frequentemente contêm erros de rotulagem, páginas inválidas ou "lixo" resultante de falhas na raspagem (scraping).
• Vazamento de Dados (Data Leakage): A divisão aleatória entre treino e teste permite que modelos "memoricem" exemplos idênticos ou muito similares, inflando artificialmente o desempenho.
• Taxas de Base Irrealistas: A maioria dos datasets públicos utiliza taxas de base (proporção de sites de phishing) equilibradas (ex: 50%), o que não reflete a realidade do mundo real, onde o phishing é um evento raro (taxas de base de 0,05% a 5%). Isso leva a estimativas de desempenho excessivamente otimistas.
• Desafios de Coleta: Sites de phishing são efêmeros (vivos por pouco tempo), dinâmicos (carregam conteúdo via JavaScript) e usam técnicas de cloaking (apresentam conteúdo diferente para robôs vs. usuários), tornando a coleta de dados de alta fidelidade extremamente difícil.

2. Metodologia

Os autores desenvolveram o PhreshPhish, um pipeline end-to-end para coleta, limpeza e criação de benchmarks.

A. Coleta de Dados (Scraping Pipeline)

• Período: Coleta realizada ao longo de 17 meses (julho de 2024 a dezembro de 2025).
• Fontes: URLs maliciosas vindas do PhishTank, APWG e NetCraft; URLs benignas de telemetria anônima de usuários do Webroot e resultados de busca do Google.
• Tecnologia: Uso de navegadores reais (via Selenium) em um cluster distribuído para renderizar páginas dinâmicas e contornar problemas de JavaScript.
• Estratégias Anti-Adversariais: Uso de múltiplos User-Agents e IPs para evitar cloaking, e raspagem imediata após o reporte para mitigar a efemeridade das páginas.

B. Processo de Limpeza (Cleaning Process)
Um processo de duas etapas para garantir a qualidade:

1. Filtragem Automatizada: Remoção de URLs duplicadas, páginas com HTML ausente e títulos contendo palavras-chave de erro (ex: "404", "Forbidden", "Cloudflare Anti-Bot").
2. Inspeção Humana em Loop (Human-in-the-Loop):
   • Agrupamento de páginas similares usando Locality Sensitive Hashing (LSH) baseado em características TF-IDF e agrupamento por título.
   • Um anotador humano inspeciona apenas um "protótipo" de cada grupo. A decisão de manter ou remover é aplicada a todos os vizinhos mais próximos desse protótipo, otimizando o esforço manual.
   • Remoção de dados com Informações Pessoalmente Identificáveis (PII) em páginas benignas.

C. Criação de Benchmarks Realistas
Para superar as limitações dos datasets existentes, os autores criaram um conjunto de benchmarks derivados do conjunto de teste, aplicando três operações críticas:

1. Minimização de Vazamento: Divisão temporal estrita (treino anterior ao teste) e filtragem de pontos de teste que sejam muito similares (distância de cosseno TF-IDF) a qualquer ponto de treino.
2. Aumento de Dificuldade e Diversidade:
   • Remoção de pontos "fáceis" (classificados com alta confiança por modelos base).
   • Adição de URLs de marcas-alvo frequentes para garantir diversidade.
3. Ajuste de Taxa de Base: Criação de múltiplas instâncias de datasets com taxas de base variando de 0,05% a 5%, além de um conjunto completo com 24%, para simular cenários de produção realistas.

3. Principais Contribuições

• PhreshPhish Dataset: O maior e mais recente dataset público de sites de phishing disponível (aprox. 617k amostras totais, com ~248k phishing e ~366k benignos após limpeza). Apresenta uma taxa de rejeição de dados inválidos inferior a 1%, significativamente melhor que datasets concorrentes (que sofrem rejeições de 30% a 65%).
• Suite de Benchmarks: 975 conjuntos de dados de benchmark projetados para avaliação padronizada, cobrindo múltiplas taxas de base e níveis de dificuldade.
• Análise de Baseline: Avaliação de quatro abordagens de detecção (Linear, FFN, BERT/GTE e LLM) para estabelecer linhas de base de desempenho.
• Disponibilidade Pública: Dataset e códigos disponíveis no Hugging Face e GitHub.

4. Resultados e Análise

Os autores avaliaram quatro modelos no benchmark:

1. Modelo Linear: Baseado em n-grams e features manuais.
2. FFN (Feedforward Neural Network): Rede neural rasa com features binárias.
3. GTE (BERT-based): Modelo de embeddings (gte-large) ajustado finamente (fine-tuned) em HTML e URL brutos.
4. LLM (Zero-shot): Uso do Google Gemini-2.5-Pro para classificação sem treino prévio.

Principais Descobertas:

• Impacto da Taxa de Base: O desempenho (especificamente a Precisão) degrada-se drasticamente à medida que a taxa de base diminui. Modelos que atingem >95% de Average Precision (AP) em taxas de base de 24% ou 46% caem para níveis muito baixos (ex: AP de ~0,22 para o modelo Linear e ~0,60 para o GTE) em taxas de base de 0,05%.
• Comparação de Modelos: O modelo baseado em embeddings (GTE) superou consistentemente os outros, especialmente em cenários de baixa taxa de base. O modelo LLM (zero-shot) teve desempenho inferior, provavelmente devido à falta de ajuste fino (fine-tuning) específico para a tarefa.
• Precisão vs. Recall: Em taxas de base reais, manter um alto Recall (ex: 90%) exige uma precisão extremamente baixa se o modelo não for robusto, destacando a dificuldade de detectar phishing sem gerar muitos falsos positivos.

5. Significância e Impacto

O trabalho do PhreshPhish é fundamental para o avanço da pesquisa em detecção de phishing por várias razões:

• Padronização Realista: Fornece a primeira base de comparação que considera a raridade real do phishing, permitindo que pesquisadores avaliem modelos sob condições que realmente importam para a indústria (baixa taxa de falsos positivos em grandes volumes de tráfego benigno).
• Qualidade de Dados: Estabelece novos padrões para a curadoria de datasets de segurança, demonstrando que a limpeza rigorosa e a mitigação de vazamento são essenciais para resultados científicos válidos.
• Futuro da Pesquisa: Ao disponibilizar dados de alta fidelidade e benchmarks desafiadores, o trabalho incentiva o desenvolvimento de modelos mais robustos e generalizáveis, movendo a comunidade além de métricas infladas baseadas em dados sintéticos ou desbalanceados artificialmente.

Em suma, o PhreshPhish preenche uma lacuna crítica entre a pesquisa acadêmica e a aplicação prática, fornecendo as ferramentas necessárias para desenvolver sistemas de detecção que funcionem efetivamente no mundo real.