User-Centric Phishing Detection: A RAG and LLM-Based Approach

Resumo Técnico: Detecção de Phishing Centrada no Usuário via RAG e LLMs

Declaração do Problema
O artigo aborda a crescente sofisticação dos e-mails de phishing, que cada vez mais contornam filtros baseados em regras tradicionais e detectores convencionais de aprendizado de máquina. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma capacidade superior de compreensão de linguagem natural e análise semântica, sua aplicação como classificadores autônomos para segurança de e-mail apresenta uma falha crítica: taxas elevadas de falsos positivos (FP). Sistemas baseados em LLMs genéricos frequentemente rotulam erroneamente e-mails legítimos como phishing quando esses e-mails se desviam de padrões gerais, mesmo que estejam alinhados com o histórico de comunicação de um usuário específico. Essa falta de contexto específico do usuário cria uma carga operacional significativa ao gerar alarmes falsos excessivos e falha em distinguir entre conteúdo universalmente malicioso e comunicações incomuns, porém legítimas, para usuários individuais.

Metodologia
Os autores propõem um framework de detecção de phishing personalizado que integra Geração Aumentada por Recuperação (RAG) com LLMs de código aberto. O sistema opera através de um pipeline de seis estágios projetado para fundamentar as decisões do modelo no contexto específico do usuário e na inteligência de ameaças em tempo real:

1. Pré-processamento de Dados: Corpos de e-mails brutos são transformados em uma base de conhecimento estruturada através de validação, normalização (lidando com várias codificações como UTF-8, Latin-1), extração de características (assunto, remetente, corpo) e remoção de cabeçalhos.
2. Embedding Semântico e Construção de Vetores: O conteúdo textual é projetado em um espaço vetorial contínuo usando o all-MiniLM-L6-v2 transformer. Esses embeddings são L2-normalizados e indexados em um banco de dados vetorial FAISS para facilitar a busca eficiente de vizinhos mais próximos aproximados usando similaridade de cosseno.
3. Recuperação de Contexto Duplo:
   • Histórico Específico do Usuário: Para um e-mail de consulta recebido, o sistema recupera os $k$ superiores (definidos como 5) e-mails legítimos semanticamente similares do corpus histórico do usuário. Isso fornece ao LLM exemplos concretos dos padrões normais de comunicação do usuário.
   • Inteligência de Ameaças: O sistema extrai domínios e URLs do e-mail de consulta e consulta uma plataforma de análise multi-mecanismo (API VirusTotal) para coletar dados de reputação em tempo real (dano, suspeita, status de malware).
4. Engenharia de Prompt Estruturada: O prompt do LLM é construído concatenando a atribuição de papel (especialista em cibersegurança), o conteúdo do e-mail de consulta, o contexto histórico recuperado ($C_{context}$) e a inteligência de ameaças ($T(e_{query})$). A saída é restrita a um esquema JSON específico que exige uma decisão de classificação, uma pontuação de phishing, nível de risco, táticas de engenharia social identificadas, ações recomendadas e um breve raciocínio.
5. Avaliação do Modelo: O framework foi testado em quatro LLMs de código aberto distintos: Llama4-Scout (17B), DeepSeek-R1 (70B), Mistral-Saba (24B) e Gemma2-9B (9B). Todos os modelos foram acessados via API Groq com uma temperatura de 0.2 para garantir respostas determinísticas.

Principais Contribuições

• Framework RAG Personalizado: A introdução de um mecanismo de recuperação de contexto duplo que combina o histórico de e-mails específico do usuário com inteligência de ameaças em tempo real. Esta arquitetura visa reduzir falsos positivos ao permitir que o sistema distinga entre padrões maliciosos genéricos e comunicações normais do usuário.
• Metodologia de Avaliação Abrangente: Uma avaliação sistemática de quatro LLMs de código aberto distintos em configurações tanto autônomas quanto aumentadas por RAG, estabelecendo um benchmark padronizado para ferramentas de segurança baseadas em IA.
• Validação Empírica da Personalização: Demonstração de que os benefícios da personalização escalam efetivamente em diferentes tamanhos de modelos (de 17B a 70B parâmetros), com evidências específicas mostrando reduções substanciais nas taxas de falsos positivos sem comprometer a precisão de detecção.

Resultados
O sistema foi avaliado em um conjunto de dados equilibrado de 500 e-mails (250 legítimos, 250 phishing). A integração do RAG gerou melhorias de desempenho consistentes em todos os modelos testados:

• Redução de Falsos Positivos: A melhoria mais significativa foi observada na redução das Taxas de Falsos Positivos (FPR). Por exemplo, o Llama4-Scout reduziu seu FPR de 12% para 4% quando o RAG foi habilitado. Da mesma forma, o DeepSeek-R1 caiu de 22% para 6%, e o Mistral-Saba de 35,6% para 10%.
• Melhoria no F1-Score: Os F1-scores aumentaram de forma generalizada. O Llama4-Scout alcançou o desempenho mais alto com um F1-score de 0,9703 com RAG (comparado a 0,9333 sem ele).
• Comparação de Modelos: Embora todos os modelos tenham se beneficiado, o Llama4-Scout com RAG demonstrou o melhor equilíbrio de precisão e recall com a menor propensão a alarmes falsos. O DeepSeek-R1 seguiu de perto, enquanto o Gemma2-9b, embora tenha apresentado melhorias, permaneceu mais propenso a falsos positivos em comparação aos modelos maiores.

Significância e Alegações
O artigo afirma que uma abordagem de perfil de usuário baseada em RAG é tanto viável quanto eficaz para a construção de sistemas de segurança de e-mail de alta precisão e baixo atrito. A principal significância reside em abordar a tendência de "classificação agressiva" de LLMs autônomos, fundamentando seu raciocínio no comportamento individual do usuário. Os autores afirmam que esta abordagem valida o potencial de uma detecção adaptativa e centrada no usuário para reduzir significativamente os encargos operacionais causados por falsos positivos, mantendo uma alta precisão de detecção. O trabalho sugere que os sistemas futuros devem ir além de classificadores genéricos em direção a arquiteturas que utilizem a recuperação para contextualizar ameaças dentro dos padrões de comunicação específicos do usuário final.