MemoPhishAgent: Memory-Augmented Multi-Modal LLM Agent for Phishing URL Detection

1. O Problema

A detecção de sites de phishing (golpes online) continua sendo uma ameaça pervasiva e custosa. As abordagens tradicionais enfrentam limitações significativas:

• Métodos Heurísticos e Baseados em Listas: Dependem de listas negras estáticas ou regras manuais. Eles falham rapidamente quando os atacantes registram novos domínios, ofuscam conteúdo ou mudam de infraestrutura, pois não conseguem se adaptar a ataques não vistos anteriormente.
• Abordagens Baseadas em Aprendizado de Máquina (ML): Embora utilizem sinais multimodais (URL, HTML, capturas de tela), exigem engenharia de características intensiva e retreinamento constante para acompanhar novas táticas.
• Agentes LLM Atuais: Sistemas recentes que utilizam Grandes Modelos de Linguagem (LLMs) geralmente operam em pipelines determinísticos e baseados apenas em prompts (instruções únicas). Eles subutilizam a capacidade de raciocínio, não adaptam a coleta de evidências dinamicamente e carecem de memória para aprender com investigações passadas, limitando sua eficácia em padrões recorrentes ou casos complexos.

O objetivo é criar um sistema que possa operar em ambientes reais (onde o conteúdo das páginas é não-estacionário e interativo), coletar evidências de forma adaptativa e aprender com experiências anteriores para melhorar a precisão e a eficiência.

---

2. Metodologia: MemoPhishAgent (MPA)

O MemoPhishAgent (MPA) é o primeiro agente baseado em LLM multimodal especializado na detecção de URLs de phishing. Ele combina raciocínio multimodal com um sistema de memória episódica.

Arquitetura Geral

O agente opera em um ciclo ReAct (Reasoning + Acting), onde observa as saídas das ferramentas, raciocina sobre elas e decide a próxima ação até chegar a um veredito final ("malicioso" ou "benigno").

Componentes Principais:

1. Ferramentas Especializadas Multimodais (5 Ferramentas):
   Diferente de sistemas que usam ferramentas genéricas, o MPA possui um conjunto de ferramentas desenhadas especificamente para phishing:

   • Crawl Content: Busca a página e converte o HTML bruto e ruidoso em uma representação em Markdown, facilitando a análise semântica pelo LLM.
   • Check Screenshot: Analisa uma captura de tela completa da página para identificar sinais visuais suspeitos.
   • Check Image: Realiza inspeção visual granular em elementos gráficos específicos quando a visão geral é inconclusiva.
   • Intelligent Search: Permite que o agente crie consultas de pesquisa baseadas em evidências (ex: "este domínio é legítimo?") para corroborar informações com fontes externas.
   • Extract Targets: Identifica links embutidos, redirecionamentos e URLs filhas para investigar camadas mais profundas do ataque (ataques aninhados).

2. Sistema de Memória Episódica:
   Inspirado em sistemas de memória de LLMs, este módulo armazena e recupera trajetórias de raciocínio passadas.

   • Construção: Para cada URL processada, o sistema extrai palavras-chave compactas (usando o LLM) que capturam a semântica central (ex: "login apple", "fatura pdf"). Essas palavras-chave são usadas como índice em um banco de dados vetorial, armazenando a sequência de chamadas de ferramentas e o veredito final.
   • Recuperação e Estratégia de Julgamento: Ao analisar uma nova URL, o agente busca casos semelhantes na memória:
     • Sem correspondência: Executa o ciclo ReAct completo do zero.
     • Correspondência Parcial: Usa casos passados como exemplos in-context para guiar a seleção de ferramentas, evitando passos desnecessários.
     • Correspondência Total: Se houver muitos casos idênticos, o agente pode usar votação majoritária dos vereditos passados para uma decisão rápida.

3. Orquestração Dinâmica:
   O agente não segue um fluxo fixo. Ele decide quais ferramentas chamar e em que ordem com base no estado atual das evidências e nas lições aprendidas da memória episódica.

---

3. Contribuições Chave

1. Primeiro Agente Especializado: Introdução de um framework baseado em agentes para detecção de phishing que seleciona dinamicamente ferramentas multimodais, superando a rigidez de workflows pré-definidos.
2. Memória Episódica Eficiente: Proposição de um sistema de memória que transforma investigações passadas em experiência reutilizável, acelerando decisões em padrões recorrentes e fornecendo exemplos direcionados para casos difíceis, sem sobrecarga computacional significativa.
3. Validação em Cenários Reais: Demonstração de superioridade sobre o estado da arte (SOTA) não apenas em benchmarks estáticos, mas em um conjunto de dados do mundo real (SocPhish) coletado ativamente de redes sociais, além de um deploy em produção.

---

4. Resultados e Avaliação

Desempenho em Benchmarks (TR-OP e DynaPD)

• O MPA superou quatro linhas de base de ponta (SOTA), incluindo PhishLLM, PhishIntention, MLLM e URLTran.
• Melhoria de Recall: Aumentou o recall em 13,6% em relação aos melhores baselines nos conjuntos de dados públicos.
• Eficiência: Foi o método mais rápido, processando URLs em média 4,46 segundos, superando significativamente outras abordagens baseadas em LLM (que levavam de 8s a 22s).

Desempenho em Cenário Real (SocPhish)

• Um conjunto de dados novo, coletado de 5 plataformas de mídia social, contendo 2.765 URLs (516 maliciosas).
• O MPA alcançou 91,44% de recall e 90,34% de F1-score.
• Superou o PhishLLM em aproximadamente 20% no recall e 40% no F1-score neste cenário real, onde URLs curtas e caminhos hospedados em plataformas tornam a detecção baseada apenas em padrões de URL ineficaz.

Estudos de Ablação e Sensibilidade

• Necessidade das Ferramentas: A remoção de qualquer uma das 5 ferramentas degradou o desempenho. A remoção de "Check Screenshot" ou "Extract Targets" causou as maiores quedas de precisão, enquanto a remoção de "Crawl Content" ou "Intelligent Search" reduziu o recall em ~20%.
• Impacto da Memória: A habilitação da memória episódica foi responsável por até 27% de ganho no recall. Sem memória, o sistema teve o recall mais baixo (63,69%), embora fosse ligeiramente mais rápido.
• Robustez: O sistema demonstrou robustez contra ataques de injeção de prompt (onde o atacante tenta manipular a imagem para parecer benigno), mantendo um recall alto (0,88) comparado a modelos que caíram drasticamente (0,52).

Implantação em Produção

• O MPA foi implantado na Amazon, processando cerca de 60.000 URLs de alto risco por semana.
• Alcançou um recall de 91,44% em produção, fornecendo proteção proativa para milhões de clientes.

---

5. Significância e Conclusão

O MemoPhishAgent representa um avanço significativo na defesa cibernética contra phishing. Ao combinar:

1. Raciocínio Multimodal Adaptativo: Coleta de evidências que se ajusta à incerteza do momento.
2. Memória Episódica: Aprendizado contínuo e reutilização de experiências passadas.

O sistema supera as limitações de métodos estáticos e pipelines determinísticos. A pesquisa demonstra que a combinação de raciocínio multimodal com memória permite uma detecção robusta em ambientes de exposição do usuário real, onde as táticas de ataque evoluem rapidamente. A disponibilidade do código e a implantação bem-sucedida na indústria validam a viabilidade prática dessa abordagem.