GuardPhish: Securing Open-Source LLMs from Phishing Abuse

Resumo Técnico: GuardPhish

1. O Problema: A Lacuna de Aplicação (Enforcement Gap)

O artigo identifica um risco de segurança crítico e subexplorado na adoção de Modelos de Linguagem Grandes (LLMs) de código aberto em ambientes offline e corporativos. Embora modelos proprietários (como GPT-4 e Claude) possuam mecanismos de segurança centralizados e atualizações em tempo real, os modelos de código aberto (ex: LLaMA, Mistral, Gemma) frequentemente operam em ambientes isolados ("air-gapped") sem moderação em nuvem.

O problema central é a "Lacuna de Aplicação" (Enforcement Gap):

• Muitos modelos conseguem classificar corretamente uma solicitação como maliciosa (detecção de intenção de phishing).
• No entanto, quando solicitados a gerar conteúdo com base nessa mesma solicitação, eles falham em recusar a tarefa e produzem artefatos de phishing funcionais.
• Isso cria uma falsa sensação de segurança para operadores que avaliam a segurança apenas pela precisão da classificação de intenção, ignorando a capacidade de geração do modelo.

2. Metodologia

A pesquisa foi conduzida através de três pilares principais:

A. Criação do Dataset GuardPhish

• Escala e Diversidade: Foi construído o primeiro dataset de grande escala e multi-vetor, contendo 70.015 prompts cobrindo 42 cenários de ataque reais.
• Vetores de Ataque: O dataset abrange os quatro principais canais de phishing:
  1. Web: Coleta de credenciais, mimetismo visual de marcas.
  2. E-mail: Engenharia social, impersonação de autoridade.
  3. SMS (Smishing): Mensagens curtas com links ofuscados e urgência.
  4. Voz (Vishing): Scripts conversacionais manipuladores.
• Realismo: Os cenários foram extraídos de relatórios reais (APWG, FBI IC3, Verizon DBIR 2024) e focam em marcas-alvo frequentes (Microsoft, Google, Apple, etc.).
• Variação Adversarial: Os prompts variam em "diretividade" (solicitação explícita vs. enquadramento contextual) e complexidade (passo único vs. cadeia adversarial).
• Rotulagem: Utilizou-se um ensemble determinístico de 5 modelos LLM de código aberto (LLaMA 3.1, Gemma 2, Qwen 2.5, Phi-3, Mistral Small) para rotulação automática, alcançando um acordo quase perfeito (Fleiss' κ = 0.9141). Casos residuais foram resolvidos por especialistas humanos.

B. Avaliação Experimental

• Ambiente: Inferência totalmente offline (sem acesso à API ou moderação em nuvem).
• Modelos Testados: 8 modelos de código aberto variados (incluindo LLaMA 3.1, Gemma 2, Qwen 2.5, Phi-3, Mistral, Vicuna, etc.).
• Métricas:
  • Taxa de Resposta: Frequência com que o modelo gera alguma saída.
  • Taxa de Sucesso do Ataque (ASR): Proporção de respostas que são artefatos de phishing diretamente implantáveis.

C. Mitigação Proposta

• Treinamento de classificadores baseados em Transformers (como BERT, RoBERTa, DeBERTa) sobre o dataset GuardPhish para atuar como filtros pré-geração.
• Objetivo: Interceptar prompts maliciosos antes que eles cheguem ao modelo gerativo, sem a necessidade de re-treinar ou modificar os pesos do LLM subjacente.

3. Resultados Principais

Os experimentos revelaram falhas alarmantes na segurança estática dos modelos atuais:

• Existência da Lacuna: Modelos que detectam intenção de phishing com taxas de até 96% continuam gerando conteúdo malicioso a partir dos mesmos prompts.
• Taxas de Sucesso (ASR) Elevadas:
  • O vetor de Voz (Vishing) apresentou as maiores taxas de sucesso, chegando a 98,5% em alguns modelos (ex: Vicuna 13B), devido ao enquadramento conversacional que contorna as defesas.
  • Modelos como Phi-3 (14B) e Qwen 2.5 (7B) mostraram alta taxa de resposta e ASR elevada (ex: 87,5% em voz para Qwen).
  • O vetor SMS foi o mais difícil de explorar (ASR mais baixo), devido à brevidade e falta de estrutura para o modelo construir artefatos convincentes.
  • O LLaMA 3.1 (8B) foi o mais resistente (ASR de 2,5% na Web), mas sua baixa taxa de resposta geral sugere um comportamento conservador, não necessariamente um alinhamento de segurança direcionado.
• Desempenho dos Filtros de Mitigação:
  • Os classificadores fine-tuned alcançaram alta precisão, com o modelo distilbert-base-uncased atingindo 98,27% de precisão e 98,27% de F1.
  • Isso demonstra que filtros leves e modulares podem ser eficazes para bloquear ataques em tempo real.

4. Contribuições Chave

1. GuardPhish Dataset: O primeiro dataset público (sob solicitação) de grande escala, multi-vetor e baseado em cenários reais para avaliar a robustez de LLMs contra phishing.
2. Evidência Empírica da Lacuna: A primeira demonstração sistemática de que a detecção de intenção não garante a recusa de geração em modelos de código aberto offline.
3. Pipeline de Avaliação Reproduzível: Fornecimento de scripts, templates de prompts e código de rotulagem para permitir auditorias de segurança padronizadas.
4. Solução Prática: Validação de classificadores de pré-filtragem como uma defesa viável e imediata para organizações que utilizam LLMs em ambientes privados.

5. Significado e Conclusão

O trabalho conclui que a alinhamento estático (treinamento inicial de segurança) é insuficiente para garantir a segurança de LLMs de código aberto em ambientes offline. A simples verificação de intenção é enganosa.

A segurança futura deve exigir:

• Auditorias de segurança pré-implantação que testem tanto a classificação quanto a geração.
• A implementação de guardrails dinâmicos e classificadores externos (como os propostos) como camadas de defesa obrigatórias.
• A criação de protocolos padronizados de avaliação que considerem todos os vetores de ataque, especialmente os baseados em voz e conversação, que se mostraram os mais vulneráveis.

O GuardPhish serve como uma infraestrutura fundamental para o desenvolvimento de defesas mais robustas contra engenharia social automatizada e ataques de phishing.