Resumo Técnico: Nublando o Espelho

Declaração do Problema

Os ataques de phishing estão escalando em volume e sofisticação, com totais trimestrais recentes excedendo 1,1 milhão de incidentes. Embora os Grandes Modelos de Linguagem (LLMs) tenham emergido como ferramentas promissoras para detectar sites de phishing através da análise holística de URLs, HTML e conteúdo renderizado, eles introduzem uma nova vulnerabilidade crítica: a Injeção de Prompt (PI - Prompt Injection).

O problema central abordado é a "assimetria perceptual" entre usuários humanos e LLMs. Atacantes, que possuem controle total sobre os componentes do site de phishing (URLs, HTML, scripts, imagens), podem embutir instruções maliciosas que são imperceptíveis para visitantes humanos, mas totalmente processáveis pelo LLM. Essas instruções ocultas podem manipular o julgamento do LLograma para classificar erroneamente sites de phishing como legítimos, interromper o pipeline de detecção ou esgotar os recursos do sistema. Apesar da prevalência de PI em IA conversacional, seus riscos específicos e estratégias de mitigação no contexto da detecção automatizada de phishing permanecem amplamente inexplorados.

Metodologia

O estudo emprega um framework de avaliação sistemática compreendendo uma nova taxonomia, testes empíricos e validação de defesa.

1. Taxonomia Bidimensional

Os autores introduzem uma taxonomia para categorizar estratégias de PI na detecção de phishing, definida por dois eixos:

• Técnicas de Ataque:
  • Principais Técnicas: Pretextualização Legítima (alegar fins educacionais/de pesquisa), Sequestro de Papel (atribuir novas personas ao LLM), Gatilho de Política de Segurança (forçar recusa via filtros de segurança), Sequestro de Ferramenta/Função (corromper formatos de saída) e Inundação de Conteúdo/Distração (induzir DoS ou exaustão de tokens).
  • Técnicas Auxiliares: Codificação de Sigilo (ocultação visual) e Confusão de Limite de Parser (explorar ambiguidades de parsing de tags).
• Superfícies de Ataque: Os locais específicos onde as injeções são embutidas, incluindo Metadados HTML (título, meta tags), Scripts e Comentários, Conteúdo HTML Visível, Conteúdo HTML Invisível (oculto via CSS), Recursos Incorporados (imagens/SVGs) e Estruturas de URL.

2. Configuração Experimental

• Dataset: Um dataset controlado de 2.000 arquivos HTML foi construído, mimetizando páginas de login das 10 principais marcas visadas (ex: Amazon, Google, Microsoft). Cada arquivo incorporou diversas mensagens de PI através de oito locais de inserção distintos.
• Modelos Avaliados: Quatro LLMs com diferentes arquiteturas e níveis de desempenho foram testados: OpenAI GPT-5, xAI Grok 4 Fast, Meta Llama 4 Maverick e Google Gemma 3 27B.
• Modos de Detecção:
  • Standard (Padrão): Consulta simples ("Isso é um site de phishing?").
  • Advanced (Avançado): Prompts estruturados com procedimentos de análise detalhados.
  • InjectDefuser: O framework de defesa proposto.

3. Framework de Defesa: InjectDefuser

Os autores propõem o InjectDefuser, um mecanismo de defesa em camadas composto por:

• Hardening de Prompt: Implementação de limites de contexto baseados em UUID únicos para separar instruções de sistema confiáveis de dados externos não confiáveis, e o uso de meta-instruções para proibir explicitamente a execução de diretivas encontras em regiões não confiáveis.
• Allowlist RAG (Geração Aumentada por Recuperação): Um sistema que extrai nomes de marcas do site alvo, recupera uma lista de domínios legítimos de um banco de dados vetorial e aumenta o prompt com este contexto verificado para fundamentar a tomada de decisão do LLM.
• Validação de Saída: Verificação estrita da resposta do LLM contra esquemas JSON predefinidos, checando sintaxe, campos obrigatórios e tipos de dados para detectar manipulação de formato.

Principais Resultados

Vulnerabilidade de Modelos de Ponta

Mesmo os modelos mais avançados permanecem altamente suscetíveis a PI sem defesas específicas:

• GPT-5: No modo "Standard", a Taxa de Sucesso de Ataque (ASR) foi de 39,9%. Mesmo no modo "Advanced", permaneceu vulnerável a técnicas específicas (10,1% ASR).
• Outros Modelos: O Llama 4 mostrou um ASR de 84,7% no modo Standard, enquanto o Grok 4 Fast e o Gemma 3 mostraram taxas de 65,1% e 64,7%, respectivamente.
• Eficácia da Técnica: A "Pretextualização Legítima" foi a técnica mais eficaz, alcançando ASRs de até 99,8% em certos modelos. O "Sequestro de Papel" e o "Gatilho de Política de Segurança" também demonstraram altas taxas de sucesso dependendo do modelo.

Eficácia do InjectDefuser

O framework de defesa proposto reduziu significativamente as taxas de sucesso de ataque em todos os modelos:

• GPT-5: ASR caiu de 39,9% para 0,3% (5/2000 falhas).
• Grok 4 Fast: ASR reduzido de 65,1% para 26,1%.
• Llama 4: ASR reduzido de 84,7% para 61,7%.
• Gemma 3: ASR reduzido de 64,7% para 36,7%.

A defesa foi particularmente eficaz contra "Pretextualização Legítima" e "Sequestro de Papel", reduzindo o ASR do GPT-5 para essas técnicas para quase zero. No entanto, a "Inundação de Conteúdo" continuou sendo um desafio, com um ASR residual de 1,0% no GPT-5, indicando que ataques de exaustão de recursos são mais difíceis de mitigar totalmente.

Avaliação de URL e Sistemas Existentes

• PI Baseada em URL: O InjectDefuser alcançou 0,0% de ASR no GPT-5 para injeções baseadas em URL, neutralizando completamente tentativas que anteriormente alcançavam 20,0% de sucesso.
• Pipelines Existentes: Quando aplicado a sistemas de detecção baseados em LLM existentes (PhishLLM, KnowPhish, PhishAgent), os ataques de PI tiveram sucesso em 2,5% a 25,0% dos casos, demonstrando que falhas parciais de componentes podem comprometer todo o pipeline de detecção.

Significância e Alegações

O artigo afirma fornecer a primeira avaliação abrangente de ataques de injeção de prompt especificamente direcionados à detecção de phishing baseada em LLM multimodal. Suas principais contribuições são:

1. Taxonomia: Estabelece uma compreensão sistemática de como a "assimetria perceptual" pode ser explorada, categorizando ataques por técnica e superfície.
2. Evidência Empírica: Demonstra que os modelos de ponta atuais, incluindo o GPT-5, não são inerentemente robustos contra PI em contextos de phishing, desafiando a suposição de que capacidades de raciocínio avançado equivalem a segurança.
3. Defesa Prática: Introduz o InjectDefuser, um framework de defesa prático e agnóstico ao sistema que combina engenharia de prompt, RAG e validação de saída. Os autores mostram que esta abordagem melhora significativamente a confiabilidade sem exigir o retreinamento do modelo.

Os autores concluem que, embora a PI represente uma ameaça concreta à implantação de contramedidas de detecção de próxima geração, as estratégias de defesa propostas oferecem um caminho viável para sistemas de detecção robustos e confiáveis. Eles observam que, embora seus achados sugiram que esses ataques ainda não foram amplamente implantados no mundo real, a viabilidade e o baixo custo de tais ataques tornam necessárias medidas defensivas imediatas.