The System Prompt Is the Attack Surface: How LLM Agent Configuration Shapes Security and Creates Exploitable Vulnerabilities

Título: O Prompt do Sistema é a Superfície de Ataque: Como a Configuração de Agentes LLM Molda a Segurança e Cria Vulnerabilidades Exploráveis

1. Problema e Motivação

Os assistentes de e-mail baseados em Grandes Modelos de Linguagem (LLMs) estão sendo integrados em fluxos de trabalho empresariais para agir autonomamente (ler, resumir, responder e bloquear mensagens). Quando um agente LLM encontra um e-mail de phishing, ele toma uma decisão binária de segurança (permitir ou bloquear).

• O Desafio: A segurança desses sistemas é frequentemente assumida como uma função intrínseca do modelo (arquitetura, dados de treino). No entanto, não há estudos sistemáticos sobre como a configuração do prompt do sistema (as instruções que definem a persona e os critérios de decisão do agente) afeta a capacidade de detecção.
• A Hipótese: O prompt do sistema não é apenas um detalhe de implantação, mas uma variável de segurança de primeira ordem. Uma configuração inadequada pode transformar um modelo capaz em um sistema cego a ataques.

2. Metodologia: O Benchmark PhishNChips

Os autores introduzem o PhishNChips, um benchmark de larga escala projetado para mapear a interação entre escolha do modelo e configuração do prompt.

• Escala: 220.000 avaliações estruturadas.
• Modelos: 11 modelos de ponta de 5 provedores (Google, OpenAI, Anthropic, Meta, Mistral, DeepSeek, Qwen), incluindo variantes rápidas e econômicas (ex: GPT-4o-mini, Gemini Flash, Claude Haiku).
• Estratégias de Prompt: 10 estratégias diferentes, variando de personas "segurança primeiro" a "eficiência primeiro", além de estratégias otimizadas baseadas em sinais.
• Dataset:
  • 2.000 e-mails sintéticos (1.000 phishing, 1.000 legítimos).
  • Os e-mails de phishing foram gerados por um LLM (Gemini 3 Flash) usando URLs maliciosas reais (PhishTank/OpenPhish) para simular ataques de alta qualidade.
  • Subconjunto Crítico: 73 amostras de Phishing de Infraestrutura, onde o atacante registra um domínio que combina tanto com o remetente quanto com a URL (ex: cfo@evil-corp.com enviando um link para evil-corp.com). Isso testa a robustez contra a inversão de sinais.
• Métricas:
  • Recall: Porcentagem de phishing bloqueado.
  • FPR (False Positive Rate): Porcentagem de e-mails legítimos bloqueados erroneamente.
  • Safetility: Uma métrica composta proposta pelos autores que penaliza severamente FPRs acima de um limiar operacional (10%), refletindo a viabilidade de implantação real.

3. Contribuições Principais

1. Benchmark de Detecção de Phishing em LLM: O primeiro mapa empírico em larga escala de como a configuração de implantação interage com a escolha do modelo.
2. Interação Prompt × Modelo como Variável de Segurança: Demonstração de que a variação de segurança dentro de um único modelo (devido a diferentes prompts) pode exceder a variação entre modelos diferentes.
3. Otimização Baseada em Sinais e sua Fragilidade: Desenvolvimento de prompts que atingem alto recall (até 93,7%) com baixo FPR, mas que criam uma superfície de ataque específica e explorável.
4. Métrica Safetility: Introdução de uma métrica que expõe configurações que parecem boas em recall isolado, mas são inoperáveis devido a altos custos de falsos positivos.
5. Evidência de Teto para Defesa Apenas via Prompt: Validação de que, contra ataques de infraestrutura sofisticados, a defesa puramente baseada em texto/prompt atinge um limite, exigindo ferramentas externas.

4. Resultados Chave

A. O Prompt Define a Postura de Segurança

• A taxa de bypass de phishing de um único modelo variou de <1% a 97% dependendo apenas do prompt do sistema.
• Personas focadas em "eficiência" ou "ajuda" aumentaram drasticamente o bypass, enquanto prompts de "segurança" reduziram o bypass, mas aumentaram o FPR (bloqueio de e-mails legítimos).
• O efeito do prompt do sistema foi 35x maior que o efeito do prompt do usuário em experimentos fatoriais.

B. Otimização e o Paradoxo da Especificidade

• Estratégias baseadas em sinais (ex: verificar se o domínio do remetente corresponde ao domínio da URL) melhoraram drasticamente a detecção em modelos com desempenho base fraco (ex: GPT-4o-mini saltou de 32,8% para 93,7% de recall).
• Paradoxo: Em modelos já fortes, instruções muito específicas podem degradar o desempenho (até -19 pontos percentuais), pois o modelo substitui seu raciocínio multifatorial por uma dependência exclusiva do sinal instruído.

C. A Fragilidade Adversarial (O Calcanhar de Aquiles)

• As estratégias otimizadas baseadas em correspondência de domínio são estruturalmente frágeis.
• Ataque de Inversão de Sinal: Quando o atacante satisfaz a heurística privilegiada (registrando um domínio que combina com o remetente e a URL), a eficácia das estratégias otimizadas colapsa.
  • Exemplo: O recall de GPT-4o-mini caiu de 93,7% para 30,1% sob ataque de infraestrutura.
• Análise de Rastros de Resposta: 98% das respostas de bypass citaram explicitamente a "consistência de domínio" como prova de legitimidade. O modelo não falhou em raciocinar; ele executou a instrução corretamente, mas a premissa da instrução foi explorada.

D. Disposição Pré-Implantação (Pre-deployment Disposition)
Os modelos foram categorizados em três tipos de comportamento:

1. Seguidores de Instrução Calibrados (ex: GPT-4o-mini, Gemini 2.5): Executam instruções com precisão. São vulneráveis a prompts mal especificados, mas altamente eficientes com prompts bem definidos.
2. Amplificadores de Segurança (ex: Claude Haiku, Mistral): Amplificam instruções de segurança, transformando permissões em mandatos. Isso gera recall alto, mas FPR catastrófico (até 81% de falsos positivos).
3. Autossuficientes (ex: Qwen 3): Já possuem raciocínio de segurança embutido. Instruções adicionais podem degradar seu desempenho, pois interferem em seu raciocínio nativo.

E. O Teto da Defesa Baseada Apenas em Prompt

• Em validação adversarial com 10 e-mails reais de phishing de infraestrutura, os melhores modelos ainda permitiram a passagem de 70-90% dos ataques.
• Causa: A lacuna é informativa, não instrucional. O LLM não tem acesso a dados de ground truth (idade do domínio, inteligência de ameaças, histórico de reputação) para verificar se um domínio recém-registrado é legítimo.
• Conclusão: A defesa robusta contra phishing de infraestrutura exige augmentação de ferramentas (APIs de WHOIS, sandbox de URL, feeds de inteligência) complementando o raciocínio do prompt.

5. Significado e Implicações

• Segurança de Agentes Autônomos: O prompt do sistema é uma superfície de ataque legível e manipulável. A otimização de prompts para um cenário específico (commodity) cria vulnerabilidades previsíveis para um adversário adaptativo.
• Co-otimização Necessária: Não existe um "melhor modelo" universal. A segurança depende da combinação específica de Modelo + Prompt. Uma estratégia que funciona no GPT-4o-mini pode ser desastrosa no Claude Haiku devido às diferentes "disposições" dos modelos.
• Trade-off Navegável: Existe um trade-off entre recall de phishing comum, taxa de falsos positivos e robustez contra infraestrutura. Não há configuração que maximize os três simultaneamente, mas o espaço de trade-off pode ser navegado com a escolha correta de modelo e prompt.
• Recomendação Prática: Para ambientes corporativos, recomenda-se:
  1. Evitar prompts genéricos de "eficiência".
  2. Usar prompts baseados em sinais para ameaças comuns, mas estar ciente da fragilidade contra domínio-matching.
  3. Implementar camadas de defesa com ferramentas externas para validar a reputação de domínios e URLs, pois o LLM sozinho não consegue distinguir domínios recém-registrados de legítimos apenas pelo texto.

Em suma, o artigo alerta que a confiança cega em prompts de segurança pode criar uma falsa sensação de segurança, e que a verdadeira robustez exige uma abordagem híbrida que combine engenharia de prompts cuidadosa, seleção de modelos adequada e integração com ferramentas de verificação externa.