Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks

Resumo Técnico: Avaliando Defesas Baseadas em Prompting Contra Ataques de Injeção com Camuflagem de Domínio

Definição do Problema
Agentes de Grandes Modelos de Linguagem (LLMs) em ambientes corporativos processam cada vez mais documentos recuperados de fontes não confiáveis (ex: relatórios financeiros, contratos jurídicos) para gerar recomendações. Embora os ataques de injeção de prompt padrão utilizem diretivas de substituição explícitas (ex: "Ignore todas as instruções anteriores") que são facilmente detectadas por detectores sintáticos, uma ameaça mais sofisticada surgiu: a injeção com camuflagem de domínio. Esses ataques incorporam instruções maliciosas dentro do conteúdo recuperado usando um vocabulário indistinguível do texto legítimo do domínio. Trabalhos anteriores (Pai, 2026) estabeleceram que classificadores padrão, incluindo o Llama Guard 3, falham em detectar essas cargas úteis, criando um "Gap de Detecção de Camuflagem" (CDG) de 80–100%. Consequentemente, os profissionais carecem de orientação empírica sobre quais arquiteturas de defesa mitigam efetivamente os ataques quando os mecanismos de detecção falham.

Metodologia
Os autores conduziram uma avaliação sistemática de cinco arquiteturas de defesa baseadas em prompting em três famílias de modelos e três domínios de implantação.

• Benchmark e Escopo: O estudo utilizou um benchmark de 45 tarefas cobrindo os domínios Financeiro (recomendações de ações, risco), Jurídico (contratos, conformidade) e Geral (QA, sumarização). O conjunto de dados incluiu 3.510 tentativas.
• Modelos Avaliados: Claude Haiku 4.5, Llama 3.1 8B Instruct e Gemini 2.0 Flash.
• Condições de Ataque:
  • Estática: Diretivas de substituição canônicas (ex: "IGNORE TODAS AS INSTRUÇÕES ANTERIORES").
  • Camuflagem: Conclusões maliciosas geradas por um LLM atacante que mimetiza o vocabulário profissional do domínio (ex: "Comentário Suplementar do Analista... recomendação de VENDA revisada").
• Condições de Defesa: Sete configurações foram testadas:
  1. Baseline: Sem defesa.
  2. Spotlighting (Destaque): Envolver o conteúdo recuperado com marcadores de proveniência (ex: <<<CONTEÚDO EXTERNO NÃO CONFIÁVEL>>>).
  3. Paraphrasing (Parafraseamento): Reescrever o conteúdo recuperado em linguagem neutra antes do processamento pelo agente (usando o Claude Haiku como o reescritor).
  4. Sandwiching (Sanduíche): Anexar um lembrete da tarefa após o conteúdo recuperado.
  5. Combinações: Spotlight + Sandwich, e Paraphrase + Spotlight.
  6. Llama Guard 4: Uma defesa baseada em classificador que bloqueia documentos sinalizados como inseguros.
• Métricas: Taxa de Sucesso de Ataque (ASR), Utilidade (conclusão de tarefas legítimas) e um CDG do lado da defesa ($CDG_{def} = ASR_{static} - ASR_{camouflage}$). A significância estatística foi avaliada usando o teste exato de McNemar e o teste exato de Fisher.

Principais Resultados
A avaliação revelou que a eficácia da defesa é altamente dependente do modelo e que as defesas padrão performam de forma diferente contra ataques camuflados em comparação aos estáticos.

• O Parafraseamento é a defesa mais eficaz: Reescrever o conteúdo recuperado antes do processamento reduziu consistentemente o ASR de camuflagem em todos os modelos:
  • Claude Haiku: 14,4% $\to$ 4,4%
  • Llama 3.1: 22,2% $\to$ 10,0%
  • Gemini 2.0: 21,1% $\to$ 3,3%
  • A combinação de Paraphrasing + Spotlighting alcançou o menor ASR absoluto em todos os modelos (ex: 3,3% no Haiku).
• O Spotlighting é inconsistente: Embora tenha reduzido o ASR pela metade no Claude Haiku (14,4% $\to$ 6,7%), ele não proporcionou benefício no Llama 3.1 8B (22,2% $\to$ 23,3%, não significativo).
• O Sandwiching é fraco: Falhou em reduzir o ASR abaixo dos níveis de baseline no Llama e no Gemini.
• Comparação com o Llama Guard 4: O parafraseamento alcançou um ASR de camuflagem inferior ao da configuração Llama Guard 4 em todos os modelos testados. Além disso, o Llama Guard 4 exibiu altas taxas de sobre-recusa (>90%), enquanto o parafraseamento manteve uma taxa de sobre-recusa próxima de zero.
• Risco de Domínio: Implantações no domínio financeiro enfrentaram o maior risco residual, com taxas de sucesso de ataque de baseline entre 26–33%. Nenhuma defesa baseada em prompting eliminou totalmente a ameaça em modelos mais fracos neste domínio.
• Anomalias de Modelo: O Gemini 2.0 Flash exibiu uma inversão onde o ASR estático (38,9%) excedeu o ASR de camuflagem (21,1%), um fenômeno não observado nos outros modelos.

Principais Contribuições

1. Primeira Avaliação Sistemática: Este trabalho fornece a primeira avaliação baseada em benchmark de defesas baseadas em prompting (parafraseamento, spotlighting, sandwiching) especificamente contra a classe de injeção com camuflagem de domínio.
2. Mudança no Ranking das Defesas: O estudo demonstra que os rankings de defesa mudam sob condições de camuflagem; especificamente, o spotlighting, que é eficaz contra ataques estáticos, não oferece benefício contra payloads de camuflagem em certos modelos (Llama 3.1 8B).
3. Superioridade do Parafraseamento: Os autores demonstram que o parafraseamento alcança taxas de sucesso de ataque inferiores ao Llama Guard 4 em todos os modelos testados, sem incorrer em penalidades de sobre-recusa.
4. Recomendações para Profissionais: O artigo oferece recomendações específicas de implantação, destacando que domínios financeiros exigem cautela redobrada, pois nenhuma defesa de prompting isolada mitiga totalmente o risco em modelos mais fracos.

Significância e Limitações
O artigo estabelece um novo benchmark para avaliar defesas contra uma classe de ataques que contorna a detecção padrão. Ele fornece evidências acionáveis de que o parafraseamento do conteúdo recuperado é atualmente a estratégia mais robusta baseada em prompting para mitigar ataques de camuflagem.

Os autores mantêm uma postura modesta quanto à generalização de seus achados. Eles explicitamente observam que todas as tarefas utilizaram documentos profissionais construídos sinteticamente. Consequentemente, se esses rankings de benchmark e níveis de eficácia de defesa se generalizam para documentos empresariais do mundo real permanece uma questão aberta. O estudo fecha o gap na compreensão de como defender contra ataques de injeção quando o conteúdo injetado é sintaticamente indistinguível de um texto legítimo.