Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents

Com base no texto fornecido, aqui está um resumo técnico detalhado do artigo "Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents."

Problema

O artigo aborda a vulnerabilidade de agentes de Grandes Modelos de Linguagem (LLMs) que utilizam ferramentas contra a injeção de prompt indireta. Diferente de chatbots padrão, onde uma injeção resulta em texto malicioso, agentes com acesso a ferramentas (ex: consultas a bancos de dados, chamadas de API, pagamentos) enfrentam um problema de autorização: um atacante pode plantar instruções em dados não confiáveis (e-mails, páginas da web, PDFs) que o agente executa como ações legítimas.

Os autores argumentam que a primeira geração de defesas (in-band), que dependem de treinar modelos para reconhecer e recusar textos maliciosos ou usar classificadores de guardrail, falhou contra atacantes adaptativos. Pesquisas de Nasr et al. e outros demonstraram que benchmarks estáticos são insuficientes; quando os atacantes otimizam especificamente contra uma defesa, as defesas in-band anteriormente "seguras" sofrem taxas de sucesso de ataque (ASV) superiores a 90%.

Consequentemente, o campo mudou para defesas out-of-band (segunda geração), que movem a aplicação da política para fora do modelo usando monitores de política determinísticos (ex: CaMeL, FIDES, Progent, FORGE). No entanto, essas novas defesas são atualmente avaliadas usando a mesma metodologia falha: benchmarks estáticos com conjuntos de ataques fixos. O artigo postula que, sem testar contra atacantes adaptativos e conscientes da defesa, a confiança nesses sistemas é prematura.

Metodologia e Estrutura

O artigo emprega uma abordagem de duas frentes: uma sistematização teórica das defesas existentes e uma avaliação adaptativa empírica.

1. Sistematização Teórica (Seções 2–6)
Os autores organizam as defesas out-of-band através de primitivas clássicas de segurança computacional, argumentando que esses sistemas modernos são instâncias de conceitos estabelecidos na década de 1970:

• Integridade Biba: Aplicar regras de "no write up" (não escrever para cima), onde um sujeito que lê dados de baixa integridade (não confiáveis) não pode autorizar ações de alta integridade.
• Monitores de Referência: Uma camada determinística que media cada acesso, deve ser à prova de violação e aplicar mediação completa.
• Princípios Saltzer–Schroeder: Aplicação de privilégio mínimo e padrões de falha segura (fail-safe defaults).
• Capacidades e Controle de Fluxo de Informação (IFC): Uso de tokens não forjáveis e rastreamento de contaminação (taint tracking) para propagar rótulos de integridade.

Os autores comparam os principais sistemas (Dual-LLM, CaMeL, FIDES, Progent, RTBAS, FORGE) em oito dimensões, incluindo primitiva de aplicação, determinismo, localização do monitor e cobertura de integridade vs. confidencialidade. Eles observam que, embora esses sistemas bloqueiem efetivamente as ações, muitos têm dificuldade com fluxos implícitos (canais laterais) e confidencialidade.

2. Protocolo de Avaliação Adaptativa (Seções 10–11)
O artigo define um protocolo para avaliação adaptativa para substituir os benchmarks estáticos. O protocolo exige:

• Alvos: Defesas de nível de ação de código aberto e reproduzíveis (especificamente o Progent).
• Modelo de Atacante: Um atacante adaptativo e consciente da defesa que conhece a política e pode otimizar strings adversariais, falsificar procedência e sondar canais laterais.
• Métricas: Valor de Sucesso de Ataque (ASV) em nível de ação, Taxa de Falso Negativo (FNR), retenção de utilidade e overhead do monitor.

3. Execução Empírica
Os autores executaram este protocolo contra o Progent, uma defesa out-of-band de código aberto, no benchmark AgentDojo.

• Configuração: Eles utilizaram um agente de pesos abertos (Qwen2.5-7B) auto-hospedado em uma única GPU H200, uma configuração não testada no artigo original do Progent.
• Estratégia de Ataque: Utilizaram um ataque adaptativo construído manualmente e estenderam a própria análise de ataque adaptativo do Progent a partir de seu Apêndice E.
• Comparação: Compararam os resultados com o desempenho do benchmark estático do Progent.

Principais Contribuições

1. Comparação Estruturada: O artigo fornece o primeiro framework unificado comparando defesas out-of-band usando primitivas de segurança clássicas (Biba, Monitores de Referência, IFC), esclarecendo o que cada sistema cobre e onde compartilham limitações estruturais (ex: canais laterais).
2. Identificação de uma Lacuna de Avaliação: Os autores destacam que o campo carece de uma avaliação adaptativa independente e padronizada para defesas de nível de ação, alertando que a comunidade está repetindo os erros de avaliação cometidos com as defesas in-band.
3. Especificação de Protocolo: Eles definem um protocolo concreto para avaliação adaptativa que pode ser aplicado a qualquer defesa de nível de ação.
4. Reprodução Empírica: Realizaram uma reprodução independente e extensão da análise adaptativa do Progent, testando-a em um modelo de pesos abertos mais fraco (Qwen2.5-7B) em vez dos modelos proprietários usados no estudo original.

Resultados

A avaliação empírica gerou os seguintes resultados:

• Linha de Base Estática: O Progent reduziu o sucesso médio de ataque no AgentDojo de 25,8% (sem defesa) para 4,2% na configuração dos autores.
• Ataque Adaptativo: Quando submetido a um ataque adaptativo construído manualmente, a defesa se manteve. A taxa de sucesso do ataque não aumentou; permaneceu baixa em 2,6%.
• Comparação com o Original: Este resultado é consistente com os achados originais do Progent (que reportaram uma queda de 39,9% para 1,0% no AgentDojo), sugerindo que a defesa é robusta contra este vetor de ataque adaptativo específico neste modelo específico.

Limitações dos Resultados:
Os autores declaram explicitamente que estes resultados são um "pequeno ponto de dados". A avaliação utilizou:

• Um único modelo de pesos abertos mais fraco (Qwen2.5-7B).
• Um único template de ataque black-box.
• Um ataque adaptativo construído manualmente em vez de um ataque white-box totalmente otimizado (ex: GCG).
• O artigo observa que um ataque white-box mais forte e otimizado permanece uma questão em aberto.

Significância e Alegações

O artigo faz uma alegação modesta, mas crítica: A aplicação determinística out-of-band parece ser um alvo mais difícil para atacantes adaptativos do que a detecção in-band, mas esta hipótese ainda não foi estabelecida.

• Consistência, Não Prova: Os resultados são consistentes com a hipótese de que mover a aplicação para fora do modelo melhora a segurança, mas o artigo não afirma ter provado a robustez absoluta desses sistemas.
• O "Desconhecido": A principal significância é a identificação da lacuna de avaliação. O campo está atualmente "confiante" com base em benchmarks estáticos, um estado que os autores argumentam ser perigoso, dado o histórico das defesas in-band.
• Desafios Remanescentes: Mesmo que as defesas resistam a ataques adaptativos, o artigo identifica questões não resolvidas:
  • Procedência: A base de confiança depende da atribuição correta da procedência aos inputs do usuário, o que é frequentemente subespecificado.
  • Tarefas In-the-Loop: Tarefas que exigem que o modelo aja sobre conteúdo não confiável (ex: "leia este e-mail e adicione ao calendário") continuam sendo difíceis de proteger sem reintroduzir o julgamento humano ou causar fadiga de aprovação.
  • Canais Laterais: Monitores determinísticos ainda podem ser vulneráveis a fluxos implícitos e canais de tempo (timing channels).
  • Danos Texto-para-Texto: Estas defesas protegem ações, mas não impedem injeções que resultam em resumos de texto enganosos ou instruções para o usuário.

Em conclusão, o artigo argumenta que, embora as defesas out-of-band representem uma mudança arquitetônica necessária, a comunidade deve transitar de benchmarking estático para uma avaliação adaptativa rigorosa para validar sua verdadeira postura de segurança.