Resumo Técnico: AutoDojo: Ataques Adaptativos Expõem Defesas Superficiais e Limites de Subespecificação do Usuário em Agentes de LLM

1. Declaração do Problema

A Injeção de Prompt Indireta (IPI) representa uma ameaça de segurança crítica para agentes de Large Language Model (LLM), onde instruções adversárias incorporadas em dados externos não confiáveis (ex: documentos recuperados, saídas de ferramentas) sequestram o fluxo de execução do agente. Embora um corpo crescente de literatura proponha defesas categorizadas em esquemas baseados em prompts, mecanismos de detecção/filtragem e restrições de nível de sistema, a avaliação dessas defesas sofre de uma falha fundamental: a dependência de benchmarks estáticos.

Os benchmarks atuais, como o AgentDojo, utilizam strings de injeção fixas e escritas à mão para gerar uma única Taxa de Sucesso de Ataque (ASR) agregada. Esse paradigma de avaliação estática falha em avaliar a robustez contra adversários adaptativos. As defesas podem alcançar um ASR baixo ao sofrer overfitting em características superficiais de strings de ataque canônicas (ex: palavras de gatilho específicas ou formatação) em vez de identificar robustamente a intenção maliciosa. Consequentemente, a eficácia reportada das defesas pode ser inflada, falhando em refletir cenários do mundo real, onde atacantes adaptam suas estratégias para contornar defesas específicas.

2. Metodologia: O Framework AutoDojo

Para abordar as limitações da avaliação estática, os autores introduzem o AutoDojo, uma extensão adaptativa do benchmark AgentDojo. O AutoDojo é projetado para otimizar qualquer injeção semente contra um agente defendido sob um rigoroso modelo de ameaça de caixa preta (black-box).

Modelo de Ameaça

• Capacidades do Adversário: O atacante não tem acesso aos pesos do modelo, gradientes ou lógica de defesa interna. Eles possuem apenas o mesmo acesso de consulta que um usuário externo: a capacidade de enviar conteúdo candidato e observar um sinal binário de sucesso/falha (se o agente executou o objetivo do atacante).
• Recursos: O ataque é "barato", utilizando um orçamento pequeno de consultas e um LLM de fronteira offline como otimizador, em vez de exigir aprendizado por reforço em larga escala ou acesso de caixa branca (white-box).
• Objetivo: Maximizar o ASR através da refinamento iterativo de uma injeção $x$ dentro de um vetor benigno $v$ para realizar uma tarefa específica $g$ (ex: chamadas de ferramenta não autorizadas).

Ciclo de Otimização

O AutoDojo opera como um processo de busca evolutiva com LLM no loop (LLM-in-the-loop):

1. Inicialização: Um leaderboard de injeções candidatas é semeado com ataques existentes (ex: strings estáticas, TopicAttack, RLHammer).
2. Feedback de Resultado: Os candidatos são implantados contra o agente defendido. O sistema os pontua com base no ASR sobre um conjunto de instâncias de tarefas do usuário, fornecendo um sinal binário de sucesso.
3. Diagnóstico: Um LLM otimizador offline analisa o histórico do leaderboard para hipotetizar por que certos candidatos tiveram sucesso ou falharam e para inferir a natureza da defesa ativa.
4. Geração: Guiado pelo diagnóstico, o otimizador gera um novo candidato de injeção, potencialmente mudando de estratégia (ex: de um parágrafo fluente para um formato de diálogo) se as estratégias atuais estiverem esgotadas.

Este ciclo se repete para um orçamento pequeno e fixo (ex: 6 iterações), retornando a injeção de maior pontuação. O framework suporta a integração de novos ataques como sementes ou descrições de estratégia, permitindo que ele absorva naturalmente os avanços na pesquisa de IPI.

3. Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Framework AutoDojo: Uma ferramenta de avaliação adaptativa de caixa preta eficiente que otimiza ataques semente contra agentes defendidos usando apenas o feedback de ASR, exigindo chamadas de API mínimas e nenhum detalhe interno do modelo.
2. Taxonomia de Especificação de Tarefa: Uma nova categorização de tarefas de usuário baseada na precisão da especificação:
   • Totalmente especificada: A ação e os parâmetros são explicitamente definidos pelo usuário.
   • Parâmetro-aberto (Param-open): A ação é definida, mas os parâmetros são derivados de conteúdo externo.
   • Ação-aberta (Action-open): O usuário delega a própria ação para o conteúdo externo (ex: "faça o que o documento diz").
3. Avaliação Abrangente: Um estudo empírico extenso de nove defesas de última geração através de três suítes de tarefas (Banking, Slack, Travel) e cinco modelos alvo.
4. Lançamento Público: O lançamento do AutoDojo, incluindo o pipeline de otimização, uma biblioteca de injeções pré-otimizadas e rótulos de subespecificação por tarefa.

4. Resultados Experimentais

Descoberta 1: Defesas Estáticas Oferecem Proteção Limitada

O estudo demonstra que defesas que reportam forte proteção contra benchmarks estáticos frequentemente falham sob ataques adaptativos.

• Recuperação de ASR: Contra defesas que reduzem o ASR estático para próximo de zero (ex: PIGuard reduzindo o ASR estático para 0.0% no GPT-4o-mini), o AutoDojo recupera um sucesso de ataque significativo (ex: elevando o ASR para 28.0%).
• Vulnerabilidade de Filtro: Classificadores projetados para fins específicos (ex: DataFilter, ProtectAI) que bloqueiam efetivamente injeções estáticas são contornados pelo AutoDojo, com aumentos de ASR variando de 2x a quase 3x (ex: ASR do DataFilter subindo de 12.6% para 33.4%).
• Custos de Utilidade: Defesas que conseguem suprimir ataques estáticos frequentemente incorrem em altos custos de "utilidade limpa" (degradando o desempenho de tarefas benignas). Por exemplo, PIGuard e ProtectAI reduziram a utilidade limpa em 33–51% entre os modelos, sugerindo que eles filtram agressivamente o conteúdo benigno junto com as instruções maliciosas.
• Otimização vs. Sementes: Os ganhos de desempenho são impulsionados principalmente pelo próprio ciclo de otimização, não meramente pela força das sementes iniciais. O AutoDojo consistentemente supera seus ataques semente (TopicAttack, RLHammer) contra defesas baseadas em filtro.

Descoberta 2: A Subespecificação do Usuário Cria Vulnerabilidades Estruturais

A eficácia da defesa é fortemente dependente da precisão da especificação da tarefa do usuário.

• Tarefas de Ação-Aberta: As taxas de sucesso de ataque são substancialmente maiores em tarefas "ação-abertas" (onde o usuário delega a ação para o conteúdo externo) em comparação com tarefas "totalmente especificadas".
• Falha de Filtro: Para defesas de nível de prompt e de filtro, a lacuna entre tarefas ação-abertas e especificadas é gritante. Por exemplo, no GPT-4o-mini com PIGuard, o ASR estático era 0% para ambos, mas sob o AutoDojo, o ASR para tarefas ação-abertas saltou para 64.3%, enquanto permaneceu em 23.6% para tarefas especificadas.
• Mecanismo: Em tarefas ação-abertas, a injeção pode se mascarar como dados comuns em vez de uma instrução explícita, contornando defesas que dependem da detecção de sintaxe de instrução.
• Resiliência de Nível de Sistema: Defesas de nível de sistema (ex: Progent, DRIFT), que restringem as ações do agente com base em uma trajetória derivada da requisição do usuário, mostram maior robustez. Elas frequentemente eliminam a lacuna entre tipos de tarefas porque bloqueiam qualquer ação não explicitamente autorizada pelo intuito do usuário, independentemente de como a injeção é formulada.

5. Significância e Alegações

O artigo argumenta que o cenário atual de avaliação de defesa de IPI é enganoso. A dependência de benchmarks estáticos escritos à mão sobrestima a robustez de muitas defesas, particularmente aquelas que dependem de filtragem de conteúdo ou engenharia de prompt.

• Robustez Superficial: Um ASR estático baixo certifica apenas que uma defesa funciona contra uma string específica e congelada, ou que o modelo alvo é inerentemente resistente àquela string específica, em vez de indicar segurança genuína.
• Realidade Adaptativa: Mesmo um atacante de caixa preta com poucos recursos (simulado pelo AutoDojo) é suficiente para expor a fragilidade de muitas defesas, recuperando altas taxas de sucesso de ataque onde avaliações estáticas sugerem segurança.
• Limite Estrutural: O artigo identifica uma limitação estrutural em sistemas de agentes: quando usuários subespecificam tarefas (delegando ações para conteúdo externo), as defesas de nível de conteúdo tornam-se insuficientes porque instruções maliciosas podem ser enquadradas como dados benignos. A verdadeira robustez, sugerem os autores, requer vincular as ações do agente ao intuito explícito do usuário (restrições de nível de sistema) em vez de tentar filtrar entradas.

Os autores concluem que as futuras avaliações de defesa devem ir além de pontuações agregadas únicas contra strings fixas para incluir testes adaptativos de caixa preta e decomposição pela precisão da especificação da tarefa. O AutoDojo é lançado para facilitar essa mudança, fornecendo uma ferramenta para avaliação adversária adaptativa e de granularidade fina.