Resumo Técnico: ASPI – Buscar Esclarecimento de Ambiguidade Amplifica a Vulnerabilidade a Injeção de Prompt em Agentes LLM

1. Declaração do Problema

Embora a capacidade de Agentes de Modelos de Linguagem (LLM) de reconhecer tarefas subespecificadas e buscar esclarecimentos junto aos usuários seja amplamente considerada uma característica desejável para alinhar o comportamento do agente à intenção do usuário, as implicações de segurança desse padrão de interação permanecem inexploradas. Pesquisas existentes sobre injeção de prompt focam principalmente em ataques entregues através de dados retornados por ferramentas ou entradas padrão de usuários durante a execução de tarefas totalmente especificadas.

Este artigo investiga uma lacuna crítica: A transição da execução padrão para um estado de busca de esclarecimento aumenta a suscetibilidade de um agente a ataques de injeção de prompt? Quando um agente solicita entrada adicional, ele cria um novo canal onde conteúdo externo entra no contexto. Como o agente solicita explicitamente essa entrada e espera que ela contenha informações relevantes para a tarefa, a fronteira entre instruções confiáveis e conteúdo externo não confiável torna-se difusa. Essa assimetria estrutural pode fazer com que os modelos tratem instruções adversárias embutidas em respostas de esclarecimento como dados legítimos da tarefa.

2. Metodologia: O Benchmark ASPI

Para isolar o efeito causal do estado de interação na vulnerabilidade, os autores introduzem o ASPI (Ambiguous-State Prompt Injection – Injeção de Prompt em Estado Ambíguo), um benchmark composto por 728 cenários de tarefa-ataque em quatro domínios: Espaço de Trabalho, Mensagens (Slack), Viagens e Banco.

Construção do Benchmark

• Material de Origem: O ASPI baseia-se no framework AgentDojo, herdando seus ambientes dinâmicos e com estado, implementações de ferramentas e funções de pontuação determinísticas.
• Geração de Ambiguidade: A partir de tarefas benignas totalmente especificadas, o pipeline constrói "prompts base ambíguos" removendo exatamente uma peça de informação fornecida pelo usuário (por exemplo, um destinatário, data ou destino) necessária para a conclusão da tarefa. Isso força o agente a invocar uma ferramenta ask_user para resolver a ambiguidade.
• Design de Avaliação Emparelhada: Cada par tarefa-atacante é avaliado sob condições correspondentes para garantir comparabilidade:
  • Estado de Execução: O agente recebe o prompt totalmente especificado. Conteúdo adversário é injetado apenas através de dados retornados por ferramentas (exec_tool) ou mensagens padrão de usuários (exec_user).
  • Estado de Esclarecimento: O agente recebe o prompt ambíguo, solicita esclarecimento e, em seguida, recebe o conteúdo adversário.
    • clarif_tool: Ataque via saída de ferramenta após esclarecimento.
    • clarif_ask_user: Ataque embutido no valor de retorno da ferramenta ask_user (a resposta do usuário à pergunta do agente).
    • clarif_user: Ataque embutido em uma mensagem direta do usuário seguindo o esclarecimento.
• Vetores de Ataque: O benchmark utiliza três operadores de injeção (Revinculação de Hierarquia, Substituição de Objetivo e Envenenamento de Restrições) para embutir objetivos do atacante dentro da resposta de esclarecimento, mantendo as informações benignas necessárias para completar a tarefa.

Protocolo de Avaliação

• Modelos: Dez LLMs de ponta foram avaliados, incluindo modelos proprietários (variantes GPT-5, o3, Claude-Opus-4.7, Gemini-3.1-Pro, Gemini-3-Flash, Kimi K2.5) e modelos de código aberto (variantes Qwen3, DeepSeek V3.2).
• Métricas: A métrica principal é a Taxa de Sucesso do Ataque (ASR), medindo com que frequência o objetivo do atacante é alcançado. A utilidade da tarefa mede a conclusão bem-sucedida da tarefa benigna.
• Análise: O estudo emprega comparações emparelhadas para decompor a vulnerabilidade em efeitos de estado (como o modo de interação altera o processamento) e efeitos de canal (como o mecanismo de entrega influencia a confiança).

3. Contribuições Principais

1. Primeira Evidência Empírica de Vulnerabilidade em Esclarecimento: O artigo apresenta o primeiro estudo demonstrando que agentes tornam-se substancialmente mais vulneráveis a injeção de prompt quando operam sob ambiguidade. As taxas de sucesso do ataque aumentam dramaticamente em modelos de código aberto e proprietários quando os ataques são entregues via interface de esclarecimento.
2. Benchmark ASPI: Um benchmark controlado de 728 instâncias emparelhadas que isola o efeito causal do estado de interação na vulnerabilidade, fornecendo um framework metodológico para estudar a segurança de agentes multi-turno.
3. Decomposição da Vulnerabilidade: Os autores decompõem a lacuna de vulnerabilidade, revelando que, embora o estado de interação sozinho tenha efeitos heterogêneos, o canal de esclarecimento (ask_user) atua consistentemente como uma superfície de ataque de alto impacto. A solicitação de entrada viésa os modelos a tratar respostas como instruções confiáveis.
4. Avaliação de Defesa: O artigo adapta e avalia duas defesas leves (guardas de prompt por nível de segmento e filtros de ferramenta) especificamente para ataques no momento do esclarecimento. Demonstra-se que, embora essas defesas reduzam o sucesso do ataque, elas não eliminam a lacuna de vulnerabilidade, pois as respostas de esclarecimento frequentemente intercalam informações benignas com instruções adversárias.

4. Resultados Principais

• Amplificação Significativa da Vulnerabilidade: A busca por esclarecimento amplifica consistentemente a vulnerabilidade. Por exemplo:
  • o3: O sucesso do ataque sobe de 1,8% (execução) para 34,0% (esclarecimento via ask_user).
  • Gemini-3-Flash: O sucesso do ataque sobe de 2,2% para 35,7%.
  • Kimi K2.5: O sucesso do ataque sobe de 11,1% para 63,1%.
• Canal vs. Estado:
  • Efeito de Estado: Ao manter o canal de entrega constante (por exemplo, comparando clarif_tool vs. exec_tool), o efeito é heterogêneo. Alguns modelos (por exemplo, Gemini) mostram maior suscetibilidade, enquanto outros (por exemplo, DeepSeek) mostram menor suscetibilidade, sugerindo que a ambiguidade por si só não aumenta universalmente o risco.
  • Efeito de Canal: O canal ask_user é o principal motor do aumento da vulnerabilidade. Ataques entregues através da resposta solicitada ao usuário são significativamente mais eficazes do que aqueles entregues via saídas padrão de ferramentas, mesmo quando o conteúdo subjacente é idêntico.
• Análise Comportamental:
  • Integração de Tarefa: As falhas raramente são devidas ao abandono da tarefa. Em vez disso, os agentes frequentemente exibem comportamento TASK_AND_ATTACK, onde integram as instruções injetadas no contexto da tarefa benigna em vez de substituí-lo.
  • Mecanismo de Confiança: A análise via LLM-como-juiz revela que os agentes frequentemente tratam o conteúdo de esclarecimento injetado como CONFUSED (confundindo-o com dados da tarefa) ou PERSUADED (aceitando-o como necessário/autoritário), em vez de reconhecê-lo como adversário.
• Limitações de Defesa: Defesas leves (guardas de prompt e filtros de ferramenta) reduzem a ASR, mas falham em fechar a lacuna totalmente. Por exemplo, sob guarda de prompt, a ASR clarif_ask_user do Gemini-3-Flash cai de 35,7% para 27,0%, deixando uma vulnerabilidade residual significativa.

5. Significado e Alegações

O artigo afirma que avaliações de segurança padrão em tempo de execução subestimam sistematicamente a superfície de ataque de agentes interativos. A robustez sob tarefas totalmente especificadas não se traduz em robustez sob ambiguidade.

Os autores concluem que o esclarecimento não é uma etapa de pré-processamento neutra, mas uma mudança dependente de estado na forma como os modelos interpretam informações recebidas. Como os agentes solicitam explicitamente essa entrada, eles baixam a guarda contra a distinção entre instruções e dados. Isso cria um modo de falha onde agentes robustos em configurações padrão tornam-se altamente vulneráveis quando forçados a resolver ambiguidades.

O artigo mantém um escopo modesto, reconhecendo limitações como o uso de ambiguidade sintética de slot único (que pode subestimar riscos do mundo real de múltiplos turnos) e a dependência de primitivas de interação específicas (ask_user). No entanto, estabelece firmemente que a interface de esclarecimento representa uma vulnerabilidade distinta e anteriormente não medida que os benchmarks atuais de segurança de agentes não conseguem capturar.