Resumo Técnico: Plantar, Persistir, Disparar: Ataque Adormecido em Agentes de Modelos de Linguagem Grandes

1. Definição do Problema

Agentes de Modelos de Linguagem Grandes (LLMs) são vulneráveis a ameaças de segurança decorrentes de ambientes externos, onde atacantes injetam conteúdo adversarial em observações, como dados retornados por ferramentas, páginas da web ou contextos MCP. Embora a pesquisa existente se concentre principalmente em ataques de interação única — onde conteúdo adversarial é injetado e dispara imediatamente comportamento prejudicial dentro da mesma solicitação do usuário —, este artigo identifica uma limitação crítica: o conteúdo adversarial pode persistir entre interações.

Os autores formalizam um novo modelo de ameaça chamado Ataque Adormecido. Neste cenário, conteúdo adversarial é plantado no estado do agente (contexto de sessão, memória ou habilidades reutilizáveis) durante uma interação inicial. Este conteúdo permanece adormecido ao longo das interações subsequentes e é ativado apenas mais tarde por uma consulta benigna do usuário. Este mecanismo torna a ameaça mais difícil de detectar e mitigar em comparação com a injeção direta, pois a ação prejudicial é desacoplada do evento inicial de injeção.

2. Metodologia

2.1 Formalização e Taxonomia da Ameaça

Os autores definem o sistema de agente LLM como um processo de interação envolvendo um usuário, uma política LLM ($\pi_\theta$), um ambiente externo ($E$) e estados do agente ($s_t$). Um Ataque Adormecido ocorre quando uma observação adversarial $o^{adv}_{t,i}$ injetada na interação $t$ não causa imediatamente comportamento inseguro ($U(h^{adv}_t) = 0$), mas é armazenada na atualização do estado ($s^{adv}_{t+1} = f(s_t, h^{adv}_t)$). Em uma interação futura $t+k$, uma consulta benigna $x_{t+k}$ dispara o estado armazenado para produzir comportamento inseguro ($U(h^{adv}_{t+k}) = 1$).

O estudo categoriza os ataques ao longo de dois eixos:

1. Estratégias de Ataque (Modos de Disparo):
   • Plantio Latente de Instruções (LIP): Instruções maliciosas são plantadas para induzir ações inseguras posteriormente.
   • Elaboração Proativa de Informações (PIE): Uma variante aprimorada do LIP onde a instrução plantada faz com que o agente solicite informações sensíveis ao usuário antes de executar a ação maliciosa.
   • Corrupção Persistente de Informações (PIC): Informações persistentes no estado do agente são corrompidas, fazendo com que o agente dependa de dados incorretos para futuras saídas.
2. Alvos de Estado do Agente (Locais de Persistência):
   • Contexto de Sessão: Conteúdo adversarial retido no histórico de conversação.
   • Memória: Conteúdo escrito em módulos de memória e recuperado posteriormente.
   • Habilidades Reutilizáveis: Conteúdo injetado em definições hierárquicas de habilidades (habilidades de alto nível e de ferramentas) que orientam a seleção futura de ferramentas.

2.2 Construção do Benchmark

Para avaliar esta ameaça, os autores construíram um benchmark abrangente com 1.896 instâncias de avaliação.

• Domínios de Dano: Seis categorias: dano econômico, comprometimento de conta/sistema, dano ao mundo físico, vazamento de dados pessoais, vazamento de dados financeiros e vazamento de outras informações sensíveis.
• Ambiente de Simulação: Construído usando o SDK de Agentes da OpenAI e o ToolEmu, simulando 330 ferramentas e estados de agente (memória e habilidades).
• Protocolo de Avaliação: Um sistema de avaliação baseado em regras foi projetado para verificar a segurança ao nível da trajetória. O sucesso é determinado pela correspondência ordenada de rastros (sequência correta de ações) e pela correspondência de argumentos-valores (por exemplo, verificar se dados foram enviados para um endereço controlado pelo atacante). Isso evita a não confiabilidade de juízes LLM para avaliação de segurança.

2.3 Configuração Experimental

O benchmark foi avaliado em sete LLMs fortes (tanto de código aberto quanto fechados), incluindo Gemini-3-Flash, Gemini-3.1-Pro, DeepSeek-R1, Qwen3.5-Plus/Flash, GPT-5.4 e Llama-3.3-70B. Os experimentos compararam a Taxa de Sucesso do Ataque (ASR) do Ataque Adormecido contra uma Linha de Base Direta de Interação Única.

3. Resultados Principais

3.1 Lacunas Significativas de Segurança

Os experimentos revelaram uma grande lacuna de segurança "direta-para-adormecida". Modelos que demonstraram baixa vulnerabilidade a ataques diretos frequentemente falharam significativamente sob ataques adormecidos.

• LIP: A ASR média para a linha de base direta foi de 11,1%, mas subiu para 39,9% no estado de agente mais forte. Por exemplo, o Gemini-3.1-Pro saltou de 6,2% (direto) para 92,6% (estado de habilidade).
• PIE: A linha de base direta teve média de 0,6%, mas o estado de agente mais forte atingiu 41,6%. Modelos como o Qwen3.5-Plus passaram de uma ASR direta próxima de zero para 51,2% no estado de habilidade.
• PIC: Esta estratégia mostrou a maior vulnerabilidade geral, com uma ASR média de 47,8% em comparação com 29,1% (LIP) e 26,8% (PIE). O Gemini-3.1-Pro atingiu 100% de ASR no estado de habilidade.

3.2 Vulnerabilidades Específicas de Estado

• Estados de Habilidade e Sessão: Estes foram encontrados como os alvos mais perigosos, com ASRs médias de 45,6% e 40,5% respectivamente, em comparação com 34,8% para memória.
• Inconsistência: O desempenho de segurança de um modelo não é uniforme entre estratégias ou estados. Um modelo seguro em um contexto (por exemplo, injeção direta) pode ser altamente vulnerável em outro (por exemplo, ataque adormecido baseado em habilidades).

3.3 Persistência e Efeitos de Longo Horizonte

• Reprodução em Sessão Recente: Mesmo quando um ataque falha dentro da mesma sessão, o estado plantado pode persistir para uma sessão nova. Para o Qwen3.5-Plus, a ASR cumulativa na memória atingiu 94,3% para casos de PIC após a reprodução em sessão recente.
• Horizontes Mais Longos: Enquanto ataques baseados em sessão degradam conforme o contexto se alonga (caindo de 62,7% para 40,7% de ASR ao longo de 20 interações), estados de memória e habilidade permanecem estáveis, mantendo alta vulnerabilidade ao longo de horizontes mais longos.

3.4 Avaliação de Defesa

Os autores testaram defesas leves e sem treinamento (instruções baseadas em regras e filtros baseados em guarda) no Qwen3.5-Plus.

• Eficácia Limitada: As defesas reduziram a ASR em algumas configurações (por exemplo, filtros baseados em guarda reduziram a ASR de habilidades PIE de 51,2% para 30,9%), mas falharam em eliminar a ameaça completamente.
• Instabilidade: Em alguns casos, instruções baseadas em regras aumentaram a ASR, sugerindo que a engenharia de prompts simples é insuficiente contra ameaças externas de interação cruzada.

3.5 Escalonamento de Modelos

A vulnerabilidade não está estritamente correlacionada com o tamanho do modelo. Modelos de código aberto maiores (por exemplo, Qwen3-32B) exibiram ASRs médias mais altas do que variantes menores (por exemplo, Qwen3-4B), particularmente para a estratégia PIC, indicando que o escalonamento não resolve inerentemente as vulnerabilidades de ataques adormecidos.

4. Contribuições e Significado

O artigo faz três contribuições principais:

1. Formalização do Ataque Adormecido: Introduz o primeiro modelo de ameaça unificado de fonte externa para ataques de agente LLM de interação cruzada, destacando como conteúdo adversarial pode ser plantado, armazenado e disparado por solicitações benignas.
2. Benchmark em Grande Escala: Fornece um benchmark de 1.896 instâncias cobrindo três estratégias de ataque, três alvos de estado de agente e seis domínios de dano do mundo real, permitindo comparações controladas entre ataques diretos e adormecidos.
3. Evidência Empírica de Vulnerabilidade: Demonstra que agentes LLM de última geração permanecem altamente vulneráveis a ataques adormecidos, mesmo quando parecem robustos contra ataques de interação única.

Significado:
Os autores argumentam que as avaliações de segurança atuais são insuficientes porque se concentram principalmente no uso imediato de ferramentas. Os resultados indicam que a avaliação de segurança de agentes deve rastrear como conteúdo não confiável é escrito, armazenado e reutilizado entre interações. A existência de uma grande lacuna de segurança entre ataques diretos e adormecidos sugere que as defesas atuais estão mal equipadas para lidar com ameaças persistentes baseadas em estado, necessitando de novas pesquisas para monitorar e sanitizar estados de agentes (memória, habilidades e contexto) em vez de apenas filtrar entradas imediatas.

Limitações:
O estudo depende de um ambiente de ferramenta simulado (ToolEmu), que pode diferir de ecossistemas implantados com autenticação adicional ou registros de auditoria. Além disso, o benchmark abstrai camadas específicas de controle de implantação (por exemplo, fluxos de trabalho de revisão humana), o que significa que os resultados medem vulnerabilidade sob interfaces controladas em vez de taxas diretas de incidentes em sistemas específicos do mundo real.