Resumo Técnico: Backdoor de Agente com Estado

Declaração do Problema

Os ataques de backdoor existentes em agentes baseados em Modelos de Linguagem de Grande Escala (LLMs) são fundamentalmente sem estado. As abordagens atuais, como a injeção de gatilhos por meio de valores de retorno de chamadas de ferramentas ou o aproveitamento de memória persistente para armazenamento de gatilhos, executam comportamentos fixos confinados a uma única sessão. Seu paradigma de execução permanece estático: um comportamento malicioso está vinculado a uma ativação específica de gatilho e não pode se adaptar ao ambiente ou persistir através de múltiplas interações.

Essa limitação impede ataques que exigem que condições mutuamente incompatíveis sejam atendidas em diferentes sessões. Por exemplo, um ataque que requer acesso a arquivos privados em uma sessão e capacidades de exfiltração de rede em outra não pode ter sucesso sob isolamento de permissão ao nível de sessão se o backdoor não puder manter o estado entre sessões. Se um ataque não puder concluir todas as etapas dentro de uma única sessão, ele falha e deve recomeçar do zero em ativações subsequentes, tornando inviáveis ataques complexos e multifásicos.

Metodologia

Os autores propõem um Backdoor de Agente com Estado, uma nova classe de ataque que estende o ciclo de vida do ataque através de múltiplas sessões explorando componentes persistentes do agente (por exemplo, módulos de memória, notas ou sistemas de arquivos compartilhados).

Formalização como Máquina de Mealy

O ataque é formalmente modelado como uma Máquina de Mealy (um transdutor de estado finito), onde a saída (comportamento de ataque) depende tanto do estado atual quanto da entrada (observação do ambiente).

• Estados ($S$): Representam fases distintas de ataque (por exemplo, s_init para inicialização, s_collect para coleta de dados, s_exfil para exfiltração).
• Entradas ($\Sigma$): Codificam observações do ambiente no início de uma sessão, especificamente a presença de um gatilho e a disponibilidade de ferramentas específicas (por exemplo, sistema de arquivos, rede).
• Saídas ($\Lambda$): Codificam comportamentos de ataque (por exemplo, iniciar, coletar, exfiltrar ou aguardar).
• Transições: A máquina transita entre estados com base no estado atual e no ambiente. Se as ferramentas necessárias estiverem indisponíveis, a máquina emite um sinal de aguardar e realiza um auto-loop, preservando o estado até a próxima sessão.

Framework de Decomposição

Uma contribuição chave é o framework de decomposição. Os autores demonstram que um backdoor complexo com estado pode ser decomposto em um conjunto de sub-backdoors independentes, cada um correspondendo a uma única transição na Máquina de Mealy.

• Gatilhos Compostos: Cada sub-backdoor é ativado por um gatilho composto consistindo no estado atual do ataque (recuperado da memória persistente) e no estado atual do ambiente.
• Construção Independente: Essa decomposição permite a geração independente de dados de treinamento para cada transição. O fluxo completo de ataque é aprendido treinando-se sobre a união dessas trajetórias independentes e de sessão única via Ajuste Fino Supervisionado (SFT).
• Vinculação Causal: Embora a construção de dados seja independente, as transições são causalmente vinculadas durante a execução: a atualização de estado (escrita na memória) produzida por um sub-backdoor serve como condição de gatilho para o próximo.

Mecanismo de Ataque

1. Injeção: O atacante injeta uma vez uma string de gatilho no prompt do usuário.
2. Persistência: O agente escreve o gatilho e o estado inicial do ataque na memória persistente.
3. Auto-ativação: Em sessões subsequentes, o gatilho persiste na memória (seja via módulo de memória ou uma ferramenta de notas), permitindo que o agente se auto-ative sem intervenção adicional do atacante.
4. Execução Condicional: O agente verifica o ambiente atual (ferramentas disponíveis). Se as ferramentas necessárias para a fase atual estiverem presentes, ele executa o comportamento de ataque e atualiza o estado. Caso contrário, ele aguarda, preservando o estado para uma sessão futura onde as ferramentas possam estar disponíveis.

Contribuições Principais

1. Ataque de Backdoor de Agente com Estado: O artigo identifica a premissa implícita de ausência de estado nos backdoors de agentes existentes e introduz um modelo de ameaça entre sessões sob isolamento de permissão.
2. Formalização como Máquina de Mealy: O ataque é formalizado como uma Máquina de Mealy, fornecendo um framework rigoroso para modelar ataques multifásicos dependentes de estado.
3. Framework de Decomposição: Deriva-se um framework de construção que reduz o ataque complexo à construção de dados independente por transição, facilitando o treinamento de comportamentos com estado.
4. Extensibilidade: O framework é validado com topologias alternativas (ramificação e fusão) e componentes persistentes alternativos (substituindo memória por uma ferramenta de notas), demonstrando generalização.
5. Validação do Modelo de Ameaça: Os autores verificam o realismo das premissas de seu modelo de ameaça (isolamento de sessão e armazenamento persistente compartilhado entre sessões) contra quatro frameworks de agentes principais (LangGraph, CrewAI, Microsoft Agent Framework e OpenAI Agents SDK).

Resultados Experimentais

O framework foi instanciado em um cenário de exfiltração de privacidade em quatro modelos: Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B e Ministral-3-14B.

• Taxa de Sucesso do Ataque (ASR): A instanciação principal alcançou uma ASR de 80%–95% em todos os modelos em avaliações de ponta a ponta (20 episódios por modelo).
• Eficácia por Transição: A avaliação por transição mostrou taxas de sucesso de ≥90% para cada sub-backdoor individual. O produto das taxas por transição correspondeu estreitamente à ASR observada ao nível de episódio, validando a hipótese de decomposição.
• Extensibilidade:
  • Ramificação e Fusão: Uma variante com topologia não trivial (ramificação em ferramentas de arquivo vs. e-mail) alcançou ASRs de 70%–100%, embora a complexidade introduzisse mais modos de falha (por exemplo, recuperação retroativa, execução prematura).
  • Baseado em Notas: Substituir a memória persistente por uma ferramenta de notas manteve a eficácia, com ASRs variando de 80% a 90%.
• Falsos Positivos: A Taxa de Falsos Positivos (FPR) para exfiltração bem-sucedida foi baixa (0%–5%). Embora ativações falsas intermediárias tenham ocorrido (por exemplo, identificação incorreta de strings não relacionadas como gatilhos), elas raramente evoluíram para exfiltração bem-sucedida devido a incompatibilidades de estado.
• Impacto na Capacidade Normal: O ajuste fino teve impacto mínimo nas capacidades gerais (pontuações MMLU diminuíram em no máximo 1,7 pontos) e na verdade melhorou a adesão ao formato ReAct (a Taxa de Seguimento de Etapas aumentou para ~100%).

Significado e Alegações

O artigo afirma que os componentes persistentes em sistemas de agentes servem não apenas como superfícies de ataque, mas como elementos integrais da lógica de ataque. Ao aproveitar esses componentes, os atacantes podem contornar o isolamento de permissão ao nível de sessão, permitindo ataques que eram anteriormente impossíveis sob premissas sem estado.

Os autores enfatizam que seu modelo de ameaça é realista, pois as condições necessárias (isolamento de sessão com armazenamento persistente compartilhado) estão presentes nos principais frameworks de agentes. Eles argumentam que isso revela uma "lacuna implícita" no isolamento de permissão ao nível de sessão, sugerindo que o design seguro de sistemas de agentes deve levar em conta a persistência de estado entre sessões e potenciais fluxos de ataque com estado. O trabalho visa aumentar a conscientização da comunidade e motivar pesquisas defensivas, como auditoria de comportamento entre sessões e controle de permissão sobre componentes persistentes.