Resumo Técnico: Envenenamento de Experiência Obsessiva (OEP)

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) com memória aumentada utilizam reflexão iterativa e autoevolução para resolver tarefas complexas, destilando experiências passadas em regras acionáveis. Embora esse mecanismo aprimore a proficiência, ele introduz uma vulnerabilidade de segurança crítica: a possibilidade de adversários induzirem generalizações prejudiciais por meio de entradas "limpas".

Ataques existentes à memória de agentes (por exemplo, AgentPoison, MINJA, MemoryGraft) geralmente dependem da injeção de instruções maliciosas explícitas, registros adulterados ou procedimentos inseguros. Esses métodos são frequentemente detectáveis por filtros de segurança avançados, auditores de conteúdo ou sistemas de detecção de anomalias que filtram conteúdo tóxico ou erros factuais verificáveis.

Este trabalho identifica uma superfície de ataque pouco explorada: Podem adversários induzir agentes autoevolutivos a gerar regras prejudiciais utilizando apenas experiências localmente corretas, semanticamente plausíveis e "limpas"? O desafio central é que agentes reflexivos podem supergeneralizar a partir de casos extremos específicos, destilando métodos locais não transferíveis em regras persistentes e de alta prioridade do sistema que causam falhas a jusante.

Metodologia: Envenenamento de Experiência Obsessiva (OEP)

O OEP é um paradigma de ataque de baixa privilégio e caixa preta que explora as vulnerabilidades cognitivas de agentes autoevolutivos sem exigir controle direto sobre prompts do sistema ou bancos de dados de memória. O ataque opera por meio de um pipeline de três fases:

1. Construção de Casos Extremos Limpos

O atacante constrói casos extremos $(t_e, s_e)$ que satisfazem duas restrições estritas:

• Correção Local: A solução $s_e$ deve ser factual e logicamente correta dentro do contexto específico do caso extremo $t_e$, permitindo que ela contorne validadores epistêmicos ($V_{logic}$).
• Não Transferibilidade Global: O método $m_e$ utilizado em $s_e$ deve ter uma taxa de sucesso próxima de zero quando aplicado à distribuição geral de tarefas ($D_{task}$).
• Implementação: LLMs geram condições de fronteira e soluções candidatas, seguidas por filtragem automatizada para reter apenas aquelas que são localmente válidas, mas globalmente pouco confiáveis.

2. Triplete de Consequência Adversarial (ACT)

Para superar a incerteza de abstração inerente à destilação de regras específicas a partir de sucessos isolados, o OEP introduz um Triplete de Consequência Adversarial $(t_e, s_e, c_{adv})$.

• Mecanismo: O triplete associa a solução localmente correta a uma catástrofe hipotética severa, porém plausível no domínio ($c_{adv}$), que ocorreria se o método padrão fosse usado em vez da solução do caso extremo.
• Exploração Cognitiva: Isso aproveita a aversão à perda inerente do agente (uma característica de LLMs alinhados à segurança). Ao distorcer artificialmente a paisagem de utilidade esperada, a penalidade hipotética ($|U(\neg s_e)| \gg U(s_e)$) domina o processo de tomada de decisão do agente.
• Resultado: O agente é enviesado a priorizar a evitação da penalidade hipotética severa em detrimento dos procedimentos padrão, efetivamente "armamentizando" seu alinhamento à segurança para fixar-se na solução do caso extremo não transferível.

3. Injeção e Supergeneralização

Os ACTs elaborados são submetidos por meio de interações padrão de nível de usuário.

• Contorno de Validação: Como a solução é localmente correta e a consequência é semanticamente coerente, a entrada passa pelo filtro epistêmico interno do agente.
• Reflexão e Destilação: O módulo de reflexão do agente, impulsionado pelo alto risco percebido da consequência hipotética, destila o sucesso localizado em uma regra global de alta prioridade ($r_{obs}$).
• Falha a Jusante: Em tarefas benignas futuras, o agente recupera essa regra supergeneralizada. Devido à não transferibilidade da regra, o agente aplica erroneamente o método do caso extremo, levando a erros de raciocínio (por exemplo, diagnósticos equivocados) ou esgotamento de recursos (por exemplo, chamadas de ferramentas redundantes).

Contribuições Principais

1. Paradigma de Ataque OEP: A proposta de um novo ataque que acopla o envenenamento por método limpo com a indução de regras supergeneralizadas. Diferentemente de ataques anteriores, o OEP preserva a correção local e a plausibilidade semântica, evadindo defesas baseadas em factualidade e toxicidade.
2. Framework de Construção de Casos Adversariais: Uma metodologia sistemática que integra a geração de casos extremos limpos com a injeção sinérgica de ACTs. Este framework sequestra cognitivamente o cálculo de utilidade do agente, direcionando a reflexão para a formação enviesada de regras, mantendo a validade da entrada.
3. Robustez Empírica e Insight de Capacidade-Vulnerabilidade: Validação experimental mostrando que o OEP alcança uma Taxa de Sucesso de Ataque (ASR) superior a 50% em diversos domínios (Matemática, Saúde, Uso de Ferramentas) usando agentes GPT-4o. Notavelmente, o trabalho observa um "paradoxo capacidade-vulnerabilidade", onde agentes mais capazes (com maior adesão a instruções e capacidades de reflexão) são paradoxalmente mais suscetíveis a esse sequestro cognitivo.

Resultados Experimentais

Os autores avaliaram o OEP em três domínios e múltiplos frameworks de agentes (Simple Agent, LangChain, OpenClaw) usando várias bases de modelos (GPT-4o, GPT-5.4, Deepseek-v3.2, etc.).

• Degradação de Desempenho: O OEP causou quedas significativas na precisão (por exemplo, a precisão em Matemática caiu de ~91% para ~40% em agentes GPT-4o) e aumentou o consumo de recursos (uso de tokens e latência) devido a invocações de ferramentas redundantes.
• Persistência: O ataque demonstrou alta persistência; a ASR permaneceu alta (por exemplo, 72% no domínio de Ferramentas) mesmo após 50 consultas benignas subsequentes, indicando que as regras envenenadas efetivamente substituem a diluição natural da memória.
• Evasão de Defesas: Sob mecanismos de defesa predominantes (Filtros de Prompt e Auditores de LLM), o OEP manteve uma ASR de ~40%, superando significativamente linhas de base como MINJA e AgentPoison, cujas ASRs caíram abaixo de 15% sob as mesmas condições de auditoria de LLM.
• Estudos de Ablação:
  • Base de Modelo: Modelos avançados exibiram ASR mais alta do que modelos menores, confirmando o vínculo capacidade-vulnerabilidade.
  • Componentes ACT: A remoção da consequência severa (usando apenas QA ou Solução) resultou em sucesso marginal do ataque, confirmando que a penalidade hipotética é o motor crítico para enviesar a reflexão.
  • Razão Adversarial: A eficácia do ataque aumentou de forma não linear à medida que a proporção de casos adversariais aumentava, validando a vulnerabilidade de "confinamento de perspectiva".

Significado e Alegações

O trabalho alega que o OEP revela uma vulnerabilidade fundamental no loop de memória-reflexão de agentes autoevolutivos. O significado reside em demonstrar que:

1. Entradas Limpas Podem Ser Venenosas: Defesas de segurança focadas exclusivamente em conteúdo malicioso ou erros factuais são insuficientes contra ataques que exploram o processo de consolidação de memória e destilação de regras.
2. Alinhamento à Segurança como Vetor: Os próprios mecanismos projetados para tornar os agentes seguros (aversão à perda, sensibilidade ao risco) podem ser manipulados para induzir generalizações inseguras.
3. Necessidade de Novas Defesas: Os autores argumentam por defesas que vão além da filtragem de conteúdo, como paradigmas de busca ativa (consultando ferramentas externas para romper o confinamento de perspectiva) e frameworks de debate multiagente (para contrabalançar a assimetria de confiança e recalibrar a utilidade).

Os autores concluem que descobrir essas vulnerabilidades é crítico para o desenvolvimento de ecossistemas autônomos robustos e confiáveis, enfatizando que agentes mais capazes podem atualmente ser mais vulneráveis a esse sequestro cognitivo.