Resumo Técnico: Contaminação de Estado em Agentes LLM com Memória Aumentada

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) dependem cada vez mais de estado persistente — como transcrições, resumos e buffers de memória — para facilitar interações de longo horizonte. Embora essa capacidade aumente a utilidade, ela introduz um novo modo de falha de segurança denominado lavagem de memória. Neste cenário, contextos tóxicos ou adversariais são comprimidos em resumos de memória que parecem benignos sob classificadores de toxicidade padrão (ou seja, ficam abaixo dos limites de detecção), mas retêm enquadramentos hostis, estruturas de conflito ou posturas adversariais. Esses resumos "limpos" condicionam subsequentemente agentes a jusante a produzir respostas tóxicas, contornando efetivamente os monitores de segurança que inspecionam apenas a saída explícita.

O desafio central é que a segurança em sistemas agênticos depende não apenas das saídas individuais do modelo, mas do estado em evolução que o sistema armazena e reutiliza. Intervenções tradicionais de segurança, como filtragem de saída ou desaprendizado de parâmetros, falham em abordar a propagação de toxicidade no nível do estado, onde a influência nociva está oculta dentro de estados de memória limpos pelo classificador.

Metodologia

Configuração Experimental

Os autores empregam um framework de rotação contrafactual pareada de múltiplos agentes para isolar efeitos causais.

• Configuração: Um post inicial humano inicia um grafo de conversa onde um agente focal ($A_1$) é instruído a responder de forma tóxica ou neutra. Todos os outros agentes ($A_2, \dots, A_n$) e parâmetros do sistema permanecem fixos.
• Modelos: Experimentos do fenômeno utilizam gpt-4o-mini, enquanto experimentos de intervenção que exigem acesso a parâmetros usam Llama-3.1-8B-Instruct ajustado via LoRA.
• Medição de Toxicidade: Um modelo de toxicidade de código aberto (Detoxify) pontua todas as mensagens. Um limite $\tau=0.5$ sinaliza toxicidade explícita.
• Canais de Estado: O estudo distingue entre três canais de persistência tóxica:
  1. Retrofluxo de Transcrição: Histórico de conversa bruto contendo mensagens tóxicas.
  2. Lavagem de Memória: Resumos comprimidos de interações tóxicas que parecem seguros para classificadores.
  3. Viés Paramétrico: A tendência do modelo de corresponder ao registro do contexto tóxico devido aos seus parâmetros internos.

Métricas Principais

Para quantificar influência oculta, o artigo introduz a Fenda de Propagação Sub-Limiar (SPG):
$$SPG(\tau) = E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{tóxico}] - E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{neutro}]$$
Esta métrica mede a diferença na toxicidade a jusante condicionada a estados de memória que um monitor implantado classificaria como seguros ($\text{tox}(M_t) < \tau$). Um SPG positivo indica que a memória "limpa" ainda está impulsionando comportamento tóxico. O estudo também rastreia a mudança média de toxicidade a jusante ($\Delta\mu$) e o percentil 95 de toxicidade ($P95_{tox}$) para capturar riscos de cauda.

Framework de Mitigação

Os autores propõem um framework de mitigação de três vias visando cada canal de persistência:

1. Controle de Transcrição (Leitura/Gravação): Sanitização do contexto antes da geração e gateamento de saídas antes de entrarem na transcrição.
2. Controle de Memória: Sanitização de resumos antes de serem comprimidos em memória persistente (gateamento/reescrever no lado da gravação) versus sanitizá-los após a compressão.
3. Controle em Nível de Parâmetro: Ajuste fino da política usando Otimização de Preferência Direta (DPO) em rotações pareadas tóxico-neutras para reduzir a tendência do modelo de amplificar contexto tóxico.

Resultados Principais

1. Existência de Lavagem de Memória

Experimentos confirmam que resumos de memória condicionados a toxicidade consistentemente ficam abaixo dos limites padrão de toxicidade (por exemplo, toxicidade média $\approx 0,085$ versus limite $0,5$), mas induzem toxicidade a jusante significativamente maior em comparação com baselines neutras.

• Evidência SPG: Em topologias de cadeia, o SPG foi de $0,140$($p = 3,75 \times 10^{-8}$), demonstrando que memória limpa pelo classificador retém influência comportamental substancial.
• Robustez: Este fenômeno persiste através de diferentes limites de classificador ($\tau \in \{0,03, \dots, 0,5\}$) e várias topologias de grafo (cadeias, árvores, DAGs), embora a magnitude varie com a topologia.

2. Canais de Propagação Distintos

O estudo desentrelaça as fontes de toxicidade:

• Retrofluxo de Transcrição impulsiona principalmente toxicidade explícita a jusante (alto $\Delta\mu$ e $P95_{tox}$).
• Memória Comprimida carrega influência oculta, sub-limiar (alto SPG).
• Tempo de Sanitização: Intervenções aplicadas após o resumo (por exemplo, reescrever um resumo concluído) reduzem a toxicidade explícita, mas falham em fechar a fenda oculta (SPG permanece alto). Por outro lado, sanitizar o conteúdo antes de ser comprimido na memória (gateamento no lado da gravação) elimina efetivamente o SPG.

3. Eficácia da Mitigação

• Intervenções Únicas: A filtragem de saída reduz a toxicidade visível, mas deixa os canais de propagação abertos. O DPO sozinho reduz a amplificação média, mas falha em remover o estado contaminado, deixando alta toxicidade de cauda.
• Sistema Completo: A combinação de sanitização no lado da leitura, controle de estado no lado da gravação e desviés em nível de parâmetro domina estritamente outras configurações. Ela alcança a toxicidade média mais baixa, o menor $\Delta\mu$, o menor $P95_{tox}$ e SPG próximo de zero.
• Insight Crítico: A mitigação mais eficaz é sanitizar o estado antes da sumarização. Limpar apenas o resumo final é insuficiente porque o enquadramento adversarial pode já ter sido comprimido abaixo do limite de detecção do classificador.

Significado e Alegações

O artigo alega identificar e caracterizar empiricamente a lavagem de memória como um modo de falha de segurança previamente não examinado em agentes LLM com memória aumentada. Suas principais contribuições são:

1. Definição de Lavagem de Memória: Demonstrar que a sumarização pode transformar contexto abertamente tóxico em estados limpos pelo classificador que ainda orientam agentes para comportamento tóxico.
2. Nova Métrica (SPG): Introduzir uma métrica para medir influência comportamental dentro do regime que um monitor implantado classificaria como seguro, revelando propagação oculta que métricas padrão perdem.
3. Paradigma de Segurança em Nível de Estado: Argumentar que a segurança em sistemas agênticos deve ser tratada como um problema de controle de estado. Os autores afirmam que a segurança robusta requer sanitizar o estado antes de ser comprimido em memória persistente, pois a limpeza posterior de resumos é frequentemente tardia demais para prevenir influência oculta.

O trabalho sugere que os paradigmas de segurança atuais, focados apenas na filtragem de saída ou no desaprendizado de parâmetros, são insuficientes para sistemas multiagente onde o contexto é reutilizado e comprimido. O framework consciente de estado proposto oferece uma restrição arquitetônica necessária para a implantação segura de agentes de longo horizonte.