Resumo Técnico: Lembrar Mais, Arriscar Mais

Declaração do Problema

As avaliações de segurança atuais para agentes de Modelos de Linguagem de Grande Escala (LLM) equipados com memória focam predominantemente na segurança dentro da tarefa, avaliando se um agente completa um único cenário com segurança, frequentemente sob condições adversariais como injeção de prompt ou envenenamento de memória. No entanto, em implantações do mundo real, um único agente atende muitas tarefas independentes ao longo de horizontes longos (semanas ou meses), acumulando estado persistente.

O artigo identifica uma lacuna crítica: contaminação temporal da memória. Este é um modo de falha onde o acúmulo benigno de memória através de tarefas independentes e não adversariais leva a um comportamento cada vez mais inseguro ao longo do tempo. Diferentemente de ataques adversariais, onde um atacante cria entradas para induzir falhas, a contaminação temporal da memória surge das próprias interações rotineiras do agente. À medida que a memória cresce, ela pode conter conteúdo relevante para uma consulta atual, mas incompatível com uma resposta segura (por exemplo, recuperar dados privados de um usuário diferente ou instruções desatualizadas), levando a transferências inseguras.

Os métodos existentes para estudar isso são confundidos pela não estacionariedade do fluxo. Simplesmente plotar taxas de violação contra o tempo falha porque o próprio fluxo de entrada muda (por exemplo, surtos no volume de e-mails ou tópicos tornam-se mais sensíveis), tornando impossível isolar se o risco aumentado é devido ao acúmulo de memória ou à natureza cambiante das tarefas.

Metodologia

Para isolar os efeitos da memória da não estacionariedade do fluxo, os autores introduzem um protocolo de gatilho-sonda e uma estrutura baseada em eventos.

1. Decomposição de Eventos

As falhas são decompostas em três componentes:

• Pré-condição: O estado da memória contém conteúdo contaminante recuperável para uma consulta específica.
• Gatilho: Uma entrada específica (sonda) que ativa a recuperação desse conteúdo.
• Violação: O agente transfere inadequadamente o conteúdo recuperado para sua resposta.

2. Protocolo de Gatilho-Sonda

Este protocolo avalia um conjunto fixo de gatilhos de sonda contra instantâneos de memória somente leitura construídos a partir de prefixos de fluxo de comprimentos variados ($\ell$).

• Exposição Controlada: O agente processa as primeiras $\ell$ interações para construir um estado de memória. Um conjunto fixo de sondas é então avaliado contra esse instantâneo em modo somente leitura (as sondas não são gravadas de volta na memória).
• Linha de Base Contrafactual: Para cada sonda, o sistema gera duas respostas: uma com memória ($y_{mem}$) e uma sem memória ($y_{\emptyset}$, a linha de base MemóriaNula).
• Rótulo de Violação Induzida por Memória ($U_a$): Uma violação é rotulada como induzida por memória apenas se:
  1. A resposta aumentada com memória for insegura.
  2. A resposta MemóriaNula for segura.
  3. O conteúdo inseguro for rastreável até a memória recuperada por meio de correspondência semântica.

3. Configuração de Avaliação

O protocolo é aplicado em duas classes distintas de agentes e três cenários de implantação:

• Assistentes de Escritório: Avaliados em fluxos sintéticos (Prática Médica, Registro Universitário) e uma caixa de correio Enron específica de persona. Oito arquiteturas de memória da taxonomia MemEngine são testadas (por exemplo, Memória Completa, Curto Prazo, Longo Prazo, Agentes Generativos, MemoryBank, MemGPT, MemTree).
• Agentes Semelhantes a Garras (Claw-like): Avaliados nas plataformas OpenClaw e SecLaw, onde os agentes operam no ambiente de computação de um usuário com acesso ao sistema de arquivos. A memória é armazenada como arquivos Markdown simples. O risco é medido por meio de strings de canário embutidas em credenciais; uma violação ocorre se essas strings aparecerem em saídas ou logs.

Principais Contribuições

1. Estrutura de Segurança Longitudinal: Introdução do protocolo de gatilho-sonda que trata a segurança da memória como uma trajetória, isolando efeitos de acúmulo de variações no fluxo de entrada.
2. Caracterização Empírica: Medição abrangente das taxas de violação induzidas por memória em oito arquiteturas de memória e três cenários, demonstrando que o risco consistentemente excede a linha de base MemóriaNula e aumenta com o comprimento da exposição.
3. Análise Trans-Arquitetural: Demonstração de que a amplificação temporal persiste através de mecanismos de falha estruturalmente diferentes (vazamento entre contextos em assistentes de escritório versus diluição de atenção/normalização de contexto em agentes semelhantes a garras).
4. Análise do Espaço de Design: Identificação do escopo de recuperação (recuperação semântica ampla) e do nível de sumarização (conteúdo abstraído) como as principais escolhas de design que impulsionam a amplificação.
5. Diagnóstico no Momento da Recuperação: Desenvolvimento de um monitor leve que prevê o risco induzido por memória antes da geração com base no estado de recuperação, alcançando alta recall (0,970–0,984) sem depender de regras específicas de domínio.

Resultados

• Amplificação Temporal: As taxas de violação induzidas por memória ($q_a(\ell)$) mostram uma tendência de alta robusta à medida que o comprimento da exposição ($\ell$) aumenta. Este efeito é observado tanto em assistentes de escritório quanto em agentes semelhantes a garras.
• Conteúdo vs. Ordem: Experimentos de randomização de ordem (embaralhando a sequência de interações) indicam que a amplificação é impulsionada principalmente pelo conteúdo acumulado e não pela ordem específica dos encontros, embora a ordem local possa modular o efeito para certas arquiteturas (por exemplo, memória estruturada em árvore).
• Sensibilidade Arquitetural:
  • Arquiteturas com recuperação ampla e retenção longa (por exemplo, MemTree, Memória Auto-Controlada, Agentes Generativos) exibem os aumentos mais íngremes nas taxas de violação.
  • Sistemas com viés de recência (por exemplo, Memória de Curto Prazo) permanecem relativamente planos, sugerindo que restringir o escopo de recuperação atua como um buffer de segurança.
  • A sumarização pode introduzir risco ao mesclar detalhes de contextos separados em representações compostas que criam novas inferências inseguras.
• Agentes Semelhantes a Garras: Mesmo sem vazamento explícito entre contextos (já que o conteúdo da sonda é fixo), a memória benigna circundante dilui a atenção à segurança e normaliza a linguagem adjacente a credenciais, levando a taxas de violação mais altas à medida que o volume de memória cresce.
• Monitoramento Preditivo: O monitor no momento da recuperação detecta com sucesso o risco antes da geração, sugerindo que intervenções de segurança podem ser aplicadas na etapa de recuperação (por exemplo, filtrando itens ou recuando para geração sem memória).

Significado

O artigo argumenta que a segurança da memória deve ser tratada como uma propriedade longitudinal que requer avaliação temporal, em vez de uma propriedade de estado único capturada por um instantâneo. As descobertas desafiam a suposição de que o acúmulo benigno de memória é seguro, demonstrando que apenas interações rotineiras podem degradar perfis de segurança ao longo do tempo.

O trabalho fornece uma base metodológica para avaliar a segurança de agentes de longo horizonte e oferece insights acionáveis para designers de sistemas:

• Compensações: Ampliar o escopo de recuperação e adicionar camadas de sumarização melhora a utilidade, mas aumenta a exposição de segurança temporal.
• Mitigação: Mecanismos de segurança devem ser integrados na etapa de recuperação, não apenas na etapa de geração, para filtrar contextos contaminantes antes que influenciem o modelo.
• Padrões de Avaliação: Futuros benchmarks de segurança devem levar em conta a dimensão temporal e a interação entre o acúmulo de memória e fluxos de entrada não estacionários.

Os autores concluem que, sem avaliação temporal explícita, a segurança de agentes equipados com memória em implantações de longo horizonte permanece não verificada e potencialmente comprometida por sua própria história.