Resumo Técnico: Lavagem de Proveniência de Memória em Agentes de LLM

1. Definição do Problema: Lavagem de Proveniência de Memória

O artigo identifica uma lacuna de segurança crítica em agentes de Grandes Modelos de Linguagem (LLM) que utilizam memória de longo prazo. Embora a memória de longo prazo permita que os agentes reutilizem preferências e fluxos de trabalho, ela cria um vetor para a lavagem de proveniência de memória.

Neste modo de falha, um agente observa conteúdo externo não confiável (ex: uma página da web, e-mail ou resposta de ferramenta) na Tarefa A. Durante a fase de consolidação de memória, um LLM resume essa observação em uma entrada de memória compacta. Esse processo de consolidação frequentemente remove os metados da fonte original e reescreve o conteúdo para parecer que se originou de uma fonte confiável, como o histórico do usuário, uma regra de fluxo de trabalho confirmada ou uma preferência anterior do usuário.

Quando a Tarefa B recupera essa memória, o agente trata o texto reescrito como um contexto de alta autoridade. Consequentemente, um gatilho de ação que originalmente era de baixa confiança (externo) é executado com autoridade de alta confiança, podendo levar a ações de alto risco não autorizadas (ex: compras, alterações de credenciais ou operações destrutivas).

Os autores argumentam que as defesas existentes falham porque operam na fronteira errada:

• Filtros de prompt e sanitizadores de conteúdo protegem o texto atual, mas não conseguem detectar que a fonte da informação foi apagada durante a consolidação.
• Guardiões de ferramentas (tool guards) e listas de permissões (allowlists) protegem a chamada atual, mas não verificam se a memória que sustenta a chamada retém sua proveniência original de baixa confiança.
• O Controle de Fluxo de Informação (IFC) e sistemas similares frequentemente separam dados de controle no nível do prompt ativo, mas não preservam a autoridade da fonte através do processo de perda de informação da sumarização e subsequente recuperação da memória.

A falha central não é meramente a sobrevivência de um texto malicioso, mas a amplificação de autoridade: o texto sobrevive, mas sua fonte é reescrita de "externo não confiável" para "histórico de usuário confiável".

2. Metodologia: Firewall de Memória Preservador de Proveniência (PPMF)

Para enfrentar isso, os autores propõem o Firewall de Memória Preservador de Proveniência (PPMF), um middleware de memória leve que impõe um princípio de não-amplificação de autoridade de fonte. O PPMF desacopla a utilidade da memória da autoridade necessária para executar ações.

Mecanismo Central

O PPMF opera através de três estágios determinísticos:

1. Escrita de Memória Preservadora de Proveniência:
   Em vez de tratar a consolidação como uma sumarização de texto livre, o PPMF constrói cada memória como uma tupla estruturada:
   $$m = (c, s, \tau, h, r, e)$$
   Onde:

• $c$: Conteúdo (resumo textual).
• $s$: Fonte (ex: usuário, web, e-mail, ferramenta).
• $\tau$: Nível de confiança (de uma malha/lattice: DESCONHECIDO < EXTERNO < FERRAMENTA_CONFIÁVEL < HISTÓRICO_DO_USUÁRIO < USUÁRIO_CONFIRMADO < SISTEMA).
• $h$: Histórico de transformação.
• $r$: Rótulos de risco (LEITURA, NAVEGAÇÃO, EFEITO, COMPRA, CREDENCIAL).
• $e$: Flag de origem externa.

Crucialmente, o escritor de memória do LLM pode gerar o conteúdo ($c$), mas não pode modificar os campos de autoridade ($s, \tau, r, e$). Estes são atribuídos pela plataforma com base no canal de observação e eventos de interface de usuário.

2. Vinculação de Argumentos ao Nível de Suporte:
   Antes que uma chamada de ferramenta seja executada, o PPMF vincula os argumentos da ação proposta (ex: uma URL específica, ID de conta ou handle de fluxo de trabalho) às memórias recuperadas. Ele utiliza uma regra de "prioridade ao ponteiro":

• Se IDs de memória explícitos forem citados, estes são utilizados.
• Caso contrário, ele canonicaliza os argumentos e os confronta com os metadados da memória.
• Regra de Menor Confiança: Se múltiplas memórias sustentam uma ação, o sistema utiliza a fonte de menor confiança entre elas. Correspondências ambíguas ou parciais revertem para a opção mais conservadora (menor confiança).

3. Portão de Risco-Autoridade:
   O sistema verifica se a autoridade da memória de suporte atende ao nível de risco da ação proposta.

• Ações de LEITURA exigem pelo menos confiança EXTERNA.
• Ações de NAVEGAÇÃO exigem HISTÓRICO_DO_USUÁRIO.
• Ações de EFEITO, COMPRA, CREDENCIAL exigem USUÁRIO_CONFIRMADO.

Se a memória de suporte for derivada de uma fonte externa (mesmo que o texto pareça uma preferência do usuário), o portão nega a ação de alto risco, a menos que um evento de confirmação registrado pela plataforma esteja explicitamente vinculado àquele alvo específico.

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Identificação da Lavagem de Proveniência de Memória: Os autores definem um modo de falha trans-tarefa distinto onde o gatilho da ação sobrevive à consolidação da memória enquanto a redação maliciosa explícita e a autoridade da fonte são apagadas, efetivamente "lavando" a autoridade da ação.
2. Formalização da Não-Amplificação: Eles formalizam o princípio de que a sumarização deve preservar a informação, mas não pode elevar a autoridade da fonte. Isso é instanciado como o PPMF, um middleware que vincula a proveniência dos metadados aos argumentos da chamada de ferramenta no momento da execução.
3. Avaliação Baseada em Esquema: O artigo fornece uma avaliação abrangente através de configurações sintéticas, adaptativas, derivadas de traços e de transferência de navegador. Demonstra que a lavagem persiste em vários modelos (Qwen2.5, Llama3, Mistral) e que o PPMF bloqueia com sucesso ações de alto risco não autorizadas, preservando ações benignas confirmadas.

4. Resultados Experimentais

A avaliação utiliza seis famílias de cenários, incluindo ataques sintéticos, tarefas derivadas do AgentDojo, cenários derivados de traços e um sandbox web suportado por servidor.

• Vulnerabilidade da Consolidação: Em configurações vulneráveis (sem PPMF), a consolidação de memória leva a altas Taxas de Sucesso de Ataque (ASR). Por exemplo, memórias consolidadas do Qwen2.5-14B atingiram um ASR de 0,933 em casos sintéticos e 1,000 em casos derivados de traços. Mesmo quando o ASR direto parecia baixo (ex: 0,083 em alguns casos do AgentDojo), a taxa de lavagem (a fração de memórias onde o conteúdo externo foi reescrito como histórico do usuário) foi de quase 1,000, indicando que a fronteira de autoridade foi comprometida mesmo que o ataque imediato falhasse.
• Ineficácia de Filtros de Texto: Filtros de conteúdo e guardiões de prompt mostraram desempenho instável. Ou falharam em bloquear ataques após paráfrases (o ASR permaneceu alto) ou bloquearam ações benignas (altas taxas de bloqueio falso). Por exemplo, a filtragem de conteúdo deixou um ASR de 0,518 em casos derivados de traços.
• Eficácia do PPMF: Com o PPMF habilitado e a proveniência mantida pela plataforma:
  • ASR: 0,000 em todas as configurações avaliadas (Sintética, AgentDojo, HTTP, Derivada de Traço). Nenhuma ação de alto risco não autorizada passou pelo portão.
  • Sucesso Benigno: 1,000 para ações benignas confirmadas. O PPMF permitiu com sucesso ações que possuíam metadados de confirmação explícita.
  • Robustez: O PPMF permaneceu eficaz sob ruído de recuperação (até 20 memórias isca) e perturbações de metadados (campos ausentes resultaram em negações conservadoras em vez de execuções inseguras).

5. Significância e Alegações

O artigo alega que a memória de longo prazo transforma a segurança do agente em um problema de proveniência entre tarefas. A significância deste trabalho reside na mudança do paradigma de defesa de "detectar texto malicioso" para "impor autoridade de fonte".

• Alegações Modestas: Os autores são explícitos ao afirmar que o PPMF assume uma proveniência mantida pela plataforma intacta. Não pretendem robustez contra uma plataforma comprometida, metadados forjados ou engenharia social que engane um usuário real para confirmar uma ação. A fronteira de segurança depende da plataforma atribuir corretamente os rótulos de fonte e vincular eventos de confirmação a alvos específicos.
• Impacto Prático: O trabalho demonstra que defesas padrão de nível de texto são insuficientes para agentes persistentes. Ao tratar a proveniência como autoridade persistente e usar portões determinísticos em vez de inferência mediada por LLM para autorização, o PPMF impede que memórias derivadas de fontes externas autorizem, de forma independente, efeitos de alto risco.
• Direções Futuras: O artigo sugere que sistemas de memória futuros devem tratar a proveniência como uma autoridade persistente, combinar portões determinísticos com monitores de risco de trajetória e tornar os escopos de confirmação explícitos em vez de inferir autoridade a partir do texto recuperado.

Em resumo, o artigo argumenta que a informação pode ser lembrada, mas a autoridade não pode ser amplificada através do processo de consolidação de memória. O PPMF fornece um mecanismo estrutural para impor este invariante.