Resumo Técnico: Memorização em Tempo de Implantação em Agentes de Modelos de Fundação

Declaração do Problema

Agentes baseados em modelos de fundação estão evoluindo de assistentes sem estado para sistemas de longa duração que mantêm memória persistente do usuário através das interações. Embora essa capacidade aumente a personalização, ela altera fundamentalmente o cenário de privacidade. Diferente da memorização paramétrica tradicional (onde os dados são codificados nos pesos do modelo e expostos via ataques de extração), agentes persistentes armazenam fatos do usuário em pipelines de memória externa. Esses pipelines escrevem, resumem, recuperam e condicionam as respostas com base nos dados do usuário, criando uma nova superfície de ataque.

Pesquisas existentes têm se concentrado amplamente em auditar configurações de memória fixas ou estudar a memorização paramétrica. No entanto, há uma falta de caracterização sobre como as escolhas de design de memória moldam conjuntamente o equilíbrio entre:

1. Utilidade de Personalização: A capacidade do agente de recordar preferências do usuário.
2. Risco de Extração: A probabilidade de um adversário recuperar informações privadas.
3. Fidelidade de Exclusão: A capacidade do sistema de realmente apagar informações, incluindo artefatos derivados (ex: resumos, embeddings) quando um usuário solicita a exclusão.

Este artigo identifica e estuda esta superfície ausente, denominada memorização em tempo de implantação.

Metodologia

1. Modelo de Sistema

Os autores modelam a memória do agente como um pipeline de escrita–recuperação–resposta:

• Escrita (Write): Dados da sessão do usuário são armazenados na memória de longo prazo.
• Recuperação (Retrieve): Fragmentos de memória são recuperados via similaridade de cosseno e são prefixados ao contexto do agente.
• Resposta (Respond): O modelo de fundação gera respostas condicionadas ao contexto recuperado.

2. Design Experimental (Os "Botões de Ajuste")

O estudo varre três parâmetros específicos de design de memória:

• Agressividade de Sumarização ($S$): Controla o que é armazenado.
  • $S=0$: Turnos brutos do usuário.
  • $S=1$: Fatos pessoais chave extraídos dos turnos.
  • $S=2$: Resumos de sessão de uma única frase.
• Amplitude de Recuperação ($k$): O número de fragmentos de memória injetados no contexto ($k \in \{1, 3, 6, 10, 25\}$).
• Modo de Exclusão: Uma escada de cinco etapas que governa como o sistema lida com solicitações de "esquecer":
  1. No-op: Controle (sem alteração).
  2. Apenas bruto (Raw only): Texto bruto removido; embeddings/resumos intocados.
  3. Bruto + Re-sumarização (Raw + Resummarize): Bruto removido e re-embedido; sessões afetadas são re-sumarizadas a partir da entrada limpa.
  4. Purga Total (Full Purge): Todos os níveis são removidos/re-embedidos; fragmentos vazios são descartados.
  5. Lápide (Tombstone): O canário é substituído por [REDACTED] em cada nível e re-embedido.

3. Métricas

• Recall de Personalização (PR): Mede se o agente responde corretamente a consultas que exigem contexto do usuário (baseado em similaridade de cosseno > 0.50 ou cobertura de palavras de conteúdo verbatim).
• Taxa de Extração Adversária (AER): A fração de tokens "canário" de alta entropia (injetados em sessões anteriores) recuperados verbatim sob três tipos de sondagem:
  • Direta: Pedir explicitamente pelo segredo.
  • Indireta: Perguntar o que o agente recorda sobre o usuário.
  • Jailbreak: Instruções de modo desenvolvedor ou despejo de depuração (debug-dump).
• AUC de Privacidade–Utilidade (PUA): A área sob o envelope empírico de recall alcançável, resumindo a fronteira onde maior recall é alcançado com menor risco de extração.
• Pontuação de Resíduo de Esquecimento (FRS): Mede o vazamento pós-exclusão através dos níveis de memória (bruto vs. resumo). Um FRS não nulo indica que o segredo permanece recuperável apesar da exclusão.

4. Configuração

Experimentos foram conduzidos no benchmark LongMemEval (divisão oracle) usando:

• Modelos: Gemma 3 12B (local, pesos abertos) e GPT-4o-mini (pesos fechados).
• Dados: 50 instâncias com canários sintéticos de alta entropia injetados em turnos de usuário sem evidência para isolar a memorização em tempo de implantação da exposição de treinamento.

Principais Resultados

1. A Fronteira Privacidade–Utilidade

• Memória Bruta ($S=0$): Não oferece um ponto de operação limpo. Aumentar a amplitude de recuperação ($k$) melhora a utilidade (PR), mas aumenta linearmente o vazamento (AER). Para o Gemma 3 12B, o PR sobe de 0.42 para 0.66 conforme $k$ aumenta, enquanto o AER sobe de 0.70 para 0.86.
• Sumarização ($S=1$): Atua como um mecanismo de "lavagem".
  • Redução de Vazamento: A sumarização de fatos-chave reduz o AER em 76% no Gemma 3 12B e 64% no GPT-4o-mini comparado à memória bruta.
  • Preservação de Utilidade: Esta redução vem com um custo mínimo para o PR (aprox. 5% no Gemma, 2% no GPT).
  • Neutralidade de Recuperação: Uma vez que o conteúdo é comprimido (sumarizado), aumentar $k$ não restaura o vazamento. O AER permanece constante em todos os valores de $k$, indicando que se o segredo está ausente do resumo, recuperar mais fragmentos não pode recuperá-lo.
• Comportamento de Sondagem: Sob memória bruta, sondagens diretas e indiretas produzem taxas de extração diferentes. Sob sumarização, essas taxas colapsam para o mesmo nível baixo, sugerindo que a sumarização controla a recuperabilidade factual no nível do pipeline, independentemente da resistência a jailbreak do modelo subjacente.

2. Fidelidade de Exclusão e Resíduo

• A Falha da Exclusão Apenas de Brutos: Deletar apenas o registro bruto ($S=1$, modo "raw only") deixa cópias derivadas recuperáveis em aproximadamente 20% das instâncias. O FRS para o nível de resumo permanece estatisticamente indistinguível do controle "no-op".
• Mitigação Parcial: "Bruto mais re-sumarização" reduz o resíduo (ex: para ~11% no Gemma), mas não o elimina, pois artefatos de resumo pré-existentes não são totalmente purgados antes da regeneração.
• Apagamento Verdadeiro: Apenas a Purga Total e a redação por Lápide (Tombstone) levam o resíduo do pior nível (FRS) a zero em todas as configurações. Isso confirma que em pipelines em camadas, deletar a fonte é insuficiente; artefatos derivados devem também ser explicitamente removidos ou redigidos.

Contribuições

1. Formalização da Memorização em Tempo de Implantação: O artigo define a memória persistente do agente como uma função de sistema mensurável, introduzindo uma fronteira de privacidade–utilidade baseada em PR, AER e PUA.
2. Varredura Controlada de Botões de Ajuste: Demonstra que a sumarização reduz significamente o risco de extração com custo de personalização negligenciável, enquanto a amplitude de recuperação sozinha não consegue alcançar um equilíbrio favorável.
3. Benchmark de Fidelidade de Exclusão: Ao introduzir a Pontuação de Resíduo de Esquecimento (FRS), o trabalho revela que a exclusão padrão "apenas de brutos" é insuficiente para sistemas de memória em camadas, estabelecendo que a purga total do pipeline ou o uso de lápides (tombstoning) é necessário para o apagamento verdadeiro.

Significância

O artigo estabelece que a memória persistente do agente deve ser avaliada como um mecanismo de memorização de primeira classe. Argumenta-se que os riscos de privacidade dos agentes não são meramente um subproduto dos pesos do modelo, mas são ativamente moldados por escolhas de engenharia de implantação.

As descobertas sugerem uma receita prática para a implantação segura de agentes:

• Usar sumarização de fatos-chave ($S=1$) para "lavar" segredos dos contextos de recuperação.
• Manter uma amplitude de recuperação moderada ($k$), pois ela não restaura o vazamento uma vez que a compressão é aplicada.
• Implementar exclusão consciente das camadas (purga total ou tombstoning) para garantir que cópias derivadas (resumos, embeddings) não sejam deixadas para trás.

Em última análise, o trabalho postula que a memorização em tempo de implantação é uma fronteira de utilidade–vazamento controlável, e não uma consequência inevitável do uso de modelos de fundação.