Resumo Técnico: MEMLEAK: Diagnosticando Vazamentos de Informação em Memórias de Agentes Multimodais

1. Declaração do Problema

Agentes de IA multimodais frequentemente falham em alcançar o "esquecimento" real quando usuários solicitam a exclusão de fatos específicos. Embora os sistemas atuais normalmente excluam a entrada de texto explícita associada a um fato e reportem sucesso, este artigo demonstra que a informação muitas vezes permanece recuperável. O problema central é que os agentes multimodais armazenam fatos através de uma pilha heterogênea de representações: entradas de texto, embeddings de texto, arquivos de imagem, embeddings de imagem, arestas de grafos e características visuais implícitas.

Quando um usuário solicita a exclusão, os sistemas geralmente abordam apenas o nó de texto "endereçável". No entanto, o fato pode persistir através de:

1. Texto Correlacionado Retido: Outras memórias de texto que estão semanticamente ligadas ao fato excluído.
2. Imagens Retidas: Imagens marcadas para outros fatos que contêm pistas visuais implícitas (ex: um relógio de mergulho em uma foto marcada para "voluntariado", implicando uma "preferência por mergulho").
3. Características Visuais Implícitas: Atributos codificados em embeddings de imagem ou por Modelos de Linguagem-Visão (VLMs) durante a inferência (ex: geolocalização, estilo arquitetônico) que nunca são armazenados explicitamente como texto, mas que são recuperáveis pelo modelo.

O artigo argumenta que a erradicação ao nível do fato falha através desses múltiplos canais, criando um "resíduo de esquecimento" onde a informação deletada pode ser reconstruída a partir dos dados retidos do usuário, violando os critérios técnicos de vazamento de informação.

2. Metodologia

O Grafo de Proveniência da Informação (IPG)

Os autores introduzem o Grafo de Proveniência da Informação (IPG), uma taxonomia descritiva para modelar como um único fato se propaga através das camadas de memória do agente.

• Nós ($V_f$): Representações de um fato $f$ através das camadas de armazenamento (texto, imagem, embedding, grafo, características implícitas).
• Arestas ($E_f$): Fluxo de informação derivado de operações de armazenamento ou computação.
• Capacidade de Exclusão ($\delta$): Os nós são classificados como:
  • Endereçáveis (addr): Diretamente deletáveis via identidade do fato.
  • Vinculados (link): Deletáveis apenas se uma ligação de proveniência com o fato for mantida.
  • Persistentes (unreach): Não visados pela exclusão atual ao nível de armazenamento; inclui características visuais implícitas e padrões comportamentais derivados.

O IPG distingue entre Lacunas de Engenharia (falta de rastreamento de proveniência para nós vinculados) e Resíduos de Esquecimento (nós persistentes que sobrevivem à exclusão mesmo com rastreamento de proveniência perfeito).

O Benchmark MEMLEAK

Para medir o vazamento, os autores desenvolveram o MEMLEAK, um benchmark que avalia o esquecimento ao nível do fato através de uma cascata de exclusão.

• Dataset: 113 perfis de entidades sintéticas com 20 fatos cada (10 alvos, 10 retidos). Os fatos abrangem cinco categorias (localização, profissão, preferência, relacionamento, posse) e incluem fundamentação visual (explícita, implícita ou ausente).
• Imagens: Geradas usando Gemini 3.1 Flash baseadas em prompts de GPT-5.4. Um subconjunto de 523 fotografias reais licenciadas da Unsplash também foi utilizado para validação ecológica.
• Tipos de Sondagem (Probes):
  • P1 (Recuperação de Imagem Retida): Deleta o fato alvo de texto e suas imagens marcadas; sonda o VLM com imagens de outros fatos retidos.
  • P2–P5: Sondagens piloto para retração de texto, persistência invisível, reconstrução cross-imagem e resíduo comportamental.
• Métricas de Avaliação:
  • Taxa de Vazamento Cross-Modal (CMLR): A porcentagem de fatos excluídos recuperáveis a partir de dados retidos.
  • Julgamento: Um ensemble de 3 modelos de LLM (GPT-4.1, Claude Sonnet 4, Gemini 2.5 Flash) determina se uma resposta revela o fato esquecido. Validação humana (2 anotadores) confirmou alta confiabilidade ($\kappa = 0.88$).
  • Baselines: Inferência cega (0.0% de vazamento) e controles negativos (0.3% de Taxa de Falso Positivo) garantem que os vazamentos se devem aos dados específicos do usuário, não a priors do modelo.

Sistemas Avaliados

O estudo avaliou cinco categorias de sistemas:

1. Long-context: Apenas supressão comportamental (sem exclusão).
2. Naive (Ingênuo): Deleta apenas o texto; retém todas as imagens.
3. Mem0 (Produção): Exclusão de entrada de texto via busca semântica.
4. Letta (Simulado): Exclusão de texto/embeddings decidida pelo agente.
5. Oracle: Exclusão em cascata de texto, embeddings, imagens e arestas de grafo baseada em proveniência.

3. Resultados Principais

Vazamento Multi-Canal

O benchmark revela que a exclusão falha através de múltiplos canais simultâneos:

• Sondagem Direta (Apenas Texto): Sistemas capazes de exclusão alcançam <1% de vazamento em sondagens diretas, confirmando que a exclusão ao nível de armazenamento funciona para nós de texto endereçáveis.
• Correlação de Texto Retido: Quando entradas de texto são deletadas mas o texto correlacionado retido permanece, 18,3% dos fatos são recuperáveis.
• Correlação de Imagem Retida (Achado Central): Mesmo após deletar o texto do fato alvo e todas as suas imagens marcadas, 12,0% dos fatos são recuperáveis a partir de imagens marcadas para outros fatos retidos.
  • Baseline Cego: 0.0% (sem imagens).
  • Controle Negativo: 0.3% (imagens não relacionadas).
  • Significância: 47% dos fatos com vazamento de imagem não são recuperáveis apenas do texto retido, provando que o canal visual é um caminho de vazamento distinto e mais difícil de auditar.

Desempenho do Sistema

• Recuperação do Mesmo Fato (Limite Superior): Se um sistema deleta o texto mas mantém as próprias imagens do fato intactas, 48,7% dos fatos são recuperáveis. O rastreamento de proveniência (Oracle) reduz isso para 12,0% ao realizar a exclusão em cascata para as imagens marcadas.
• Sistemas de Produção: O Mem0 (end-to-end) mostrou 16,3% de vazamento, combinando inferência visual com potencial resíduo de recuperação de texto.
• Generalidade do Modelo: Os resultados sustentam-se em diferentes VLMs (Claude Sonnet 4: 12,0%; GPT-4o: 9,3%).
• Validação no Mundo Real: O uso de fotografias reais da Unsplash resultou em 10,6% de vazamento, consistente com os resultados sintéticos, confirmando que o fenômeno não é um artefato da geração de imagens.

Mitigação: Exclusão Semântica

Os autores testaram a exclusão semântica consciente de conteúdo, onde um auditor VLM varre imagens retidas em busca de correlação semântica com fatos excluídos e as sinaliza para remoção.

• Resultado: Isso reduziu o resíduo de imagem de 12,0% para 2,0%.
• Custo: Foi necessário sinalizar e remover 21,0% das imagens retidas.
• Limitação: Um resíduo de 2,0% permanece, atribuído a pistas visuais muito difusas para serem detectadas pelos auditores atuais (nós persistentes).

4. Contribuições e Significância

Contribuições

1. Grafo de Proveniência da Informação (IPG): Uma taxonomia classificando representações de memória por sua "capacidade de exclusão" (endereçável, vinculado, persistente), distinguindo entre lacunas de engenharia e resíduos arquiteturais.
2. Evidência Empírica de Vazamento Multi-Canal: Demonstração de que a erradicação de fatos falha através de texto correlacionado (18,3%) e, crucialmente, através de imagens retidas (12,0%), com as imagens fornecendo um canal de vazamento invisível para auditorias baseadas apenas em texto.
3. Benchmark MEMLEAK: Um framework de avaliação escalável que decompõe canais de vazamento, mostrando que, embora o rastreamento de proveniência resolva falhas de nós vinculados, políticas conscientes de conteúdo são necessárias para mitigar resíduos de nós persistentes.

Significância

O artigo posiciona suas descobertas como uma ferramenta de diagnóstico, em vez de uma prova de impossibilidade.

• Para Construtores de Sistemas: A exclusão ao nível de registro é necessária, mas insuficiente. A erradicação ao nível do fato exige auditar todos os dados retidos (texto, imagens e correlações). Os autores recomendam implementar rastreamento de proveniência (para abordar a lacuna de 48,7% $\to$ 12,0%) e auditores VLM (para abordar a lacuna de 12,0% $\to$ 2,0%).
• Para Reguladores: A conformidade com regulamentações de exclusão (ex: GDPR Artigo 17) não pode ser verificada apenas checando logs de exclusão. A verificação comportamental (sondando o sistema pós-exclusão) é necessária porque a informação pode ser recuperada através de canais que nenhum mecanismo de auditoria atual inspeciona.
• Para Pesquisadores: O resíduo de 2,0% nas imagens e o canal de correlação de texto de 18,3% destacam direções de pesquisa abertas, incluindo encoders de visão conscientes de privacidade, limpeza de embeddings e políticas de exclusão conscientes de correlação.

O artigo conclui que, embora o "resíduo de esquecimento" seja um limite inferior empírico sob políticas de exclusão específicas, ele representa um risco de conformidade significativo para plataformas de agentes multimodais em domínios sensíveis como saúde e finanças.