MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

Resumo Técnico do MEMAUDIT

Declaração do Problema
Agentes LLM de longo prazo enfrentam o desafio de comprimir fluxos de interações passadas em memória persistente antes que consultas futuras sejam conhecidas. Protocolos de avaliação existentes tipicamente medem a precisão final de resposta a perguntas (QA). Os autores argumentam que essa abordagem é falha porque entrelaça três modos de falha distintos: escrita de memória (seleção e representação), recuperação e raciocínio do leitor. Um sistema pode falhar porque armazenou a memória errada, porque o recuperador perdeu uma boa memória ou porque o leitor ignorou a evidência; a precisão final de QA isoladamente não consegue isolar qual camada falhou. Além disso, sistemas implantados frequentemente armazenam itens em formas muito caras para o orçamento-alvo ou falham em selecionar a representação ótima (por exemplo, trecho bruto vs. fato extraído vs. lápide) de um conjunto de candidatos.

Metodologia: O Protocolo MEMAUDIT
O artigo introduz o MEMAUDIT, um protocolo de avaliação de oráculo de pacote exato projetado para avaliar a camada de escrita de memória em isolamento. A unidade central de avaliação é o pacote MEMAUDIT, que transforma o problema de seleção de memória em um problema de otimização finito, auditável, com um denominador certificado.

• Definição de Pacote: Um pacote $P$ é definido por um fluxo de experiência fixo, um conjunto de representações candidatas de memória (por exemplo, texto bruto, fatos, resumos, lápides), custos de armazenamento, unidades de evidência semântica, requisitos de consultas futuras e um orçamento de armazenamento $B$.
• Restrições de Viabilidade: O armazenamento de memória viável $X$ deve satisfazer duas restrições:
  1. Restrição da Mochila: O custo total $\sum c_u \le B$.
  2. Restrição de Matroide de Partição: No máximo uma representação é escolhida por experiência ($|X \cap G_i| \le 1$), forçando uma escolha de representação em vez de manter todas as variantes.
• Função Objetivo: A utilidade de um armazenamento é definida por um objetivo de cobertura semântica côncava-sobre-modular:
  $$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$$
  Onde $R$ são unidades de evidência, $w_r$ são pesos de importância, $a_{ur}$ é a cobertura da unidade $r$ pela memória $u$, e $h_r$ é uma função côncava e não decrescente (padrão para $\min(1, z)$). Essa estrutura garante retornos decrescentes para cobertura duplicada da mesma unidade de evidência.
• Otimização Exata: O protocolo computa a otimalidade exata do pacote ($OPT_P(B)$) usando solucionadores de ramificação e limite e certifica resultados com Programação Linear Inteira Mista (MILP). Isso fornece um denominador de verdade fundamental contra o qual qualquer escritor pode ser pontuado.
• Denominador de União para Sistemas Externos: Para avaliar sistemas do mundo real (como Mem0, Letta, A-Mem) que podem gerar memórias fora do conjunto de candidatos pré-definido, o protocolo usa um pacote de união. Memórias exportadas são adicionadas como candidatos de primeira classe com linhas de cobertura adjudicadas. A pontuação é a razão entre a utilidade alcançada pelo sistema e a utilidade ótima alcançável por qualquer subconjunto da união (candidatos originais + exportações do sistema). Isso distingue entre qualidade de extração (quanto conteúdo útil foi encontrado) e qualidade de seleção (quão bem foi escolhido sob orçamento).

Principais Contribuições

1. Definição de um Oráculo de Pacote Finito: O artigo define uma estrutura rigorosa para escrita de memória orçamentada com um denominador reproduzível e certificado, separando a qualidade no momento da escrita da recuperação e do raciocínio a jusante.
2. Estrutura de Cobertura Semântica: Ele instancia uma estrutura de cobertura submodular côncava-sobre-modular conhecida para modelar a preservação de memória semântica, lidando explicitamente com estados de validade (por exemplo, lápides para invalidar fatos antigos) como unidades de evidência positivas em vez de penalidades negativas.
3. Solucionadores Exatos e Linhas de Base: Os autores fornecem otimalidades exatas de pacote via ramificação e limite e certificação MILP. Eles introduzem uma linha de base de referência Limiar de Valor de Grupo (GVT) que usa marginais exatos para calibrar o sistema e demonstram que heurísticas baseadas apenas em densidade podem ser arbitrariamente ruins.
4. A Suíte MEMAUDIT: Um lançamento de conjuntos de dados e ferramentas incluindo:
   • Pacotes Exatos Controlados: Ambientes sintéticos (MEMAUDIT-Small) com grafos de eventos ocultos para testar escolhas de representação.
   • Testes de Estresse Pesados em Validade: Cenários especificamente projetados para testar a preservação da verdade atual versus fatos obsoletos (por exemplo, cadeias de atualização, intervalos temporais).
   • Pacotes Naturais e Exportados: Um subconjunto "Natural-87" auditado por humanos derivado de fatias de conversas realistas, e armazenamentos de memória exportados do Mem0, A-Mem e Letta avaliados sob o mesmo protocolo.

Resultados

• Separação de Camadas: Em experimentos controlados, o MEMAUDIT isola com sucesso a qualidade da representação. Por exemplo, uma heurística "apenas densidade" (escolhendo o item de maior valor por custo) falha sistematicamente em preservar unidades de estado de validade (lápides), alcançando apenas 26–36% do OPT exato em orçamentos apertados, enquanto a linha de base GVT permanece próxima do ótimo.
• Importância de Candidatos de Validade: Remover candidatos de lápide/atualização composta do conjunto de candidatos reduz a utilidade máxima alcançável (OPT) em margens significativas (por exemplo, caindo para ~52–81% do OPT total dependendo do orçamento), provando que os gargalos de geração de candidatos são distintos dos gargalos de seleção.
• Diagnósticos de Sistemas Externos: Quando aplicado a armazenamentos exportados:
  • Mem0: Mostra um limite "poda-superior" alto (indicando boa extração de evidências úteis) mas uma razão de armazenamento selecionado mais baixa, identificando a seleção consciente do orçamento como o gargalo primário.
  • Letta: Alcança fortes razões de união podadas por saliência, indicando seleção eficaz de conteúdo relevante.
  • A-Mem: Preserva evidências em notas ricas, mas o tamanho serializado frequentemente excede orçamentos estritos, resultando em pontuação zero para visualizações de armazenamento completo a menos que compactado.
• Estabilidade: O protocolo é robusto a variações do modelo de custo (por exemplo, contagem de palavras vs. sobrecarga em bytes) e ruído de anotação, com rótulos validados por humanos preservando classificações em comparação com rótulos adjudicados por modelo.

Significado e Alegações
O artigo alega que o MEMAUDIT fornece uma ferramenta de diagnóstico necessária para a camada de escrita de memória que o QA de ponta a ponta não pode oferecer. Ao congelar o conjunto de candidatos, custos e unidades de evidência, ele responde à pergunta específica: "Dado este pacote, quanto do valor semântico viável pelo pacote o escritor preservou?"

Os autores enfatizam que este é um diagnóstico no momento da escrita, não um substituto para avaliação de assistente de ponta a ponta. Seu significado reside em:

1. Localização: Ele aponta se as falhas decorrem de geração de candidatos, escolha de representação ou seleção consciente do orçamento, em vez de confundi-las com erros de recuperação ou do leitor.
2. Reprodutibilidade: Oferece um denominador determinístico e auditável (o OPT exato) em vez de depender de QA estocástico a jusante.
3. Comparabilidade: Permite que sistemas heterogêneos (com representações internas diferentes) sejam pontuados em uma verdade fundamental semântica compartilhada via denominador de união.

O artigo permanece modesto, observando que o Natural-87 é um "primeiro pacote natural auditado" e fatiado de suporte, destinado a diagnósticos em vez de servir como um benchmark final de pilha completa. Não alega resolver todo o problema de memória de longo prazo, mas fornece o "oráculo de pacote exato" necessário para avaliar rigorosamente os componentes de compressão e seleção.