Resumo Técnico: MemPro – Sistemas de Memória Agêntica como Programas Evoluíveis

1. Definição do Problema

Agentes autônomos de longo horizonte requerem sistemas de memória para reter informações históricas e rastrear estados evolutivos além das janelas de contexto finitas dos Grandes Modelos de Linguagem (LLMs). Embora os sistemas de memória agêntica existentes geralmente sigam um pipeline de Construção–Recuperação de Memória (MCR), eles sofrem de duas limitações críticas devido ao seu design de pipeline fixo:

1. Heterogeneidade de Tarefas: Diferentes tarefas de memória de longo prazo exibem modos de falha distintos (ex: raciocínio temporal vs. ligação de evidências entre múltiplas sessões) que exigem estratégias diferentes. Um pipeline fixo impõe uma estratégia única a todas as tarefas, levando a um desempenho subótimo.
2. Desalinhamento Memória–Pipeline: À medida que o banco de memória evolui em escala e estrutura ao longo do tempo, um pipeline estático pode não mais se alinhar com a forma como as memórias são organizadas ou recuperadas, resultando em recuperação incompleta ou evidências ruidosas.

Métodos de otimização atuais, como a evolução ao nível de prompt, podem refinar instruções textuais, mas não podem modificar a lógica do pipeline executável (ex: código para construir bancos de memória ou estratégias de recuperação). Este artigo argumenta que a autoevolução da memória deve operar no nível do sistema, tratando todo o pipeline MCR como um programa evoluível, em vez de apenas atualizar memórias armazenadas ou texto de prompt.

2. Metodologia: Framework MemPro

O MemPro é um framework de evolução de nível de sistema que trata o pipeline MCR como um programa evoluível. Ele mantém uma árvore de versões de implementações de sistemas de memória executáveis, onde cada nó contém tanto prompts quanto código executável. O sistema é impulsionado por um Agente Evolutivo que seleciona, expande e avalia iterativamente versões do pipeline através de um processo de refinamento de edição–depuração guiado por modo de falha.

Componentes Principais

• Árvore de Versões MCR ($T$): Uma estrutura de árvore onde cada nó $v$ representa uma implementação de pipeline executável $F_v$ e seu log de avaliação $L_v$. O nó raiz $v_0$ é o pipeline inicial.
• Log de Avaliação ($L_v$): Registra a pontuação geral ($S_v$), pontuações por categoria ($C_v$), nó pai ($pa(v)$) e uma avaliação geral ($A_v$) resumindo modos de falha e direções de melhoria.
• Agente Evolutivo ($A_{evo}$): O motor central que gerencia o processo de evolução através de três etapas iterativas:
  1. Seleção: O agente analisa os logs de toda a árvore de versões para selecionar o nó pai mais promissor para expansão, baseando-se em pontuações altas, melhorias generalizáveis e modos de falha frequentes. Ele também gera uma análise diagnóstica ($R_\ell$).
  2. Expansão: Partindo do nó selecionado, o agente realiza um loop interno iterativo para criar uma versão filha. Em cada etapa, ele escolhe uma ação:
     • EDIT (Editar): Revisa o código do pipeline ou os prompts com base na análise diagnóstica acumulada.
     • DEBUG (Depurar): Seleciona um exemplo diagnóstico específico, executa o pipeline atual sobre ele para gerar um trace completo e atualiza a análise diagnóstica sem reavaliar o conjunto de dados completo.
     • TERMINATE (Encerrar): Interrompe a expansão, finalizando a nova versão.
  3. Avaliação: A nova versão do pipeline é executada no conjunto de treinamento completo para coletar traces de execução. O agente resume esses traces em um novo log de avaliação, adicionando o novo nó à árvore de versões.

Esta estrutura de árvore permite que o MemPro ramifique a partir de versões históricas fortes e explore direções alternativas, em vez de seguir uma trajetória linear única.

3. Principais Contribuições

1. Identificação de Limitações: O artigo identifica a heterogeneidade de tarefas e o desalinhamento memória–pipeline como falhas fundamentais em sistemas de memória agêntica de pipeline fixo, defendendo a evolução de nível de sistema sobre atualizações isoladas de memória ou prompt.
2. Framework MemPro: A proposta de um framework de evolução de nível de sistema que trata o pipeline MCR como um programa evoluível. Ele otimiza de forma única tanto prompts quanto código executável via uma árvore de versões e refinamento de edição–depuração guiado por modo de falha.
3. Validação Empírica: Experimentos extensos em quatro benchmarks (LongMemEval, LoCoMo, HotpotQA, NarrativeQA) demonstram que o MemPro supera consistentemente fortes baselines estáticos e de evolução ao nível de prompt em poucas iterações, continua a melhorar conforme a árvore de versões se expande e alcança um trade-off favorável entre desempenho e custo.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois benchmarks de memória de longo prazo (LongMemEval, LoCoMo) e dois benchmarks de QA de contexto longo (HotpotQA, NarrativeQA) utilizando backbones GPT-4o-mini e Qwen3-30B-A3B.

• Ganhos de Desempenho: O MemPro superou consistentemente fortes baselines estáticos (ex: LangMem, Mem0, GAM) e baselines de evolução de nível de prompt (GEPA, MetaMem).
  • No LoCoMo, o MemPro-5 (após 5 iterações) alcançou 81,94% de acurácia, superando o melhor baseline (GAM com 80,45%).
  • No LongMemEval, o MemPro-15 atingiu 79,00%, superando o melhor baseline (GEPA com 75,60%).
  • No HotpotQA e NarrativeQA, o MemPro alcançou scores F1 de estado da arte, superando todos os baselines não-MemPro até a 5ª iteração.
• Melhoria Contínua: Ao contrário de sistemas estáticos, o MemPro mostrou ganhos de desempenho constantes conforme a evolução progrediu da 5ª para a 15ª iteração, indicando um teto elevado para otimização de nível de sistema.
• Estudos de Ablação: Remover componentes chave (edição de código, árvore de versões, expansão iterativa ou evolução de múltiplas rodadas) levou a quedas significativas de desempenho. Especificamente, a variante "w/o Code" (reduzindo para evolução de nível de prompt) teve desempenho inferior ao sistema completo, validando a necessidade de editar a lógica executável.
• Eficiência: O MemPro alcançou a maior acurácia geral com um custo de tokens razoável, superando substancialmente os métodos "Full Text" enquanto utilizava menos tokens e superando fortes baselines de memória com orçamentos comparáveis.

5. Significância e Alegações

O artigo alega que a memória agêntica deve ser otimizada como um sistema executável e autoevoluível. Ao tratar o pipeline MCR como um programa evoluível, o MemPro aborda as limitações de designs de pipeline fixo que lutam com a diversidade de tarefas e estruturas de memória em evolução.

Os autores enfatizam que:

• Evoluir a lógica do pipeline executável gera benefícios que vão além de apenas adaptar bancos de memória ou prompts.
• Uma estrutura de árvore de versões é superior à evolução linear, permitindo que o sistema ramifique a partir de versões históricas fortes.
• O refinamento guiado por modo de falha (combinando edição e depuração direcionada) é eficaz para a melhoria iterativa do sistema.

O trabalho sugere que futuros sistemas de memória agêntica devem ir além de arquiteturas estáticas em direção a programas dinâmicos e de autoaperfeiçoamento que possam adaptar suas próprias estratégias de construção e recuperação para requisitos de tarefas específicas e escalas de dados em evolução.

6. Limitações e Considerações Éticas

• Custo: O MemPro introduz um estágio de evolução offline. Embora os custos possam ser amortizados ao longo de muitas consultas, a eficiência do próprio processo de evolução é um alvo para melhorias futuras.
• Capacidade do Agente: A implementação atual depende de um Agente Evolutivo capaz (Codex harness com GPT-5.4-medium) para editar e depurar código.
• Topologia: O framework atual utiliza uma estrutura de árvore onde novas versões derivam de um único pai. Os autores observam que topologias mais gerais (ex: evolução estruturada em grafo permitindo fusões/merges) permanecem inexploradas.
• Segurança: Como o MemPro edita componentes executáveis, as versões evoluídas devem ser isoladas (sandboxed), registradas e revisadas antes da implantação em ambientes críticos de segurança. Os autores garantem que os dados de avaliação e as respostas de ouro (gold answers) não sejam expostos ao Agente Evolutivo durante os experimentos.