Resumo Técnico: Memória de Agente: Caracterização e Implicações de Sistemas para Cargas de Trabalho de Longo Horizonte e Estado

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para tarefas de longo horizonte que exigem raciocínio sustentado sobre históricos de interação estendidos, como assistentes pessoais que rastreiam preferências ao longo de semanas ou agentes de código que mantêm o contexto de projetos através de sessões. Enquanto os primeiros LLMs dependiam de conhecimento paramétrico e Geração Aumentada por Recuperação (RAG), que desacoplava o conhecimento dos parâmetros usando corpora estáticos externos, os agentes com estado (stateful) exigem um corpus de memória mutável produzido pelo próprio fluxo de interação do agente.

Confiar exclusivamente na janela de contexto do modelo para a memória enfrenta três limites fundamentais:

1. Capacidade: Interações contínuas de múltiplas sessões excedem inevitavelmente os orçamentos fixos de contexto.
2. Custo: Os custos de preenchimento (prefill) escalam quadraticamente com o comprimento do histórico, e a pressão de memória do cache KV torna-se ingerenciável entre as sessões devido à evasão de cache.
3. Fidelidade: O raciocínio e a recuperação degradam em sequências longas, exibindo uma curva de desempenho em "U", onde fatos do contexto intermediário são perdidos.

Consequentemente, os agentes requerem sistemas de memória externa para persistir, recuperar seletivamente e atualizar o estado. No entanto, um ecossistema rico de sistemas de memória de agente emergiu com designs diversos (recuperação plana, extração mediada por LLM, estruturas baseadas em grafos, fluxos de controle agênticos), porém seu comportamento em nível de sistema permanece não caracterizado. Os benchmarks existentes focam puramente na precisão a jusante (downstream), ignorando a redistribuição assimétrica dos custos computacionais (construção vs. recuperação) que impactam criticamente a implantação em escala.

Metodologia

Os autores apresentam a primeira caracterização de sistemas de algoritmos de memória de agente, abrangendo todo o espaço de design.

1. Taxonomia e Conjunto de Cargas de Trabalho

O estudo introduz uma taxonomia orientada ao sistema que classifica dez sistemas de memória de agente representativos ao longo de quatro eixos: construção, armazenamento, recuperação e mutabilidade. Estes sistemas são categorizados em quatro paradigmas:

• Paradigma I: Memória de contexto longo: Utiliza o próprio contexto do modelo (ex: long_context).
• Paradigma II: Memória RAG plana: Indexação determinística (léxica ou vetorial) sem construção por LLM (ex: BM25, EmbedRAG).
• Paradigma III: Memória RAG aumentada por estrutura: Utiliza um LLM como um extrator fixo para derivar fatos, resumos ou grafos. Subdividido em apenas adição (ex: GraphRAG, HippoRAG v2) e consolidativa (ex: Mem0, SimpleMem).
• Paradigma IV: Fluxo de controle agêntico: Expõe operações de memória ao LLM como parte do loop de decisão (ex: A-Mem, Letta, MIRIX).

A avaliação utiliza dois conjuntos de benchmarks:

• MemoryAgentBench (MAB): Avalia recuperação, aprendizado em tempo de teste, compreensão de longo alcance e esquecimento seletivo. O estudo foca em LongMemEval_S_* (aproximadamente 360K tokens de histórico, 60 consultas por amostra) para separar os custos de construção dos custos de recuperação.
• MemoryArena: Contém tarefas de múltiplas sessões para expor os compromissos entre frescor (freshness) e latência em cenários de ingestão contínua.

2. Harness de Profiling

Os autores construíram um harness de profiling consciente de fase (a ser disponibilizado em código aberto) que atribui custos a três fases lógicas: construção, recuperação e geração.

• Telemetria de API: Instrumenta requisições de chat-completion e embedding para rastrear volume de tokens, estrutura de chamadas e latência.
• Telemetria de Hardware: Amostra contadores de GPU (NVML/DCGM) para medir potência, utilização, pegada de VRAM e energia.
• Configuração Experimental: Experimentos foram executados em dois regimes: construção remota (API OpenAI) e construção local (NVIDIA H100 com serving vLLM de modelos Qwen3).

Principais Contribuições

1. Taxonomia Orientada ao Sistema: Uma classificação de sistemas de memória de agente ao longo de quatro eixos com assinaturas de custo previstas por paradigma.
2. Profiling Consciente de Fase: Um harness que rastreia tokens, chamadas de modelo, utilização de GPU e latência através de construção, recuperação e geração.
3. Caracterização Abrangente: Análise de formas de custo de construção, limiares de capacidade, estruturas de amortização, agendamento de frescor, crescimento de pegada e comportamento de cauda de recuperação.
4. Dez Recomendações de Sistema: Diretrizes acionáveis para infraestrutura, agendamento e seleção de sistemas.

Principais Resultados e Insights

1. A Construção Domina o Ciclo de Vida

Ao contrário da suposição de que o serviço em tempo de consulta é o principal custo, a energia de construção domina o ciclo de vida do agente para sistemas mediados por LLM.

• Dispersão de Energia: A energia total por resposta correta varia em mais de 47× através do conjunto (de ~4,1 kJ para BM25 a ~185,9 kJ para Letta).
• Mudança de Custo: Os paradigmas III e IV deslocam a maior parte da energia de ponta a ponta para a fase de construção, que é invisível ao usuário no momento da consulta.
• Implicação: Métricas de precisão isoladas são insuficientes; operadores devem considerar a energia do ciclo de vida, que varia em ordens de magnitude mesmo para sistemas com precisão semelhante.

2. A Construção é Dominada por Prefill e Embedding

A construção é estruturalmente uma carga de trabalho de "leitura longa, escrita curta", dominada por embedding e prefill de LLM, com tempo de decodificação mínimo (participação mediana de decodificação é de 4,6%).

• Padrões de Tráfego: Sistemas do Paradigma III.a geram tráfego de indexação offline em lote (batch), enquanto os Paradigmas III.b e IV geram tráfego sequencial por evento.
• Conflito: Direcionar tanto a construção (orientada a throughput) quanto o QA (sensível a latência) através do mesmo endpoint causa bloqueio de cabeça de linha (head-of-line blocking). Trabalhos de construção ocupam o headroom do cache KV, travando consultas sensíveis à latência.

3. A Escolha do LLM de Construção é Restrita pelo Algoritmo

Operadores podem reduzir a escala do LLM usado para construção para reduzir custos, mas a faixa segura depende do algoritmo.

• Degradação Graciosa: Sistemas sem contratos de saída rígidos (ex: Mem0, SimpleMem) toleram LLMs de construção menores com degradação suave de precisão.
• Limiares de Capacidade: Sistemas com contratos de saída estritos (ex: MIRIX exigindo esquemas JSON específicos) exibem um limite inferior rígido; cair abaixo de certa capacidade de modelo (ex: Qwen3-1.7B) corrompe o repositório de memória inteiramente, tornando-o inutilizável.

4. A Fronteira Construção–Serviço–Precisão

Não existe um único sistema que seja ótimo em custo de construção, latência por consulta e precisão.

• Compromissos: BM25 oferece construção rápida e alta precisão agregada, mas tempos de consulta mais lentos. Mem0 oferece a latência de consulta mais rápida, mas incorre em custos de construção massivos e menor precisão.
• Seleção: Cargas de trabalho de alta frequência de consulta favorecem sistemas que movem o trabalho para a construção; cargas de trabalho de ingestão contínua favorecem sistemas de baixo custo de construção.

5. Compromisso entre Frescor e Latência em Sessões Contínuas

Em cargas de trabalho de múltiplas sessões, o tempo de construção por sessão abrange cinco ordens de magnitude (de sub-milissegundo para BM25 a dezenas de segundos para Letta).

• Dilema de Agendamento: Se o tempo de construção exceder o intervalo de chegada entre sessões, os operadores enfrentam uma escolha: agendamento síncrono (expondo alta latência ao usuário) ou agendamento assíncrono (servindo memória obsoleta/estagnada).
• Implicação: Para dependências estritas entre sessões, o tempo cumulativo de construção e recuperação deve ser tratado como uma restrição de viabilidade rígida.

6. Divergência de Pegada e Custo de Tokens

• Armazenamento: As pegadas de memória por usuário variam cerca de 9× em 1M de tokens. Designs de múltiplas visões inflam o armazenamento; sistemas de consolidação podem comprimi-lo.
• Custo de Tokens: Sistemas agênticos do Paradigma IV escalam super-linearmente no custo de tokens conforme os repositórios de memória crescem, porque cada nova ingestão consulta o repositório em expansão. Isso torna os custos de longo prazo para sistemas agênticos desproporcionalmente caros em comparação com sua pegada inicial.

7. Estrutura de Latência e Comportamento de Cauda

• Determinístico vs. Limitado por LLM: Sistemas determinísticos (Paradigma II) possuem caudas de latência estreitas (p95/p50 ~1,3×). Sistemas limitados por LLM (Paradigmas III/IV) exibem caudas largas (até 5,9×) porque as decisões de tempo de execução do LLM podem introduzir um número variável de passos de raciocínio ou uso de ferramentas.
• Recomendação: Sistemas limitados por LLM requerem limites externos de iteração e timeouts para restringir custos de pior caso.

Significância e Alegações

O artigo afirma fornecer a primeira caracterização de sistemas de cargas de trabalho de memória de agente, revelando que as escolhas de design redistribuem os custos de forma drástica e assimétrica, de maneiras invisíveis às métricas de precisão.

• Decisão de Nível de Sistema: Os autores argumentam que a seleção do sistema de memória de agente deve ser tratada como uma decisão de nível de sistema, não apenas uma otimização de precisão.
• Implicações de Infraestrutura: O trabalho destaca que a memória de agente impõe necessidades de sistema além do serviço tradicional de LLM, especificamente exigindo o tratamento distinto para construção (throughput de background) vs. recuperação (latência sensível).
• Escopo Modesto: Os autores reconhecem que sua caracterização é base baseada em cenários de nó único e agente único. Eles observam que consistência multi-nó/multi-agente e memória multimodal são fronteiras emergentes não capturadas neste estudo, mas a taxonomia e metodologia propostas fornecem uma base para futuras caracterizações.

O artigo conclui com 10 recomendações específicas para operadores, cobrindo agendamento de construção, limiares de capacidade, amortização via volume de consulta, compromissos entre frescor-latência e gestão de frota, visando guiar a implantação de agentes com estado em escala.