Resumo Técnico: Recall Total a Que Custo? Avaliando o Custo de Servimento de Sistemas de Memória Agêntica

Declaração do Problema

À medida que os agentes conversacionais transitam de demonstrações de sessão única para implantações de longa duração que abrangem semanas ou meses, eles requerem mecanismos para reter informações ao longo dos turnos. Existem duas estratégias principais: (1) Reenvio de transcrição completa, onde todo o histórico da conversa é reenviado para a janela de contexto do LLM a cada turno, e (2) Sistemas de memória agêntica, que destilam interações passadas em registros compactos (fatos, resumos, grafos de conhecimento) e recuperam apenas subconjuntos relevantes.

Embora os sistemas de memória sejam adotados para escapar do crescimento ilimitado de custos do reenvio de transcrição completa, o custo de servimento real desses sistemas de memória permanece pouco compreendido. As avaliações existentes focam quase exclusivamente em precisão e recall, frequentemente reportando figuras isoladas de economia de tokens sob condições específicas. Há uma falta de benchmarking sistemático e entre sistemas que meça o custo de servimento de ponta a ponta dos sistemas de memória contra baselines transparentes, pareados com métricas de precisão. Consequentemente, os praticantes não podem determinar se um sistema de memória é economicamente viável em comparação ao simples reenvio da transcrição.

Metodologia

Os autores conduziram um benchmark controlado avaliando três sistemas de memória agêntica contra duas estratégias de referência através de dois modelos de base e variando configurações de esforço de raciocínio.

Sistemas Avaliados

1. Mem0: Um sistema plano de extração e recuperação que armazena fatos atômicos em um banco de dados vetorial.
2. Hindsight: Um sistema que utiliza um pipeline de retenção–recuperação–reflexão para ingestão de memória.
3. Mastra Observational Memory: Um loop de observador–refletor–ator com consolidação disparada por limiar (threshold).
4. Estratégias de Referência:
   • Janela Móvel (Piso/Floor): Uma janela de tamanho fixo dos últimos 10 turnos (sem armazenamento persistente).
   • Histórico Completo (Teto/Ceiling): Reenviando toda a transcrição a cada turno.

Design Experimental

• Backbones: Avaliado em gpt-oss-20b e Gemma 4 26B A4B em configurações de "baixo" e "médio" esforço de raciocínio.
• Carga de Trabalho: Conversas sintéticas geradas para comprimentos específicos ($N$) e tamanhos de tokens por turno ($L$), até 400 turnos.
• Medição de Custo: O estudo modelou o total de tokens de entrada faturáveis através de três estágios do pipeline: Ingestão (extração de fatos/consolidação), Recuperação e Resposta.
• Modelo de Custo: Um modelo de regressão log-log separável foi ajustado para prever o custo ($C$) com base no tamanho da mensagem ($L$) e na profundidade da conversa ($t$):
  $$\log(C+1) = a + p\log(L+1) + q\log(t+1)$$
  onde $p$ representa a sensibilidade do custo ao tamanho da mensagem e $q$ à profundidade da conversa.
• Benchmark de Precisão: Pareado com medições de custo, a precisão foi avaliada em um subconjunto estratificado do benchmark LoCoMo (665 perguntas através de diálogos de múltiplas sessões).
• Validação: Os modelos foram validados usando validação cruzada leave-one-cell-out (LOOCV) para testar a generalização.

Principais Resultados

1. Modelagem de Custo e Previsibilidade

• Estratégias de Referência: O modelo de custo se ajusta excepcionalmente bem às estratégias de referência ($R^2 \geq 0.91$). A baseline de histórico completo mostra $p \approx q \approx 1$ (o custo escala com o conteúdo total), enquanto a janela móvel mostra $p \approx 0.9$, mas $q \approx 0.1$ (o custo escala com o tamanho da mensagem, mas é plano em relação à profundidade).
• Sistemas de Memória: O modelo falha em prever os custos dos sistemas de memória.
  • Mem0: $p \approx 0.17, q \approx 0.08$ (baixa sensibilidade a ambos).
  • Hindsight: $p \approx 0.15, q \approx 0.42$ (alta sensibilidade à profundidade).
  • Mastra OM: $p \in [0.61, 0.79], q \in [0.23, 0.36]$.
  • Erro de Hold-out: Enquanto as baselines generalizam com <6.5% de erro, os sistemas de memória exibem 18–69% de erro na validação de hold-out. Isso indica que o custo de servimento dos sistemas de memória é impulsionado pelo estado interno da memória (ex: limiares de gatilho, taxas de consolidação) em vez de apenas o comprimento da conversa ou o tamanho da mensagem.

2. Análise de Ponto de Equilíbrio (Break-Even)

O estudo calculou o "turno de equilíbrio"—o ponto onde um sistema de memória torna-se mais barato do que reenviar a transcrição completa.

• Alta Variabilidade: O ponto de equilíbrio é altamente sensível ao sistema, ao backbone e à carga de trabalho.
  • Mastra OM: Pode atingir o equilíbrio imediatamente (turno 0) ou dentro de dezenas de turnos.
  • Mem0: Atinge o equilíbrio dentro de dezenas de turnos para mensagens maiores, mas pode levar até 342 turnos para mensagens menores.
  • Hindsight: Frequentemente falha em atingir o equilíbrio dentro de 400 turnos, particularmente com tamanhos de mensagem menores.
• Magnitude: Uma vez que um sistema de memória atinge o equilíbrio, ele pode ser até 12.7x mais barato que o reenvio de histórico completo. Inversamente, sistemas que falham em atingir o equilíbrio (como o Hindsight com mensagens pequenas) podem custar até 3.3x mais que a transcrição completa.

3. Trade-offs de Custo-Precisão

• Intervalo de Precisão: A precisão no LoCoMo variou significamente (21%–54%) dependendo do sistema e do backbone.
• Sem Sistema Dominante: Nenhum sistema único vence tanto em custo quanto em precisão.
  • O Mastra OM no gpt-oss-20b (baixo esforço) alcançou o menor custo-por-resposta-correta ($0.028 em 100 turnos).
  • O Mem0 no Gemma 4 26B A4B foi a opção mais econômica para esse backbone.
  • O Hindsight foi geralmente o mais caro para servir, embora tenha alcançado maior precisão em algumas configurações.
• Impacto do Backbone: A escolha do modelo de base influencia o custo tanto quanto a escolha do sistema de memória. Por exemplo, o custo do Mem0 caiu significativamente no Gemma 4 26B A4B devido ao menor uso de tokens de raciocínio em comparação ao gpt-oss-20b.

Significância e Alegações

O artigo afirma fornecer o primeiro benchmark controlado e entre sistemas do custo de servimento de memória agêntica pareado com precisão. Suas principais contribuições e descobertas são:

1. O Custo é Não Linear e Dependente de Estado: O custo de servimento de um sistema de memória não pode ser previsto apenas pela duração da conversa e pelo tamanho da mensagem. O comportamento interno do pipeline de memória (gatilhos, consolidação) impulsiona a variância do custo, tornando modelos de regressão simples insuficientes para previsão.
2. Viabilidade Econômica Dependente de Contexto: Se um sistema de memória é mais barato que o reenvio de transcrição completa não é uma propriedade intrínseca do sistema, mas uma função da carga de trabalho (comprimento da conversa, tamanho da mensagem) e do modelo de base. Os pontos de equilíbrio variam de imediato até "nunca" dentro de 400 turnos.
3. Tomada de Decisão Conjunta: Praticantes não podem otimizar para custo ou precisão isoladamente. A escolha do modelo de base e do sistema de memória são acoplados; um backbone que reduz o custo para um sistema de memória pode aumentar o custo para outro.
4. Limitações dos Benchmarks Atuais: O estudo destaca que os benchmarks atuais que focam apenas em precisão ignoram a restrição crítica de produção: o custo de servimento, e que os modelos de custo atuais para memória são descritivos em vez de mecanísticos.

Os autores concluem que selecionar um sistema de memória requer uma análise específica do comprimento esperado da conversa e do backbone escolhido, pois não existe um sistema "melhor" universal entre todas as configurações.