Resumo Técnico: Não Peça ao LLM para Rastrear a Atualidade

1. O Problema: Resolução de Conflitos em Memória Evolutiva

Sistemas de memória baseados em Grandes Modelos de Linguagem (LLM) são cada vez mais incumbidos de manter fatos que evoluem ao longo do tempo (ex: preferências do usuário, atualizações de políticas, registros corrigidos). Um modo de falha crítico nesses sistemas é a resolução de conflitos: quando uma memória contém múltiplos valores contraditórios para o mesmo fato, determinar qual valor deve ser retornado.

A convenção padrão em sistemas de memória modernos (Mem0, Graphiti, HippoRAG-v2, etc.) é que o fato "mais recente" deve vencer. No entanto, avaliações na tarefa de Consolidação de Fatos do MemoryAgentBench (MAB) revelam um desempenho substancialmente abaixo do esperado em todo o campo:

• A Tarefa: Agentes recebem um corpus de fatos numerados onde versões contrafatuais (mais novas) possuem números de série maiores. Os agentes são explicitamente instruídos: "fatos mais novos possuem números de série maiores".
• A Falha: Apesar desta regra explícita, todos os sistemas publicados apresentam um desempenho substancialmente inferior.
  • HippoRAG-v2 (melhor RAG publicado): 54,0% de precisão em salto único (FC-SH).
  • Zep/Graphiti (grafo de conhecimento temporal projetado para isso): 7,0% em FC-SH.
  • Multi-hop (FC-MH): Todos os 22 sistemas avaliados pontuam $\le$ 7%.
• A Hipótese: O gargalo não é a arquitetura de armazenamento (grafos, modelos hippoocampais, loops agentes), mas sim a etapa de montagem: as linhas de base existentes dependem do LLM para realizar a resolução de conflitos (julgar a atualidade) dentro de um passo de geração de texto livre, em vez de usar uma agregação explícita e ciente de versões.

2. Metodologia: Uma Receita Determinística

Os autores propõem um pipeline que desacopla a recuperação semântica da lógica de atualidade, movendo esta última para fora do LLM e para dentro de código determinístico.

Primitivas Principais

1. Recuperação ao Nível de Fato: Em vez de fragmentar o texto arbitrariamente (ex: 512 ou 4096 tokens), o sistema indexa fatos individuais. Isso preserva o número de série da versão como uma chave distinta, evitando que o LLM precise raciocinar sobre a atualidade dentro de um único bloco ruidoso.
2. Extração Estruturada de Candidatos: Um LLM é solicitado a extrair todos os candidatos semanticamente correspondentes do conjunto recuperado (Top-K=10) em um formato JSON estruturado. O LLM é explicitamente instruído a não escolher um vencedor ou comparar seriais, mas sim a listar cada fato correspondente com seu respectivo número de série e entidade.
3. Agregação Determinística: Uma função Python (max(serial)) seleciona o candidato com o maior número de série. Esta operação é exata, rápida e imune à tendência do LLM de sobrepor regras explícitas com vieses de dados de treinamento (priors).

Pipelines Avaliados

• SH-Conflict (Conflito de Salto Único): Recupera fatos, extrai candidatos e aplica max(serial).
• CAR (Resolução Consciente de Cadeia) para Multi-hop: Decompõe perguntas complexas de múltiplos saltos (ex: "X de Y de Z") em saltos atômicos usando um prompt estilo Self-Ask. Cada salto é resolvido independentemente usando o pipeline SH-Conflict antes de passar o resultado para o próximo salto.

3. Principais Contribuições

1. Comparação de Pipeline com Configuração Correspondente: Os autores conduziram um experimento controlado mantendo o backbone (gpt-4o-mini), a recuperação (BM25), o particionamento (chunking) e o dataset constantes, variando apenas a lógica de resolução.
   • Substituir o pipeline de julgamento por LLM pelo pipeline de Extração de Candidatos + Python max(serial) gerou um ganho médio de +10,8 pontos percentuais (pp) em FC-SH.
   • A lacuna aumentou significamente com o comprimento do contexto: +8 pp em 6K de contexto, subindo para +21 pp em 262K.
2. Novo Estado da Arte (SOTA) no MAB:
   • FC-SH: 78,0% (gpt-4o-mini) e 94,8% (gpt-4o), superando o melhor sistema publicado (HippoRAG-v2 com 54%) em +24 pp (agrupado) e +28 pp em 262K.
   • FC-MH: 30,2% (gpt-4o-mini) e 51,5% (gpt-4o), superando o melhor resultado publicado (7%) em +23 pp (agrupado) e +20 pp em 262K.
3. Evidência Mecanística de Falha do LLM: O estudo identifica dois modos de falha específicos nos baselines de julgamento por LLM que a abordagem determinística elimina:
   • Sobreposição de Prior (Prior-Override): LLMs ignoram a regra "o mais novo vence" quando o fato mais novo contradiz um prior forte dos dados de treinamento (ex: "hóquei no gelo" vs. "pesäpallo" para a Finlândia).
   • Deriva de Comparação de Serial (Serial-Comparison Drift): À medida que o pool de candidatos cresce (contexto mais longo), os LLMs perdem o rastro de qual número de série é o maior. A função max() determinística permanece exata, independentemente do tamanho do pool.
4. Generalização entre Benchmarks: No LongMemEval (memória conversacional com timestamps reais), o mecanismo é portado de max(serial) para max(timestamp). No entanto, ele vincula o julgamento do LLM no geral (57,8% vs 64,4%), indicando que a agregação determinística é a primitiva correta para conflitos de valor atual, mas deve ser composta com manipuladores conscientes do tipo de pergunta para questões de Sim/Não, históricas ou de agregação.

4. Resultados e Análise

• Robustez ao Comprimento de Contexto: O baseline de julgamento por LLM degrada-se bruscamente em 262K de contexto (caindo de 75% em 64K para 61% em 262K). O pipeline determinístico permanece estável (71–82% em todos os comprimentos para gpt-4o-mini; 92–99% para gpt-4o).
• Teto de Recuperação: Uma análise de união mostra que 88,5% das perguntas são solucionáveis por pelo menos um pipeline, sugerindo que a recuperação (BM25 Top-10) não é o gargalo primário; a falha reside na montagem pós-recuperação.
• Complementaridade: Os pipelines não são estritamente ordenados. O pipeline determinístico vence em 21,3% das perguntas onde o LLM falha (devido a sobreposição de prior ou deriva), enquanto o LLM vence em 10,5% das perguntas (frequentemente onde a extração estrita rejeita candidatos válidos).
• Eficiência de Custo: O pipeline determinístico do gpt-4o-mini custa ~$0,0001 por consulta, oferecendo uma linha de base de 78% de precisão que é significativamente mais barata e robusta do que sistemas complexos baseados em grafos.

5. Significância e Alegações

O artigo defende uma mudança corretiva no subcampo de frameworks de memória:

• Montagem vs. Armazenamento: O gargalo para a resolução de conflitos é a montagem (como os fatos são identificados e agregados pós-recuperação), não a arquitetura de armazenamento (grafos, embeddings ou loops de agentes).
• Simplicidade sobre Complexidade: Elaborados grafos de conhecimento temporal (como Zep/Graphiti) projetados especificamente para memória temporal pontuaram 7,0% nesta tarefa. Os autores alegam que, para dados com marcadores de versão explícitos, a abordagem correta é a extração de candidatos estruturados seguida de agregação determinística, e não o julgamento mediado por LLM.
• Padrão de Design: Futuros sistemas de memória devem restringir o papel do LLM a tarefas que ele realiza com confiabilidade (identificação semântica e extração de candidatos) e delegar as comparações sobre metadados estruturados (seriais, timestamps) ao código determinístico.

Os autores mantêm-se modestos quanto ao escopo, observando que a receita é específica para a resolução de conflitos de valor atual com marcadores de versão explícitos. Eles reconhecem que a resolução multi-hop continua difícil (30,2% é uma melhoria, mas não é "resolvida") e que a abordagem requer composição com outros manipuladores para tipos de perguntas de não-atualidade (Sim/Não, consultas históricas).