Resumo Técnico: Nous – Um Modelo de Mundo Preditivo para Memória de Longo Prazo de Agentes

Declaração do Problema

Os atuais agentes de Grandes Modelos de Linguagem (LLMs) sofrem com a falta de uma memória de longo prazo que evolua continuamente. Embora as janelas de contexto forneçam recall de curto prazo, o histórico conversacional é perdido assim que uma sessão termina, a menos que seja persistido externamente. Sistemas de memória existentes (ex: RAG, grafos de conhecimento, armazenamentos episódicos como o MemGPT) tratam a memória como um banco de dados estático de fatos. Os autores argumentam que esse paradigma de "armazenamento" leva a três modos de falha estrutural:

1. Cegueira de Conflito: Registros contraditórios (ex: um usuário mudando de emprego) acumulam-se sem uma resolução fundamentada.
2. Esquecimento Heurístico: A exclusão é baseada no tempo, em vez de relevância semântica ou incerteza.
3. Desajuste de Granularidade de Recuperação: Armazéns de fatos retornam registros individuais, carecendo de mecanismos para agregar valores ao longo do tempo (ex: listar todas as atividades que uma pessoa já realizou).

O artigo postula que essas falhas decorrem do tratamento da memória como armazenamento, em vez de um modelo de mundo preditivo, análogo à forma como o cérebro mantém um modelo generativo do ambiente atualizado por erros de predição.

Metodologia: A Arquitetura Nous

O Nous implementa a memória como uma coleção de distribuições de probabilidade categórica, denominadas dimensões, em vez de fatos determinísticos.

Abstrações Principais

• Dimensões ($D_{e,a}$): Para cada par entidade-atributo (ex: Pranav, empregador), o Nous mantém uma distribuição categórica $p(v)$ sobre um vocabulário de possíveis valores. A moda desta distribuição representa a crença atual mais provável do agente.
• Deltas ($\Delta$): O artefato armazenado primário não é o fato em si, mas o delta — um registro do deslocamento da crença anterior para a posterior. Um delta inclui a distribuição anterior, a distribuição posterior, a surpresa informacional e o timestamp, além da evidência de suporte.
• Atualizações Impulsionadas por Surpresa: As observações recebidas são pontuadas por surpresa informacional: $S = -\log_2 P(obs | D)$. Uma alta surpresa (evidência contraditória) desencadeia uma revisão significativa da crença, enquanto uma baixa surpresa (evidência confirmatória) resulta em mudanças insignificantes.
• Posterior Bayesiano: As atualizações são computadas via uma posterior Bayesiana de forma fechada (Eq. 3). Isso permite que a massa de probabilidade se desloque naturalmente em direção à evidência contraditória sem lógica explícita de detecção de conflito.
• Decaimento de Entropia (Esquecimento): Dimensões não atualizadas durante um período $\Delta t$ passam por uma mistura exponencial em direção a uma distribuição uniforme (Eq. 4). Isso simula o esquecimento natural conforme a incerteza cresce ao longo do tempo, uma propriedade ausente em regras de exclusão heurísticas.
• Resolução de Identidade: Entidades são fundidas se a divergência KL simetrizada entre seus conjuntos de dimensões compartilhadas for baixa.

Lidar com Atributos Multivalorados

Uma limitação das distribuições categóricas unimodais é a incapacidade de representar atributos inerentemente multivalorados (ex: uma lista de cidades visitadas) sem descartar alternativas históricas. O Nous aborda isso via agregação de log-delta: no momento da consulta, qualquer valor que apareceu com surpresa acima de um limiar $\theta_{min}$ é incluído no contexto. Isso preserva o modelo de mundo Bayesiano para a "melhor crença atual" enquanto permite a agregação exaustiva para consultas específicas.

Pipelines

• Ingestão: Um LLM extrai triplas $(e, a, v)$ de sessões. Para cada uma, o sistema computa a surpresa, atualiza a posterior e anexa um delta ao log.
• Consulta: O sistema realiza uma busca em largura sobre o grafo de entidades (até dois saltos) para semear entidades relevantes. Ele formata os estados das dimensões como linhas de fatos e anexa os principais registros de delta (baseados em similaridade BM25) como evidência. Este contexto é passado para um LLM de resposta.

Contribuições Principais

1. Paradigma de Modelo de Mundo Preditivo: Formalização da memória do agente como uma coleção de dimensões atualizadas por inferência Bayesiana impulsionada por surpresa, em vez de um repositório de fatos.
2. Implementação Open-Source: Um sistema completo que não requer banco de dados vetorial externo ou motor de grafos.
3. Avaliação e Benchmarking Honesto: Avaliação de desempenho no benchmark LoCoMo, acompanhada de uma discussão explícita sobre problemas de reprodutibilidade encontrados na literatura em relação às comparações de baseline (especificamente o A-MEM) e uma análise comparativa contra o BeliefMem, um sistema concorrente com premissas semelhantes.

Resultados

Avaliado no benchmark LoCoMo (10 conversas, 1.540 perguntas) utilizando o GPT-4o-mini como base:

• Desempenho: O Nous alcançou as seguintes pontuações de F1 de Token:
  • Single-hop: 63.50
  • Multi-hop: 55.32
  • Temporal: 58.57
  • Open-domain: 62.50
• Comparação com A-MEM: O Nous mostrou ganhos substanciais sobre os números autorreportados do A-MEM para o GPT-4o-mini em três de quatro categorias. Os autores notam um problema de reprodutibilidade onde citações independentes dos resultados do A-MEM discordam da atribuição de categorias, embora os valores numéricos subjacentes sejam consistentes.
• Comparação com BeliefMem: Contra o BeliefMem (outro sistema baseado em crenças), os números autorreportados do Nous excederam o BeliefMem em todas as quatro categorias (ex: 63.50 vs. 48.41 em single-hop). No entanto, os autores declaram explicitamente que esta não é uma comparação totalmente controlada devido a diferenças em prompts de extração, mecanismos de recuperação (BM25/BFS vs. similaridade/decaimento) e contagens de perguntas não verificadas.
• Análise de Falhas:
  • Single-hop: Alto recall de contexto (86.07%), mas F1 baixo (63.50), indicando que o gargalo é a geração de resposta do LLM, não a recuperação.
  • Open-domain: Menor recall de contexto (47.50%) e maior taxa de erro de recuperação (37%), sugerindo que o modelo de dimensão entidade-atributo tem dificuldade em mapear questões de personalidade/hábito de forma limpa.
  • Temporal: Sofre de baixo recall de contexto (61.82%) porque dados temporais são frequentemente incorporados no texto de evidência em vez de extraídos como valores de dimensão explícitos.

Significância e Alegações

O artigo afirma que o Nous demonstra uma alternativa viável às arquiteturas de memória centradas em bancos de dados. Ao modelar a memória do agente não como um repositório de "o que aconteceu", mas como uma distribuição de probabilidade continuamente refinada sobre o estado do mundo, ele lida naturalmente com contradição (via deslocamentos de probabilidade), esquecimento (via decaimento de entropia) e agregação (via logs de delta).

Os autores posicionam este trabalho como um primeiro relatório público de uma nova arquitetura. Eles enfatizam a modéstia em relação aos resultados:

• A comparação com o BeliefMem é "sugestiva, não conclusiva", pendente de uma comparação controlada executada por eles mesmos com pipelines correspondentes.
• A natureza unimodal das dimensões é reconhecida como uma limitação para atributos de valores de conjunto, com um movimento em direção a distribuições de Bernoulli independentes sendo planejado.
• A avaliação é atualmente limitada ao LoCoMo e GPT-4o-mini; a generalização para outros modelos base e benchmarks mais difíceis (LongMemEval) está planejada.

A principal significância reside na mudança arquitetônica: tratar a memória do agente não como um repositório de "o que ocorreu", mas como um modelo de mundo preditivo atualizado por surpresa, fundamentado em princípios da ciência cognitiva como codificação preditiva e o princípio da energia livre.