Belief Memory: Agent Memory Under Partial Observability

Problema: Erro de Auto-Reforço em Memória Determinística
Agentes de Modelos de Linguagem de Grande Escala (LLM) atuais que operam em ambientes de longo horizonte e parcialmente observáveis dependem de memória externa para acumular conhecimento. No entanto, os métodos de memória existentes — que variam de fluxos factuais a sistemas de reflexão de autoaperfeiçoamento — aderem a um paradigma determinístico. Eles armazenam cada observação como uma única conclusão categórica (por exemplo, "A API X falhou"), descartando hipóteses alternativas e a incerteza inerente à observação. Essa abordagem cria um "erro de auto-reforço": uma vez que um agente se compromete com uma conclusão falha, ele age com base nessa conclusão, gerando novas observações que parecem apoiá-la, sem nunca reexaminar as alternativas descartadas. Em Processos de Decisão de Markov Parcialmente Observáveis (POMDPs), onde os agentes não podem acessar diretamente o estado verdadeiro do mundo, o colapso de observações ruidosas em uma única verdade fundamental impede que o agente corrija erros quando novas evidências chegam.

Metodologia: BeliefMem
Para abordar isso, os autores propõem o BeliefMem, um paradigma de memória que muda do armazenamento de conclusões determinísticas para a manutenção de uma representação de crença em nível de atributo. Em vez de uma estimativa pontual única, o BeliefMem armazena múltiplas conclusões candidatas para cada atributo, cada uma associada a uma probabilidade.

A metodologia opera por meio de três mecanismos principais:

1. Armazenamento Baseado em Crença: Para cada atributo $c$ (por exemplo, status da ferramenta, preferência do usuário), o sistema mantém um conjunto de hipóteses candidatas $H(c)$. Em vez de um posterior normalizado sobre um conjunto fixo, ele armazena probabilidades baseadas em evidências para candidatos que foram apoiados por observações.
2. Atualização Probabilística (Noisy-OR): Quando novas observações chegam, o BeliefMem atualiza a memória usando duas operações:
   • Adicionar: Inicializa novos atributos ou candidatos com uma probabilidade limitada por $[p_{min}, p_{max}]$.
   • Mesclar: Atualiza candidatos existentes usando uma regra Noisy-OR. Se uma observação apoiar uma hipótese, sua probabilidade aumenta; se apoiar uma hipótese contraditória, a probabilidade da hipótese conflitante é reduzida (por exemplo, para 0,25). Isso permite que o sistema refine incrementalmente a confiança sem descartar alternativas.
3. Recuperação Consciente de Crença: Durante a recuperação, o sistema retorna não apenas a conclusão de maior classificação, mas as entradas dos top-$K$ junto com seu conjunto completo de probabilidades candidatas. Isso garante que hipóteses concorrentes permaneçam visíveis para o agente no momento da decisão, permitindo que ele raciocine sob incerteza e selecione ações que testem ou refinem suas crenças.

Principais Contribuições

• Mudança de Paradigma: O artigo identifica e aborda o "gargalo determinístico" na memória de agentes, propondo uma mudança de estimativas pontuais para estados de crença probabilísticos.
• Mitigação do Erro de Auto-Reforço: Ao preservar a incerteza e hipóteses alternativas, o BeliefMem impede que os agentes fiquem presos em conclusões incorretas, permitindo que corrijam erros à medida que novas evidências se acumulam.
• Aproximação Prática: Os autores fornecem uma aproximação computacionalmente viável de estados de crença usando a fusão de evidências Noisy-OR, evitando a intratabilidade de manter posteriors exatos sobre espaços de hipóteses abertos.

Resultados Experimentais
Os autores avaliaram o BeliefMem em duas benchmarks: LoCoMo (memória conversacional de longo prazo) e ALFWorld (interação de agente incorporado).

• Desempenho: O BeliefMem alcançou o melhor desempenho médio em ambas as benchmarks, superando baselines bem conhecidas como MemGPT, MemoryBank e Mem0.
• Eficiência de Dados: Notavelmente, o BeliefMem alcançou resultados superiores usando apenas 50% do tamanho padrão do corpus de memória. Em alguns cenários, superou as baselines com apenas 16,67% dos dados.
• Correção e Convergência: Experimentos adversariais mostraram que o BeliefMem corrige entradas de memória falhas quase duas vezes mais efetivamente do que as baselines determinísticas e converge para a conclusão verdadeira com alta probabilidade (taxa Top-1 de 87,68%) à medida que as evidências se acumulam.
• Generalização: Em cenários fora da distribuição (Não Vistos), o BeliefMem demonstrou generalização robusta, frequentemente superando as baselines por margens significativas (por exemplo, 12,4% em tarefas não vistas do ALFWorld).

Significância
O artigo afirma que substituir entradas de memória determinísticas por representações de crença probabilísticas produz ganhos substanciais em ambientes parcialmente observáveis. Ao preservar a incerteza em vez de descartá-la, o BeliefMem permite que os agentes ajam com alta confiança em conhecimento bem evidenciado, mantendo ao mesmo tempo a capacidade de atualizar suas crenças quando novas evidências contradizem suposições anteriores. Este trabalho explora uma nova direção para a memória de agentes, demonstrando que manter um estado de crença aproxima a solução ótima de POMDP de forma mais eficaz do que as abordagens determinísticas atuais, levando a agentes de longo prazo mais confiáveis e adaptáveis.