HeLa-Mem: Hebbian Learning and Associative Memory for LLM Agents

Título: HeLa-Mem: Aprendizado Hebbiano e Memória Associativa para Agentes LLM

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam desafios fundamentais na manutenção de memória de longo prazo e coerência em interações estendidas. As abordagens atuais sofrem de limitações críticas:

• Janelas de Contexto Fixas: LLMs tradicionais dependem de janelas de contexto limitadas, o que impede a preservação de informações em conversas longas ou multi-sessões.
• Memória Não Estruturada: Sistemas existentes geralmente representam o histórico de conversas como vetores de incorporação (embeddings) não estruturados, recuperando informações apenas com base na similaridade semântica.
• Falta de Estrutura Associativa: A abordagem atual falha em capturar a estrutura associativa da memória humana, onde experiências relacionadas fortalecem interconexões através de co-ativação repetida. Isso resulta em agentes que "lembram" fatos isolados, mas carecem da "continuidade" necessária para raciocínio complexo e manutenção de personalidade estável.

2. Metodologia: HeLa-Mem

O HeLa-Mem propõe uma arquitetura de memória bioinspirada que modela o histórico de conversas como um grafo dinâmico governado pelos princípios do Aprendizado Hebbiano ("neurônios que disparam juntos, se conectam juntos"). A arquitetura opera através de três mecanismos principais:

A. Codificação Online e Associação (Grafo Episódico)

• As turnos de conversa são armazenados como nós em um grafo ponderado.
• As arestas representam conexões associativas. Inicialmente, as conexões são fracas, mas fortalecem dinamicamente quando dois nós são co-ativados durante a recuperação de informações.
• A atualização dos pesos segue a regra Hebbiana:
  $$w_{ij}^{(t+1)} = (1 - \lambda) \cdot w_{ij}^{(t)} + \eta \cdot I(v_i, v_j \in K_t)$$
  Onde $\lambda$ é a taxa de decaimento, $\eta$ é a taxa de aprendizado e $I$ indica se os nós foram co-ativados no conjunto de recuperação atual. Isso permite que memórias correlacionadas se fortaleçam enquanto conexões não utilizadas decaem.

B. Agente Reflexivo e Consolidação (Memória Semântica)

• Um Agente Reflexivo monitora a evolução estrutural do grafo para gerenciar o ciclo de vida da memória.
• Detecção de Hubs: Nós com alta conectividade (alto grau de arestas) são identificados como "hubs" de conhecimento.
• Distilação Hebbiana: O agente sintetiza clusters de memórias episódicas densamente conectadas em entradas semânticas estruturadas (conhecimentos factuais, modelos de usuário, personalidade do agente). Isso comprime detalhes episódicos repetitivos em conhecimento estável e reutilizável.
• Esquecimento Adaptativo: Nós isolados (baixo grau, sem acesso recente) são removidos para evitar o crescimento descontrolado do grafo e reduzir ruído.

C. Recuperação de Duplo Caminho (Dual-Path Retrieval)
Para responder a consultas, o sistema utiliza uma estratégia híbrida:

1. Ativação Base: Recupera memórias baseadas em similaridade de embeddings, sobreposição de palavras-chave e decaimento temporal.
2. Ativação Espalhada (Spreading Activation): Propaga a ativação através das arestas Hebbianas aprendidas. Isso permite recuperar memórias que são semanticamente distantes da consulta, mas fortemente associadas ao conteúdo ativado inicialmente.
3. Classificação Final: Combina os resultados dos dois caminhos para formar o contexto final, permitindo raciocínio de múltiplos saltos (multi-hop).

3. Contribuições Principais

1. Arquitetura Bioinspirada: Introdução do HeLa-Mem, que utiliza um grafo Hebbiano dinâmico para capturar associações latentes que a similaridade semântica pura ignora.
2. Mecanismo de Consolidação Reflexiva: Implementação de um Agente Reflexivo que aplica "Distilação Hebbiana" para transformar memórias episódicas transitórias em conhecimento semântico estruturado, prevenindo a explosão do grafo.
3. Estratégia de Recuperação Dual: Desenvolvimento de um método de recuperação que integra similaridade semântica com ativação espalhada baseada em associações aprendidas, alcançando o melhor ranking médio (1.25) entre todas as categorias de perguntas.
4. Validação Empírica: Demonstração de superioridade no benchmark LoCoMo, superando métodos de ponta (como MemoryOS, A-Mem, MemGPT) com significativamente menos tokens de contexto.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark LoCoMo (Long-Context Memory), que contém diálogos ultra-longos (média de 300 turnos).

• Desempenho Geral: O HeLa-Mem superou consistentemente todas as linhas de base em quatro categorias de tarefas: Raciocínio Multihop, Tarefas Temporais, Domínio Aberto e Tarefas de Passo Único.
  • Exemplo (GPT-4o-mini): HeLa-Mem alcançou 40.14% de F1 em Raciocínio Multihop, superando o MemoryOS (38.39%) e o A-Mem (27.02%).
• Eficiência de Tokens: O sistema alcançou alto desempenho utilizando apenas ~1.010 tokens de contexto em média, comparado a ~16.900 tokens para métodos que usam a janela de contexto completa (LoCoMo Native). Isso demonstra uma eficiência extrema ao recuperar apenas as memórias mais relevantes.
• Robustez: O desempenho foi consistente em diferentes backbones de LLMs (GPT-4o-mini, GPT-4o, Qwen2.5-14b, Qwen2.5-3b), obtendo o melhor ranking médio (1.25).
• Estudo de Ablação:
  • Remover o Agente Reflexivo causou a maior queda de desempenho (de 34.74% para 29.87%), confirmando a importância da consolidação em conhecimento estruturado.
  • Desabilitar a Ativação Espalhada prejudicou significativamente o raciocínio multihop, validando que a recuperação puramente semântica é insuficiente para conectar informações dispersas.

5. Significado e Conclusão

O HeLa-Mem representa um avanço significativo na evolução de agentes LLM de sistemas estáticos para agentes de aprendizado ao longo da vida.

• Paradigma de Memória: A transição de um armazenamento estático para um sistema dinâmico e plástico, onde a estrutura da memória evolui com a experiência, imita processos cognitivos biológicos fundamentais.
• Raciocínio Complexo: A capacidade de realizar raciocínio de múltiplos saltos (multi-hop) através de caminhos associativos aprendidos resolve o problema de "armadilhas semânticas", onde o modelo conhece os fatos, mas não consegue conectá-los logicamente.
• Escalabilidade: A combinação de distilação semântica e esquecimento adaptativo oferece uma solução viável para a gestão de memória em interações de longo prazo sem custos computacionais proibitivos.

Em suma, o trabalho demonstra que incorporar dinâmicas neuro-simbólicas (Aprendizado Hebbiano) na arquitetura de memória de agentes LLM é uma direção promissora para superar as limitações atuais de coerência e raciocínio em contextos estendidos.