Predictive Associative Memory: Retrieval Beyond Similarity Through Temporal Co-occurrence

Título: Memória Associativa Preditiva: Recuperação Além da Similaridade através de Co-ocorrência Temporal

Autor: Jason Dury (Pesquisador Independente)
Fonte: arXiv:2602.11322v1 [cs.LG]

---

1. O Problema

As abordagens atuais de memória em sistemas neurais (como RAG - Retrieval-Augmented Generation e redes de memória) baseiam-se predominantemente na recuperação por similaridade. O pressuposto é que memórias úteis são aquelas representacionalmente próximas à consulta (ex: distância cosena em um espaço de embeddings).

O artigo argumenta que essa premissa falha em capturar uma propriedade fundamental da memória biológica: a associação através de co-ocorrência temporal.

• Exemplo Biológico: Escadas não se assemelham visualmente a um tropeço, mas a visão de escadas pode evocar imediatamente a memória de um tropeço anterior.
• Limitação Atual: Sistemas baseados em similaridade não conseguem recuperar associações que cruzam fronteiras representacionais (ex: odores, contextos diferentes, eventos não visualmente relacionados) porque a proximidade geométrica no espaço de embeddings não existe entre esses estados.
• Lacuna: Modelos cognitivos como "ativação espalhada" (spreading activation) descrevem o fenômeno, mas não oferecem um mecanismo diferenciável para aprender essa estrutura associativa diretamente da experiência, sem necessidade de grafos manuais ou supervisão de tarefas.

2. Metodologia: Memória Associativa Preditiva (PAM)

O autor propõe uma nova arquitetura chamada Predictive Associative Memory (PAM), que utiliza um preditor estilo JEPA (Joint-Embedding Predictive Architecture) treinado exclusivamente em co-ocorrência temporal.

Arquitetura Principal

O sistema opera em um espaço de embeddings compartilhado e introduz dois componentes complementares:

1. JEPA "Outward" (Externo): O padrão. Dado um estado sensorial atual, prevê o próximo estado sensorial (futuro). Aprende similaridade funcional e regularidades do mundo (memória semântica).
2. JEPA "Inward" (Interno) - O foco do trabalho: Dado um estado atual, prevê quais estados passados são associativamente alcançáveis.
   • Sinal de Treinamento: Co-ocorrência temporal. Se dois estados $s(t)$ e $s(t')$ ocorreram dentro de uma janela temporal $\tau$, eles são alvos de treinamento um para o outro.
   • Mecanismo: O preditor aprende a navegar pela estrutura associativa do espaço de embeddings, mapeando um estado atual para uma região que contém seus associados temporais, independentemente da similaridade visual ou semântica.

Recuperação e Recombinação

• Recuperação: É uma passagem direta (forward pass) através do preditor. O output define uma região no espaço de embeddings; a recuperação busca estados armazenados dentro dessa região.
• Ponte Transitiva (Recombinação Criativa): Se a trajetória 1 visita A→B e a trajetória 2 visita B→C, o preditor pode, iterativamente, ir de A para B e depois de B para C, recuperando C (que nunca co-ocorreu diretamente com A). Isso permite recombinação criativa baseada em experiências reais.

Diferenciação de Paradigma: Recordação vs. Recuperação

O artigo faz uma distinção crucial na avaliação:

• Recuperação (Retrieval): Encontrar itens relevantes em um corpus para generalizar a consultas não vistas (padrão em RAG).
• Recordação (Recall): Reativar fielmente associações específicas formadas por experiências passadas. O PAM é avaliado como um sistema de recordação episódica, onde o objetivo é a fidelidade à experiência, não a generalização para eventos nunca vividos.

3. Contribuições Principais

1. Arquitetura Unificada: Propõe que a recordação, imaginação e recombinação criativa são instâncias da mesma computação: prever uma região de significado a partir de um estado fonte.
2. Mecanismo de Aprendizado: Introduz o "Inward JEPA", que aprende estrutura associativa lateral (passado) em vez de apenas predição temporal futura, sem necessidade de construção explícita de grafos ou supervisão de tarefas.
3. Validação da Especificidade Episódica: Demonstra que a interseção entre similaridade (Outward) e associação (Inward) é necessária para a especificidade episódica (ex: lembrar "aquele parafuso específico de terça-feira", não apenas "parafusos").
4. Benchmarks Sintéticos: Desenvolveu um benchmark sintético rigoroso para testar a recordação de associações que cruzam fronteiras representacionais (entre "salas" com embeddings distantes).

4. Resultados Experimentais

O sistema foi avaliado em um mundo sintético com 20 "salas" (clusters de embeddings) e 50 objetos, gerando 50.000 estados em trajetórias.

• Precisão de Associação (Precision@1): O preditor recuperou um verdadeiro associado temporal no topo da lista 97% das vezes (0.970), comparado a 0% para similaridade cosena.
• Recuperação Transfronteiriça (Cross-Boundary Recall@20): Em pares de estados de "salas" diferentes (onde a similaridade cosena é zero), o PAM alcançou 0.421 de recall. A similaridade cosena e uma base linear bilinear caíram para 0.000.
• Discriminação (AUC):
  • AUC Geral: 0.916 (PAM) vs 0.789 (Cosena).
  • AUC Transfronteiriço (Cross-Room): 0.849 (PAM) vs 0.503 (Cosena - nível de acaso).
• Controles de Validação:
  • Embaralhamento Temporal: Ao embaralhar a ordem temporal das trajetórias (destruindo a estrutura temporal mas mantendo a geometria), o desempenho do PAM caiu 90%, confirmando que o modelo aprendeu a estrutura temporal e não artefatos geométricos.
  • Consultas Não Vistas (Held-out): O modelo não recuperou associações de pontos de vista que nunca experimentou, confirmando o caráter episódico e específico do sistema (não é uma alucinação generalizada).
• Estabilidade: Resultados estáveis entre diferentes sementes de treinamento (SD < 0.006).

5. Significado e Implicações

• Para Sistemas de IA: O trabalho demonstra que a similaridade de embeddings é insuficiente para agentes que operam em fluxos contínuos de experiência. Sistemas como RAG perdem um vasto conjunto de associações úteis (causais, contextuais, episódicas) que não são semanticamente próximas.
• Para Neurociência Cognitiva: Oferece uma implementação computacional e diferenciável para a teoria de "ativação espalhada" e para a distinção entre memória semântica (Outward) e episódica (Inward), validando a ideia de que o hipocampo codifica conjunções temporais específicas.
• Futuro: O trabalho estabelece a base para sistemas de memória que podem realizar "imaginação" (explorar regiões não armazenadas baseadas em padrões de transição aprendidos) e recombinação criativa, desde que haja persistência de entidades entre episódios.

Conclusão

O artigo valida que a co-ocorrência temporal é um sinal primitivo suficiente para aprender uma estrutura associativa robusta que permite a recordação fiel de experiências passadas, superando as limitações fundamentais dos sistemas baseados apenas em similaridade. A PAM oferece uma base arquitetural plausível para a memória episódica biológica e para agentes artificiais que necessitam de recordação contextual e específica.