Resumo Técnico: Uma Máquina com Sistemas de Memória de Curto Prazo, Episódica e Semântica

Declaração do Problema

Agentes de aprendizado de máquina atuais, incluindo motores de busca e assistentes virtuais, destacam-se na recuperação de conhecimento factual e de senso comum (memória semântica), mas carecem da capacidade de recordar eventos específicos do passado ou experiências pessoais (memória episódica). Além disso, agentes padrão de aprendizado por reforço (RL) frequentemente lutam com observabilidade parcial e esquecimento catastrófico. Os autores postulam que mimetizar a arquitetura explícita da memória humana — especificamente a distinção entre memória semântica (conhecimento geral do mundo) e memória episódica (experiências pessoais e limitadas no tempo), mediada por um buffer de curto prazo — poderia permitir que agentes gerenciassem melhor a capacidade de memória limitada e respondessem a perguntas diversas de forma mais eficaz.

Metodologia

O Ambiente: "O Quarto"

Para avaliar essa hipótese, os autores projetaram um ambiente de simulação de eventos discretos compatível com o OpenAI Gym.

• Configuração: O ambiente contém $N_{humans}$ (64), $N_{objects}$ (16) e $N_{locations}$ (28). Humanos seguem rotinas fixas, colocando objetos em locais que são ou "de senso comum" (por exemplo, uma tigela sobre um armário) ou não comuns, com uma probabilidade $p_{commonsense} = 0.5$.
• Observação: O agente observa parcialmente o ambiente, visualizando um humano de cada vez. As observações são registradas como quádruplos $(h, r, t, timestamp)$, representando uma entidade cabeça, relação, entidade cauda e timestamp.
• Tarefa: Em cada passo, o agente recebe uma pergunta na forma de uma tripla $(h, r, ?)$. Respostas corretas geram uma recompensa de +1; respostas incorretas geram 0. O episódio dura 128 passos.

Arquitetura de Memória

O agente é modelado com três sistemas de memória distintos, cada um representado como um Grafo de Conhecimento (KG):

1. Memória de Curto Prazo ($M_o$): Um buffer limitado que inicialmente armazena todas as observações como quádruplos $(h, r, t, timestamp)$.
2. Memória Episódica ($M_e$): Uma memória de longo prazo limitada que armazena eventos específicos e limitados no tempo como quádruplos $(h, r, t, timestamp)$.
3. Memória Semântica ($M_s$): Uma memória de longo prazo limitada que armazena fatos gerais como quádruplos $(h, r, t, strength)$. Aqui, $h$ é generalizado (por exemplo, "laptop" em vez de "o laptop de Bob"), e $strength$ indica a frequência de armazenamento.

Política de Gerenciamento de Memória:
Quando a memória de curto prazo está cheia, o agente deve decidir o destino da observação mais antiga. Ele tem três ações:

1. Esquecer: Descartar a observação completamente.
2. Armazenar em Episódica: Mover a observação para $M_e$.
3. Armazenar em Semântica: Mover a observação para $M_s$ (generalizando a entidade e incrementando a força).

A política de recuperação é determinística e baseada em regras (Algoritmo 1):

• Para perguntas específicas, o agente primeiro verifica $M_e$ pelo evento mais recente relevante.
• Se nenhuma correspondência episódica existir, ele verifica $M_s$ pelo fato geral relevante mais forte.
• Se nenhum dos dois gerar uma resposta, o agente falha na pergunta.

Algoritmo de Aprendizado

A política de gerenciamento de memória (decidir onde armazenar ou se deve esquecer) é aprendida usando Deep Q-Learning (DQN).

• Representação do Estado: O estado $s$ consiste no conteúdo atual de $M_o$, $M_e$ e $M_s$.
• Processamento de Entrada: Para alimentar os KGs na rede neural, os autores convertem memórias em Embeddings de Grafo de Conhecimento (KGE). Quádruplos são ordenados (por timestamp para episódico/curto prazo, por força para semântico) e embutidos. Para memórias episódicas/curto prazo envolvendo humanos, o nome do humano e o objeto são concatenados antes do embedding para capturar características individuais.
• Arquitetura da Rede: A rede Q utiliza camadas LSTM para processar a sequência de embeddings de memória, seguida por Perceptrons Multicamada (MLPs) para emitir valores Q para as três ações.
• Variantes de Treinamento: Dois tipos de agentes foram treinados:
  1. Semântico do Zero: Começa com uma memória semântica vazia.
  2. Semântico Pré-treinado: Começa com conhecimento geral do mundo (do ConceptNet) pré-preenchido em $M_s$.

Contribuições Principais

1. Modelagem Explícita de Memória: O artigo modela explicitamente um agente com sistemas de memória de curto prazo, episódica e semântica, cada um estruturado como um grafo de conhecimento, inspirado em teorias da ciência cognitiva (Tulving 1983, 1985).
2. Ambiente Novel: O lançamento de "O Quarto", um ambiente RL personalizado projetado para testar a capacidade de um agente de codificar, armazenar e recuperar memórias para responder a perguntas sob observabilidade parcial.
3. Gerenciamento de Memória Aprendido: Demonstração de que um agente baseado em DQN pode aprender com sucesso uma política para gerenciar memória (decidir entre esquecer, armazenamento episódico ou armazenamento semântico) para maximizar retornos.

Resultados

Os experimentos foram conduzidos com capacidades de memória variáveis (capacidade total $|M_e| + |M_s|$ variando de 2 a 64).

• Desempenho vs. Baselines: Agentes com ambos os sistemas de memória episódica e semântica superaram significativamente três baselines: (1) Apenas Episódico, (2) Apenas Semântico e (3) Seleção de ação aleatória. O agente de melhor desempenho (RL com memória semântica pré-treinada) alcançou uma recompensa total média de 116,5 de 128, comparado a 109,1 para a versão do zero e pontuações mais baixas para as baselines.
• Impacto do Pré-treinamento: O agente "Semântico Pré-treinado" aprendeu mais rápido e convergiu para um ótimo mais alto do que o agente "Semântico do Zero". O agente pré-treinado aprendeu a preservar seu conhecimento geral inicial e armazenar apenas eventos específicos e não generalizáveis na memória episódica. Por outro lado, o agente do zero tentou aprender conhecimento geral do zero, ocasionalmente cometendo erros (por exemplo, identificando incorretamente a localização de um trem), o que reduziu sua recompensa final.
• Escalonamento de Capacidade:
  • Agentes Apenas Episódicos mostraram melhoria linear com a capacidade, eventualmente respondendo a todas as 128 perguntas quando a capacidade atingiu 64.
  • Agentes Apenas Semânticos performaram bem em capacidades baixas, mas estabilizaram (em torno de 92 recompensas) uma vez que a capacidade excedeu 32, pois as triplas de conhecimento geral eram suficientes para a tarefa.
  • Agentes Combinados aproveitaram ambos os sistemas para alcançar o desempenho geral mais alto.

Significado e Alegações

O artigo alega que equipar máquinas com sistemas de memória explícitos, semelhantes aos humanos, permite que elas superem agentes sem tais estruturas em ambientes que exigem tanto conhecimento geral quanto recordação de eventos específicos. Os autores enfatizam que sua abordagem aprende com sucesso uma política de gerenciamento de memória via aprendizado por reforço, decidindo efetivamente o que esquecer e o que reter em diferentes sistemas de memória.

O trabalho faz a ponte entre arquitetura cognitiva (que modela a teoria da mente humana) e aprendizado de máquina moderno (que foca em resolver observabilidade parcial). Os autores notam que, embora seu ambiente atual seja uma simulação discreta, o framework foi projetado para ser extensível a cenários multimodais mais complexos e consultas em linguagem natural em trabalhos futuros. Eles concluem que seu agente demonstra a viabilidade do uso de grafos de conhecimento dentro de agentes RL para gerenciar restrições de memória e melhorar a tomada de decisão.