Resumo Técnico: Transferência de Memória de Curto Prazo para Longo Prazo para Grafos de Conhecimento sob Observabilidade Parcial

Formulação do Problema

Este artigo aborda o desafio da transferência de memória de curto prazo para longo prazo em Aprendizado por Reforço (RL) sob Processos de Decisão de Markov Parcialmente Observáveis (POMDPs). Especificamente, foca em ambientes onde as observações são triplos simbólicos explícitos (Framework de Descrição de Recursos, ou RDF) em vez de dados sensoriais brutos.

No benchmark RoomKG, o agente opera em um mundo parcialmente observável onde o estado completo está oculto. Em cada passo, o agente recebe um subgrafo induzido local do mundo (um conjunto de triplos observados). O problema central é decidir quais desses fatos observados devem ser transferidos para uma memória de longo prazo com capacidade limitada e quais devem ser descartados. Isso é enquadrado como um problema de decisão neuro-simbólico: para cada triplo observado no buffer de curto prazo, o agente deve tomar uma decisão binária explícita de "manter" ou "descartar" antes da inserção no armazenamento de longo prazo.

Um desafio técnico primário é a cardinalidade variável: o número de fatos observados ($n_t$) muda a cada passo de tempo, o que significa que a dimensionalidade do espaço de decisão não é fixa. Os espaços de ação padrão de RL são tipicamente de tamanho fixo, tornando a aplicação direta difícil. Além disso, o artigo isola este mecanismo de transferência mantendo outros componentes (resposta a perguntas, exploração e evicção de memória) fixos para garantir que as diferenças de desempenho sejam atribuídas exclusivamente à política de transferência.

Metodologia

Os autores propõem uma abordagem de Q-learning por item projetada para lidar com conjuntos de memória de curto prazo de tamanho variável.

1. Parametrização do Valor-Q por Item

Em vez de tratar o conjunto de itens de curto prazo como uma única ação combinatória (o que resultaria em $2^{n_t}$ ações), o método utiliza uma função de parâmetros compartilhados $Q_\theta$.

• Entrada: O estado simbólico atual da memória $M_t$ é convertido em um grafo $G_t$ contendo entidades, relações e anotações temporais.
• Codificação: Um codificador de Rede Neural de Grafos (GNN) processa $G_t$ para produzir incorporações de nós. Para cada item de curto prazo $m_{t,i} = (u, r, v, \xi)$, a representação $z_{t,i}$ é formada concatenando as incorporações dos nós cabeça ($u$) e cauda ($v$). Isso permite que a representação capture implicitamente o contexto de triplos vizinhos através da passagem de mensagens do GNN.
• Saída: Uma pequena cabeça de Rede Neural Perceptron Multicamada (MLP) mapeia $z_{t,i}$ para um vetor de valores-Q para as duas ações: $\{0, 1\}$ (descartar ou manter).
• Variantes de Arquitetura: O estudo avalia diferentes backbones de GNN (GCN, R-GCN, StarE-GNN) e modos de política (Local vs. Global, Apenas Curto Prazo vs. Contexto Completo).

2. Aprendizado por Diferença Temporal (TD) com Correspondência de Cardinalidade Variável

O aprendizado TD off-policy padrão assume transições de dimensão fixa. Para lidar com o número variável de itens ($n_t$) entre passos, os autores introduzem uma estratégia de correspondência estocástica:

• As transições são armazenadas como $(M_t, a_t, r_t, M_{t+1}, d_t)$.
• Durante o treinamento, um mini-lote é amostrado. Para um par de passos consecutivos em uma transição, o algoritmo corresponde itens índice a índice até o comprimento mínimo $\ell_b = \min(n_b, n'_{b})$.
• O alvo TD $y_{b,j}$ é computado para cada índice correspondido $j$ usando o valor-Q máximo do próximo passo.
• A perda é o erro TD quadrático médio sobre esses índices correspondidos, normalizado por $\ell_t$. Isso permite que o modelo aprenda a partir de supervisão densa sem exigir uma dimensão de ação fixa ou impor semântica de sequência artificial na memória baseada em conjuntos.

3. Protocolo de Treinamento

O sistema é treinado usando técnicas padrão off-policy DQN (Mnih et al., 2015) com seleção de ação $\epsilon$-greedy. O sinal de recompensa vem da tarefa a jusante (correção na Resposta a Perguntas), o que significa que a política de transferência aprende via atribuição de crédito atrasada para maximizar o desempenho futuro de RP.

Contribuições Principais

1. Formalização da Transferência como um Problema de RL: O artigo formaliza a transferência de memória de curto prazo para longo prazo como um problema de RL neuro-simbólico onde cada fato observado recebe uma decisão explícita de manter/descartar. Isso isola o mecanismo de transferência de outros componentes da política.
2. Q-learning por Item para Cardinalidade Variável: Os autores introduzem uma receita prática de treinamento baseada em valor para decisões de memória de cardinalidade variável. Ao usar parâmetros compartilhados e correspondência estocástica índice a índice para atualizações TD, eles permitem aprendizado sobre conjuntos de tamanho variável sem compressão de memória latente.
3. Validação Empírica no RoomKG: O estudo fornece evidências controladas no benchmark RoomKG (Capacidade de longo prazo = 128). Demonstra que decisões de transferência aprendidas superam:
   • Baselines simbólicas com anotações temporais (ex.: Apenas-Novos, Transferência-Aleatória).
   • Baselines neurais baseadas em histórico (LSTM, Transformer).
   • Ablações do método proposto (ex.: Políticas globais ou entradas de contexto completo performaram pior do que políticas locais apenas de curto prazo).

Resultados

No benchmark RoomKG com uma capacidade de memória de longo prazo de 128:

• Desempenho: A melhor configuração (codificador GCN + política Local-STM) alcançou uma pontuação de RP de teste de 38,92 ± 3,09. Isso superou significativamente a baseline simbólica mais forte (Apenas-Novos: 31,96) e as baselines neurais baseadas em histórico (Transformer: 11,80; LSTM: 7,60).
• Insights de Ablação:
  • Local vs. Global: Decisões locais por item (Local-STM) superaram vastamente decisões globais agrupadas (Global-STM), sugerindo que o contexto específico do fato é crucial.
  • Escopo de Entrada: Usar apenas a memória de curto prazo como entrada (STM) foi mais eficaz do que usar o contexto completo da memória (Full), indicando que a decisão de transferência depende fortemente da relevância da observação imediata em vez do estado global.
  • Escolha do Codificador: GCNs padrão superaram codificadores relacionais mais complexos (R-GCN, StarE-GNN), sugerindo que, para esta tarefa específica de transferência, uma codificação estrutural simples é suficiente.
• Análise Comportamental:
  • A política aprendeu a preservar fatos críticos para navegação (ex.: localização atual do agente) com retenção quase perfeita (98/100 vezes).
  • Reteve localizações de objetos relevantes para a consulta (58/60 vezes) enquanto descartava muitos enlaces direcionais do mapa (ex.: arestas norte/sul/leste/oeste), tratando-os como de menor valor ou ruidosos sob restrições de capacidade.
  • A taxa geral de manutenção foi de aproximadamente 40%, demonstrando filtragem adaptativa em vez de heurísticas fixas.

Significado e Alegações

O artigo posiciona-se como um estudo focado de validação de mecanismo em vez de uma varredura ampla de benchmarks. Seu significado primário reside em demonstrar que:

1. Decisões Explícitas e Interpretáveis: Diferentemente de abordagens de memória latente (ex.: DRQN, DMN) onde as atualizações de estado são opacas, este método produz decisões explícitas e inspecionáveis de manter/descartar para triplos simbólicos.
2. Eficácia sob Restrições: Decisões de transferência aprendidas podem gerenciar efetivamente a pressão de memória em POMDPs, superando tanto heurísticas simbólicas fixas quanto modelos de sequência ponta a ponta quando a capacidade de memória é restrita.
3. Praticidade: O Q-learning por item proposto com correspondência estocástica fornece uma receita de treinamento viável para problemas de decisão de cardinalidade variável em RL.

Os autores reconhecem modestamente limitações: a avaliação é restrita ao ambiente RoomKG e a uma capacidade de memória específica; componentes não relacionados à transferência foram fixados para isolar a variável; e a estratégia de correspondência TD é uma heurística prática em vez de uma solução teoricamente completa para alinhamento baseado em conjuntos. Sugere-se trabalho futuro para explorar ambientes mais amplos e treinamento conjunto ponta a ponta, preservando a interpretabilidade ao nível de fato.