🤖 AI

Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability

Este artigo introduz uma meta-política neuro-simbólica que aproveita grafos de conhecimento temporal e representações de memória baseadas em RDF para selecionar dinamicamente heurísticas de memória simbólica para gerenciar retenção, recuperação e esquecimento em ambientes parcialmente observáveis, alcançando desempenho superior a longo prazo e rastreabilidade ao nível de passo.

Autores originais: Taewoon Kim, Vincent François-Lavet, Michael Cochez

Publicado 2026-07-22

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Taewoon Kim, Vincent François-Lavet, Michael Cochez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um labirinto gigante e mutável, mas só consegue ver o pequeno quarto onde está parado agora. Você não consegue ver o mapa inteiro, nem consegue se lembrar de cada curva que já tomou porque seu cérebro tem um limite de quanto pode armazenar de uma vez. Este é o desafio dos ambientes de "observabilidade parcial" no mundo da Inteligência Artificial. Para navegar nesses labirintos, agentes de IA precisam de uma maneira de decidir o que manter na memória, o que jogar fora e como encontrar a informação certa quando precisarem dela. Se lembrarem demais, ficam sobrecarregados; se esquecerem demais, se perdem. A grande questão para os cientistas é: Como construímos uma IA que seja inteligente o suficiente para gerenciar sua própria memória sem se tornar uma caixa preta que ninguém consegue entender?

É aqui que entra o artigo "Neuro-Symbolic Meta-Policies for Temporal Knowledge-Graph Memory under Partial Observability". Os pesquisadores, Taewoon Kim, Vincent François-Lavet e Michael Cochez, abordaram este problema criando um sistema híbrido que atua como um bibliotecário muito organizado que também possui um pressentimento intuitivo super apurado. Eles construíram uma IA que não apenas adivinha; ela usa um "grafo de conhecimento" estruturado (pense nele como uma teia gigante e interconectada de fatos) para armazenar suas memórias. Mas aqui está a reviravolta: em vez de deixar a IA decidir aleatoriamente o que fazer, eles a ensinaram uma "metapólice". Isso é como dar à IA um menu de estratégias comprovadas — como "lembrar a coisa mais nova", "lembrar a coisa que você usou com mais frequência" ou "esquecer a coisa mais antiga" — e deixar a IA aprender qual estratégia escolher em cada momento. O resultado é um sistema que é tanto adaptável (ele aprende o que funciona) quanto transparente (podemos ver exatamente qual regra ele escolheu e o porquê).

O Problema: A IA com uma Memória Ruim

Imagine que você está jogando um videogame onde precisa encontrar uma chave escondida para abrir uma porta. O mundo do jogo é enorme, mas você só consegue ver o quarto em que está no momento. Enquanto você caminha, você coleta pistas: "A chave estava na cozinha" ou "A porta fica ao norte". Mas sua mochila (sua memória) só pode carregar 512 itens. Se você pegar o item número 513, terá que deixar algo para trás.

Se você deixar a coisa errada, pode esquecer onde a chave está e falhar no jogo. Se guardar tudo, sua mochila ficará muito pesada e você não conseguirá se mover. No passado, os cientistas tentaram duas formas principais de resolver isso. Uma era usar regras rígidas e pré-escritas (como "sempre jogue fora o item mais antigo"). Isso é confiável, mas rígido; não se adapta se o jogo mudar. A outra era usar uma rede neural de "caixa preta", onde a IA aprende a lembrar de tudo por conta própria. Isso é flexível, mas é como um truque de mágica: você sabe que a resposta está certa, mas não tem ideia de como a IA decidiu manter aquele fato específico e descartar aquele outro. É difícil confiar ou consertar se ela cometer um erro.

A Solução: O Bibliotecário Inteligente com um Menu

Os autores introduziram uma nova abordagem chamada "política meta neuro-simbólica". Vamos decompor isso com uma história simples.

Imagine que seu agente de IA é um bibliotecário em uma biblioteca que está sendo reorganizada constantemente. A biblioteca é o "Grafo de Conhecimento Temporal". Cada livro (fato) na biblioteca tem uma etiqueta com três informações: quando foi adicionado, quando foi lido pela última vez e quantas vezes foi emprestado. Esta é a parte "simbólica" — os fatos são claros, rotulados e organizados.

Agora, o bibliotecário precisa decidir o que fazer a cada segundo. Em vez de adivinhar, o bibliotecário tem um menu de três tipos de decisões a tomar:

Resposta a Perguntas: "Onde está a chave vermelha?" O bibliotecário pode escolher procurar pela nota mais recente sobre a chave, pela nota usada mais recentemente ou pela nota mais usada frequentemente.
Exploração: "Para onde devo ir agora?" O bibliotecário pode escolher explorar com base no mapa mais novo, no mapa mais visitado ou no mapa mais usado.
Esquecimento: "Minha prateleira está cheia! O que eu jogo fora?" O bibliotecário pode escolher jogar fora o item mais antigo, o item menos recentemente usado ou o item menos frequentemente usado.

A parte "neuro" do sistema é o cérebro do bibliotecário. Ele observa a situação atual (o quarto em que você está, a pergunta que você está fazendo) e usa um tipo especial de rede neural (uma Rede Neural de Grafos) para pontuar cada opção no menu. Ele aprende, através de tentativa e erro, qual item do menu escolher para obter a melhor pontuação.

O Experimento: O Jogo RoomKG

Para testar isso, os pesquisadores usaram um benchmark chamado "RoomKG". É um mundo de grade com 49 salas, repletas de objetos como camas, lâmpadas e pessoas. A IA tem que navegar por este mundo, responder perguntas como "Onde está a lâmpada?", e se mover, tudo isso mantendo sua memória abaixo do limite de 512 itens.

Eles testaram seu novo "Bibliotecário Inteligente" contra outros dois tipos de jogadores:

O Seguidor de Regras: Uma IA que apenas usa regras fixas (como "sempre esqueça o item mais antigo").
A Caixa Preta: Uma IA que tenta aprender tudo do zero, sem regras claras.

Os Resultados: Adaptabilidade Encontra a Clareza

Os resultados foram bem claros. A IA de "Caixa Preta" teve dificuldades significativas, obtendo pontuações muito menores que as outras. Parece que tentar aprender todo o complexo espaço de ação (escolher uma sala e uma direção entre 245 possibilidades) de uma só vez foi difícil demais para ela lidar com a memória limitada.

O "Seguidor de Regras" foi bem, provando que a estrutura básica do sistema de memória é sólida. No entanto, o "Bibliotecário Inteligente" (a política meta neuro-simbólica) teve o melhor desempenho. Especificamente, a versão que utilizou um codificador "consciente de qualificador" (StarE-GNN) alcançou as pontuações mais altas.

O que torna isso especial é que a IA não teve apenas sorte. Como o sistema é "neuro-simbólico", podemos realmente observar o processo de pensamento do bibliotecário. Os pesquisadores puderam ver que, no início do jogo, a IA preferia olhar para os fatos "usados mais recentemente", porque eles provavelmente ainda eram relevantes. Mas, conforme o jogo avançava e o mundo mudava, a IA aprendeu a mudar para a observação dos fatos "mais novos". Ela mudou dinamicamente sua estratégia com base no que estava acontecendo, algo que os seguidores de regras rígidos não conseguiam fazer.

Por Que Isso Importa

A parte mais emocionante deste artigo não é apenas que a IA obteve uma pontuação maior. É que ela o fez mantendo-se completamente transparente. Em muitos sistemas de IA, se você perguntar, "Por que você esqueceu esse fato?", a resposta é geralmente: "Porque a matemática disse que sim". Neste sistema, a resposta é: "Eu escolhi a regra 'Menos Frequentemente Usado' porque calculei que esse fato era raramente necessário".

Os autores sugerem que esta abordagem oferece um ponto ideal: a adaptabilidade de uma IA de aprendizado combinada com a clareza de um sistema baseado em regras. Eles mostraram que, ao ensinar uma IA a selecionar a "ferramenta" certa de uma caixa de ferramentas de estratégias conhecidas, em vez de tentar inventar uma nova ferramenta do zero a cada vez, você pode obter um melhor desempenho sem perder a capacidade de entender como a IA pensa.

Embora isso tenha sido testado em um ambiente de jogo específico com um limite de memória de 512, a ideia é que esta abordagem de "metapólice" pode ser aplicada a outras situações em que uma IA precise gerenciar muita informação ao longo do tempo. Isso prova que você não precisa sacrificar a compreensão pelo desempenho; você pode ter uma IA que é ao mesmo tempo inteligente e explicável.

Configuração do Problema

O artigo aborda o desafio do Aprendizado por Reforço com Observabilidade Parcial (POMDP), onde um agente deve gerenciar uma memória de longo prazo limitada para tomar decisões em horizontes temporais longos. O ambiente específico é o RoomKG, um benchmark de mundo de grade (grid-world) onde o estado oculto do agente e suas observações são representados como grafos Resource Description Framework (RDF).

No RoomKG, o agente recebe apenas observações locais (a sala atual e adjacências imediatas) como subgrafos RDF, enquanto o estado total do ambiente (incluindo a localização de objetos em outras salas e mudanças dinâmicas) permanece oculto. O agente deve responder a consultas sobre a localização de objetos e navegar pelo ambiente. Crucialmente, o agente opera sob uma rigorosa restrição de capacidade de memória de longo prazo (definida em 512 fatos neste estudo). A dificuldade central reside na coordenação de três tarefas concorrentes:

Recuperação (Retrieval): Decidir quais fatos armazenados devem ser relembrados para responder às consultas.
Exploração (Exploration): Decidir quais partes do mapa lembrado devem ser investigadas.
Esquecimento (Forgetting): Decidir quais fatos devem ser removidos quando a capacidade de memória é atingida.

Abordagens tradicionais de aprendizado por reforço profundo (deep RL) frequentemente utilizam memória latente (ex: LSTMs), que são difíceis de inspecionar ou rastrear. Por outro lado, heurísticas simbólicas fixas são interpretáveis, mas inflexíveis em diferentes contextos. O artigo busca uma solução que preserve a inspecionabilidade e o raciocínio explícito dos sistemas simbólicos, ao mesmo tempo em que alcança a adaptabilidade das políticas aprendidas.

Metodologia

Os autores propõem uma arquitetura de Meta-Política Neuro-Simbólica. Em vez de aprender uma política direta para gerar ações do ambiente (ex: "mover para o norte" ou "responder sala 5"), o agente aprende uma meta-política que seleciona entre heurísticas simbólicas nomeadas em cada ponto de decisão.

1. Representação da Memória:
O agente mantém um grafo de conhecimento temporal ( $M_t$ ) composto por memórias de curto e longo prazo. Os fatos são armazenados como triplas RDF aumentadas com anotações temporais (qualificadores) como time_added (tempo adicionado), last_accessed (último acesso) e num_recalled (número de vezes relembrado). Isso permite que o sistema trate o gerenciamento de memória como um problema de seleção sobre metadados explícitos.

2. Espaço de Ação Simbólica:
A meta-política seleciona uma ação simbólica conjunta $h_t = (h_{forget}, h_{qa}, h_{explore})$ de um produto finito de 27 combinações ( $3 \times 3 \times 3$ ):

Heurísticas de QA (Perguntas e Respostas): Mais Recentemente Adicionado (MRA), Mais Recentemente Usado (MRU), Mais Frequentemente Usado (MFU).
Heurísticas de Exploração: Mesma prioridade de classificação (MRA/MRU/MFU) aplicada ao planejamento.
Heurísticas de Esquecimento: Primeiro a Entrar, Primeiro a Sair (FIFO), Menos Recentemente Usado (LRU), Menos Frequentemente Usado (LFU).

3. Arquitetura Neural:
O sistema utiliza um codificador de Rede Neural de Grafos (GNN) para processar o grafo de memória e alimentar cabeças de valor que pontuam as heurísticas simbólicas. Três variantes de codificador são comparadas:

GCN: Codificação apenas de topologia.
R-GCN: Codificação consciente de relações (relation-aware).
StarE-GNN: Codificação consciente de qualificadores (qualifier-aware), incorporando as anotações temporais diretamente na passagem de mensagens.

A arquitetura inclui três cabeças de valor independentes (ou uma única cabeça combinatória em estudos de ablação) que produzem valores Q para os respectivos conjuntos de heurísticas. As heurísticas selecionadas são então executadas deterministicamente por um controlador simbólico ( $\Phi$ ) para atualizar o estado da memória e escolher a ação do ambiente.

4. Treinamento:
O sistema é treinado usando Q-learning off-policy com atualizações de diferença temporal (TD).

Cabeça de QA: Treinada como um bandit contextual (recompensa imediata), já que a correção é determinada instantaneamente.
Cabeças de Exploração/Esquecimento: Treinadas com aprendizado TD para atribuir crédito às decisões que afetam o sucesso futuro do QA.

Principais Contribuições

Formulação de Meta-Política Neuro-Simbólica: O artigo introduz um framework onde a adaptação é alcançada aprendendo a selecionar entre heurísticas de memória simbólicas explícitas e nomeadas, em vez de substituir o controle simbólico por ações latentes opacas.
Memória Temporal Consciente de Qualificadores: O design integra a memória baseada em RDF com anotações temporais, utilizando codificadores de grafos conscientes de qualificadores (especificamente o StarE-GNN) para alinhar a representação neural com o problema de decisão simbólica.
Rastreabilidade e Desempenho: A abordagem demonstra que é possível alcançar o desempenho de estado da arte em um cenário de memória limitada, preservando a rastreabilidade ao nível de passo das decisões de gerenciamento de memória.

Resultados

Experimentos foram conduzidos no benchmark RoomKG com uma capacidade de memória de longo prazo de 512.

Desempenho: A configuração neuro-simbólica baseada em StarE-GNN alcançou o melhor desempenho no teste de retenção (47,28% de sucesso em QA), superando tanto os baselines simbólicos fixos (que variaram entre ~43% e ~46%) quanto os baselines neurais de ponta a ponta (LSTM/Transformer, que tiveram desempenho insatisfatório, entre ~9–18%).
Impacto do Codificador: Codificadores conscientes de qualificadores (StarE-GNN) e codificadores conscientes de relações (R-GCN) superaram significativamente os codificadores de apenas topologia (GCN), confirmando que preservar a semântica de relações e qualificadores é crítico para o problema de decisão.
Modularidade vs. Combinatória: O design modular (três cabeças independentes de 3 vias) superou uma única cabeça combinatória de 27 vias, sugerindo que a supervisão independente para cada tipo de decisão (QA, exploração, esquecimento) é mais eficaz.
Interpretabilidade: A análise das trajetórias de valores Q mostrou que a meta-política alterna adaptativamente entre heurísticas (ex: mudando de preferência de MRU para MRA conforme o episódio progride) com base no contexto da memória, fornecendo uma visão transparente do raciocínio do agente.

Significância e Alegações

O artigo afirma que adaptabilidade e inspecionabilidade não precisam ser trocadas. Ao aprender uma meta-política sobre heurísticas simbólicas, o sistema melhora os controles simbólicos fixos e os baselines neurais opacos, mantendo um estado de memória explícito e fundamentado em RDF.

Os autores posicionam este trabalho como uma fundamentação direta na Web Semântica, utilizando RDF para representação, semântica de grafos compatível com anotações e operações de grafos simbólicos. Eles enfatizam que a contribuição é a camada de meta-política e sua avaliação, não o benchmark subjacente ou o substrato de memória.

O escopo é definido de forma modesta: os resultados são específicos para o ambiente RoomKG e uma capacidade de memória de 512. Os autores reconhecem limitações, incluindo a dependência de uma biblioteca específica de heurísticas (o desempenho é limitado pela qualidade das heurísticas disponíveis) e o foco atual em dinâmicas determinísticas em vez de regimes estocásticos ou não estacionários. Sugere-se como trabalho futuro ampliar os ambientes, testar a robustez estocástica e expandir as bibliotecas de heurísticas, mantendo os rastros de decisão explícitos.