💻 computer science

Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning

Este artigo propõe uma estrutura de Aprendizado por Reforço Hierárquico neurosimbólico que integra Conhecimento Incremental (InK) e Busca em Árvore de Mundo de Crença para permitir o planejamento simbólico atualizável e o aprendizado neural com modelagem de recompensa, melhorando significativamente a eficiência de amostra em tarefas de navegação de longo horizonte e recompensa esparsa.

Autores originais: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

Publicado 2026-08-05

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar em um labirinto gigante e mutável. No mundo da inteligência artificial, este é um desafio clássico conhecido como Aprendizado por Reforço (Reinforcement Learning - RL). Pense nisso como treinar um cachorro: você dá um petisco (uma recompensa) quando ele faz algo certo, e ele aprende a repetir essa ação. Mas aqui está o problema: se o labirinto for enorme e os petiscos estiverem escondidos muito longe, o cachorro pode vagar por um milhão de anos antes de acidentalmente encontrar o caminho. Este é o problema da "eficiência de amostragem" — quantos testes a IA precisa para aprender?

Para corrigir isso, cientistas costem usar o "Aprendizado por Reforço Hierárquico" (Hierarchical Reinforcement Learning - HRL). Em vez de um robô tentar entender cada passo individual de uma vez, você dá a ele um chefe e um trabalhador. O chefe (o planejador de alto nível) decide sobre grandes objetivos, como "ir para a cozinha", enquanto o trabalhador (o controlador de baixo nível) descobre os pequenos movimentos musculares para chegar lá. Geralmente, o chefe é um mapa rígido, pré-programado, que nunca muda. Mas e se o labirinto tiver paredes secretas que só aparecem quando você esbarra nelas? Um chefe rígido continuaria tentando atravessar uma parede que acabou de aparecer, desperdiçando tempo. Este artigo explora uma maneira mais inteligente: um robô que aprende o mapa enquanto se move, atualizando o mapa do seu chefe em tempo real com base no que o trabalhador descobre.

A Grande Ideia do Artigo: Um Robô que Aprende Enquanto Avança

Os autores, Subrat Prasad Panda e sua equipe, propõem um novo sistema chamado Neurosymbolic HRL with Incremental Knowledge (InK) [HRL Neurosimbólico com Conhecimento Incremental]. Vamos decompor o nome: "Neurosimbólico" significa que eles estão misturando dois tipos de cérebros. A parte "neural" é um cérebro flexível e de aprendizado (como uma rede neural de deep learning) que lida com os movimentos físicos. A parte "simbólica" é um cérebro lógico e baseado em regras que lida com o planejamento, como um jogador de xadrez pensando à frente.

Em sistemas tradicionais, o cérebro lógico constrói um mapa perfeito do mundo antes de o robô começar a se mover. É como tentar memorizar todo o mapa do metrô de Londres antes de sair de casa. Se uma linha de trem for fechada ou uma nova estação abrir, seu mapa será inútil até que você recomece. Os autores argumentam que isso é ineficiente. Em vez disso, o robô deles usa Conhecimento Incremental (InK). Ele começa com uma folha em branco ou um palpite aproximado. À medida que o robô "trabalhador" tenta se mover e bate em uma parede, ele diz ao "chefe": "Ei, há uma parede aqui!". O chefe atualiza imediatamente seu mapa e recalcula o melhor caminho. É como ter um GPS que atualiza sua rota no segundo em que você atinge um congestionamento, em vez de ficar parado esperando um novo mapa ser impresso.

O "Mundo de Crença" e a Busca em Árvore

O artigo introduz um truque inteligente para lidar com a incerteza. Imagine que você está em um quarto escuro e sabe que existe exatamente uma parede em algum lugar, mas não sabe onde. Você poderia supor que ela está na esquerda, ou na direita, ou no meio. O robô não apenas escolhe um palpite; ele mantém um "conjunto de crenças" — uma lista mental de todos os mundos possíveis onde a parede poderia estar.

Para tomar decisões nessa névoa de incerteza, os autores desenvolveram um algoritmo chamado Belief World Tree Search (BWTS) [Busca em Árvore de Mundo de Crença]. Imagine uma árvore gigante crescendo em sua mente. O tronco é sua localização atual. Cada vez que você tem que escolher uma direção, a árvore se ramifica. Mas aqui está a reviravolta: em vez de apenas supor um caminho, o BWTS simula milhares de futuros possíveis de uma só vez. Ele pergunta: "Se a parede estiver aqui, qual é o melhor movimento? Se a parede estiver lá, qual é o melhor movimento?". Ele então escolhe o movimento que funciona melhor, em média, através de todas essas possibilidades.

O artigo argumenta explicitamente contra o uso de métodos de adivinhação "aleatórios" padrão (como alguns algoritmos antigos que apenas jogam dados para ver o que acontece). Os autores descobriram que a adivinhação aleatória em um labirinto frequentemente faz o robô andar em círculos, perdendo tempo. Em vez disso, o BWTS utiliza "rollouts estratégicos" — ele simula caminhos usando estratégias inteligentes e pré-planejadas (como "sempre varra para a esquerda se bater em uma parede") para descobrir rapidamente a melhor rota sem se perder.

O Que Eles Descobriram: Velocidade e Inteligência

A equipe testou sua ideia em simulações de computador de labirintos, variando de grades simples a ambientes 3D complexos com um robô "formiga" virtual que possui muitas articulações.

Ganhos Massivos de Velocidade: Quando comparado ao antigo método de "construir o mapa primeiro" (chamado de RGL no artigo), o novo método InK foi incrivelmente mais rápido para aprender. Em um labirinto "Four Rooms", o método antigo precisou de cerca de 2.080 passos para alcançar o objetivo pela primeira vez partindo do zero. O novo método InK precisou de apenas 64,9 passos. Isso é aproximadamente 30 a 100 vezes menos tentativas.
Economia de Tempo: A diferença de tempo foi ainda mais gritante. O método antigo levou mais de 96 segundos apenas para descobrir o primeiro caminho. O novo método fez isso em 0,02 segundos.
O Poder do Conhecimento Prévio: Quando o robô recebeu uma dica sobre o mundo (como "há uma parede em algum lugar, mas não sei onde"), o algoritmo BWTS brilhou. Nesses casos, ele usou metade do número de amostras (tentativas) em comparação com o planejador padrão, embora tenha levado um pouco mais de tempo computacional para realizar a matemática complexa.
Ambientes Complexos: O sistema funcionou mesmo no "Ant-Maze U-Room", um desafio de alta dimensão com 29 dimensões de movimento. O método antigo precisou de cerca de 10.000 passos para construir seu mapa, enquanto o novo método alcançou o objetivo em cerca de 1.507 passos (ou até 1.134 passos com o planejador BWTS).

O Que Eles Não Descobriram (e o Que Rejeitaram)

O artigo é cuidadoso ao dizer o que não funciona bem neste setup específico. Eles testaram um algoritmo popular chamado BAMCP, que tenta lidar com a incerteza assumindo que cada parte do labirinto é independente (como assumir que a parede na cozinha não tem nada a ver com a parede no quarto). Os autores descobriram que essa abordagem falhou miseravelmente em seus testes de labirinto. Como as paredes eram estruturalmente ligadas (se há uma parede aqui, não pode haver uma lá), a suposição de independência levou a decisões ruins e desperdício de tempo. O BAMCP levou de 28 a 40 passos em média, enquanto o novo método levou de 21 a 23.

Os autores também observam que, embora seu método seja mais rápido, o algoritmo BWTS é computacionalmente pesado. Se você não tiver nenhum conhecimento prévio sobre o mundo, o planejador "D*" mais simples (um planejador incremental padrão) é na verdade mais rápido e suficiente. Você só precisa da busca em árvore complexa do BWTS se tiver dicas estruturais específicas sobre o mundo para explorar.

A Conclusão

Este artigo sugere que, ao misturar um cérebro de aprendizado flexível com um planejador lógico que atualiza seu mapa em tempo real, os robôs podem aprender a navegar em mundos complexos e desconhecidos muito mais rápido do que antes. Eles não apenas simularam um robô; eles mostraram que, nesses cenários específicos de labirinto, o novo método supera consistentemente a antiga abordagem de "aprender tudo primeiro", economizando uma quantidade massiva de tempo e esforço. É um passo em direção a robôs que podem explorar uma casa nova, aprender onde os móveis estão e encontrar a cozinha sem precisar de um manual para cada cômodo.

Resumo Técnico: Raciocínio Neurosimbólico com Conhecimento Incremental para Aprendizagem por Reforço Hierárquica com Eficiência de Amostragem

1. Definição do Problema

Agentes de Aprendizagem por Reforço Profundo (DRL) enfrentam dificuldades em ambientes caracterizados por recompensas esparsas e raciocínio de longo horizonte, frequentemente sofrendo de uma complexidade de amostragem proibitiva. Embora a Aprendizagem por Reforço Hierárquica (HRL) mitigue isso decompondo tarefas através de diferentes níveis de abstração, as abordagens padrão dependem tipicamente de paradigmas de conhecimento não incremental (non-InK). Nestes métodos, como o SoRB e o RGL, o planejador simbólico de alto nível requer que um modelo de mundo abstrato completo e estático seja construido através de uma exploração exaustiva antes que qualquer comportamento direcionado a objetivos possa começar. Isso cria uma ineficiência fundamental: o agente deve explorar todo o ambiente independentemente do objetivo específico.

Além disso, no HRL neurosimbólico, existe frequentemente um hiato semântico entre o planejador simbólico de alto nível e o controlador neural de baixo nível. O planejador de alto nível assume que certas ações são viáveis, mas a política neural de baixo nível (frequentemente treinada independentemente ou em um ambiente diferente) pode falhar ao executar essas ações devido a restrições dinâmicas, estocasticidade ou obstáculos não modelados. As abordagens neurosimbólicas existentes carecem de mecanismos para atualizar o modelo de mundo de alto nível com base no feedback da execução de baixo nível. Por outro lado, as abordagens clássicas de conhecimento incremental (InK) em robótica (ex: Active SLAM, D*) atualizam os modelos de mundo durante a execução, mas tipicamente assumem componentes simbólicos em ambos os níveis, falhando em abordar a dinâmica dependente da política dos controladores neurais de baixo nível.

Finalmente, quando existe conhecimento prévio estrutural (ex: "existe exatamente uma parede em uma localização desconhecida"), os algoritmos de planejamento atuais como D* ou solucionadores de BAMCP (Bayesian Adaptive MDP) são subótimos. O D* replaneja com base nas observações atuais, mas ignora o conjunto de mundos possíveis (conjunto de crença/belief set) para otimizar o desempenho médio. O BAMCP assume independência entre transições de estado-ação, o que falha em capturar restrições estruturais onde a localização de um obstáculo restringe as possibilidades dos outros.

2. Metodologia

Os autores propõem o HRL Neurosimbólico com Conhecimento Incremental (InK), um framework que integra planejamento simbólico com controle neural enquanto atualiza continuamente o modelo de mundo com base em traços de execução.

2.1 HRL Neurosimbólico com InK

O framework emprega uma hierarquia de dois níveis:

Alto Nível (Simbólico): Mantém um modelo de mundo abstrato atualizável ( $M$ ) representando o ambiente como um conjunto de estados e ações simbólicas. Realiza o planejamento usando um planejador incremental (ex: D*) para gerar subobjetivos. Crucialmente, este modelo é atualizado em tempo real com base no feedback da execução de baixo nível.
Baixo Nimento (Neural): Uma política neural condicionada ao objetivo ( $\pi_l$ ) executa o controle de movimento contínuo para alcançar os subobjetivos fornecidos pelo alto nível. Atua como um sensor; seus sucessos e falhas fornecem os traços de execução ( $\rho$ ) necessários para atualizar o modelo de alto nível.
Coordenação: O planejador de alto nível direciona o agente de baixo nível para um subobjetivo. Se o agente de baixo nível falhar (ex: colidir com uma parede inesperada), o monitor detecta isso, e o modelo de alto nível é atualado para refletir a nova restrição. O planejador então replaneja. Isso elimina a necessidade de exploração exaustiva prévia, permitindo o comportamento direcionado a objetivos desde o primeiro episódio.

2.2 Busca em Árvore de Mundos de Crença (BWTS)

Para abordar a limitação dos planejadores incrementais padrão (como o D*) que não exploram o conhecimento prévio estrutural sobre um conjunto de mundos possíveis ( $W_0$ ), os autores introduzem a Busca em Árvore de Mundos de Crença (Belief World Tree Search - BWTS).

Formulação do Problema: O agente opera em um mundo verdadeiro $W_{true} \in W_0$ , onde $W_0$ é um conjunto finito de mundos possíveis que codificam conhecimentos estruturais prévios (ex: "uma parede existe, localização desconhecida"). O objetivo é encontrar uma política $\pi$ que minimize o custo médio sobre todos os mundos em $W_0$ .
Estrutura de Árvore: A BWTS constrói uma árvore de busca com dois tipos de nós:
- Nós de Decisão: Representam a escolha de ação do agente.
- Nós de Chance: Representam o resultado de uma ação (ex: se um caminho está bloqueado por uma parede ou não), dividindo o conjunto de crença $W$ em subconjuntos ( $W^-$ onde a parede existe, $W^+$ onde ela não existe).
Rollouts Estratégicos: Ao contrário da busca de Monte Carlo (MCTS) padrão que utiliza rollouts aleatórios, a BWTS emprega rollouts estratégicos. Ela avalia estratégias fixas e determinísticas (ex: "varrer para a esquerda", "varrer para a direita", "mover para o objetivo") através de todos os mundos no conjunto de crença atual para estimar os valores dos nós. Isso reduz a variância e evita os loops comuns em rollouts estocásticos.
Seleção e Expansão: O algoritmo utiliza uma fórmula do tipo Upper Confidence Bound (UCB) para equilibrar exploração e explotação. Ele prioriza a expansão de ramos com conjuntos de crença maiores, pois estes exigem mais exploração para resolver a incerteza.
Convergência: Teoricamente, a BWTS converge para a política ótima para o problema InK conforme o número de iterações aumenta, desde que a árvore seja totalmente expandida.

3. Principais Contribuições

HRL Neurosimbólico com InK: A proposta de um framework hierárquico onde um planejador de alto nível simbólico mantém um modelo de mundo atualizável guiado por um controlador neural de baixo nível. Esta abordagem preenche o hiato semântico ao usar o feedback de execução de baixo nível para refinar as abstrações de alto nível, permitindo uma aprendizagem com eficiência de amostragem sem a necessidade de exploração exaustiva prévia.
Busca em Árvore de Mundos de Crença (BWTS): O desenvolvimento de um algoritmo de planejamento que otimiza o desempenho médio sobre um conjunto de mundos possíveis com dependências estruturais. A BWTS adapta a MCTS para lidar com dinâmicas totalmente observáveis, porém desconhecidas, com conhecimentos estruturais prévios, superando as suposições de independência do BAMCP e a falta de utilização do conjunto de crença do D*.
Validação Empírica: Demonstração de que o InK HRL supera significativamente as linhas de base não-InK (especificamente o RGL) em eficiência de amostragem em várias tarefas de navegação, incluindo controle contínuo de alta dimensão (Ant-Maze).

4. Resultados Experimentais

Os autores avaliaram sua abordagem em tarefas de navegação usando ambientes Point-Maze (Four Rooms, Medium Maze, Hard Maze) e um Ant-Maze U-Room de alta dimensão.

InK vs. Non-InK (RGL):
- Eficiência de Amostragem: O InK exigiu de 30 a 100 vezes menos amostras que o RGL para alcançar um objetivo do zero (sem conhecimento prévio). Por exemplo, no Hard Maze, o InK alcançou o objetivo em ~209 passos, comparado aos ~17.456 passos do RGL.
- Eficiência de Treinamento: Mesmo após o RGL completar sua extensa fase de treinamento (mais de 100k amostras), o InK (após atingir apenas 75 objetivos para construir sua base de conhecimento) permaneceu mais eficiente, exigindo 18% menos amostras e 20x menos tempo por objetivo.
- Controle de Alta Dimensão: No Ant-Maze (29 dimensões), o InK alcançou o objetivo em ~1.500 passos (usando D*) ou ~1.134 passos (usando BWTS), enquanto a linha de base não-InK exigiu ~10.000 passos para construir um modelo abstrato completo.
Comparação de Planejadores Simbólicos (D vs. BWTS vs. BAMCP):*
- BWTS vs. D:* Em mundos de grade sintéticos com conhecimentos estruturais prévios (ex: uma única parede horizontal), a BWTS alcançou um custo esperado menor (ex: uma melhoria de 15,7% sobre o D*) ao explorar o conjunto de crença para evitar retrocessos custosos. No entanto, em cenários complexos sem vantagens estruturais claras (ex: tipos de paredes mistas), o overhead de tempo de execução da BWTS foi significativo para ganhos marginais.
- BWTS vs. BAMCP: O BAMCP teve um desempenho ruim (frequentemente >28 passos contra os ~24 passos do D*) e foi instável devido à sua dependência de rollouts estocásticos e à incapacidade de modelar dependências estruturais (ex: "se há uma parede em A, não há parede em B"). Os rollouts estratégicos da BWTS e a modelagem explícita de restrições estruturais resultaram em um desempenho superior.
- Conhecimento Prévio: Quando o conhecimento prévio estava disponível (ex: um conjunto de três tipos de labirinto conhecidos), o InK-BWTS reduziu pela metade a contagem de amostras em comparação ao InK-D*, embora tenha incorrido em maior tempo de execução computacional durante a fase de planejamento.

5. Significância e Alegações

O artigo afirma que o HRL Neurosimbólico com InK fornece uma abordagem prática para a aprendizagem com eficiência de amostragem em ambientes complexos de recompensa esparsa. Ao combinar o raciocínio estrutural de planejadores simbólicos com a adaptabilidade de controladores neurais, o framework permite que agentes atuem com conhecimento parcial e refinem suas decisões conforme novas informações são adquiridas, espelhando o raciocínio humano.

Os autores enfatizam que:

Eficiência de Amostragem: A abordagem gera ganhos superiores a 100.000 passos de ambiente comparado a métodos de estado da arte não-InK em ambientes Point Maze.
Otimalidade sob Incerteza: A BWTS oferece um método para planejar de forma ótima na média sobre mundos de crença, abordando uma lacuna deixada tanto por planejadores incrementais (que ignoram os conhecimentos prévios) quanto por planejadores Bayesianos (que assumem independência).
Versatilidade: O framework é aplicável tanto a problemas de controle contínuo de baixa quanto de alta dimensão, desde que uma política de baixo nível condicionada ao objetivo possa ser pré-treinada ou aprendida.

O trabalho conclui que, embora a BWTS introduza um overhead computacional, o equilíbrio é justificado quando o conhecimento prévio estrutural está disponível, e que o próprio framework InK oferece ganhos substanciais de eficiência mesmo sem tais conhecimentos prévios em comparação ao HRL tradicional. Sugere-se como trabalho futuro a extensão do InK para tarefas de manipulação e a unificação de conhecimentos prévios estruturais e probabilísticos em um único algoritmo.