Sample-efficient Neuro-symbolic Proximal Policy Optimization

1. Formulação do Problema

A Aprendizagem por Reforço Profunda (DRL), particularmente algoritmos como o Proximal Policy Optimization (PPO), enfrenta desafios significativos em ambientes de recompensa esparsa com horizontes de planejamento longos e múltiplos sub-objetivos.

• Ineficiência de Amostragem: Agentes requerem quantidades massivas de dados de interação para convergir, tornando o treinamento custoso e lento.
• Natureza de Caixa-Preta: Políticas neurais carecem de interpretabilidade e garantias formais.
• Limitações das Soluções Existentes:
  • Moldagem de Recompensa (ex: Máquinas de Recompensa): Frequentemente computacionalmente caras e altamente sensíveis a heurísticas imprecisas; heurísticas ruins podem degradar o desempenho.
  • Abordagens Puramente Neurais: Carecem de mecanismos para integrar regras de domínio legíveis por humanos diretamente.
  • Abordagens Puramente Simbólicas: Têm dificuldade em escalar para domínios complexos devido à dificuldade de definir com precisão o espaço de busca da política.

Os autores propõem uma estrutura neuro-simbólica que transfere especificações parciais de políticas lógicas aprendidas em instâncias simples para guiar a aprendizagem em configurações mais complexas e desafiadoras, melhorando assim a eficiência de amostragem sem exigir o reajuste de hiperparâmetros.

2. Metodologia

A inovação central é uma extensão neuro-simbólica do PPO que utiliza uma Política Simbólica ($\pi_{sym}$). Esta política é um conjunto de regras lógicas (cláusulas de Horn) que mapeiam características ambientais (predicados) para termos de ação. Um mecanismo de raciocínio online traduz observações brutas em predicados lógicos de alto nível, que são avaliados contra $\pi_{sym}$ para deduzir ações promissoras.

O artigo introduz duas estratégias distintas de integração para injetar essa orientação lógica no loop do PPO:

A. H-PPO-Product (Viés no Nível de Ação)

• Mecanismo: Modifica a distribuição de amostragem de ações durante a fase de treinamento.
• Implementação:
  • Em cada passo de tempo, as probabilidades de ação da política neural são reponderadas com base se uma ação é logicamente implicada por $\pi_{sym}$.
  • Um termo de reponderação $m_t(a, s)$ aumenta a probabilidade de ações sugeridas logicamente por um fator controlado por um parâmetro de confiança $\lambda$ e um fator de annealing $\epsilon_t$.
  • $\epsilon_t$ segue um cronograma de decaimento linear, começando alto para encorajar a exploração guiada pela lógica e decaindo para zero à medida que o treinamento progride.
• Objetivo: Viar a exploração em estágios iniciais para trajetórias logicamente sólidas, permitindo que o agente ignore sugestões simbólicas imperfeitas à medida que a política neural aprende a dinâmica real do ambiente.

B. H-PPO-SymLoss (Regularização no Nível de Otimização)

• Mecanismo: Augmenta a função de perda do PPO com um termo de regularização simbólica.
• Implementação:
  • Constrói uma política de referência $\pi_{ref}$ baseada no indicador simbólico, atribuindo maior massa de probabilidade a ações logicamente implicadas.
  • Calcula uma razão $\rho^{sym}_t$ entre a política neural atual e esta política de referência simbólica (substituindo o $\pi_{old}$ padrão na razão para este termo específico).
  • Adiciona uma perda auxiliar simbólica $L_{sym}$ (estruturada de forma semelhante ao surrogate PPO truncado) à função de perda total, ponderada por um parâmetro $\Theta$.
  • Assim como no H-PPO-Product, o peso $\Theta$ pode sofrer annealing ao longo do tempo.
• Objetivo: Atuar como um regularizador que alinha a política neural com restrições lógicas durante a otimização, impedindo que a política se desvie para regiões subótimas, mesmo que as regras simbólicas sejam imperfeitas.

3. Contribuições Principais

1. Estrutura Neuro-Simbólica PPO: Uma abordagem inovadora que aproveita regras lógicas parciais para guiar agentes PPO, utilizando viéses de amostragem (H-PPO-Product) ou penalidades de otimização (H-PPO-SymLoss).
2. Robustez a Conhecimento Imperfeito: Os métodos são projetados para funcionar com regras lógicas induzidas de tarefas simples e transferidas para tarefas mais difíceis, mesmo quando essas regras são incompletas ou imperfeitas.
3. Sem Reajuste de Hiperparâmetros: A estrutura permite a escalabilidade para domínios maiores e mais complexos sem o reajuste de hiperparâmetros do PPO, pois a orientação simbólica adapta o processo de aprendizagem automaticamente.
4. Validação Empírica: Avaliação extensa em três benchmarks padrão de gridworld (DoorKey, OfficeWorld, WaterWorld) demonstrando desempenho superior ao PPO puro e às bases de Máquinas de Recompensa.

4. Resultados Experimentais

Os autores avaliaram seus métodos em três benchmarks com complexidade variável (tamanho da grade, número de chaves, comprimento da sequência):

• DoorKey (Navegação com Chaves/Portas):

  • H-PPO-Product se destacou como um motor de exploração, alcançando a convergência mais rápida e os retornos mais altos, especialmente na grade mais desafiadora de 16x16 com 4 chaves.
  • H-PPO-SymLoss alcançou retornos altos, mas convergiu mais lentamente.
  • A base Máquina de Recompensa (RM) falhou completamente na configuração de 4 chaves (retorno zero), destacando a fragilidade da moldagem de recompensa em tarefas complexas de recompensa esparsa.

• OfficeWorld (Sub-objetivos Sequenciais):

  • H-PPO-Product mostrou aprendizagem inicial rápida, mas estagnou em um retorno ligeiramente menor em tarefas complexas (ex: DeliverCoffeeAndMail).
  • H-PPO-SymLoss começou mais lentamente, mas atuou como um poderoso regularizador de política, alcançando finalmente os retornos finais mais altos ao moldar a política de forma mais eficaz a longo prazo.

• WaterWorld (Física 2D Contínua/Sequências):

  • Em tarefas de sequência complexas (ex: RedGreenAndBlueCyanAndMagentaYellow), o H-PPO-Product foi o único método a navegar com sucesso no espaço de recompensa esparsa e alcançar retornos altos.
  • H-PPO-SymLoss lutou aqui, confirmando que sua força reside na consolidação da política, e não em iniciar sequências complexas de exploração do zero.

Resumo do Desempenho:

• H-PPO-Product: Melhor para exploração em tarefas esparsas e de longo horizonte.
• H-PPO-SymLoss: Melhor para refinamento de política e maximização de retornos finais em tarefas onde alguma exploração já ocorreu.
• Ambos os métodos superaram consistentemente o PPO padrão e as Máquinas de Recompensa.

5. Significado

Este artigo aborda um gargalo crítico na DRL: eficiência de amostragem em domínios complexos de recompensa esparsa. Ao integrar o raciocínio simbólico diretamente na estrutura algorítmica do PPO (e não apenas como um moldador de recompensa), os autores demonstram que:

1. Priors lógicos podem acelerar significativamente a aprendizagem sem sacrificar a flexibilidade das redes neurais.
2. A aprendizagem por transferência de regras lógicas de tarefas simples para complexas é viável e eficaz.
3. Diferentes estratégias de integração (viés de amostragem vs. regularização de perda) servem a papéis distintos, oferecendo um conjunto de ferramentas para que os praticantes escolham a abordagem correta com base na necessidade de melhor exploração ou melhor convergência de política.

O trabalho preenche a lacuna entre a interpretabilidade da IA simbólica e a escalabilidade da RL profunda, abrindo caminho para agentes mais robustos e generalizáveis em aplicações do mundo real.