Sample-efficient Neuro-symbolic Proximal Policy Optimization

1. Énoncé du problème

L'apprentissage par renforcement profond (Deep Reinforcement Learning ou DRL), en particulier des algorithmes comme l'optimisation de politique proximale (PPO), fait face à des défis majeurs dans les environnements à récompenses clairsemées avec des horizons de planification longs et plusieurs sous-objectifs.

• Inefficacité en échantillonnage : Les agents nécessitent d'énormes quantités de données d'interaction pour converger, rendant l'entraînement coûteux et lent.
• Nature de boîte noire : Les politiques neuronales manquent d'interprétabilité et de garanties formelles.
• Limites des solutions existantes :
  • Façonnage de récompense (par exemple, Machines de récompense) : Souvent coûteux en calcul et très sensibles aux heuristiques imprécises ; de mauvaises heuristiques peuvent dégrader les performances.
  • Approches purement neuronales : Manquent de mécanismes pour intégrer directement des règles de domaine lisibles par l'humain.
  • Approches purement symboliques : Peinent à s'adapter à des domaines complexes en raison de la difficulté à définir avec précision l'espace de recherche de la politique.

Les auteurs proposent un cadre neuro-symbolique qui transfère des spécifications de politique logique partielles apprises dans des instances simples pour guider l'apprentissage dans des contextes plus complexes et difficiles, améliorant ainsi l'efficacité en échantillonnage sans nécessiter de réajustement des hyperparamètres.

2. Méthodologie

L'innovation centrale est une extension neuro-symbolique du PPO qui utilise une Politique Symbolique ($\pi_{sym}$). Cette politique est un ensemble de règles logiques (clauses de Horn) qui mappent les caractéristiques de l'environnement (prédicats) vers des termes d'action. Un mécanisme de raisonnement en ligne traduit les observations brutes en prédicats logiques de haut niveau, qui sont évalués par rapport à $\pi_{sym}$ pour déduire des actions prometteuses.

Le papier introduit deux stratégies d'intégration distinctes pour injecter ce guidage logique dans la boucle PPO :

A. H-PPO-Product (Biais au niveau de l'action)

• Mécanisme : Modifie la distribution d'échantillonnage des actions pendant la phase d'entraînement.
• Implémentation :
  • À chaque pas de temps, les probabilités d'action de la politique neuronale sont repondérées en fonction de savoir si une action est logiquement impliquée par $\pi_{sym}$.
  • Un terme de repondération $m_t(a, s)$ augmente la probabilité des actions suggérées logiquement par un facteur contrôlé par un paramètre de confiance $\lambda$ et un facteur de recuit $\epsilon_t$.
  • $\epsilon_t$ suit un calendrier de décroissance linéaire, commençant élevé pour encourager l'exploration guidée par la logique et décroissant jusqu'à zéro à mesure que l'entraînement progresse.
• Objectif : Biaisser l'exploration précoce vers des trajectoires logiquement saines, permettant à l'agent d'ignorer les suggestions symboliques imparfaites à mesure que la politique neuronale apprend les véritables dynamiques de l'environnement.

B. H-PPO-SymLoss (Régularisation au niveau de l'optimisation)

• Mécanisme : Augmente la fonction de perte PPO avec un terme de régularisation symbolique.
• Implémentation :
  • Construit une politique de référence $\pi_{ref}$ basée sur l'indicateur symbolique, attribuant une masse de probabilité plus élevée aux actions logiquement impliquées.
  • Calcule un rapport $\rho^{sym}_t$ entre la politique neuronale actuelle et cette politique de référence symbolique (remplaçant le $\pi_{old}$ standard dans le rapport pour ce terme spécifique).
  • Ajoute une perte auxiliaire symbolique $L_{sym}$ (structurée de manière similaire au surrogate PPO tronqué) à la fonction de perte totale, pondérée par un paramètre $\Theta$.
  • Comme pour H-PPO-Product, le poids $\Theta$ peut être recuit au fil du temps.
• Objectif : Agir comme un régularisateur qui aligne la politique neuronale avec les contraintes logiques pendant l'optimisation, empêchant la politique de dévier vers des régions sous-optimales même si les règles symboliques sont imparfaites.

3. Contributions clés

1. Cadre PPO Neuro-Symbolique : Une approche novatrice qui exploite des règles logiques partielles pour guider les agents PPO, utilisant soit des biais d'échantillonnage (H-PPO-Product), soit des pénalités d'optimisation (H-PPO-SymLoss).
2. Robustesse face aux connaissances imparfaites : Les méthodes sont conçues pour fonctionner avec des règles logiques induites à partir de tâches simples et transférées vers des tâches plus difficiles, même lorsque ces règles sont incomplètes ou imparfaites.
3. Aucun réajustement des hyperparamètres : Le cadre permet de passer à des domaines plus grands et plus complexes sans réajuster les hyperparamètres du PPO, car le guidage symbolique adapte automatiquement le processus d'apprentissage.
4. Validation empirique : Évaluation extensive sur trois benchmarks standards de mondes en grille (DoorKey, OfficeWorld, WaterWorld) démontrant une performance supérieure par rapport au PPO standard et aux bases de Machines de récompense.

4. Résultats expérimentaux

Les auteurs ont évalué leurs méthodes sur trois benchmarks de complexité variable (taille de la grille, nombre de clés, longueur de la séquence) :

• DoorKey (Navigation avec clés/portes) :

  • H-PPO-Product a excellé en tant que moteur d'exploration, atteignant la convergence la plus rapide et les rendements les plus élevés, en particulier dans la grille 16x16 la plus difficile avec 4 clés.
  • H-PPO-SymLoss a atteint des rendements élevés mais a convergé plus lentement.
  • La base Machine de récompense (RM) a échoué complètement dans le paramétrage à 4 clés (rendement nul), soulignant la fragilité du façonnage de récompense dans les tâches complexes à récompenses clairsemées.

• OfficeWorld (Sous-objectifs séquentiels) :

  • H-PPO-Product a montré un apprentissage initial rapide mais a plafonné à un rendement légèrement inférieur dans des tâches complexes (par exemple, DeliverCoffeeAndMail).
  • H-PPO-SymLoss a commencé plus lentement mais a agi comme un puissant régularisateur de politique, atteignant finalement les rendements finaux les plus élevés en façonnant la politique plus efficacement à long terme.

• WaterWorld (Physique 2D continue/Séquences) :

  • Dans des tâches de séquences complexes (par exemple, RedGreenAndBlueCyanAndMagentaYellow), H-PPO-Product était la seule méthode à réussir à naviguer dans l'espace à récompenses clairsemées et à atteindre des rendements élevés.
  • H-PPO-SymLoss a peiné ici, confirmant que sa force réside dans la consolidation de la politique plutôt que dans l'initiation de séquences d'exploration complexes à partir de zéro.

Résumé des performances :

• H-PPO-Product : Meilleur pour l'exploration dans des tâches à horizon long et à récompenses clairsemées.
• H-PPO-SymLoss : Meilleur pour l'affinement de la politique et la maximisation des rendements finaux dans des tâches où une certaine exploration a déjà eu lieu.
• Les deux méthodes ont systématiquement surpassé le PPO standard et les Machines de récompense.

5. Importance

Ce papier aborde un goulot d'étranglement critique du DRL : l'efficacité en échantillonnage dans des domaines complexes à récompenses clairsemées. En intégrant le raisonnement symbolique directement dans la structure algorithmique du PPO (plutôt que simplement comme un façonneur de récompense), les auteurs démontrent que :

1. Les priors logiques peuvent accélérer considérablement l'apprentissage sans sacrifier la flexibilité des réseaux de neurones.
2. Le transfert d'apprentissage des règles logiques de tâches simples vers des tâches complexes est viable et efficace.
3. Différentes stratégies d'intégration (biais d'échantillonnage vs régularisation de perte) jouent des rôles distincts, offrant une boîte à outils aux praticiens pour choisir la bonne approche en fonction du besoin d'une meilleure exploration ou d'une meilleure convergence de la politique.

Ce travail comble le fossé entre l'interprétabilité de l'IA symbolique et l'évolutivité du RL profond, ouvrant la voie à des agents plus robustes et généralisables dans des applications réelles.