Sample-efficient Neuro-symbolic Proximal Policy Optimization

1. Probleemstelling

Deep Reinforcement Learning (DRL), met name algoritmen zoals Proximal Policy Optimization (PPO), staat voor aanzienlijke uitdagingen in omgevingen met schaarse beloningen met lange planningshorizons en meerdere sub-doelen.

• Schaalinefficiëntie: Agenten vereisen enorme hoeveelheden interactiegegevens om te convergeren, wat training kostbaar en traag maakt.
• Black-Box-aard: Neuronale beleidsstrategieën missen interpreteerbaarheid en formele garanties.
• Beperkingen van bestaande oplossingen:
  • Beloningsvorming (bijv. Reward Machines): Vaak rekenkundig duur en zeer gevoelig voor onnauwkeurige heuristieken; slechte heuristieken kunnen de prestaties verslechteren.
  • Puurneuronale benaderingen: Ontbreken mechanismen om menselijk leesbare domeinregels direct te integreren.
  • Puursymbolische benaderingen: Hebben moeite om te schalen naar complexe domeinen vanwege de moeilijkheid om de beleidszoekruimte nauwkeurig te definiëren.

De auteurs stellen een neuro-symbolisch raamwerk voor dat gedeeltelijke logische beleidspecificaties, geleerd in eenvoudige gevallen, overdraagt om het leren in complexere, uitdagendere omgevingen te sturen, waardoor de schaalinefficiëntie wordt verbeterd zonder dat hyperparameters opnieuw moeten worden afgestemd.

2. Methodologie

De kerninnovatie is een neuro-symbolische extensie van PPO die gebruikmaakt van een Symbolisch Beleid ($\pi_{sym}$). Dit beleid bestaat uit een set logische regels (Horn-clausules) die omgevingskenmerken (predicaten) afbeelden op actietermen. Een online redeneermechanisme vertaalt ruwe observaties naar hoogwaardige logische predicaten, die worden geëvalueerd tegen $\pi_{sym}$ om veelbelovende acties af te leiden.

Het artikel introduceert twee verschillende integratiestrategieën om deze logische sturing in de PPO-lus in te brengen:

A. H-PPO-Product (Actie-niveau Bias)

• Mechanisme: Wijzigt de verdeling voor het stalen nemen van acties tijdens de trainingsfase.
• Implementatie:
  • Op elk tijdstip worden de actieprobabiliteiten van het neuronale beleid opnieuw gewogen op basis van of een actie logisch wordt afgeleid uit $\pi_{sym}$.
  • Een herwightingsterm $m_t(a, s)$ verhoogt de waarschijnlijkheid van logisch voorgestelde acties met een factor die wordt gestuurd door een betrouwbaarheidsparameter $\lambda$ en een afkoelfactor $\epsilon_t$.
  • $\epsilon_t$ volgt een lineair afkoelschema, beginnend hoog om exploratie gestuurd door logica te bevorderen, en koelt af tot nul naarmate de training vordert.
• Doel: Om de exploratie in een vroeg stadium te bevooroordeelen naar logisch sounde trajecten, waardoor de agent imperfecte symbolische suggesties kan negeren naarmate het neuronale beleid de ware omgevingsdynamiek leert.

B. H-PPO-SymLoss (Optimalisatie-niveau Regularisatie)

• Mechanisme: Breidt de PPO-verliesfunctie uit met een symbolische regularisatieterm.
• Implementatie:
  • Construeert een referentiebeleid $\pi_{ref}$ op basis van de symbolische indicator, waarbij hogere waarschijnlijkheidsmassa wordt toegewezen aan logisch afgeleide acties.
  • Berekent een verhouding $\rho^{sym}_t$ tussen het huidige neuronale beleid en dit symbolische referentiebeleid (ter vervanging van de standaard $\pi_{old}$ in de verhouding voor deze specifieke term).
  • Voegt een symbolische hulpverliesfunctie $L_{sym}$ (gestructureerd vergelijkbaar met de afgeknipte PPO-surrogaat) toe aan de totale verliesfunctie, gewogen met een parameter $\Theta$.
  • Net als bij H-PPO-Product kan de gewicht $\Theta$ in de loop van de tijd worden afgekoeld.
• Doel: Om te fungeren als een regularisator die het neuronale beleid tijdens de optimalisatie uitlijnt met logische beperkingen, waardoor wordt voorkomen dat het beleid afwijkt naar suboptimale gebieden, zelfs als de symbolische regels imperfect zijn.

3. Belangrijkste Bijdragen

1. Neuro-symbolisch PPO-raamwerk: Een nieuwe aanpak die gebruikmaakt van gedeeltelijke logische regels om PPO-agenten te sturen, waarbij gebruik wordt gemaakt van ofwel stalen-bias (H-PPO-Product) of optimalisatieboetes (H-PPO-SymLoss).
2. Robuustheid tegen imperfecte kennis: De methoden zijn ontworpen om te werken met logische regels die zijn afgeleid uit eenvoudige taken en worden overgedragen naar moeilijkere taken, zelfs wanneer die regels onvolledig of imperfect zijn.
3. Geen herafstelling van hyperparameters: Het raamwerk maakt het mogelijk om te schalen naar grotere, complexere domeinen zonder PPO-hyperparameters opnieuw af te stemmen, aangezien de symbolische sturing het leerproces automatisch aanpast.
4. Empirische validatie: Uitgebreide evaluatie over drie standaard gridworld-benchmarks (DoorKey, OfficeWorld, WaterWorld) die superieure prestaties aantonen ten opzichte van vanilla PPO en Reward Machine-baselines.

4. Experimentele Resultaten

De auteurs hebben hun methoden geëvalueerd op drie benchmarks met variërende complexiteit (gridgrootte, aantal sleutels, sequentielengte):

• DoorKey (Navigatie met Sleutels/Deuren):

  • H-PPO-Product excelleerde als exploratiestuurder, met de snelste convergentie en hoogste returns, vooral in de meest uitdagende 16x16-grid met 4 sleutels.
  • H-PPO-SymLoss bereikte hoge returns maar convergeerde langzamer.
  • De Reward Machine (RM)-baseline faalde volledig in de 4-sleutelinstelling (nul return), wat de broosheid van beloningsvorming in complexe taken met schaarse beloningen benadrukt.

• OfficeWorld (Sequentiële Sub-doelen):

  • H-PPO-Product toonde snelle initiële leerprestaties maar plateauerde op een iets lagere return in complexe taken (bijv. DeliverCoffeeAndMail).
  • H-PPO-SymLoss begon langzamer maar fungeerde als een krachtige beleidsregularisator, en bereikte uiteindelijk de hoogste definitieve returns door het beleid op de lange termijn effectiever te vormen.

• WaterWorld (Continue 2D-fysica/Sequenties):

  • In complexe sequentietaken (bijv. RedGreenAndBlueCyanAndMagentaYellow) was H-PPO-Product de enige methode die succesvol de ruimte met schaarse beloningen kon navigeren en hoge returns bereikte.
  • H-PPO-SymLoss had hier moeite mee, wat bevestigt dat zijn kracht ligt in beleidsconsolidatie en niet in het initiëren van complexe exploratiereeksen vanaf nul.

Samenvatting van Prestaties:

• H-PPO-Product: Best voor exploratie in schaarse taken met lange horizon.
• H-PPO-SymLoss: Best voor beleidsverfijning en het maximaliseren van definitieve returns in taken waar al enige exploratie heeft plaatsgevonden.
• Beide methoden presteerden consequent beter dan standaard PPO en Reward Machines.

5. Betekenis

Dit artikel adresseert een kritieke bottleneck in DRL: schaalinefficiëntie in complexe domeinen met schaarse beloningen. Door symbolisch redeneren direct te integreren in de PPO-algoritmestructuur (en niet alleen als beloningsvormer), tonen de auteurs aan dat:

1. Logische priors het leren aanzienlijk kunnen versnellen zonder de flexibiliteit van neurale netwerken op te offeren.
2. Transfer learning van logische regels van eenvoudige naar complexe taken levensvatbaar en effectief is.
3. Verschillende integratiestrategieën (stalen-bias versus verliesregularisatie) verschillende rollen vervullen, waardoor een toolkit ontstaat voor praktici om de juiste aanpak te kiezen op basis van of ze betere exploratie of betere beleidsconvergentie nodig hebben.

Het werk overbrugt de kloof tussen de interpreteerbaarheid van symbolische AI en de schaalbaarheid van Deep RL, en ebaant de weg voor robuustere en generaliseerbaardere agenten in real-world toepassingen.