Proximal Policy Optimization with Evolutionary Mutations

Technische Samenvatting: Proximal Policy Optimization met Evolutionaire Mutaties (POEM)

Probleemstelling
Reinforcement Learning (RL) algoritmen, in het bijzonder Proximal Policy Optimization (PPO), worden vaak geconfronteerd met een kritieke uitdaging in het balanceren van exploratie en exploitatie. Hoewel PPO bekend staat om zijn stabiliteit en efficiëntie in het gebruik van samples, kan de afhankelijkheid van kleine, incrementele beleidsupdates leiden tot voortijdige convergentie in lokale optima. Dit probleem wordt verergerd in omgevingen met ineffectieve beloningsstructuren, waar het standaard PPO-mechanisme — dat Kullback–Leibler (KL) divergentie gebruikt om beleidsveranderingen te beperken — onbedoeld noodzakelijke exploratie kan onderdrukken. Het resultaat is "beleidsstagnatie", waarbij het model bezinkt in een suboptimaal beleid in plaats van actief beter gedrag te ontdekken.

Methodologie
Om dit aan te pakken, stellen de auteurs POEM (Proximal Policy Optimization with Evolutionary Mutations) voor, een innovatieve modificatie die een adaptief exploratiemechanisme integreert dat geïnspireerd is door evolutionaire algoritmen. De kerninnovatie ligt in het monitoren van de beleidsdiversiteit over de tijd om exploratie te triggeren wanneer het beleid te voorspelbaar wordt.

Het POEM-algoritme werkt via de volgende mechanismen:

1. Diversiteitsmonitoring: POEM houdt een exponentieel voortschrijdend gemiddelde bij van eerdere beleidsparameters ($\hat{\theta}$). Het berekent de KL-divergentie tussen het huidige beleid ($\pi_\theta$) en dit voortschrijdende gemiddelde referentiebeleid ($\pi_{\hat{\theta}}$).
2. Adaptieve Trigger: Het algoritme volgt deze divergentie ($d_{post}$) na standaard PPO-updates. Als de divergentie onder een vooraf ingestelde drempelwaarde ($\delta$) valt, geeft dit aan dat het beleid is gestagneerd of te veel op zijn recente geschiedenis lijkt.
3. Evolutionaire Mutatie: Bij het triggeren voert POEM een adaptieve mutatie van de beleidsparameters uit. De mutatie-ruis wordt gesampled uit een Gaussische distributie met een standaarddeviatie ($\sigma$) die omgekeerd evenredig is met de diversiteitsmetriek (d.w.z. lagere diversiteit resulteert in een hogere mutatievariantie).
   • Het kandidaat-gemuteerde beleid ($\theta'$) wordt geëvalueerd tegen de totale verliesfunctie, die de standaard PPO clipped surrogate loss, de waarde-functie loss, de entropie-bonus en een diversiteitsbonus-term bevat die wordt gewogen door $\lambda_{div}$.
   • De mutatie wordt alleen geaccepteerd als deze een lagere totale loss oplevert dan het huidige beleid.
4. Implementatie: Het systeem is geïmplementeerd met behulp van het Stable-Baselines3 framework en PyTorch. Hyperparameters werden getuned met behulp van Optuna (Tree-structured Parzen Estimator) om een eerlijke vergelijking met standaard PPO over alle omgevingen te garanderen.

Experimentele Opzet
De auteurs evalueerden POEM tegen standaard PPO op vier OpenAI Gym-omgevingen:

• CarRacing (v0): Een taak voor continue controle met gestapelde grayscale frames.
• MountainCar (v0): Een omgeving met een ijle (sparse) beloning die momentumaccumulatie vereist.
• BipedalWalker (v3): Een complexe lokomotie-taak met continue beloningen voor voorwaartse progressie.
• LunarLander (v2): Gemodificeerd om een brandstofmechanisme (600 eenheden) te bevatten om besluitvorming met aandacht voor middelen af te dwingen.

De evaluatie omvatte 10 onafhankelijke trainingsruns voor elk algoritme per omgeving, gevolgd door 15 deterministische evaluatie-episoden. Statistische significantie werd beoordeeld met de Welch's t-toets.

Belangrijkste Resultaten
POEM vertoonde statistisch significante verbeteringen ten opzichte van standaard PPO in drie van de vier omgevingen:

• CarRacing: POEM behaalde een gemiddelde beloning van 640,01 vergeleken met -610,83 voor PPO. Het verschil was zeer significant ($t = -6,3987, p = 0,0002$). POEM navigeerde betrouwbaar over het circuit, terwijl PPO vaak faalde om episodes te voltooien.
• MountainCar: POEM behaalde een gemiddelde beloning van 93,52 versus -311,75 voor PPO ($t = -6,2431, p < 0,0001$). POEM ontsnapte succesvol uit de vallei en bereikte het doel, terwijl PPO vaak stagneerde of de tijd uitliep.
• BipedalWalker: POEM presteerde beter dan PPO met een gemiddelde beloning van 180,58 vergeleken met 62,43 ($t = -2,0642, p = 0,0495$). POEM produceerde vloeiendere trajecten en een hoger succespercentage (12/15 voltooiingen versus 7/15 voor PPO).
• LunarLander: Hoewel POEM een hogere gemiddelde beloning behaalde (242,10 versus 210,94), was het verschil niet statistisch significant ($t = -1,8707, p = 0,0778$). De auteurs merken op dat POEM een strategie aannam van snelle vroege daling gevolgd door verfijning, terwijl PPO op grote hoogte bleef zweven, een strategie die incidenteel leidde tot catastrofale brandstofuitputting.

Significantie en Claims
Het artikel beweert dat het integreren van evolutionaire principes in policy gradient-methoden een levensvatbare oplossing biedt voor de exploratie-exploitatie trade-off. Door KL-divergentie te gebruiken als een "nieuwheid"-metriek om adaptieve mutaties te triggeren, ontsnapt POEM effectief aan lokale optima zonder de inherente stabiliteit van PPO op te offeren. De resultaten suggerteren dat deze diversiteitsgestuurde aanpak agenten in staat stelt om robuustere beleidsregels te leren in omgevingen die gekenmerkt worden door zowel ijle als dichte beloningen.

De auteurs concluderen dat hoewel POEM gelijkwaardig is aan PPO op LunarLander, het vermogen om significant beter te presteren dan PPO op CarRacing, MountainCar en BipedalWalker de hypothese valideert dat adaptieve, door diversiteit getriggerde mutaties extra exploratie kunnen ontsluiten. Toekomstig werk voorgesteld door de auteurs omvat het testen van POEM in omgevingen met discrete actieruimtes, het opschalen naar hoogdimensionele real-world toepassingen, en het benchmarken tegen andere hedendaagse PPO-varianten, zoals varianten die zijn verbeterd met intrinsic curiosity modules.