Rethinking Policy Diversity in Ensemble Policy Gradient in Large-Scale Reinforcement Learning

Deze paper introduceert 'Coupled Policy Optimization', een methode die de exploratiekwaliteit in grote-scale versterkingsleer verbetert door de diversiteit tussen ensemble-beleid via KL-beperkingen te reguleren, wat leidt tot een hogere sample-efficiëntie en stabiliteit dan bestaande baselines.

De kern

Hoe een goed georganiseerd team beter presteert dan een chaotische menigte: Een uitleg van het CPO-onderzoek

Stel je voor dat je een enorme groep van 24.000 robots tegelijkertijd laat leren hoe ze een ingewikkelde taak moeten uitvoeren, zoals een kubus in een hand draaien of een bal gooien. Dit is wat onderzoekers doen met "Deep Reinforcement Learning" (diep versterkend leren). Ze gebruiken krachtige computers om deze robots in duizenden virtuele werelden tegelijk te laten oefenen.

Het probleem? Als je al die robots precies hetzelfde laat doen (één "hoofdpersoon"), komen ze vast te zitten in een lokaal maximum. Ze proberen steeds hetzelfde, maar vinden geen nieuwe, betere manieren om de taak te doen. Ze zijn te voorspelbaar.

Om dit op te lossen, hebben wetenschappers een idee bedacht: Laat ze in teams werken.

Het oude idee: De leider en de volgelingen (SAPG)

Stel je een grote groep leerlingen voor in een klas. Er is één leerkracht (de "Leader") en veel leerlingen (de "Followers").

• De leerlingen lopen rond in de klas en proberen van alles uit.
• Ze sturen hun ervaringen naar de leerkracht.
• De leerkracht gebruikt deze ervaringen om zichzelf slimmer te maken.

Dit klinkt geweldig, maar er zit een addertje onder het gras. Als de leerlingen te wild gaan spelen en volledig van de leerkracht afwijken (ze rennen de klas uit, klimmen op tafels, doen iets heel anders), kan de leerkracht die informatie niet meer goed gebruiken. Het is alsof de leerkracht probeert te leren van iemand die in een heel ander universum zit. De informatie is dan te "raar" om bruikbaar te zijn. Dit noemen de auteurs te grote diversiteit, en dat maakt het leren juist langzamer en onstabiel.

De nieuwe oplossing: CPO (Gekoppelde Beleidsoptimalisatie)

De auteurs van dit paper, Naoki Shitanda en zijn team, zeggen: "Diversiteit is goed, maar niet als het uit de hand loopt."

Ze hebben een nieuwe methode bedacht, CPO, die werkt als een slimme coach die de balans bewaakt. Hier is hoe het werkt, met een paar analogieën:

1. De "Onzichtbare Koord" (KL-divergentie)

Stel je voor dat elke leerling aan de leerkracht vastzit met een onzichtbaar, elastisch koord.

• De leerlingen mogen wel rennen en verkennen (diversiteit), maar ze mogen niet verder dan een bepaalde afstand van de leerkracht komen.
• Als ze te ver weg komen, trekt het koord ze terug.
• Waarom? Zodat wat de leerlingen doen, nog steeds relevant is voor de leerkracht. De leerkracht kan de ervaringen van de leerlingen direct gebruiken om zichzelf te verbeteren, zonder dat de informatie "vervuild" raakt door te grote verschillen.

2. De "Jury" (Adversarial Reward)

Er is nog een ander gevaar: wat als alle leerlingen, omdat ze aan hetzelfde koord hangen, allemaal precies op dezelfde plek gaan staan? Dan is er geen diversiteit meer, en dat is ook niet goed.

• Daarom heeft de leerkracht een jury ingehuurd.
• De jury kijkt naar wat een leerling doet en probeert te raden: "Wie ben jij? Ben jij leerling A of leerling B?"
• Als de jury het moeilijk heeft om te raden (omdat alle leerlingen hetzelfde doen), krijgen de leerlingen een boete.
• Als de jury ze makkelijk kan onderscheiden (omdat ze allemaal iets anders doen), krijgen ze een beloning.
• Dit zorgt ervoor dat de leerlingen weliswaar dicht bij de leerkracht blijven, maar toch elk hun eigen unieke pad verkennen binnen die veilige zone.

Wat levert dit op?

In hun experimenten hebben ze getest op moeilijke robot-taken (zoals het manipuleren van voorwerpen met een menselijke hand).

• Resultaat: De robots met de nieuwe methode (CPO) leerden veel sneller dan de robots met de oude methoden.
• Efficiëntie: Ze hadden minder "oefentijd" nodig om even goed te worden.
• Stabiliteit: Ze vielen niet meer uit elkaar. De "leerkracht" kon elke ervaring van de leerlingen direct gebruiken, omdat de leerlingen niet te ver waren afgeweken.

De kernboodschap in één zin

Je hebt niet nodig dat je teamleden volledig los van elkaar opereren om innovatief te zijn; je hebt een team nodig dat samenwerkt binnen een gezonde afstand, waar iedereen zijn eigen stijl heeft, maar toch op dezelfde golflengte zit als de leider.

Deze paper laat zien dat in de wereld van robotica en kunstmatige intelligentie, gecontroleerde chaos (diversiteit met regels) veel beter werkt dan pure chaos of totale uniformiteit.

Technische samenvatting

Probleemstelling

De schaalvergroting van Reinforcement Learning (RL) naar tienduizenden parallelle omgevingen (bijvoorbeeld via GPU-simulatoren zoals Isaac Gym) biedt potentieel voor enorme efficiëntieverbeteringen. Echter, recente studies tonen aan dat het simpelweg verhogen van de dataverzameling met een enkel beleid (policy) niet leidt tot betere leerprestaties, omdat de exploratiecapaciteit beperkt blijft.

Om dit op te lossen, zijn ensemble-methoden ontwikkeld, zoals SAPG (Split and Aggregate Policy Gradients), waarbij meerdere agenten (volgers) parallel data verzamelen die worden geaggregeerd door een leidende agent (leader). SAPG gebruikt Importance Sampling (IS) om off-policy data van de volgers te gebruiken voor het updaten van de leider.

Het kernprobleem dat deze paper adresseert, is dat excessieve diversiteit tussen de beleidsstrategieën van de volgers en de leider schadelijk kan zijn:

1. Verlaagde Steekproefficiëntie: Als de beleidsstrategieën te veel van elkaar afwijken, wordt de Effective Sample Size (ESS) van de importance sampling drastisch verlaagd.
2. Instabiliteit: Grote afwijkingen leiden tot een hoge bias in de gradient-schatting door het "clipping"-mechanisme in PPO (Proximal Policy Optimization), wat de training destabiliseert.
3. Misalignement: Zonder regulatie kunnen volgers volledig uitwijken naar gebieden die voor de leider nutteloos of schadelijk zijn, wat de leercurve vertraagt of stopt.

Methodologie: Coupled Policy Optimization (CPO)

De auteurs stellen Coupled Policy Optimization (CPO) voor, een methode die de exploratie diversiteit reguleert in plaats van deze blindelings te maximaliseren. CPO bouwt voort op het SAPG-framework en introduceert twee cruciale mechanismen:

1. KL-Divergentie Beperking (KL Constraint):

   • Tijdens het updaten van de volger-beleidsstrategieën wordt een constraint toegevoegd die de Kullback-Leibler (KL) divergentie tussen de volger en de leider beperkt.
   • Dit zorgt ervoor dat volgers binnen een bepaald "buurthoekje" van het leidende beleid blijven.
   • Theoretische basis: De auteurs bewijzen dat de verwachte absolute afwijking van de IS-ratio van 1, omgekeerd evenredig is met de KL-divergentie. Door de KL-divergentie te beperken, blijft de IS-ratio dicht bij 1, wat de ESS verhoogt en de bias door clipping vermindert.
   • De update-regel voor een volger wordt een geconstrueerd optimalisatieprobleem dat een gesloten vorm-oplossing toelaat, benaderd door een neurale netwerk-policy.

2. Adversariale Beloning (Adversarial Reward):

   • Om te voorkomen dat de KL-constraint ervoor zorgt dat alle volgers te dicht bij elkaar en bij de leider samenkomen (overconcentratie), wordt een intrinsieke beloning toegevoegd.
   • Een discriminator $D_\xi$ wordt getraind om de identiteit van de agent (welke volger) te voorspellen op basis van een state-action paar.
   • De volgers krijgen een beloning gebaseerd op de log-likelihood van de discriminator om hun eigen identiteit te onderscheiden. Dit moedigt de volgers aan om unieke gebieden in de state-action ruimte te verkennen, terwijl ze toch binnen de KL-buurt van de leider blijven.

Belangrijkste Bijdragen

• Theoretische Analyse: De paper biedt een theoretisch bewijs dat excessieve diversiteit in ensemble-methoden de trainingsstabiliteit en steekproefficiëntie ondermijnt door de ESS te verlagen en de bias te verhogen.
• CPO Framework: Introductie van een nieuwe methode die KL-constraints en adversariële beloningen combineert om gestructureerde, efficiënte exploratie te bereiken.
• Empirische Validatie: Uitgebreide experimenten tonen aan dat CPO superieur is aan state-of-the-art methoden zoals SAPG, DexPBT en PPO.
• Analyse van Beleidsstructuur: De auteurs tonen aan dat CPO van nature leidt tot een gestructureerde formatie waarbij volgers evenwichtig rond de leider zijn verdeeld, in tegenstelling tot SAPG waar volgers vaak sterk divergeren.

Resultaten

De methode werd getest op 10 robuuste taken, waaronder complexe dexterous manipulation (handvaardigheid), grijper-bewegingen en locomotie, met gebruik van $N = 24.576$ parallelle omgevingen.

• Steekproefficiëntie: CPO bereikt de eindprestaties van SAPG met ongeveer de helft van het aantal omgevingstappen (environment steps).
• Eindprestaties: CPO overtreft SAPG, DexPBT en PPO in de meeste taken, met name in uitdagende taken zoals ShadowHand, AllegroHand en Two-Arms Reorientation. Waar SAPG faalde of worstelde in bepaalde taken (bijv. Two-Arms Reorientation), slaagde CPO erin om stabiel te leren.
• Ablatie Studies:
  • Het verwijderen van de KL-constraint leidt tot een sterke daling in prestaties en een toename in misalignement (volgers wijken te ver af).
  • Het verwijderen van de adversariële beloning heeft een minder dramatisch effect op de prestaties, maar de KL-constraint alleen is al voldoende om de volgers rond de leider te houden zonder overconcentratie.
• IS-ratio en ESS: Metingen tonen aan dat CPO de gemiddelde afwijking van de IS-ratio van 1 aanzienlijk verlaagt (van ~0.89 bij SAPG naar ~0.19 bij CPO), wat resulteert in een veel hogere ESS (van 0.02 naar 0.94).

Significantie

Deze paper is significant omdat het een fundamenteel inzicht biedt in de dynamiek van large-scale RL: meer diversiteit is niet per se beter.

In plaats van te streven naar maximale exploratie-afstand, benadrukt het werk dat gecontroleerde diversiteit essentieel is voor stabiel en steekproefficiënt leren. Door de relatie tussen beleidsdiversiteit, importance sampling en gradient-bias te formaliseren, biedt CPO een robuust kader voor het schalen van RL naar duizenden parallelle omgevingen. Dit is vooral waardevol voor complexe robotica-taken waar data-efficiëntie en stabiliteit cruciaal zijn voor het succes van het trainen in simulatie en de overdracht naar de realiteit (Sim2Real).