Actor-Critic Pretraining for Proximal Policy Optimization

Dit paper introduceert een pretrainingsmethode voor Proximal Policy Optimization die zowel de actor als de critic initialiseert met expertdata, wat resulteert in een aanzienlijke verbetering van de sample-efficiëntie op diverse robotische taken.

De kern

Stel je voor dat je een robot wilt leren om een taak uit te voeren, zoals een blokje op een tafel leggen of door een doolhof lopen. In de wereld van kunstmatige intelligentie noemen we dit Versterkend Leren (Reinforcement Learning).

Normaal gesproken leert een robot door proberen en fouten maken. Hij doet iets, krijgt een beloning (of een straf) en probeert het de volgende keer beter. Het probleem is dat dit extreem veel tijd en energie kost. De robot moet duizenden keren tegen de muur lopen voordat hij eindelijk begrijpt hoe hij eromheen moet gaan. In de echte wereld (bij robots) is dit gevaarlijk en duur: de robot kan zichzelf of de machine kapot maken.

Om dit op te lossen, gebruiken wetenschappers vaak experts. Stel je voor dat je een beginnende kok een recept geeft van een sterrenchef. In plaats van dat de kok zelf duizenden recepten uitprobeert, begint hij met het kopiëren van de chef. Dit noemen we Behavioral Cloning (gedragsnabootsing).

Het probleem met de huidige aanpak

In de meeste robotica-studies doen ze precies dit: ze trainen de robot om het gedrag van de expert na te bootsen (de "Acteur" of Actor), en laten hem daarna verder oefenen.

Maar er is een belangrijk onderdeel dat ze vaak vergeten: de Critic (de criticus).

• De Acteur is de robot die de acties uitvoert (bijv. "reik naar links").
• De Critic is de interne stem die zegt: "Hoe goed gaat dit eigenlijk? Is dit een goede zet?"

In de huidige methoden wordt de Acteur getraind op basis van de expert, maar de Critic begint vaak met willekeurige, domme guesses. Het is alsof je een beginnende kok (Acteur) een recept geeft, maar zijn smaakpapillen (Critic) nog helemaal niet getraind zijn. Hij weet niet of het eten lekker is, dus hij kan niet goed leren van zijn fouten.

De oplossing uit dit paper: Twee-in-één training

De auteurs van dit paper, Andreas Kernbach en zijn team, hebben een slimme truc bedacht: Train zowel de kok als de smaakpapillen voordat de echte training begint.

Hier is hoe het werkt, stap voor stap, met een analogie:

1. De Acteur (De Kok) leren:
   Ze laten de robot eerst kijken naar de expert en doen precies wat de expert doet. De robot leert de basisbewegingen. Dit is zoals een kok die eerst de recepten van de chef uit zijn hoofd leert.

2. De Critic (De Smaakpapillen) leren:
   Dit is het nieuwe en belangrijke deel. Ze laten de robot (die nu al een beetje kan bewegen) een paar keer zelf een ronde spelen. Ze kijken naar de resultaten van die rondes en zeggen tegen de Critic: "Kijk, als je deze beweging doet, krijg je deze beloning." Zo leert de Critic snel wat "goed" en "slecht" is, specifiek voor de robot die ze net hebben opgeleid.

3. De Finishing Touch (Fijnschaven):
   Nu hebben ze een robot die weet wat hij moet doen (Acteur) én een robot die weet hoe goed hij het doet (Critic). Als ze nu beginnen met de echte training (PPO), is de robot al een stuk verder. Hij hoeft niet meer blind te zoeken.

Waarom is dit zo goed?

De auteurs hebben dit getest op 15 verschillende robot-taken (zoals lopen, grijpen en duwen). Het resultaat is verbazingwekkend:

• 86% minder tijd: In vergelijking met robots die van nul beginnen, moeten deze robots 86% minder vaak oefenen om hetzelfde niveau te bereiken.
• Beter dan alleen de kok trainen: Zelfs als je alleen de Acteur traint (de oude methode), is deze nieuwe methode nog steeds 31% efficiënter.

Extra slimme trucjes

In het paper gebruiken ze nog twee slimme hulpmiddelen:

• De "Verlengde Looptijd": Soms stoppen robot-oefeningen te vroeg, alsof je een wedstrijd stopt voordat de speler de finish heeft gehaald. Dit geeft een verkeerd beeld van hoe goed de speler is. Ze hebben een wiskundige truc bedacht om de oefeningen net lang genoeg te laten duren voor een eerlijke beoordeling.
• Het "Residuale Netwerk": Stel je voor dat de robot een basisinstinct heeft (van de expert) dat hij nooit mag vergeten. Ze bouwen de robot zo in dat hij zijn basisinstinct behoudt, maar toch flexibel genoeg is om nieuwe dingen te leren. Dit voorkomt dat hij tijdens het oefenen zijn goede basis vaardigheden vergeet.

Conclusie

Kortom: Dit paper zegt dat je een robot niet alleen het "wat" (de beweging) moet leren, maar ook het "hoe goed" (de beoordeling) moet geven voordat je begint met de zware training.

Het is alsof je een student niet alleen de antwoorden op een toets geeft, maar hem ook uitlegt waarom die antwoorden goed zijn, voordat hij de echte toets doet. Het resultaat? De robot wordt veel sneller slim, kost minder tijd en is veiliger voor de hardware.

Technische samenvatting

Titel: Actor-Critic Pretraining voor Proximal Policy Optimization (PPO)

Auteurs: Andreas Kernbach, Amr Elsheikh, Nicolas Grupp, René Nagel, en Marco F. Huber.

---

1. Probleemstelling

Versterkingsleren (Reinforcement Learning - RL), en specifiek actor-critic algoritmen zoals Proximal Policy Optimization (PPO), staat bekend om zijn sample-inefficiëntie. Agenten moeten vaak duizenden tot miljoenen interacties met de omgeving hebben om een goed beleid te leren. Dit is in robotica problematisch omdat:

• Interacties tijdrovend zijn en hardware slijtage veroorzaken.
• Het risico op onveilige acties (bijv. botsingen) tijdens het verkenningsproces groot is.
• De beloningssignalen vaak schaars, vertraagd of slechts één scalar waarde zijn.

Imitatielearning, en met name Behavioral Cloning (BC), wordt gebruikt om dit probleem te mitigeren door het actor-netwerk te initialiseren met expertdemonstraties. Echter, de meeste bestaande methoden focussen uitsluitend op het initialiseren van de actor (het beleidsnetwerk). De critic (het waardenfunctienetwerk) wordt vaak willekeurig geïnitieerd, ondanks zijn cruciale rol bij het sturen van de beleidsupdates. Het ontbreken van een gestructureerde initialisatiestrategie voor de critic leidt tot suboptimale convergentie en verhoogde sample-behoeften.

2. Methodologie

De auteurs stellen een nieuwe Actor-Critic Pretraining (ACP) methode voor die zowel de actor als de critic initialiseert voordat PPO-finetuning begint. De aanpak bestaat uit de volgende componenten:

A. Actor Pretraining (Behavioral Cloning)

• Het actor-netwerk ($\pi_\theta$) wordt getraind via supervised learning op een dataset van expertdemonstraties ($D_{exp}$).
• Het doel is het minimaliseren van de fout tussen de voorspelde actie en de expertactie (MSE voor continue actie-ruimtes).
• Het resultaat is een beleid dat al redelijk goed presteert, maar niet noodzakelijk optimaal is.

B. Critic Pretraining

Dit is het kerninnovatiepunt van het paper. In plaats van de critic willekeurig te initialiseren of te laten leren tijdens de RL-fase:

1. Er worden rollouts uitgevoerd met het reeds gepretrainde actor-beleid.
2. Hieruit wordt een nieuwe dataset ($D_{rol}$) gegenereerd met state-action-reward tripletten.
3. De critic ($v_\phi$) wordt getraind om de waarde van deze rollouts te voorspellen. De doelwaarde ($V^{tar}_t$) wordt gelijkgesteld aan de daadwerkelijk geobserveerde return ($G^{rol}_t$) van de rollout.
4. Dit zorgt ervoor dat de critic vanaf dag één een nauwkeurige schatting maakt van de waarde van het huidige beleid, wat de stabiliteit van de latere PPO-finetuning vergroot.

C. Uitgebreide Staplimiet (Extended Step Limit)

Om bias in de waarde-schatting te voorkomen door kunstmatige truncatie van episodes, introduceren de auteurs een wiskundige formule voor een uitgebreide staplimiet ($T_{ext}$).

• Omdat beloningen worden gedisconteerd ($\gamma < 1$), dragen verre toekomstige beloningen nauwelijks bij.
• De methode berekent hoeveel extra stappen nodig zijn zodat de truncatiefout onder een bepaalde tolerantie ($\tau$) blijft. Dit verbetert de kwaliteit van de trainingsdoelen voor de critic.

D. Residual Model Architectuur

Om "catastrophic forgetting" (het vergeten van het expertgedrag tijdens finetuning) te voorkomen, wordt een specifieke architectuur gebruikt:

• Het actor-netwerk bestaat uit een backbone (verwerkt observaties) en een decision head.
• Tijdens pretraining worden alle parameters geoptimaliseerd.
• Tijdens PPO-finetuning worden de backbone-parameters bevroren, terwijl alleen de decision head wordt bijgewerkt.
• Een residual connection zorgt ervoor dat de decision head direct toegang heeft tot de originele observatie, waardoor het beleid flexibel blijft maar de expert-instincten behouden blijven.

3. Belangrijkste Bijdragen

1. Theoretische aanpak: Een methode om zowel actor als critic te pretrainen, specifiek afgestemd op PPO.
2. Critic Initialisatie: Het gebruik van rollouts van het gepretrainde beleid om de critic te trainen, in plaats van willekeurige initialisatie.
3. Empirische validatie: Een uitgebreide evaluatie over 15 gesimuleerde robotmanipulatie- en locomotietaken (Gymnasium/Gymnasium-Robotics).
4. Architecturale innovatie: De combinatie van een residual connectie en een bevroren backbone om stabiliteit en flexibiliteit te balanceren.

4. Resultaten

De methode werd getest op 15 omgevingen en vergeleken met drie baselines:

• NP: Geen pretraining (standaard PPO).
• AP: Alleen actor pretraining (BC).
• PIRL: Een state-of-the-art methode waarbij de actor bevroren blijft tijdens de eerste fase van PPO.

Kernresultaten:

• Sample Efficiency: Actor-Critic Pretraining (ACP) verhoogde de sample-efficiëntie met gemiddeld 86,1% ten opzichte van geen pretraining (NP).
• Vooruitgang t.o.v. Actor-only: ACP was gemiddeld 30,9% efficiënter dan alleen actor pretraining (AP).
• Vooruitgang t.o.v. PIRL: ACP vereiste gemiddeld 20,5% minder stappen dan de PIRL-methode.
• Convergentie: In 9 van de 15 omgevingen (60%) faalde standaard PPO (NP) binnen het trainingsbudget om de doelwaarde te bereiken, terwijl ACP dit wel deed.
• Catastrophic Forgetting: ACP verminderde het fenomeen van catastrofisch vergeten (waarbij de prestaties onder het expertniveau zakt) in vergelijking met AP, vooral in complexe omgevingen zoals Ant en Walker2D.

Nuances:

• In 3 van de 15 omgevingen (20%) bood critic pretraining geen extra voordeel ten opzichte van actor-only pretraining. Dit bleek vaak samen te hangen met omgevingen met zeer hoge dimensies in de observatieruimte (zoals Humanoid).
• Er is een verzadigingseffect: te veel rollout-data voor de critic levert geen extra voordeel meer op; een matige hoeveelheid is optimaal.

5. Betekenis en Conclusie

Dit paper toont aan dat het initialiseren van de critic net zo belangrijk is als het initialiseren van de actor voor het succes van actor-critic algoritmen in de robotica.

• Efficiëntie: De methode reduceert drastisch het aantal benodigde interacties met de omgeving, wat kosten en tijd bespaart in fysieke robottoepassingen.
• Veiligheid: Door te starten met een expert-beleid en een goede waarde-schatting, wordt het risico op onveilige acties tijdens de verkenningsfase van RL verkleind.
• Generalisatie: Hoewel gefocust op PPO en continue actie-ruimtes, is het concept overdraagbaar naar andere actor-critic algoritmen.

De auteurs concluderen dat Actor-Critic Pretraining een krachtige strategie is om de barrière voor het toepassen van RL in de echte wereld te verlagen, hoewel er nog uitdagingen blijven rondom het bepalen van de optimale hoeveelheid expert- en rollout-data en de toepasbaarheid in zeer complexe, hoog-dimensionale ruimtes.