Technische Samenvatting: Growing Policy Optimization (GPO) voor de lokomotie van gelomde robots

1. Probleemstelling

Het trainen van reinforcement learning (RL) policies voor gelomde robots, met name onder koppelgestuurde controle (torque-based control), staat voor aanzienlijke uitdagingen vanwege hoogdimensionale continue actieruimtes, strikte hardwarebeperkingen en de moeilijkheid van exploratie. Terwijl bestaande methoden die gebruikmaken van positiegestuurde controle vaak succesvol zijn door middel van omgeving-specifieke heuristieken (bijv. beloningsvormgeving, curriculum learning en handmatige initialisatie), worstelen zij met koppelgestuurde controle. Bij koppelgestuurde controle worden acties direct naar gewrichtskoppels gemapt, wat zorgt voor sterke koppeling en strikte stabiliteitseisen.

Het kernprobleem dat is geïdentificeerd, is dat standaard policy gradient-methoden, zoals Proximal Policy Optimization (PPO), impliciet een vaste actieruimte veronderstellen gedurende de hele training. Dit ontwerp dwingt de policy om vanaf het begin de volledige, hoog-variabele actieruimte te verkennen. Gevolgen van deze aanpak tijdens de vroege stadia van de training zijn:

• Hoge gradiëntvariantie en instabiele optimalisatielandschappen.
• Moeite met het leren van betrouwbare, laag-amplitude controlegedragingen voordat er geconvergeerd wordt naar een optimale policy.
• Inefficiënte dataverzameling door het risico op destabilisatie van de robot tijdens de exploratie.

Huidige engineeringpraktijken beperken de actielimieten vaak handmatig in de vroege stadia van de training en versoepelen deze later, maar er is geen principieel kader dat de evolutie van de actieruimte beschouwt als een integraal onderdeel van het leeralgoritme, noch is er een duidelijke theoretische analyse van de impact ervan op optimalisatie-eigenschappen.

2. Methodologie: Growing Policy Optimization (GPO)

De auteurs stellen Growing Policy Optimization (GPO) voor, een framework dat een tijdvariabele actietransformatie toepast om de effectieve actieruimte tijdens de vroege stadia van de training te beperken en deze progressief uit te breiden.

Kernmechanisme

GPO introduceert een vloeiende, tijdsafhankelijke transformatie die de latente actie-output van een policy ($a$) mapt naar een uitvoerbare actie ($\tilde{a}$):
$$\tilde{a} = \beta_t \tanh\left(\frac{a}{\beta_t}\right)$$
Hierbij is $\beta_t = a_{limit} f(t)$ een monotoon toenemende groeifunctie van de trainingsstap $t$, waarbij $\lim_{t \to \infty} f(t) = 1$.

• Vroege fase: $\beta_t$ is klein, wat de effectieve actieruimte beperkt. De transformatie opereert in een bijna-lineair regime voor kleine acties, waardoor de agent stabiele, laag-amplitude gedragingen kan leren met verminderde gradiëntruis.
• Late fase: Naarmate $\beta_t$ toeneemt, breidt de effectieve actieruimte zich uit, waardoor grotere controle-autoriteit vrijkomt en bredere exploratie mogelijk wordt om hogere verwachte returns te behalen.
• Verzadiging: Voor acties met een grote magnitude verzadigt de output vloeiend bij de hardwarelimiet ($\pm a_{limit}$), wat functioneel gelijk is aan hard afknippen (hard clipping), maar de differentieerbaarheid behoudt.

Theoretische Garanties

Het artikel biedt een theoretische analyse die bewijst dat GPO de stabiliteit van standaard PPO behoudt terwijl de optimalisatiedynamiek wordt verbeterd:

1. Update Equivalentie: De importance sampling ratio onder GPO is structureel identiek aan PPO ($r^{GPO}_t = r^{PPO}_t$), wat betekent dat de afgeknipte surrogate objective ongewijzigd blijft tot een verandering van variabelen.
2. Begrensde Gradiëntvervorming: Het verschil tussen GPO-gradiënten en standaard PPO-gradiënten is begrensd en neemt monotoon af naarmate $\beta_t$ toeneemt. Dit zorgt ervoor dat de transformatie slechts een verwaarloosbare gradiëntvervorming introduceert.
3. Optimalisatiedynamiek:
   • Vroege fase: Door de actieruimte te beperken, vermindert GPO de variantie van de policy gradient-schatter (die kwadratisch schaalt met $\beta_t$). Dit verhoogt de signaal-ruisverhouding (SNR), wat leidt tot snellere lokale convergentie en een strakkere ondergrens op de verwachte return in de vroege fase.
   • Late fase: De geleidelijke expansie zorgt ervoor dat de steady-state parameterfout niet slechter is dan (en potentieel beter dan) een baseline met een vast bereik, wat een verbeterde asymptotische prestatie mogelijk maakt.

3. Belangrijkste Bijdragen

• Nieuw Framework: Introductie van GPO, dat de evolutie van de effectieve actieruimte expliciet modelleert als een component van het RL-algoritme in plaats van een statische engineering-heuristiek.
• Theoretische Analyse: Bewijs dat de tijdvariabele transformatie de update-structuur van PPO behoudt en slechts een begrensde, verwaarloosbare gradiëntvervorming introduceert, wat zorgt voor stabiele training.
• Prestatieverbeteringen: Demonstratie dat GPO snellere convergentie in de vroege fase en hogere asymptotische returns bereikt vergeleken met baselines met een vaste actieruimte, specifiek in het uitdagende domein van koppelgestuurde controle.
• Generaliseerbaarheid: Validatie van het framework over verschillende robotmorphologieën (quadruped en hexapod) en controletaken (lokomotie en whole-body control) zonder dat specifieke beloningsvormgeving of gait-priors vereist zijn.

4. Experimentele Resultaten

De auteurs evalueerden GPO op quadruped (vierpotige) en hexapod (zespotige) robots in zowel simulatie als in real-world hardware-implementaties.

Simulatie-resultaten

• Groeifuncties: Vergelijkingen tussen geen groei (PPO), lineaire, sigmoid en Gompertz groeifuncties toonden aan dat de Gompertz-functie (langzame initiële groei gevolgd door versnelde expansie) de beste prestaties leverde. Deze zorgde voor de snelste verbetering van de beloning en de meest stabiele leerprocessen.
• Tracking Prestaties: Met GPO getrainde policies vertoonden aanzienlijk lagere tracking-fouten voor snelheid en lichaamshouding-commando's vergeleken met PPO. Zo slaagde PPO er bijvoorbeeld niet in om x-richting snelheden effectief te volgen, terwijl GPO een nauwe adherentie behield.
• Gait Emergence (Opkomst van loopritmes): GPO-policies vertoonden meer periodieke en gecoördineerde gewrichtskoppels en -snelheden. In tegen tegenstelling hiertoe resulteerden PPO-policies vaak in erratisch gedrag en degeneratieve ondersteuning (bijv. overmatige afhankelijkheid van specifieke poten), terwijl GPO gestructureerde coördinatiepatronen faciliteerde zonder expliciete gait-priors.

Hardware Validatie

• Zero-Shot Sim-to-Real: Policies getraind in simulatie werden zonder fine-tuning ingezet op een Unitree Go2 quadruped.
• Robuustheid: GPO presteerde beter dan baselines (inclusief koppelgestuurde PPO en DeCAP varianten) in taken van verstoring-afwijzing, inclusief zijwaartse duwen, verticale stampbewegingen en lokomotie over uitdagende terreinen (modderige hellingen omhoog, gladde hellingen omlaag).
• Herstel: Onder externe verstoringen (bijv. menselijk optillen van poten, vallende gewichten) herstelden GPO-enabled robots het evenwicht soepel zonder onnodige stapbewegingen te triggeren, wat een superieure closed-loop stabiliteit demonstreert.

5. Betekenis en Claims

Het artikel claimt dat GPO een generaal, omgeving-agnostisch optimalisatieframework biedt voor het leren van lokomotie bij gelomde robots. De betekenis ligt in de verschuiving van het aanpassen van de trainingspipeline (via beloningen of curricula) naar het aanpassen van het onderliggende optimalisatiemechanisme zelf.

Door de evolutie van de actieruimte te behandelen als een leerbaar, tijdvariabel proces, adresseert GPO de fundamentele trade-off tussen exploratie en stabiliteit in hoogdimensionale continue controle. De auteurs stellen dat deze aanpak mogelijk maakt:

1. Stabiele Vroege Optimalisatie: Het leren van betrouwbare laag-amplitude controle voordat complexe dynamica wordt aangepakt.
2. Verbeterde Asymptotische Prestaties: Het behalen van hogere verwachte returns door progressief de volledige actieruimte vrij te geven.
3. Robuuste Sim-to-Real Transfer: Het faciliteren van de implementatie van koppelgestuurde policies op echte hardware zonder de noodzaak voor uitgebreide handmatige afstemming of gait-priors.

Het werk suggereert dat het beheren van de "effectieve" actieruimte een cruciale, maar voorheen onvoldoende onderzochte hefboom is voor het verbeteren van embodied RL in contact-rijke, onzekere omgevingen.