Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

Technische Samenvatting: Adaptatie van Beloningswinst voor Beperkte Locomotie-leren

Probleemstelling
Bestaande technieken voor het leren van robotlocomotie, met name die gebaseerd op Reinforcement Learning (RL), staan voor twee kritieke uitdagingen. Ten eerste zijn ze sterk afhankelijk van de offline selectie van beloningswegingsfactoren, een proces dat tijdrovend is, uitgebreide hyperparameteroptimalisatie vereist en vaak suboptimale resultaten oplevert als de waarden niet correct zijn gekozen. Ten tweede zijn traditionele RL-benaderingen gevoelig voor schendingen van beperkingen (bijv. vallen, fysieke limieten overschrijden) tijdens het leerproces door willekeurige exploratie. Hoewel Constrained RL (CRL)-technieken bestaan om veiligheid af te dwingen, kampen veel hiervan nog steeds met schendingen van beperkingen tijdens het leren of vereisen ze complexe wiskundige formuleringen (bijv. Control Barrier Functions) en iteratieve optimalisatie (bijv. primal-dual methoden) die de aanpassing van straffactoren vertragen. Het blijft daarom een onopgeloste uitdaging om een nagenoeg nul aantal schendingen van beperkingen te bereiken terwijl de prestaties in fysieke robots in de echte wereld worden gemaximaliseerd.

Methodologie: ROGER
De auteurs stellen Reward-Oriented Gains via Embodied Regulation (ROGER) voor, een methode die beloningswegingsfactoren online aanpast op basis van straffen ontvangen tijdens belichaamde interactie, waardoor uitgebreide offline afstemming overbodig wordt.

• Kernmechanisme: ROGER balanceert dynamisch de ratio tussen positieve beloningen (primaire taakdoelstellingen) en negatieve beloningen (beperkingsstraffen).
  • Wanneer de robot zich in veilige toestanden bevindt (ver van de drempelwaarden van beperkingen), geeft de ratio de voorkeur aan de primaire beloning om prestaties te prioriteren.
  • Naarmate de robot de drempelwaarden van beperkingen nadert, verschuift de ratio automatisch om de straffactoren te verhogen en de primaire factoren te verlagen, wat onveilige acties effectief ontmoedigt.
• Wiskundige Formulering: De methode maakt gebruik van een setup met meerdere beloningskanalen waarbij beloningen en straffen onafhankelijk worden opgeslagen. Op elk tijdstip $t$ worden de wegingsfactoren berekend als:
  • $\lambda_{0t} = 1 - \Delta_t$ (Primaire beloningsfactor)
  • $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ (Straffactor voor beperking $i$)
  • Hierbij is $\Delta_t$ een afgeknipte sommatie van geschatte beperkingsstraffen relatief aan hun drempelwaarden ($\tau$), wat ervoor zorgt dat de som van de factoren gelijk is aan 1. De bijdrageratio $r_{\lambda_{it}}$ verdeelt de straffactoren op basis van de ernst van specifieke schendingen van beperkingen.
• Hyperparameters: De aanpak vertrouwt op intuïtieve hyperparameters, specif kindert de drempelwaarden van beperkingen ($\tau$) afgeleid van fysieke systeemlimieten (bijv. maximale hardware-oriëntatie), in plaats van complexe straffactoren die grid searching vereisen.
• Integratie: ROGER is ontworpen als een add-on mechanisme voor bestaande leerkaders (bijv. AGOL voor quadrupeden, PPO voor hopper-robots), waarbij de beloningsstructuur in realtime wordt aangepast zonder het onderliggende beleidsalgoritme te wijzigen.

Belangrijkste Bijdragen

1. Naleving van Beperkingen: ROGER zorgt voor een nagenoeg nul aantal schendingen van beperkingen gedurende het leerproces door de factoren dynamisch aan te passen voordat schendingen optreden, in plaats van achteraf te reageren.
2. Vereenvoudigde Afstemming: De methode elimineert de noodzaak voor uitgebreide offline afstemming van factoren door gebruik te maken van intuïtieve fysieke drempelwaarden, wat de tijd en het risico bij hyperparameterselectie aanzienlijk vermindert.
3. Prestatieoptimalisatie: Door prestaties alleen te prioriteren wanneer het veilig is, bereikt ROGER hogere primaire beloningen vergeleken met vaste wegingen en andere adaptieve wegingstechnieken.

Experimentele Resultaten
De auteurs hebben ROGER geëvalueerd op een 60-kg Unitree B1 quadruped robot (zowel in simulatie als in de echte wereld) en een MuJoCo hopper.

• Quadruped Locomotie (Simulatie & Werkelijke Wereld):
  • Schendingen van Beperkingen: In simulatie bereikte ROGER nagenoeg nul schendingen (1 schending in 50.000 tijdstappen), waarmee het superieur is aan state-of-the-art adaptieve methoden zoals CRPO (0 schendingen in 25.000 tijdstappen maar lagere prestaties) en methoden met vaste wegingen. In proeven in de echte wereld voltooide de fysieke robot 300 leer-episoden (ongeveer 1 uur) zonder te vallen, waarbij de roll- en pitch-hoeken onder de 10°-drempelwaarde bleven.
  • Prestaties: ROGER bereikte een uiteindelijke voorwaartse snelheid van 0,6 m/s, wat 50% hoger is dan bij equivalente state-of-the-art technieken (fixed-gain penalty en CRPO) en overeenkomt met de prestaties van training met enkel primaire beloningen, maar met gegarandeerde veiligheid.
  • Adaptiviteit: De robot slaagde erin om te leren bewegen op uitdagende terreinen (gladde oppervlakken, los grind, willekeurige treden) en onder dynamische belastingen zonder exteroceptieve waarneming, wat aantoont dat levensvatbare controlebeleid ontstond door exploratie terwijl aan de beperkingen werd voldaan.
• Hopper Locomotie (MuJoCo):
  • ROGER werd getest op een enkele-been hopper waarbij aannames van zero-penalty optimaliteit en zachte dynamiek werden geschonden.
  • Metrieken: ROGER bereikte een verbetering van 20% in springafstand ten opzichte van de standaard beloningsfunctie, een reductie van 57% in koppelverbruik en een reductie van 59% in oriëntatieafwijking.
  • Robuustheid: Zelfs onder striktere beperkingen (gehalveerde drempelwaarden) behield ROGER de voorwaartse sprong zonder achteruit te bewegen, wat zijn vermogen aantoont om zich aan te passen aan gevoelige systeemdynamiek.

Betekenis en Claims
Het artikel claimt dat ROGER een bijdrage levert aan het gebied van beperkingsvoldoende real-world continual robot locomotion learning. Door gebruik te maken van belichaamde interactie om beloningsfactoren dynamisch te reguleren, vereenvoudigt de methode het afstemmen van de beloningswegingsfactoren. Deze vermindering van de afstemmingscomplexiteit kan de ontwikkeling van fysieke robots vergemakkelijken die veilig en effectief kunnen leren in de echte wereld, waarmee het kritieke gat wordt gedicht waar huidige technieken ofwel falen om veiligheid te garanderen tijdens de training, ofwel een verboden hoeveelheid handmatige afstemming vereisen. De auteurs benadrukken dat hoewel ROGER ervoor zorgt dat de verwachte waarde van de beperkingen wordt voldaan, het niet garandeert dat er in alle scenario's (vooral bij gevoelige dynamiek) geen vallen voorkomt, maar het verbetert de prestaties en veiligheid aanzienlijk ten opzichte van bestaande baselines.