Technische Samenvatting: LoComposition

Probleemstelling

Leergestuurde quadrupedale voortbeweging heeft aanzienlijk succes bereikt in sim-to-real transfer en het doorkruisen van ruig terrein. De standaard benaderingen vertrouwen echter doorgaans op een enkele, complexe beloningsfunctie die conceptueel verschillende doelstellingen verweeft: taakspecificatie (snelheidsvolging), operationele limieten (actuatorveiligheid), gait-voorkeuren (bijv. specifieke contacttijden of luchttijd) en terreinaanpassing.

De auteurs stellen dat het coderen van deze verschillende functies in één enkel met handmatige gewichten voorzien beloningsformulier leidt tot suboptimale leerresultaten. Specifiek fungeren expliciete gait-stijl priors (zoals gewenste luchttijd, contactaantallen of voetvrijheidstargets) als engineering-shortcuts die de geleerde beweging naar specifieke patronen sturen, wat de opkomst van efficiëntere gaits kan voorkomen en het proces van belonings-engineering bemoeilijkt.

Methodologie: LoComposition

Het paper stelt LoComposition voor, een leerformulering die voortbeweging decomponeert in vier afzonderlijke mechanismen, elk afgehandeld door een specifieke methodologische component in plaats van een monolithische beloning. De auteurs verwijzen naar hun kerncomponenten als LEP (Limits, Energy, Perception).

1. Taakspecificatie (Snelheidsvolging):
   De taak wordt strikt gedefinieerd als het volgen van door de operator gespecificeerde planaire en yaw-snelheden ($v_{cmd}$). Dit wordt afgehandeld via een standaard beloningsfunctie ($r_{track}$) die de uitlijning met snelheidsdoelen aanmoedigt met behulp van Gaussische kernels.

2. Operationele Limieten (Constraints):
   In plaats van schendingen van hardwarelimieten (koppel, gewrichtssnelheid, acceleratie, etc.) binnen de beloning te bestraffen, gebruiken de auteurs Constraints-as-Terminations (CaT).

   • Schendingen van scalaire limieten ($q_i \leq q_{max}$) worden in kaart gebracht naar een stochastische terminatiekans ($\delta_t$).
   • Als een limiet wordt overschreden, wordt de rollout beëindigd met een waarschijnlijkheid die proportioneel is aan de omvang van de schending.
   • Dit schaalt de beloning per stap en vermindert de continuatiefactor, waardoor onveilig gedrag effectief wordt bestraft zonder dat voor elke limiet dichte beloningsvormgeving (reward shaping) nodig is.
   • Cruciaal is dat constraints uitsluitend gereserveerd zijn voor fysieke/operationele limieten, niet voor gait-stijl.

3. Gait-voorkeur (Energie-minimalisatie):
   In plaats van een specifieke gait (bijv. trotteren of bouncen) voor te schrijven via beloningstermen, minimaliseert de formulering het mechanische energieverbruik.

   • Een strafterm ($\ell_{Power}$) wordt toegevoegd aan de beloning, proportioneel aan de som van het absolute mechanische vermogen ($\sum |\tau_j \dot{q}_j|$) over alle gewrichten.
   • Deze term fungeert als een voorkeurssignaal onder haalbare bewegingen, wat de opkomst van gaits met een lage cost-of-transport (COT) aanmoedigt zonder expliciet voetpatronen te definiëren.

4. Terreinaanpassing (Exteroceptieve Perceptie):
   Om voorspellende energieminimalisatie op ruig terrein mogelijk te maken, ontvangt de policy exteroceptieve observaties.

   • De input bevat een lichaamsgecentreerde $13 \times 11$ terreinhoge kaart (8 cm resolutie) afgeleid van LiDAR.
   • Dit stelt de policy in staat om selectief energie te verbruiken (bijv. de voetvrijheid te vergroten) alleen wanneer het terrein daarom vraagt, wat de spanning tussen energie-efficiëntie en obstakelovergang oplost.

Trainingsopstelling: Policies worden getraind met behulp van Proximal Policy Optimization (PPO) in Isaac Lab op de Unitree Go2 robot. Het trainingscurriculum omvat procedureel gegenereerd ongelijk terrein, trappen en hellingen.

Belangrijkste Bijdragen

1. Decompositie van Voortbeweging: Het paper presenteert een formulering die taakvolging, operationele limieten, energie-minimalisatie en perceptie scheidt in afzonderlijke mechanismen, waardoor de noodzaak voor een enkele complexe beloningsfunctie vervalt.
2. Emergent Gait zonder Priors: De auteurs demonstreren dat expliciete gait-priors (luchttijd, contactaantal, voetvrijheid) onnodig zijn. Efficiënte, terrein-adaptieve voortbeweging ontstaat natuurlijk wanneer het leerprobleem zoals voorgesteld is gedecomponeerd.
3. Zero-Shot Sim-to-Real Transfer: De resulterende policies transferen zero-shot naar een fysieke Unitree Go2 met gebruik van LiDAR-gebaseerde hoogtekaarten, zonder hertraining of geprivilegieerde terreininformatie.

Experimentele Resultaten en Ablaties

De auteurs valideren hun aanpak via ablatie-studies waarbij hun formulering (LEP) wordt vergeleken met een baseline die een complexe beloningsfunctie gebruikt (RP) en diverse componentverwijderingen.

• Efficiëntie: Vergeleken met de complexe beloningsbaseline (RP), vermindert LoComposition (LEP) de Cost of Transport (COT) met 56% en de schendingen van operationele limieten met 96%.
• Ablatie van Gait-priors (H1): Het verwijderen van gait-prior constraints (vergelijking tussen LEP vs. LCEP/LCP) laat zien dat het coderen van priors als constraints de terrein-doorbaarheid schaadt en de opkomst van de meest efficiënte gait (trotteren) verhindert.
• Rol van Energie-minimalisatie (H2): Het verwijderen van energie-minimalisatie (LP) resulteert in een policy die weliswaar terrein doorkruist, maar bezinkt in een energetisch dure "bounding" gait. Het toevoegen van energie-minimalisatie verschuift het gedrag naar een lager-COT trotterend patroon zonder dit expliciet voor te schrijven.
• Rol van Perceptie (H3): Het verwijderen van perceptie (LE) leidt tot een policy die er niet in slaagt het energieverbruik aan te passen aan de moeilijkheid van het terrein, wat resulteert in slechte terrein-doorbaarheidsniveaus. Perceptie stelt de robot in staat om een lage vrijheid aan te houden op vlak terrein, terwijl deze selectief wordt vergroot voor obstakels.
• Noodzaak van Constraints (H4): Het verwijderen van operationele-limiet constraints (EP) laat de policy de onnauwkeurigheden van de simulator exploiteren, wat leidt tot ernstige schendingen van hardwarelimieten (53,4% schendingspercentage vs. 0,5% voor LEP), waardoor de policy onbruikbaar wordt voor inzet.
• Real-World Prestaties: In zero-shot hardwaretests slaagt LEP erin complexe obstakelsequenties (hellingen, platforms) te doorkruisen waar de niet-energie-geminimaliseerde variant (LP) faalt of limieten overschrijdt. LEP bereikt een verbetering van 56% in energie-efficiëntie op hardware vergeleken met de baseline.

Betekenis en Claims

Het paper claimt dat expliciete gait-stijl priors onnodig zijn voor robuuste quadrupedale voortbeweging op ruig terrein. Door operationele limieten (behandeld via constraints) te scheiden van gait-voorkeuren (behandeld via energie-minimalisatie), staat het systeem toe dat efficiënte, natuurlijke gaits ontstaan.

De auteurs positioneren dit als een verschuiving in het formuleringprincipe: het leren van voortbeweging moet georganiseerd worden rond de vereisten en voorkeuren die de robot moet verzoenen (veiligheid, taak, efficiëntie, perceptie) in plaats van het specifieke gait-patroon dat hij moet volgen. Deze aanpak levert robuuste, energie-efficiënte en inzetbare policies op die de complexe beloningsbaselines zowel in simulatie als in de echte wereld overtreffen.

Beperkingen: De auteurs merken op dat hun resultaten specif kind aan de Unitree Go2 en de geteste terreinverdelingen. Zij beweren niet dat dit de enige mogelijke decompositie is, noch adresseren zij verbeteringen in sample-efficiëntie door off-policy methoden of formele runtime veiligheidsgaranties buiten de stochastische terminatie-aanpak die zij gebruiken.