Technische Samenvatting: Stay Seated – Leren van omnidirectionele humanoïde locomotie op een passieve mobiele stoel met wieltjes

1. Probleemformulering

Deze studie behandelt de uitdaging van zittende loco-manipulatie voor humanoïde robots, met een specifieke focus op omnidirectionele locomotie terwijl men zit op een passieve mobiele stoel uitgerust met wieltjes. In tegenstelling tot traditionele deep reinforcement learning (DRL) voor humanoïde locomotie, die uitgaat van een staande houding waarbij de robot continu koppel moet genereren om het eigen gewicht te ondersteunen, betreft deze taak een robot die de gewichtssteun delegeert aan een stoel.

De kern van de moeilijkheid ligt in de unieke contacttopologie:

• Niet-gefixeerd bekken–zitcontact: Het bekken van de robot is niet star verbonden met de stoel; het moet contact behouden zonder eraf te glijden terwijl de stoel beweegt.
• Directe voet–vloer voortstuwing: Het door de robot voortgestuwde systeem vertrouwt op intermitterend voet–vloercontact om zowel de robot als de passieve stoel te verplaatsen.
• Omnidirectionele controle: De robot moet translationele snelheidscommando's ($v_x, v_y$) en de rotatiesnelheid rond de z-as ($\omega_z$) in alle richtingen volgen zonder een specifieke bewegingsreferentie of menselijke demonstratie.

Het doel is om een controlebeleid te leren dat de robot in staat stelt te bewegen en objecten te manipuleren terwijl hij zit, wat dient als een eerste stap naar efficiënte zittende loco-manipulatie voor langdurige taken aan een tafel.

2. Methodologie

De auteurs breiden een standaard omgeving voor het volgen van snelheid tijdens het staan uit om zittende locomotie mogelijk te maken met behulp van Proximal Policy Optimization (PPO) binnen het mjlab simulatieframework.

A. Systeem en Modellering

• Robot: Een Unitree G1 humanoïde met 29 vrijheidsgraden.
• Stoel: Een passieve mobiele stoel met vijf wieltjes en een draaibare zitting.
• Contactmodellering: Het botsingsmesh van het bekken is verfijnd om overeen te komen met de visuele geometrie om onnatuurlijk zijdelings glijden te voorkomen. De contactsolver gebruikt een elliptische wrijvingskegel in plaats van een piramidale vorm om de interactie tussen bekken en zitting beter te verwerken.
• Observatieruimte:
  • Actor: Gebruikt uitsluitend proprioceptie (gewrichtsposities/snelheden, hoeksnelheid van de romp, zwaartekrachtprojectie) en snelheidscommando's. Cruciaal is dat het geen contactdetectie (voet-vloer, bekken-zitting) en geen toestanden van de stoel bevat om sim-to-real transfer te faciliteren.
  • Critic: Ontvangt de observaties van de actor plus geprivilegieerde informatie (simulator-specifieke toestanden inclusief de positie van de stoel, contactkrachten en voethoogtes).

B. Beloningsontwerp

De beloningsfunctie combineert verschillende termen:

1. Taakbeloning ($r_{task}$): Stimuleert het volgen van de doel-translationele snelheid en de rotatiesnelheid rond de z-as.
2. Houdingsbeloning ($r_{posture}$): Bestraft overmatige kanteling van de romp/stoel en afwijkingen van de gewrichtspositie ten opzichte van de oorspronkelijke zittende houding.
3. Zittoestand-beloning ($r_{seat}$): Moedigt het behoud van de bekkenpositie ten opzichte van de stoel aan en waarborgt het bekken–zittingcontact.
4. Straffen: Omvat straffen voor voetbewegingen, zelfbotsingen, gewrichtslimieten en specifieke regularisatietermen.

C. Trainingscomponenten en Factoriële Studie

De studie maakt gebruik van een $2^3$ full-factorial design om de impact van drie specifieke trainingscomponenten te evalueren:

1. Symmetrie Regularisatie (SY): Past links-rechts symmetrische data-augmentatie toe en een mirror-loss term op de actor loss.
2. Voet-slip Straf (FS): Bestraft de tangentiële voetsnelheid tijdens contact om energieverbruik (Cost of Transport, CoT) te verminderen.
3. Command Curriculum (CC): Een schema dat de training start met lagere snelheidsbereiken ($\pm 0.5$ m/s) voordat het uitbreidt naar het volledige bereik ($\pm 1.0$ m/s).

De auteurs vergelijken acht condities (alle combinaties van SY, FS en CC) met een baseline en een staande locomotiebeleid.

3. Belangrijkste Bijdragen

1. Formulering van Zittende Locomotie: Het artikel definieert zittende locomotie op een passieve stoel als een omnidirectioneel snelheid-volgend probleem met een niet-gefixeerd lichaam–gereedschap contact en directe voet–vloer voortstuwing, geleerd zonder bewegingsreferenties of menselijke demonstraties.
2. Zero-Shot Sim-to-Real Transfer: Het geleerde beleid, dat uitsluitend vertrouwt op proprioceptie en snelheidscommando's (geen contactdetectie of stoeltoestand-schatting), is succesvol overgedragen naar een fysieke Unitree G1 robot zonder fijnafstemming.
3. Analyse van Trainingscomponenten:
   • Beperkingen van FS: De studie laat zien dat Foot-Slip (FS) regularisatie alleen kan leiden tot het convergeren naar stationaire lokale optima, waarbij de robot stil blijft staan om slip-straffen te vermijden, waardoor het falen om diagonaal-voorwaartse commando's te volgen.
   • Mitigatie: Het combineren van FS met ofwel Symmetry Regularization (SY) of Command Curriculum (CC) voorkomt dit falen zonder dat herafstemming van de FS-gewicht nodig is.
   • Noodzaak van Symmetrie: Terwijl staande locomotie van nature een symmetrisch beengebruik oplevert, staat zittende locomotie asymmetrische oplossingen toe (waarbij één been de voortstuwing domineert). SY is essentieel gebleken voor het afdwingen van bilaterale symmetrie bij zittende taken, wat wenselijk is voor de levensduur van de hardware en stabiliteit.

4. Resultaten en Analyse

A. Tracking Prestaties

• Succespercentage: Alle getrainde beleidsregelingen behielden de zittende toestand in meer dan 99% van de 20-seconden durende willekeurige commando-rollouts.
• Nauwkeurigheid van het volgen: De best presterende condities (SY+CC en SY+FS+CC) bereikten translationele fouten die vergelijkbaar met of zelfs iets beter dan de staande beleidsregeling waren.
• Impact van FS: Beleidsregelingen die enkel FS gebruikten, vertoonden een hoge variantie en faalden vaak bij het volgen van diagonale commando's vanwege het stationaire lokale optimum. Wanneer gecombineerd met SY of CC, verbeterde de tracking-prestatie aanzienlijk.

B. Gait Kenmerken en Energie-efficiëntie

• Richting-afhankelijke CoT: De Cost of Transport (CoT) volgde de volgorde: Achteruit < Lateraal $\ll$ Voorwaarts.
  • Achteruit/Lateraal: Gekenmerkt door geplante-been extensie (het strekken van de knie terwijl de hiel op de grond staat) om het systeem voort te duwen.
  • Voorwaarts: Gekenmerkt door hiel-eerst contact gevolgd door knie-flexie.
• Efficiëntie vs. Tracking: Hoewel FS de CoT verminderde (wat de energie-efficiëntie verbeterde), verhoogde het de tracking-fout. Dit duidt op een trade-off waarbij het te agressief onderdrukken van voetbewegingen de noodzakelijke voortstuwingsbewegingen voor snelheid-tracking hindert.
• Symmetrie: SY dwong succesvol symmetrisch gedrag van de benen af tijdens longitudinale beweging af, terwijl beleidsregelingen zonder SY vaak asymmetrische strategieën ontwikkelden waarbij één been de voortstuwing domineerde.

C. Sim-to-Real Implementatie

Het beleid werd geïmplementeerd op een fysieke Unitree G1. De robot genereerde succesvol voorwaartse, achterwaartse, laterale en draaiende bewegingen terwijl hij zat, gebruikmakend van uitsluitend proprioceptieve inputs en snelheidscommando's, wat de haalbaarheid van de aanpak zonder expliciete contactdetectie demonstreert.

5. Betekenis en Claims

Het artikel claimt dat zittende locomotie kan worden verworven door standaardstaande snelheid-volgende omgevingen minimaal uit te breiden, mits specifieke regularisatie- en curriculumstrategieën worden toegepast om de unieke contactdynamica te beheersen.

• Complementariteit: Zittend gedrag wordt gepresenteerd als een aanvulling op staand gedrag, waarbij het energie-efficiëntie biedt (geen stroomverbruik voor gewichtssteun) en de mogelijkheid biedt om van werkpositie te veranderen zonder op te staan.
• Robuustheid: De studie toont aan dat een beleid getraind zonder contactdetectie of stoeltoestand-schatting kan generaliseren naar een fysieke robot, wat suggereert dat proprioceptie en snelheidscommando's voldoende zijn voor deze complexe, contactrijke taak.
• Methodologische Inzicht: Het werk benadrukt dat hoewel voet-slip straffen nuttig zijn voor energie-efficiëntie, ze zorgvuldig in balans moeten worden gebracht met curriculum learning of symmetrie-beperkingen om catastrofaal beleidsfalen (stationaire lokale optima) te voorkomen in zittende scenario's.

De auteurs claimen niet superieur te zijn aan staande locomotie op alle metrieken, maar benadrukken dat zittende locomotie een haalbare, efficiënte en onderscheidende modus van operatie is die effectief kan worden geleerd met DRL door middel van specifieke architecturale en training-aanpassingen.