Partial Motion Imitation for Learning Cart Pushing with Legged Manipulators

Probleemstelling

Het artikel adresseert de uitdaging van loco-manipulatie bij benige robots (zoals viervoeters met een arm), specifiek het duwen van objecten zoals karren in ongestructureerde omgevingen. Hoewel deze robots uitstekend kunnen lopen of manipuleren, is het combineren van beide tot een robuust geheel zeer moeilijk.

• De uitdaging: Het leren van een beleid dat zowel stabiel locomotie (lopen) handhaaft als precieze manipulatiekrachten uitoefent, vereist vaak complexe beloningssystemen (reward engineering) met tientallen componenten.
• Het falen van bestaande methoden: Eenvoudige combinatie van locomotie- en manipulatie-doelen leidt vaak tot instabiele oplossingen. Bestaande imitatieleer-methoden vereisen grote datasets van menselijke demonstraties, die niet beschikbaar zijn voor specifieke benige loco-manipulatie-taken. Bovendien zou volledige lichaamsimitatie de manipulatie onnodig beperken, terwijl het ontbreken van imitatie leidt tot instabiel lopen.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat gedeeltelijke imitatielearning (partial imitation learning) combineert met adversarial motion priors (AMP). De aanpak bestaat uit twee fasen:

1. Fase 1: Robuust Locomotiebeleid (Referentie)

   • Eerst wordt een robuust locomotiebeleid ($\pi_{ref}$) getraind op ruw terrein met uitgebreide domein- en terreinrandomisatie.
   • Dit beleid leert een stabiele loopstijl (bijv. draf) die alleen afhankelijk is van proprioceptie (lichaamssensoren) en niet van externe objecten.
   • Na convergentie wordt een dataset van statetovergangen ($D_{ref}$) gegenereerd die de stabiele locomotiedynamiek vastlegt.

2. Fase 2: Loco-Manipulatiebeleid met Gedeeltelijke AMP

   • Een nieuw beleid ($\pi$) wordt getraind om een kar te duwen.
   • In plaats van het volledige lichaam te imiteren, gebruiken de auteurs een gedeeltelijke AMP. Een projectiefunctie ($\phi$) selecteert alleen de voor locomotie relevante staten: de basisbeweging en de kinematica van de onderlichaamsgewrichten (heupen, dijen, kuiten).
   • De manipulatiecomponenten (arm en end-effector) worden uitgesloten van de imitatie. Hierdoor wordt de loopstijl gestabiliseerd door de discriminator, terwijl de arm vrij kan adpteren om de kar te duwen.
   • Het totale beloningssysteem bestaat uit een som van een task reward (kar volgen, contact houden) en een style reward (afgeleid van de discriminator die de onderlichaamsbeweging vergelijkt met de referentie).
   • Training gebeurt via Curriculum Learning: eerst rechtlijnig duwen, daarna bochten en complexere trajecten.

3. Feedback Control

   • Voor langdurige padvolging wordt een hoog-niveau Stanley-controller gebruikt. Deze berekent de gewenste snelheid en draaisnelheid op basis van de afwijking van het gewenste pad en stuurt deze commando's door naar het laag-niveau beleid.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Een innovatieve aanpak voor robuuste benige loco-manipulatie waarbij alleen de onderlichaamsbeweging wordt geïmiteerd, wat de manipulatievrijheid behoudt.
• Sim-to-Sim Transfer: Succesvolle overdracht van het getrainde beleid van IsaacLab naar MuJoCo, wat aantoont dat de methode robuust is tegen simulatieverschillen.
• Prestatieverbetering: Het bewijzen dat deze methode superieur is aan bestaande baselines (geen imitatie, volledige lichaamsimitatie, en hiërarchisch RL) in termen van stabiliteit en nauwkeurigheid.

Resultaten

De methoden zijn geëvalueerd in IsaacLab (trainingsomgeving) en MuJoCo (doelomgeving voor transfer) op een Unitree Go2 met een WidowX-arm die een winkelkar duwt.

• Stabiliteit en Overleving:

  • Partial AMP (de voorgestelde methode): Bereikte een overlevingsrate van 99,9% in IsaacLab en 94,4% in MuJoCo. Het produceerde een stabiele drafstijl met consistente eind-effector stabiliteit.
  • Geen AMP: Laagste overlevingsrate in MuJoCo (63,6%) door een onstabiele "bounding" loopstijl en slippen.
  • Volledige AMP: Slechtste prestatie in MuJoCo (31,6%). Het beleid overfittte op de armposities uit de training, wat leidde tot onstabiel contact met de kar.
  • Hiërarchisch RL: Intermediate prestatie (66,0%), maar gebrek aan coördinatie tussen lopen en duwen.

• Robuustheid:

  • Bij stress-tests met variaties in wrijving, massa en demping, bleek Partial AMP het meest robuust. De andere methoden faalden vaak bij significante omgevingsveranderingen.

• Padvolging:

  • In combinatie met de Stanley-controller volgde het systeem diverse trajecten (BeatPath, RiverPath, SincPath) met hoge nauwkeurigheid (gemiddelde cross-track fouten tussen 0,01m en 0,12m).

Betekenis en Toekomst

Dit werk toont aan dat het splitsen van locomotie- en manipulatieleerdoelen via gedeeltelijke imitatie een effectieve strategie is voor complexe taken. Het lost het dilemma op tussen het behouden van een stabiele loopbasis en het nodig hebben van flexibiliteit voor manipulatie.

• Praktische impact: Het maakt het mogelijk om robuuste, mobiele manipulatie-systemen te ontwikkelen voor magazijnen en retailomgevingen zonder handmatige bewegingsplanning of menselijke demonstraties.
• Toekomstig werk: De auteurs wijzen op de noodzaak van visuele feedback voor dynamische planning in ongestructureerde omgevingen en het ontwikkelen van beleidsstrategieën voor actief contactherstel (bijv. als de hand van de kar glijdt).