Technische Samenvatting: Kine2Go

Probleemstelling

De snelle vooruitgang in robotica, met name door betaalbare hardware zoals de Unitree Go2 quadrupede, heeft de belangstelling gewekt voor het gebruik van machine learning (ML) technieken zoals Reinforcement Learning (RL) en behavioral cloning voor locomotiecontrole. Er bestaat echter een aanzienlijke flessenhals: het verkrijgen van hoogwaardige demonstratiedata is moeilijk. Hoewel ML-methoden vaak kinematische trajecten en bijbehorende motorniveau-acties vereisen om robuuste policies te trainen, vereist het genereren van deze data doorgaans complexe pipelines en kost veel tijd.

Bovendien bestaan er weliswaar grootschalige motion capture (MoCap) datasets voor humanoids (bijv. Human3.6M, AMASS) en sommige diersoorten, maar er is een gebrek aan vergelijkbare, open-source bronnen voor quadrupedale robots. Bestaande quadruped datasets missen vaak de specifieke state-action rollouts die nodig zijn voor low-level controle learning. Daarnaast worstelt RL-gebaseerde controle vaak met het produceren van vloeiende, natuurlijke en symmetrische gangen zonder uitgebreide reward shaping, wat vatbaar is voor reward hacking en tijdrovende trial-and-error vereist. Huidige motion imitatie benaderingen vertrouwen vaak op single-policies voor single motions, wat de mogelijkheid beperkt om algemene, fundamentele policies te creëren die in staat zijn tot diverse gangen.

Methodologie

De auteurs presenteren Kine2Go, een dataset en pipeline ontworpen om de kloof te overbruggen tussen ruwe bewegingsdata en actieerbare RL-policies voor de Unitree Go2 robot. De methodologie bestaat uit drie primaire stadia, geïmplementeerd binnen de Genesis physics engine, een high-performance, GPU-versnelde simulator:

1. Kinematische Retargeting:

   • De pipeline importeert motion capture data van diverse bron-morfologieën (honden, paarden en andere robots).
   • Een modulair retargeting proces brengt deze bron-bewegingen in kaart op de specifieke 12-DoF kinematische structuur van de Unitree Go2.
   • Een Inverse Kinematics (IK) solver lost de gewrichtsconfiguraties frame-voor-frame op, waarbij de geretargette voetposities worden behandeld als task-space doelstellingen om ervoor te zorgen dat de bewegingen binnen de bereikbare werkruimte van de robot blijven.
   • De output is een continue, robot-conforme referentietraject die pose-informatie bevat maar geen actie-data.

2. Reinforcement Learning Motion Imitation:

   • Voor elk geretarget traject wordt een dedicated controle-policy getraind met behulp van een goal-conditioned Markov Decision Process (MDP).
   • Het doel is om de tracking error te minimaliseren tussen de gesimuleerde robot-state en de referentiebeweging.
   • Observation Space: Bevat proprioceptieve states (gewrichtsposities/snelheden, basisoriëntatie) en toekomstige referentie-states gesampled op $t+1, t+2, t+10,$ en $t+30$.
   • Reward Function: Een gewogen som van termen die afwijkingen in root positie, lineaire/angulaire snelheden, gewrichtsconfiguraties en end-effector posities bestraft.
   • Training: Het Proximal Policy Optimization (PPO) algoritme wordt gebruikt binnen de Genesis engine, waarbij gebruik wordt gemaakt van massale parallellisatie (8.192 omgevingen) om elke policy te trainen voor ongeveer 2 miljard stappen over 10.000 iteraties.

3. Trajectverzameling en Filtering:

   • Zodra de policies convergeren, worden stochastische rollouts uitgevoerd om de uiteindelijke dataset te genereren.
   • Elke rollout wordt geïnitialiseerd met gerandomiseerde heading oriëntaties om de diversiteit in de state-space te maximalen.
   • De opgenomen data omvat gewrichtsconfiguraties, base kinematics (quaternion oriëntatie, angulaire snelheid), controle-acties (genormaliseerde motoraansturing) en globale states.
   • Kwaliteitscontrole: Trajecten worden gerenderd in high-resolution video's en handmatig geïnspecteerd om onstabiele gedragingen (botsingen, vallen, tracking divergentie) te filteren. De eerste 0,5 seconden van elk traject worden weggeknipt om "warmup" frames te verwijderen waarbij de policy synchroniseert met de referentie.

Belangrijkste Bijdragen

• Kine2Go Dataset: Een uitgebreide dataset bestaande uit 800 diverse bewegingstrajecten voor de Unitree Go2 robot. De data is afgeleid van 40 distinct RL policies, die elk geoptimaliseerd zijn voor een unieke referentiebeweging.
• Diverse Bron-morfologieën: De dataset integreert data van vier verschillende bronnen:
  • AI4Animation: Dog motion capture data (lopen, rennen, draaien).
  • VHDC: Horse motion capture data (trot, wandelen).
  • Solo8: Data van een andere quadruped robot morfologie (8-DoF), die uitdagende bewegingen biedt zoals kruipen en springen.
  • AI4Animation Interactive Demo: Gebruikersgestuurde wolf simulaties die complexe paden genereren (ellipsen, lussen, vierkanten).
• State-Action Rollouts: In tegenstelling tot pure kinematische datasets, levert Kine2Go de bijbehorende motorniveau-acties die nodig zijn om de bewegingen te reproduceren, waardoor het direct toepasbaar is voor behavioral cloning en offline controle.
• Schaalbare Pipeline: De auteurs brengen een pipeline uit die gebouwd is op de Genesis engine, waardoor onderzoekers gemakkelijk de dataset kunnen uitbreiden met nieuwe bronnen of de aanpak kunnen aanpassen aan andere quadruped morfologieën. De pipeline is geoptimaliseerd voor consumenten-grade GPU's, wat de generatie van robotica-data democratiseert.

Resultaten

De resulterende dataset dekt een breed spectrum aan locomotiebewegingen, waaronder lopen, rennen, trotten, draaien, spinnen en het volgen van complexe paden (cirkels, vierkanten, ellipsen).

• Schaal: 800 trajecten gegenereerd uit 40 policies, waarbij elke policy 20 onafhankelijke trajecten produceert die gekenmerkt worden door gerandomiseerde initiële headings.
• Dekking: De dataset bevat bewegingen variërend van 5 tot 20 seconden in duur, waarbij ten minste één volledige cyclus van elke gang wordt vastgelegd.
• Datastructuur: Elk frame bevat gewrichtsposities/snelheden, base oriëntatie/snelheid en genormaliseerde motoraansturing.
• Beperkingen: De auteurs merken op dat bewegingen waarbij gesprongen wordt (waarbij alle poten de grond verlaten) zijn uitgesloten vanwege slechte imitatiekwaliteit. Zitbewegingen zijn evene kind uitgesloten vanwege morfologische incompatibiliteit (ellebogen onder de grondniveau) wat handmatige frame-voor-frame correctie vereiste. Alle data is verzameld op vlak terrein, en voetdruk sensor data wordt niet gesimuleerd.

Betekenis en Claims

Het artikel positioneert Kine2Go als een fundamentele bron voor de quadruped robotica gemeenschap, analoog aan hoe AMASS of MoCapAct dienen voor humanoid onderzoek.

• Barrières Verlagen: Door een "off-the-shelf" oplossing te bieden van high-fidelity kinematische en actie-data, verlaagt de dataset de instapdrempel voor geavanceerd bewegingsonderzoek, waardoor onderzoekers niet langer de noodzaak hebben om complexe data collectie pipelines te bousden.
• Faciliteren van Foundational Models: Het primaire beoogde gebruik is het trainen en regulariseren van behavioral foundational models. De auteurs stellen dat terwijl eenvoudige behavioral cloning geëvalueerd kan worden via Mean Squared Error (MSE), foundational models diverse datasets nodig hebben om algemene kenmerken van beweging te leren in plaats van alleen specifieke trajecten te imiteren. Kine2Go beoogt de ontwikkeling van policies te ondersteunen die tussen gangen kunnen schakelen op basis van commando's, waarmee men verder gaat dan single-motion policies.
• Simulatie naar Realiteit: De dataset is ontworpen om modellen te trainen in simulatie die met Kine2Go geregulariseerd kunnen worden en uiteindelijk in de echte wereld kunnen worden ingezet om robuustheid te evalueren.
• Democratisering: Het gebruik van de Genesis engine en de efficiëntie van de pipeline op consumenten-grade hardware heeft als doel de generatie van robotica-data te democratiseren, zodat kleinere onderzoeksgroepen kunnen experimenteren met diverse gangen en morfologieën zonder toegang tot supercomputing clusters.

De auteurs claimen bescheiden dat hoewel de dataset een kritiek gat in quadruped onderzoek dicht, de evaluatie van complexe foundational models een open onderzoeksgebied blijft, en toekomstig werk zich zal richten op het uitbreiden van de dataset met acrobatische manoeuvres en navigatie over ruig terrein.