Technische Samenvatting: ZEST (Zero-shot Embodied Skill Transfer voor Atletische Robotcontrole)

Probleemstelling

Het bereiken van robuuste, mensachtige whole-body controle op humanoïde robots voor wendbare, contactrijke gedragingen blijft een centrale uitdaging in de robotica. Traditionele benaderingen vertrouwen vaak op zware per-skill engineering, breekbare controller-tuning en complexe pipelines bestaande uit offline trajectoptimalisatie gevolgd door online tracking. Deze methoden vereisen doorgaans nauwkeurige omgevingsmodellering, contactlabeling, schatters van de staat (state estimation) en uitgebreide beloningsvormgeving (reward shaping). Bovendien hebben ze moeite met hoge onzekerheid, complexe contactscenario's (bijv. multi-contact interacties buiten de voeten) en de "sim-to-real" kloof, waarbij policies getraind in simulatie falen bij overdracht naar hardware vanwege discrepanties in modellering en actuatiegrenzen. Hoewel Reinforcement Learning (RL) veelbelovend is voor wendbaarheid, is standaard "tabula rasa" RL sample-inefficiënt en gevoelig voor het ontwerp van beloningen, wat vaak zorgvuldige regularisatie vereist om onnatuurlijk gedrag te voorkomen.

Methodologie: Het ZEST-framework

ZEST (Zero-shot Embodied Skill Transfer) is een gestroomlijnd, verenigd motion-imitation framework ontworpen om policies te trainen via Reinforcement Learning vanuit diverse, heterogene databronnen en deze met zero-shot transfer naar hardware te implementeren. Het framework elimineert de noodzaak voor complexe, domeinspecifieke technieken zoals contactlabels, referentie-/observatievensters, state estimators en meerfasige trainingspipelines.

Kerncomponenten

1. Heterogene Databronnen: ZEST traint via een single-stage pipeline op drie verschillende soorten bewegingsreferenties:

   • Motion Capture (MoCap): Hoge-getrouwheid data (bijv. Xsens, Vicon).
   • Video-Captured (ViCap): Ruisende, monoculaire videodata gereconstrueerd via 3D pose-estimatie (bijv. MegaSaM, TRAM).
   • Keyframe Animatie: Niet-fysica-beperkte animaties, wat bewegingen mogelijk maakt die onmogelijk zijn voor mensen of afgestemd zijn op specifieke morfologieën.
   • Opmerking: Het framework gaat uit van geen contactlabeling voor enige bron, en vertrouwt uitsluitend op kinematische informatie.

2. MDP Formulering en Architectuur:

   • Goal-Conditioned MDP: De policy wordt getraind om een referentiedoel $g_t$ te volgen (de volgende doeltoestand uit de referentie) met behulp van uitsluitend instantane proprioceptieve signalen (gewrichtsposities/snelheden, IMU-data, zwaartekrachtvector, vorige actie).
   • Asymmetric Actor-Critic: De actor (policy) gebruikt alleen onboard sensordata om inzetbaarheid zonder state estimators te garanderen. De critic maakt gebruik van "geprivilegieerde informatie" die alleen in simulatie beschikbaar is (bijv. ware basisvelociteit, contactkrachten, volledige root-toestand) om het leren te versnellen en de waarde-estimatie te verbeteren.
   • Actieruimte: De policy geeft residuele acties uit die worden toegevoegd aan de referentie-gewrichtsposities. Deze worden naar een joint-level PD-controller gestuurd. Deze aanpak maakt gebruik van de referentie voor feedforward-controle, waardoor de exploratielast voor de RL-policy wordt verminderd.

3. Trainingsverbeteringen:

   • Adaptieve Sampling: Om lange-horizon clips en grote motion-bibliotheken te verwerken, worden trajecten opgedeeld in bins van vaste duur. Een categorische sampler stuurt de training naar bins met hogere faalpercentages (geschat via een Exponential Moving Average van faalscores), zodat moeilijke segmenten worden geleerd zonder catastrofale vergetelheid van makkelijkere segmenten.
   • Automatisch Assistive Wrench Curriculum: Voor zeer dynamische gedragingen (bijv. achterwaartse salto's, handstanden) die leiden tot directe vroege terminatie, wordt een model-gebaseerde virtuele assistieve wrench toegepast op de basis van de robot. De magnitude hiervan wordt gemoduleerd door de moeilijkheidsgraad van de huidige bin en wordt automatisch afgebouwd naar nul naarmate de tracking-prestaties verbeteren, wat fungeert als een "coach" die geleidelijk de ondersteuning vermindert.
   • Actuator Modellering: Om de sim-to-real kloof te overbruggen voor closed-chain actuatoren (bijv. knieën, enkels), gebruikt ZEST progressieve benaderingen van Parallel-Linkage Actuators (PLAs), inclus\u0026 de Locally Projected, Dynamic Armature, en Nominal Armature modellen. PD-gains worden afgeleid van benaderde analytische armature-waarden om consistentie tussen simulatie en hardware te waarborgen.

4. Domain Randomization: Training vindt volledig plaats in simulatie met matige domain randomization (bijv. impulsieve duwen, sensorruis, wrijvingvariaties, massa-perturbaties) om robuustheid te garanderen.

Belangrijkste Bijdragen

1. Verenigd, Minimalistisch Recept: ZEST biedt een generiek, single-stage trainingspipeline die heterogene data (MoCap, ViCap, Animatie) verwerkt zonder contactlabels, state estimators of uitgebreide beloningsvormgeving.
2. Zero-Shot Hardware Deployment: Het framework slaagt erin policies succesvol te implementeren op fysieke hardware zonder per-taak fine-tuning, wat robuustheid demonstreert over diverse imperfecties in data (bijv. pose-jitter in ViCap, fysiek onmogelijke animatie).
3. Multi-Contact en Dynamische Skills: Het bereikt state-of-the-art prestaties in dynamische multi-contact gedragingen (bijv. kruipen op handen en voeten, breakdancing, carrousel-bewegingen) op full-size humanoids, waarmee het verder gaat dan standaard voet-gebaseerde loopgangen.
4. Morfologische Generaliteit: Dezelfde policy-structuur en trainingsrecept worden succesvol toegepast op verschillende morfologieën, waaronder de Boston Dynamics Atlas (humanoid), Unitree G1 (humanoid) en Boston Dynamics Spot (quadruped).

Resultaten

Het paper evalueert ZEST op drie robots: de Boston Dynamics Atlas, de Unitree G1 en de Boston Dynamics Spot.

• MoCap-Afgeleide Skills: Op Atlas voert ZEST complexe multi-contact skills uit, waaronder voorwaartse rollen, rollen op handen en voeten, kruipen op handen en voeten, carrousel-bewegingen en breakdancing. Op de G1 voert het succesvol carrousel-bewegingen en tafeltennis-bewegingen uit. Het framework behoudt menselijke nuances (bijv. hak-teen rolbeweging) en gaat om met intermitterende contacten zonder vooraf gedefinieerde schema's.
• ViCap-Afgeleide Skills: ZEST demonstreert robuustheid tegen ruisende videodata. Op Atlas voert het voetbaltrappen en dansfragmenten uit. Op de G1 voert het atletische balletsequenties en scène-interactieve vaardigheden uit (op een doos springen, opklimmen en afdalen) met uitsluitend proprioceptieve inputs, zonder precieze feedback over de locatie van de doos. Het behaalt hoge succespercentages, zelfs met initiële pose-variaties en extra payloads.
• Animatie-Afgeleide Skills: Voor Atlas voert het handstand-inversies uit. Voor Spot voert het acrobatische manoeuvres uit zoals continue achterwaartse salto's, barrel rolls en handstand-balansen, waarbij animatie wordt gebruikt om configuraties te bereiken die onmogelijk zijn voor de menselijke anatomie.
• Kwantitatieve Metrieken: Tracking-fouten (MAE voor gewrichtshoeken, MAD voor basisoriëntatie) blijven laag over de verschillende skills. Hoewel dynamische multi-contact skills hogere oriëntatiefouten vertonen dan eenvoudige loopgangen, blijven deze binnen de haalbare grenzen.
• Vergelijking met MPC: In simulatie presteert een multi-skill RL-policy getraind met ZEST beter dan een state-of-the-art Model Predictive Control (MPC) baseline op dynamische gedragingen (bijv. carrousel-bewegingen, joggen) en handelt het bewegingen af die contacten met niet-voeten bevatten (bijv. rollen, kruipen) waar de MPC-baseline faalt vanwege de afhankelijkheid van vooraf gedefinieerde contactschema's en end-effectors.

Betekenis en Claims

Het paper claimt dat ZEST een schaalbare interface vormt tussen biologische bewegingen en hun robotische tegenhangers. De primaire betekenis ligt in:

• Democratisering van Complexe Controle: Door de noodzaak van ingewikkelde, handmatige pipelines (contactlabeling, meerfasige training) te verwijderen, maakt ZEST het mogelijk om een breed scala aan vaardigheden van diverse databronnen met minimale engineering-overhead over te dragen naar robots.
• Robuustheid tegen Real-World Onzekerheid: Het vermogen van het framework om met ruisende ViCap-data, fysiek onmogelijke animaties en complexe multi-contact interacties om te gaan, demonstreert een niveau van robuustheid dat voorheen moeilijk te bereiken was met model-gebaseerde controllers of standaard RL.
• Generaliteit over Verschillende Belichamingen: De succesvolle overdracht van skills naar humanoids en quadrupeds met verschillende groottes en actuatiemechanismen benadrukt het potentieel van het framework als een universele controle-interface voor legged robots.

De auteurs erkennen beperkingen, waaronder het gebrek aan evaluatie op generalisatie naar onbekende skills buiten de trainingsdistributie, de assumptie van vlak terrein en de afhankelijkheid van handmatige systeemidentificatie voor actuator-modellering. Desalniettemin positioneert dit werk ZEST als een significante stap richting robuuste, menselijke fysieke intelligentie in legged robots.