Articulated-Body Dynamics Network: Dynamics-Grounded Prior for Robot Learning

Probleemstelling

In het veld van versterkingsleren (Reinforcement Learning - RL) voor robots is het integreren van structurele priors (zoals de connectiviteit van robotleden) in beleidsnetwerken (policy networks) bewezen effectief voor het verbeteren van leerefficiëntie. Echter, een cruciaal aspect blijft onderbenut: de dynamische eigenschappen van het lichaam.

Bestaande methoden, zoals Graph Neural Networks (GNNs) en Transformers, gebruiken de ruimtelijke structuur (welke onderdelen verbonden zijn) om informatieuitwisseling te definiëren. De manier waarop informatie echter wordt geaggregeerd en getransformeerd tussen verbonden componenten, mist fysische semantiek en moet volledig uit data worden geleerd. Dit negeert het fundamentele principe dat inerte grootheden (zoals massa en traagheid) zich via de kinematische boom van kind- naar ouder-leden voortplanten, wat bepaalt hoe krachten en beweging door het hele lichaam propageren. De vraag is of de computationele structuur van forward dynamics (voorwaartse dynamica) als inductieve bias kan dienen om beleidsleren te versnellen en robuuster te maken.

Methodologie: ABD-NET

De auteurs stellen ABD-NET (Articulated-Body Dynamics Network) voor, een nieuwe architectuur voor Graph Neural Networks die de computationele structuur van het Articulated Body Algorithm (ABA) direct in het beleidsactor-netwerk integreert.

Kernprincipes:

1. Dynamiek-geïnformeerde berichtvoorziening: In plaats van willekeurige berichtuitwisseling, propageert ABD-NET features van kind- naar ouder-leden (bottom-up), net zoals inerte grootheden zich ophopen in de ABA.
2. Lerbare parameters: De fysieke grootheden uit de klassieke dynamica (zoals de gearticuleerde lichaamstraagheid $I^A$ en bewegingssubruimte $S$) worden vervangen door lerbare parameters ($W_i$ en $B_i$).
   • $B_i$: Fungeert als een basisfeature, analoog aan de starre lichaamstraagheid.
   • $W_i$: Fungeert als een bewegingsbasis, analoog aan de bewegingssubruimte van een gewricht.
3. Message Passing Mechanisme:
   • Voor elk kind $j$ wordt een bijdrage $v^a_j$ berekend die de inertiaal-effecten van dat kind naar het ouderlid transporteert.
   • De bijdrage wordt berekend als: $v^a_j = v_j - v_j \odot (W_j W_j^\top v_j)$. Dit projecteert de features weg van de bewegingsrichtingen die door het gewricht worden toegestaan, wat de fysieke beperkingen nabootst.
   • De ouder $i$ aggregeert deze bijdragen van alle kinderen en combineert ze met zijn eigen observatie en bias: $v_i = \text{softplus}(z_i + B_i) + \sum v^a_j$.
4. Orthogonaliteitsbeperking: Om numerieke stabiliteit te garanderen en de structuur van de ABA te behouden (waarbij de inverse term vaak als identiteit wordt benaderd), wordt een auxiliary loss ($L_{orth}$) toegevoegd. Deze straft afwijkingen van de orthogonaliteit van $W_i$ af, waardoor het netwerk de fysische structuur respecteert terwijl het toch flexibel blijft voor taakspecifieke aanpassing.
5. Actie Decoding: De actie voor een gewricht wordt gegenereerd op basis van de representatie van het ouderlid van dat gewricht, omdat deze representatie de geaggregeerde dynamische effecten van het hele onderliggende subboom bevat.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: ABD-NET is de eerste policy-architectuur die de computationele structuur van forward dynamics expliciet encodeert in een actor-netwerk voor model-vrij RL.
2. Efficiënte Reformulering: De auteurs hebben de inertiaal-propagatie van de ABA herschreven naar een vorm die dure matrixinversies vermijdt, wat trainen computatie-efficiënt maakt.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat ABD-NET superieure leerefficiëntie (sample efficiency), robuustheid bij dynamische verschuivingen (dynamics shifts) en reken-efficiëntie biedt vergeleken met state-of-the-art baselines (Transformers, GNNs, MLPs).
4. Sim-to-Real Transfer: Succesvolle implementatie op echte robots (Unitree G1 humanoid en Go2 quadruped) met real-time inferentie.

Resultaten

De evaluatie omvatte gesimuleerde omgevingen (Genesis en SAPIEN) met diverse robotvormen (humanoid, quadruped, hopper) en echte hardware-tests.

• Sample Efficiency: ABD-NET convergeert sneller dan baselines zoals BOT (Transformer met maskering), SWAT (Transformer met attention bias), RODRIGUES, en standaard GNNs. Het presteert vooral beter bij complexe dynamische taken.
• Robuustheid (Mass Generalization): Bij het testen met gewijzigde massa's (tot 2x de basis massa), behield ABD-NET de hoogste prestatie (retentie). Waar andere methoden faalden (bijv. de hopper viel om), kon ABD-NET door de dynamische structuur correctieve krachten toepassen.
• Reken-efficiëntie: Ondanks de sequentiële aard van de berekening (blad-naar-wortel), is ABD-NET 3x efficiënter in FLOPs dan transformer-based methoden en haalt het inferentie-tijden die geschikt zijn voor real-time controle (< 5ms op een Jetson Orin NX).
• Hardware: Op de Unitree Go2 en G1 robots slaagde het model erin om robuuste loopbewegingen over diverse terreinen (asfalt, gras, tegels) en dynamische dansbewegingen uit te voeren met real-time inferentie.

Betekenis en Conclusie

Dit werk markeert een verschuiving in robot-RL van het puur leren van geometrische connectiviteit naar het integreren van fysische dynamica als inductieve bias. Door de structuur van forward dynamics te embedden, leert het netwerk niet alleen wat de actie moet zijn, maar hoe die actie zich door het lichaam voortplant.

Dit leidt tot:

1. Sneller leren: Minder data nodig voor het leren van gecoördineerde bewegingen.
2. Beter generaliseren: Robuustheid tegen veranderingen in de robot zelf (zoals extra gewicht) of omgeving.
3. Toepasbaarheid: De methode is niet beperkt tot simulatie, maar werkt effectief op state-of-the-art hardware met real-time eisen.

De auteurs concluderen dat ABD-NET een krachtige brug slaat tussen klassieke robotica-algoritmen en moderne deep learning, en dat de architectuur potentie heeft voor verdere uitbreiding naar model-based RL en manipulatie-taken.