MaskAdapt: Learning Flexible Motion Adaptation via Mask-Invariant Prior for Physics-Based Characters

Probleemstelling

Het creëren van interactieve, fysiek realistische personages die een breed scala aan bewegingen kunnen uitvoeren, blijft een uitdaging in robotica en karakteranimatie. Bestaande methoden voor fysiek gebaseerde bewegingsadaptatie (waarbij een vooraf getrainde controller wordt uitgebreid zonder deze volledig opnieuw te trainen) hebben twee belangrijke beperkingen:

1. Instabiliteit bij adaptatie: Bestaande residual learning-methoden trainen de basisbeleid (base policy) zonder rekening te houden met de significante verschuivingen in de statieverdeling die optreden tijdens de latere adaptatiefase. Wanneer een residual beleid vervolgens specifieke lichaamsdelen aanpast, produceert de bevroren basiscontroller vaak instabiele acties omdat deze nooit is blootgesteld aan dergelijke variaties.
2. Beperkte flexibiliteit: Aanpassingen zijn vaak beperkt tot vaste lichaamsregio's of missen een geïntegreerd mechanisme voor semantische controle (bijvoorbeeld sturing via tekst).

Methodologie: MaskAdapt

MaskAdapt is een tweestapskader dat een masker-invariant prior leert om flexibele bewegingsadaptatie mogelijk te maken. Het kader bestaat uit twee fasen:

Fase 1: Training van een Masker-Invariant Basisbeleid

In deze fase wordt een robuust basisbeleid ($\pi$) getraind dat een stabiel bewegingsvoorstel (prior) leert, zelfs wanneer waarnemingen ontbreken.

• Stochastische Maskering: Tijdens het trainen worden willekeurige delen van de toestand (state) van het personage gemaskeerd (bijv. armen of benen worden "onzichtbaar" voor het beleid). Dit gebeurt op basis van functioneel samenhangende gewrichtsgroepen.
• Masker-Invariant Loss (MI Loss): Om te voorkomen dat het beleid instabiel wordt bij ontbrekende data, wordt een regularisatieterm toegevoegd. Deze loss (gebaseerd op Kullback-Leibler-divergentie) dwingt het beleid om consistente acties te genereren, ongeacht of de input volledig is of gemaskeerd. Het beleid leert dus dat het gedrag van de zichtbare delen niet mag veranderen als andere delen ontbreken.
• Resultaat: Een robuust basisbeleid dat stabiel blijft en diverse bewegingen kan genereren, zelfs onder gedeeltelijke waarneming.

Fase 2: Training van een Residual Beleid

Op het bevroren basisbeleid wordt een residual beleid ($\psi$) getraind om alleen specifieke, doorgaande lichaamsdelen aan te passen.

• Selectieve Adaptatie: Het residual beleid voegt alleen een correctie toe aan de actie van de gemaskeerde regio's, terwijl de rest van het lichaam het originele gedrag behoudt.
• Conditionele Discriminator: In plaats van een ensemble van discriminatoren, gebruikt MaskAdapt één conditionele discriminator die reageert op het masker zelf. Dit zorgt ervoor dat de realiteit van de beweging wordt gehandhaafd onder verschillende configuraties.
• Toepassingen:
  1. Dynamische Bewegingscompositie: Gebruikers kunnen dynamisch kiezen welke lichaamsdelen worden aangepast (bijv. benen trappen terwijl het bovenlichaam loopt).
  2. Tekst-gestuurde Partial Motion Tracking: Een vooraf getraind autoregressief diffusiemodel (gebaseerd op DART) genereert kinematische doelen op basis van tekstcommando's. Het residual beleid volgt deze doelen voor specifieke lichaamsdelen (bijv. "zwaai met je arm" terwijl het personage blijft lopen).

Kernbijdragen

1. Masker-Invariant Prior: Een nieuwe trainingsstrategie die een basisbeleid leert dat robuust is tegen ontbrekende waarnemingen, wat de basis legt voor stabiele residual learning.
2. Flexibele Compositie: Een methode die bewegingscompositie toestaat op willekeurige, dynamisch gekozen lichaamsregio's, in tegenstelling tot eerdere werken die beperkt waren tot vaste regio's.
3. Semantische Integratie: Het koppelen van tekst-gestuurde kinematische modellen aan fysiek gebaseerde controllers via een residual kader, waardoor semantisch betekenisvolle en fysiek plausibele bewegingen ontstaan.

Resultaten

De auteurs evalueren MaskAdapt op een gesimuleerd humanoid model (22 rigid bodies, 63 DoF) met behulp van datasets zoals LAFAN1, AMASS en BABEL.

• Robuustheid van het Basisbeleid:
  • Met de MI-loss behoudt het basisbeleid een hoge entropie (0.9025), wat dicht bij de niet-gemaskeerde baseline (AMP, 0.9124) ligt. Zonder MI-loss daalt de entropie drastisch (0.7448), wat wijst op instabiliteit en "collapse" naar beperkte bewegingspatronen.
  • Kwalitatief toont het beleid gevarieerde en stabiele loopbewegingen, zelfs wanneer beide benen of beide armen volledig zijn gemaskeerd.
• Bewegingscompositie:
  • MaskAdapt presteert beter dan de state-of-the-art methode CML (Composite Motion Learning) op zowel behoud van de basisbeweging als aanpassing van de nieuwe beweging.
  • Het systeem slaagt erin complexe scenario's te combineren, zoals "lopen + zwaaien met armen" of "doel bereiken + slaan", zonder dat de basisstabiliteit verloren gaat.
• Tekst-gestuurde Tracking:
  • Bij het volgen van tekstgedreven doelen (bijv. arm-bewegingen) toont MaskAdapt een lagere tracking-error en een hogere succesratio dan zowel CML als een model dat van scratch is getraind.
  • Het model convergeren sneller en behoudt de loopstabiliteit beter dan concurrenten.
• Hardware Validatie: De methode is succesvol getest op een echte Unitree G1 humanoid robot, waar het een loopbeweging combineerde met een stootbeweging.

Betekenis en Toekomstperspectief

MaskAdapt biedt een doorbraak in het veld van fysiek gebaseerde karaktercontrole door de stabiliteit en flexibiliteit van bewegingsadaptatie aanzienlijk te verbeteren. De introductie van een masker-invariant prior lost het fundamentele probleem op van instabiliteit bij het toevoegen van nieuwe vaardigheden aan bestaande controllers.

De methode maakt het mogelijk om complexe, semantisch gestuurde interacties te creëren zonder het risico op "catastrophic forgetting" van de oorspronkelijke vaardigheden. Hoewel er nog uitdagingen zijn bij het combineren van conflicterende bewegingen in nauw verwante lichaamsdelen (bijv. springen met één been en trappen met het andere), opent dit werk nieuwe wegen voor interactieve animatie en robotbesturing die zowel fysiek realistisch als semantisch intuïtief zijn.