Technische Samenvatting: SAMoR – Bewegingsmodellering voor Gearticuleerde Objecten met een Willekeurig Skelet en Topologie

1. Probleemstelling

Het modelleren van beweging voor gearticuleerde objecten met willekeurige skelettopologieën (bijv. mensen, quadrupeden, vogels, insecten en mechanische rigs) blijft een aanzienlijke uitdaging. Bestaande state-of-the-art bewegingsgeneratoren, met name text-to-motion systemen, zijn doorgaans gebonden aan een vast menselijk skelet (bijv. SMPL) met een specifiek aantal gewrichten, een specifieke volgorde en connectiviteit. Hoewel uitbreidingen naar dierencategorieën bestaan, gaan deze over het algemeen uit van een vooraf gedefinieerde topologie.

Cross-topologie benaderingen zijn opgekomen, maar kampen met beperkingen:

• Single-token benaderingen (K=1): Deze laten onderscheidende bewegingsdetails instorten tot een globale representatie, waardoor de dynamiek van ledematen en bijhangsels verloren gaat.
• Per-joint benaderingen (K=J): Behandelen elk gewricht onafhankelijk, wat het delen van een discrete bewegingsvocabulaire over rigs met verschillende joint counts voorkomt.
• Gebrek aan gedeelde vocabulaire: Er is geen vaste discrete bewegingscodeboek dat herbruikbaar kan worden over heterogene skeletten voor taken zoals motion transfer of token-gebaseerde generatie.

De kern van de moeilijkheid ligt in het feit dat hoewel gewrichtsniveau-beweging niet zuiver overeenkomt over soorten heen (door verschillend aantal gewrichten en connectiviteit), functionele gewrichtsgroepen (bijv. een menselijke arm, een wolfen voorpoot en een vogelvleugel) een semantische bewegingsstructuur delen.

2. Methodologie: SAMoR

De auteurs stellen SAMoR voor (Skeleton-Aware Motion Representation for Articulated Objects), een cross-topologie bewegingsrepresentatie die bewegingssegmenten codeert in een klein, vast aantal van K=8 part tokens die gedeeld worden over willekeurige skeletten.

Architectuuroverzicht

SAMoR is geïmplementeerd als een Skeleton-Aware Part VQ-VAE (Vector Quantized Variational Autoencoder) met de volgende componenten:

1. Input Representatie:

   • Bewegingskenmerken: Per-joint posities en snelheden ($x_t^j \in \mathbb{R}^6$). Lokale rotaties worden weggelaten in de cross-topology setting vanwege inconsistente rustposes bij heterogene assets.
   • Skelet Conditionering: De encoder en decoder worden geconditioneerd op het doelskelet via drie signalen:
     • Pose Anchors: Per-joint 3D locaties (eerste frame voor cross-topology; canonieke rustpose voor HumanML3D).
     • Joint Name Embeddings: CLIP embeddings van gewrichtsnamen (bijv. "forearm", "wing_L1").
     • Grafenstructuur: Geleerde biases geïnjecteerd in de spatial attention logits op basis van de afstand in de kinematische boom (hop distance), ketenlidmaatschap en edge type.

2. Encoder (Graph-Transformer):

   • Verwerkt bewegingschunks met een stapel transformer blocks die afwisselen tussen temporale zelf-attentie (langs tijd $T$) en spatiale zelf-attentie (langs gewrichten $J$).
   • De spatiale attentie maakt gebruik van de hierboven gedefinieerde grafische structurele biases.
   • Een gestripte 1D-convolutie downsampled de temporale as met een factor 4$\times$.

3. Part Pooling (Gewrichten naar Tokens):

   • Cross-Attention Pooling: $K=8$ leerbare query vectoren comprimeren de $J$ gecodeerde gewrichten naar $K$ vaste part tokens.
   • Specialisatie Mechanisme: Zonder supervisie hebben deze queries de neiging om te imploderen naar identieke distributies (effectief $K=1$). Om dit te voorkomen, introduceren de auteurs Attention Supervision.
   • Attention Supervision Loss ($L_{attn}$): Tijdens de training leiden canonieke functionele-groep labels (afgeleid van gewrichtsnamen) de cross-attention kaarten. Elke query wordt aangemoedigd om naar een onderscheidende functionele groep te kijken (bijv. linkerbeen, staart, hoofd). Gewrichten zonder bijbehorende labels ($y_j = -1$) dragen nul bij aan de loss maar worden nog steeds gerouteerd door de geleerde attentie.
   • Joint-Name Dropout: Om robuustheid te garanderen voor rigs met ontbrekende of niet-semantische namen, worden joint name embeddings tijdens de training willekeurig gedropt. Dit dwingt het model om te vertrouwen op bewegingspatronen en skelettopologie in plaats van alleen tekstlabels.

4. Quantisatie:

   • De $K$ part tokens worden gekwantiseerd met behulp van Residual Vector Quantization (RVQ) met een gedeeld codeboek. Dit creëert een discrete bewegingsvocabulaire ($Z \in \{1, \dots, V\}$) die gedeeld wordt over alle rigs.

5. Decoder:

   • Spiegelt de encoder maar breidt de $K$ gekwantiseerde part tokens uit naar $J$ doelgewrichten via inverse cross-attention.
   • De decoder is geconditioneerd op de doelskelet pose anchor, joint names en grafische biases van het doelskelet. Dit maakt het mogelijk om dezelfde bron-tokens te decoderen naar een volledig ander rig (cross-topology transfer) zonder hertraining.

Downstream Taken

• Tekst-geconditioneerde Generatie: Een MaskGIT transformer wordt getraind over de $(T/4) \times K$ token grid, geconditioneerd op tekst en het doelskelet.
• Part-wise Editing: Specifieke part tokens kunnen gemaskeerd en ingevuld worden, wat lokale editing van functionele groepen mogelijk maakt (bijv. de beweging van de benen veranderen terwijl de armbeweging behouden blijft).

3. Belangrijkste Bijdragen

1. Graph-Transformer-gebaseerde Bewegingstokenisatie: Een VQ-VAE die beweging van willekeurige skeletten comprimeert naar $K=8$ gedeelde part tokens, wat een enkele discrete bewegingsvocabulaire oplevert over heterogene skeletten.
2. Attention Supervision voor Query Specialisatie: Een nieuwe loss functie die query-symmetrie doorbreekt door elke query te verankeren aan een onderscheidende functionele gewrichtsgroep, wat voorkomt dat de $K=8$ queries imploderen tot een enkele globale representatie. In combinatie met joint-name dropout generaliseert dit naar ongeziene skeletten.
3. Verenigde Heterogene Bewegingscorpus: Een gecureerde dataset van $\sim71k$ karakters en $\sim100k$ bewegingen van HumanML3D (mensen), Truebones Zoo (65 diersoorten) en geanimeerde Objaverse-XL assets. Dit bevat automatische canonieke gewrichts-matching en functionele-groep annotaties.
4. Gedemonstreerde Downstream Mogelijkheden: De gedeelde part-token ruimte ondersteunt cross-topology motion transfer, tekst-geconditioneerde generatie en lokale part-wise editing.

4. Experimentele Resultaten

De auteurs evalueerden SAMoR op uit de dataset gehouden karakters met ongeziene skeletten.

• Cross-Topology Reconstructie:

  • SAMoR bereikte een genormaliseerde MPJPE van 2.75 $\times 10^{-2}$.
  • Dit is 5.8$\times$ lager (beter) dan de sterkste aangepaste variabele-$J$ tokenizer baseline (MoGenTS, 16.14 $\times 10^{-2}$).
  • Het presteert aanzienlijk beter dan zowel single-token globale representaties ($K=1$) als per-joint tokenisaties ($K=J$).
  • Ablatie studies bevestigden dat het verwijderen van de attention supervision ($L_{attn}$) de fout bijna verdubbelde, en het verwijderen van RVQ de fout met 44% verhoogde.

• HumanML3D Benchmark:

  • Wanneer geïnstantieerd in een HumanML3D-compatibele setting, blijft SAMoR competitief met fixed-skeleton specialisten.
  • Text-to-Motion: FID van 0.039, vergelijkbaar met MoGenTS (0.033) en beter dan MoMask (0.045).
  • VQ-VAE Reconstructie: SAMoR-H3D behaalde 17.3 mm MPJPE, wat beter is dan MoMask (29.5 mm) en T2M-GPT (58.0 mm).

• Cross-Topology Transfer:

  • Kwalitatieve resultaten (Fig. 3) tonen aan dat SAMoR de dynamiek van bijhangsels (ledematen, staarten, vleugels) behoudt over topologieverschuivingen heen, terwijl $K=1$ baselines alleen grove lichaamsritmes behouden.
  • De round-trip consistentie (Bron $\to$ SMPL $\to$ Bron) was het hoogst voor SAMoR, wat aangeeft dat de part-token representatie de bewegingsstructuur behoudt door tussenliggende topologieën heen.

5. Betekenis en Claims

Het artikel claimt dat SAMoR de fundamentele beperking aanpakt waarbij huidige bewegingsmodellen gebonden zijn aan vaste topologieën. Door te identificeren dat functionele gewrichtsgroepen de juiste abstractielaag zijn voor cross-topology beweging (in plaats van individuele gewrichten of het hele lichaam), maakt SAMoR het volgende mogelijk:

• Herbruikbaarheid: Eén enkele discrete codeboek kan gebruikt worden voor mensen, dieren en mechanische rigs.
• Transfer: Beweging kan direct tijdens de decode-fase worden overgedragen naar ongeziene skeletten.
• Editing: Lokale editing van functionele groepen is mogelijk zonder hertraining.

De auteurs benadrukken dat de tussenliggende granulariteit ($K=8$) cruciaal is; $K=1$ verliest detail, terwijl $K=J$ het delen van vocabulaire verhindert. De attention supervision loss wordt geïdentificeerd als het kritieke component dat query-collaps voorkomt, waardoor het model functionele clusters kan leren van een mix van beweging, structuur en (optionele) tekstlabels.

Erkende Beperkingen:

• In de cross-topology setting werkt SAMoR op gewrichtsposities in plaats van rotaties omdat heterogene assets geen verenigde rust-pose referentie hebben. Het terugwinnen van botrotaties voor Linear Blend Skinings (LBS) vereist een Inverse Kinematics (IK) post-proces, wat twist-ambiguïteit introduceert.
• De $K=8$ groepering is een vaste ontwerpkeuze; het automatisch leren van het aantal en de structuur van groepen wordt gesuggereerd als toekomstig werk.