Résumé Technique : SAMoR – Modélisation du mouvement pour des objets articulés de n'importe quel squelette et de n'importe quelle topologie

1. Énoncé du problème

La modélisation du mouvement pour des objets articulés dotés de topologies de squelettes arbitraires (par exemple, humains, quadrupèdes, oiseaux, insectes et montages mécaniques) reste un défi important. Les systèmes de génération de mouvement actuels, en particulier les systèmes de texte-vers-mouvement, sont généralement liés à un squelette humain fixe (par exemple, SMPL) avec un nombre de joints, un ordre et une connectivité spécifiques. Bien que des extensions vers des catégories animales existent, elles supposent généralement une topologie prédéfinie.

Les approches trans-topologiques ont émergé mais font face à des limitations :

• Approches à jeton unique (K=1) : Elles réduisent les détails distincts du mouvement en une représentation globale, perdant ainsi la dynamique des membres et des appendices.
• Approches par joint (K=J) : Elles traitent chaque joint de manière indépendante, empêissant le partage d'un vocabulaire de mouvement discret entre des rigs possédant des nombres de joints différents.
• Absence de vocabulaire partagé : Il n'existe pas de codebook de mouvement discret de taille fixe qui puisse être réutilisé à travers des squelettes hétérogènes pour des tâches de transfert de mouvement ou de génération basée sur des jetons.

La difficulté fondamentale réside dans le fait que, bien que le mouvement au niveau du joint ne corresponde pas parfaitement entre les espèces (en raison des différences de nombre de joints et de connectivité), les groupes de joints fonctionnels (par exemple, un bras humain, une patte avant de loup et une aile d'oiseau) partagent des structures de mouvement sémantiques.

2. Méthodologie : SAMoR

Les auteurs proposent SAMoR (Skeleton-Aware Motion Representation for Articulated Objects), une représentation de mouvement trans-topologique qui encode des segments de mouvement en un petit nombre fixe de K=8 jetons de parties partagés entre des squelettes arbitraires.

Aperçu de l'architecture

SAMoR est implémenté comme un VQ-VAE sensible au squelette (Auto-encodeur Variationnel Quantifié par Vecteurs) avec les composants suivants :

1. Représentation d'entrée :

   • Caractéristiques de mouvement : Positions et vitesses par joint ($x_t^j \in \mathbb{R}^6$). Les rotations locales sont omises dans le cadre trans-topologique en raison de l'incohérence des poses de repos entre des assets hétérogènes.
   • Conditionnement du squelette : L'encodeur et le décodeur sont conditionnés sur le squelette cible via trois signaux :
     • Ancres de pose : Emplacements 3D par joint (première frame pour le trans-topologique ; pose de repos canonique pour HumanML3D).
     • Plongements de noms de joints : Plongements CLIP des noms de joints (ex: "avant-bras", "aile_L1").
     • Structure de graphe : Biais appris injectés dans les logits d'attention spatiale basés sur la distance de saut dans l'arbre cinématique, l'appartenance à une chaîne et le type d'arête.

2. Encodeur (Graph-Transformer) :

   • Traite des blocs de mouvement en alternant entre une auto-attention temporelle (le long du temps $T$) et une auto-attention spatiale (le long des joints $J$).
   • L'attention spatiale utilise les biais de structure de graphe définis précédemment.
   • Une convolution 1D avec foulée (strided) sous-échantillonne l'axe temporel par un facteur de 4$\times$.

3. Regroupement par parties (Joints vers Jetons) :

   • Regroupement par attention croisée (Cross-Attention Pooling) : $K=8$ vecteurs de requête apprenables compressent les $J$ joints encodés en $K$ jetons de parties de taille fixe.
   • Mécanisme de spécialisation : Sans supervision, ces requêtes ont tendance à s'effondrer en distributions identiques (ce qui revient à $K=1$). Pour éviter cela, les auteurs introduisent une supervision de l'attention.
   • Perte de supervision de l'attention ($L_{attn}$) : Pendant l'entraînement, des étiquettes de groupes fonctionnels canoniques (dérivées des noms de joints) guident les cartes d'attention croisée. Chaque requête est encouragée à porter attention à un groupe fonctionnel distinct (ex: patte gauche, queue, tête). Les joints sans étiquettes correspondantes ($y_j = -1$) contribuent à zéro à la perte mais sont toujours acheminés par l'attention apprise.
   • Dropout de nom de joint : Pour garantir la robustance aux rigs ayant des noms manquants ou non sémantiques, les plongements de noms de joints sont supprimés de manière aléatoire pendant l'entraînement. Cela force le modèle à se reposer sur les motifs de mouvement et la topologie du squelette plutôt que sur les seuls étiquettes textuelles.

4. Quantification :

   • Les $K$ jetons de parties sont quantifiés à l'aide d'une quantification vectorielle résiduelle (RVQ) avec un codebook partagé. Cela crée un vocabulaire de mouvement discret ($Z \in \{1, \dots, V\}$) partagé entre tous les rigs.

5. Décodeur :

   • Miroir de l'encodeur, il étend les $K$ jetons de parties quantifiés vers les $J$ joints cibles via une attention croisée inverse.
   • Le décodeur est conditionné sur l'ancre de pose du squelette cible, les noms de joints et les biais de graphe. Cela permet de décoder les mêmes jetons sources sur un rig complètement différent (transfert trans-topologique) sans réentraînement.

Tâches en aval

• Génération conditionnée par le texte : Un transformateur MaskGIT est entraîné sur la grille de jetons $(T/4) \times K$, conditionné par le texte et le squelette cible.
• Édition par partie : Des jetons de parties spécifiques peuvent être masqués et complétés, permettant une édition localisée des groupes fonctionnels (ex: modifier le mouvement des jambes tout en préservant celui des bras).

3. Contributions clés

1. Tokenisation de mouvement basée sur Graph-Transformer : Un VQ-VAE qui compresse le mouvement de squelettes arbitraires en $K=8$ jetons de parties partagés, produisant un vocabulaire de mouvement discret unique pour des squelettes hétérogènes.
2. Supervision de l'attention pour la spécialisation des requêtes : Une nouvelle fonction de perte qui brise la symétrie des requêtes en ancrant chaque requête à un groupe de joints fonctionnels distinct, empêissant l'effondrement des $K=8$ requêtes en une seule représentation globale. Combinée au dropout des noms de joints, elle se généralise à des squelettes non vus.
3. Corpus de mouvement hétérogène unifié : Un jeu de données organisé de $\sim71k$ personnages et $\sim100k$ mouvements provenant de HumanML3D (humains), Truebones Zoo (65 espèces animales) et des assets animés d'Objaverse-XL. Cela inclut l'appariement automatique des joints canoniques et les annotations de groupes fonctionnels.
4. Capacités en aval démontrées : L'espace de jetons de parties partagé permet le transfert de mouvement trans-topologique, la génération conditionnée par le texte et l'édition localisée par partie.

4. Résultats expérimentaux

Les auteurs ont évalué SAMoR sur des personnages avec des squelettes non vus.

• Reconstruction trans-topologique :

  • SAMoR a atteint un MPJPE normalisé de 2,75 $\times 10^{-2}$.
  • C'est 5,8$\times$ inférieur (meilleur) que la base la plus forte de tokenizer à $J$ variable adaptée (MoGenTS, 16,14 $\times 10^{-2}$).
  • Il surpasse nettement les bases de représentation globale à jeton unique ($K=1$) et de quantification par joint ($K=J$).
  • Les études d'ablation ont confirmé que la suppression de la supervision de l'attention ($L_{attn}$) doublait presque l'erreur, et que la suppression de la RVQ augmentait l'erreur de 44 %.

• Benchmark HumanML3D :

  • Lorsqu'il est instancié dans un cadre compatible avec HumanML3D, SAMoR reste compétitif par rapport aux spécialistes à squelette fixe.
  • Texte-vers-mouvement : FID de 0,039, comparable à MoGenTS (0,033) et meilleur que MoMask (0,045).
  • Reconstruction VQ-VAE : SAMoR-H3D a atteint 17,3 mm de MPJPE, surpassant MoMask (29,5 mm) et T2M-GPT (58,0 mm).

• Transfert trans-topologique :

  • Les résultats qualitatifs (Fig. 3) montrent que SAMoR préserve la dynamique des appendices (membres, queues, ailes) à travers les changements de topologie, alors que les bases $K=1$ ne conservent que le rythme grossier du corps.
  • La cohérence aller-retour (Source $\to$ SMPL $\to$ Source) est la plus élevée pour SAMoR, indiquant que la représentation par jetons de parties préserve la structure du mouvement à travers les topologies intermédiaires.

5. Signification et affirmations

L'article affirme que SAMoR répond à la limitation fondamentale des modèles de mouvement actuels qui sont liés à des topologies fixes. En identifiant que les groupes de joints fonctionnels sont le niveau d'abstraction approprié pour le mouvement trans-topologique (plutôt que les joints individuels ou le corps entier), SAMoR permet :

• Réutilisabilité : Un codebook discret unique peut être utilisé pour les humains, les animaux et les montages mécaniques.
• Transfert : Le mouvement peut être transféré directement lors du décodage vers des squelettes non vus.
• Édition : Une édition localisée des groupes fonctionnels est possible sans réentraînement.

Les auteurs soulignent que la granularité intermédiaire ($K=8$) est cruciale ; $K=1$ perd les détails, tandis que $K=J$ empêche le partage du vocabulaire. La perte de supervision de l'attention est identifiée comme la composante critique qui empêche l'effondrement des requêtes, permettant au modèle d'apprendre des clusters fonctionnels à partir d'un mélange de mouvement, de structure et d'étiquettes textuelles (optionnelles).

Limites reconnues :

• Dans le cadre trans-topologique, SAMoR opère sur les positions des joints plutôt que sur les rotations car les assets hétérogènes manquent d'une référence de pose de repos unifiée. La récupération des rotations osseuses pour le Linear Blend Skinning (LBS) nécessite un post-traitement par cinématique inverse (IK), ce qui introduit une ambiguïté de torsion.
• Le regroupement $K=8$ est un choix de conception fixe ; l'apprentissage automatique du nombre et de la structure des groupes est suggéré comme travail futur.