Résumé Technique : LIMMT (Less Is More for Motion Tracking)

Problématique

Le suivi de mouvement humain basé sur la physique vise à convertir des bibliothèques de mouvements de référence en comportements déployables et physiquement ancrés. Bien que le domaine ait connu une expansion rapide des corpus de capture de mouvement (MoCap) — des ensembles de données de qualité studio comme AMASS aux reconstructions vidéo à l'échelle d'Internet — l'hypothèse selon laquelle « plus de données mènent à une meilleure généralisation » ne s'est pas systématiquement vérifiée pour l'apprentissage par renforcement (RL) d'imitation basé sur la physique.

Le passage à l'échelle indiscriminé des jeux de données introduit souvent des artefacts systématiques (par exemple, tremblements temporels, glissements de pieds, pénétration du sol et contacts implausibles) qui corrompent le signal d'imitation. Ces séquences de faible qualité peuvent conduire à des solutions fragiles, à du détournement de récompense (reward hacking) ou à une convergence vers des attracteurs sous-optimaux dès le début de l'entraînement. De plus, l'entraînement sur des bibliothèques massives est coûteux en termes de calcul, augmentant les coûts de l'échantillonnage de référence, de la conception de programmes (curriculum design) et de l'optimisation sur de longs horizons. L'article postule que le défi actuel n'est pas un manque de volume de données, mais la présence de bruit et de redondance qui dégradent la trajectoire d'optimisation.

Méthodologie : Sélection de Qualité Générale (GQS)

Les auteurs proposent LIMMT (Less Is More for Motion Tracking), un cadre centré sur les données autour de la pipeline de Sélection de Qualité Générale (GQS). La GQS opérationnalise la qualité des données de mouvement à travers trois dimensions complémentaires : la faisabilité physique, la diversité d'action et la complexité d'action. La pipeline est conçue comme un processus hiérarchique en trois étapes :

Étape I : Filtrage de la faisabilité basée sur la physique

Les jeux de données cinématiques bruts violent souvent les contraintes de corps rigide des humanoïdes. Cette étape agit comme une porte binaire pour éliminer les mouvements physiquement impossibles avant qu'ils n'influencent l'apprentissage de la représentation.

• Contraintes Strictes : Les trajectoires plus courtes que 0,5 seconde ou celles dont les violations de vitesse articulaire dépassent une marge de sécurité (0,05 rad/s) sont écartées.
• Score de Qualité Souple : Un score de faisabilité composite ($S_{phy}$) est calculé sur la base de pénalités pondérées pour six modes de violation :
  • Artefacts Toxiques : La flottaison (absence de support soutenue) et le glissement de pieds sont lourdement pénalisés car ils sont catastrophiques pour l'imitation par RL.
  • Neutre/Sécurité : La pénétration du sol et l'auto-collision reçoivent des poids moyens.
  • Amical/Dynamique : La haute vélocité et le jerk (saccade) sont pénalisés légèrement ou pas du tout, car les auteurs ont constaté que filtrer ces mouvements « violents » dégrade en réalité les performances en supprimant des signaux dynamiques précieux.
• Résultat : Seuls les mouvements avec un score $S_{phy} \ge 90$ sont conservés.

Étape II : Embedding Sémantique de Mouvement pour la Diversité

Pour traiter la redondance, le cadre va au-delà des différences de pose euclidiennes pour capturer la similitude structurelle et rythmique.

• Autoencodeur Périodique (PAE) : Un autoencodeur périodique est entraîné pour décomposer le mouvement en paramètres dynamiques : Amplitude ($A$), Fréquence ($F$), Déphasage ($\phi$) et Offset ($b$).
• Embedding Global : Contrairement aux autoencodeurs standards, le PAE utilise une cartographie déterministe pour préserver l'échelle physique et la fréquence temporelle. Les embeddings globaux sont dérivés en faisant la moyenne des vecteurs d'amplitude et de fréquence ($[A, F]$) à travers la séquence de mouvement, créant une représentation invariante de la phase.
• Espace Métrique : Les distances dans cet espace latent reflètent la diversité comportementale (ex: styles de marche, capacités athlétiques) plutôt que des différences de pose superficielles.

Étape III : Sélection de Sous-ensemble Sensible à la Diversité et Pondérée par la Complexité

La dernière étape sélectionne une bibliothèque d'entraînement compacte en utilisant l'Échantillonnage de Point le Plus Lointain (FPS) Global Pondéré.

• Métrique de Complexité : Un score de complexité ($C(x)$) est calculé sur la base de l'énergie cinétique et de la magnitude de l'accélération, représentant l'intensité et la brusquerie du mouvement.
• Score Hybride : L'algorithme de sélection maximise un score hybride :
  $$\text{Score}(u) = \alpha \cdot \hat{D}(u, S) + (1 - \alpha) \cdot \hat{C}(u)$$
  Où $\hat{D}$ est la distance normalisée au plus proche voisin dans l'espace d'embedding (diversité) et $\hat{C}$ est la complexité normalisée.
• Stratégie : Le processus initialise avec le mouvement de plus haute complexité comme ancre. Dans les itérations suivantes, il priorise la distance géométrique (pour assurer une large couverture) mais introduit un biais vers les mouvements dynamiquement plus riches lorsque les candidats sont géométriquement équidistants.

Contributions Clés

1. Perspective Centrée sur les Données : L'article redéfinit la « qualité » par rapport à la « quantité », affirmant que la faisabilité physique, la diversité d'action et la complexité sont les facteurs décisifs pour un suivi robuste, contestant l'hypothèse de mise à l'échelle aveugle de l'apprentissage par renforcement basé sur la physique.
2. Le Cadre GQS : Une pipeline hiérarchique qui élimine d'abord les artefacts physiquement infaisables via l'ancrage au simulateur, puis maximise la couverture comportementale et la richesse dynamique en utilisant des embeddings harmoniques et un échantillonnage pondéré par la complexité.
3. Le Paradigme « Less-Is-More » : Preuve empirique montrant qu'un entraînement sur un sous-ensemble curaté de seulement 3 % du jeu de données AMASS surpasse systématiquement l'entraînement sur l'ensemble du jeu de données à travers de multiples métriques et architectures de suivi.

Résultats Expérimentaux

Le cadre a été évalué sur les jeux de données AMASS et PHUMA en utilisant deux politiques de suivi de pointe : Any2Track et TWIST2.

• Performance vs Ratio de Données :
  • Sous-échantillonnage Aléatoire : La sélection aléatoire de 3 % des données brutes a provoqué un effondrement catastrophique des performances (ex: le taux de réussite d'Any2Track est passé de 94,2 % à 83,8 %).
  • Performance GQS : En utilisant seulement 3 % des données curatées par GQS, le taux de réussite a atteint 95,6 % pour Any2Track et 86,1 % pour TWIST2, surpassant les bases de référence du jeu de données complet (94,2 % et 82,5 %, respectivement).
  • Réduction d'Erreur : GQS a obtenu une réduction relative de 5 à 15 % de l'erreur de position articulaire moyenne (MPJPE) par rapport aux bases de référence complètes. Pour TWIST2, le MPJPE est passé de 0,099 à 0,084 rad.
• Dynamique d'Apprentissage : Les courbes d'apprentissage ont démontré que les données curatées par GQS fournissent des gradients plus propres, orientant la politique vers de meilleures solutions dès les premières étapes de l'entraînement (avant 0,5 milliard d'étapes), plutôt que de simplement accélérer la convergence.
• Études d'Ablation :
  • Le retrait du filtre physique a causé une chute significative du taux de réussite (à 91,1 %), confirmant que l'échantillonnage basé sur l'embedding sans filtrage favorise les valeurs aberrantes toxiques.
  • Le retrait de la pondération par la complexité a entraîné des performances sous-optimales (93,4 % SR), prouvant que la diversité seule est insuffisante sans prioriser les mouvements informatifs à haute énergie.
• Généralisation : Sur le jeu de données PHUMA (qui est déjà ancré physiquement), GQS a amélioré la précision (MPJPE plus bas) et le transfert zero-shot vers AMASS, démontant que la sélection de la diversité et de la complexité apporte une valeur ajoutée même lorsque la faisabilité physique est déjà élevée.

Signification et Revendications

L'article affirme que la qualité des données de mouvement domine la quantité de données car elle façonne la trajectoire d'optimisation initiale. Des cibles de haute qualité fournissent des gradients cohérents et physiquement significatifs qui orientent l'apprentissage vers des solutions stables tôt dans le processus, tandis que les mouvements de faible qualité injectent des objectifs biaisés et des gradients instables.

Les auteurs soutiennent que leur cadre offre une solution « plug-and-play » qui améliore le signal d'entraînement de n'importe quel tracker existant sans exploiter les idiosyncrasies algorithmiques. En curatant une bibliothèque compacte et de haute valeur, LIMMT réduit les coûts d'entraînement d'un ordre de grandeur tout en améliant simultanément la précision du suivi, les taux de réussite et la robustesse. Le travail suggère que l'acquisition future de données de mouvement et l'entraînement de politiques devraient prioriser la curation de mouvements physiquement réalisables, diversifiés et complexes plutôt que l'accumulation indiscriminée de corpus à grande échelle.