MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery

Résumé technique de MOTIONGRPO

Énoncé du problème
La récupération du mouvement humain 3D complet à partir de signaux d'un dispositif monté sur la tête (HMD), tels que ceux de Project Aria, reste un défi critique pour les applications de réalité virtuelle (VR) et de réalité augmentée (AR). Contrairement à la capture en troisième personne, les configurations à la première personne souffrent d'occlusions sévères où le corps de l'utilisateur est largement inobservé. Les méthodes existantes basées sur la diffusion abordent ce problème en apprenant des priors de mouvement conditionnés par les trajectoires de la tête. Cependant, ces méthodes reposent souvent sur une correspondance de distribution globale, conduisant à des erreurs de reconstruction locales des articulations, à un désalignement spatial et à des artefacts visuels tels que le glissement des pieds, des tremblements de mouvement et une pénétration au sol. De plus, l'application de l'apprentissage par renforcement (RL) directement à la récupération de mouvement basée sur la diffusion se heurte à un goulot d'étranglement spécifique : le problème de la « faible diversité intra-groupe ». Parce que la récupération de mouvement est fortement contrainte par des signaux de tête déterministes, les sorties échantillonnées au sein d'un groupe présentent une variance minimale. Ce manque de diversité fait que l'écart-type dans les calculs d'avantage de l'optimisation de politique relative aux groupes (GRPO) tend vers zéro, entraînant des gradients qui s'évanouissent et un entraînement instable.

Méthodologie
Les auteurs proposent MOTIONGRPO, un cadre qui exploite un post-entraînement par RL pour injecter une guidance fine-granulaire dans le processus d'échantillonnage de la diffusion. La méthodologie est structurée autour de trois composants principaux :

1. Formulation MDP et GRPO : Le processus d'échantillonnage de la diffusion est modélisé comme un processus de décision markovien (MDP). La politique est optimisée à l'aide de l'optimisation de politique relative aux groupes (GRPO), qui estime les bases de valeur directement à partir des scores par groupe sans nécessiter de réseau de valeur séparé. La politique $\pi_\theta$ correspond à la distribution de transition inverse du modèle de diffusion.
2. Mécanisme de récompense hybride : Pour guider l'optimisation, un système de récompense hybride est conçu :
   • Récompense visuelle globale : Un modèle perceptuel conditionné par la trajectoire évalue la plausibilité visuelle. Ce modèle est entraîné par apprentissage contrastif en ligne, synthétisant activement des échantillons négatifs difficiles (mouvements générés appariés à des trajectoires de tête) pour distinguer les mouvements naturels des artefacts tels que le glissement des pieds et les tremblements.
   • Récompense locale des articulations : Des sous-récompenses explicites imposent une précision sur les positions, les rotations et les vitesses des articulations. Celles-ci incluent des récompenses de pose calculées avec et sans alignement de transformation de similarité par image, des écarts de rotation locaux et des différences de vitesse.
3. Stratégie d'injection de bruit : Pour résoudre le goulot d'étranglement de la faible diversité intra-groupe, les auteurs introduisent une stratégie d'injection de bruit. Du bruit de Perlin lissé temporellement est ajouté à la composante de translation des conditions d'entrée de la trajectoire de la tête. Cela simule des entrées pseudo hors distribution, forçant la politique de diffusion à faire face à des états légèrement décalés. Cela augmente l'incertitude du modèle et la diversité des sorties au sein du groupe échantillonné, assurant un écart-type non trivial pour le calcul d'avantage GRPO et stabilisant le processus d'apprentissage.

Contributions clés

• Cadre MOTIONGRPO : L'introduction d'un cadre de post-entraînement basé sur le RL pour la récupération de mouvement en première personne, optimisant une récompense hybride combinant un modèle perceptuel appris pour la plausibilité globale et des objectifs explicites pour un alignement précis des articulations.
• Identification et atténuation de la faible diversité : L'identification de la « faible diversité intra-groupe » comme un goulot d'étranglement fondamental pour l'application de GRPO aux tâches de récupération de mouvement déterministes. Les auteurs proposent une stratégie d'injection de bruit lissée temporellement pour augmenter la diversité des sorties et prévenir l'évanouissement des gradients.
• Performances de pointe : Des expériences extensives démontrant que le cadre atteint des performances supérieures en termes de précision des articulations et de fidélité visuelle par rapport aux bases de référence existantes.

Résultats expérimentaux
La méthode a été évaluée sur les benchmarks AMASS et RICH, avec une validation qualitative supplémentaire sur le jeu de données Aria Digital Twins (ADT).

• Performances quantitatives : MOTIONGRPO a obtenu des résultats de pointe, surpassant significativement des bases de référence compétitives comme EgoAllo. Sur le jeu de données AMASS, il a réduit l'erreur moyenne de position par articulation (MPJPE) de 124,985 mm à 114,207 mm et l'erreur MPJPE alignée par Procruste (PA-MPJPE) de 103,958 mm à 95,512 mm. Des améliorations similaires ont été observées sur le jeu de données RICH.
• Qualité visuelle : Le cadre a efficacement atténué les artefacts haute fréquence. Les métriques pour le tremblement, le glissement des pieds et la pénétration au sol ont montré des améliorations constantes par rapport aux bases de référence, confirmant l'efficacité du mécanisme de récompense hybride.
• Études d'ablation :
  • Le GRPO standard avec des récompenses d'articulations a amélioré la précision locale mais nécessitait la récompense visuelle pour traiter la plausibilité physique globale.
  • La stratégie d'injection de bruit de Perlin était cruciale ; sans elle, la diversité du groupe s'effondrait et les gains de performance étaient limités.
  • L'utilisation d'échantillons négatifs difficiles synthétisés a considérablement amélioré la capacité du modèle perceptuel à discriminer entre les mouvements naturels et défectueux par rapport à une simple injection de bruit sur la vérité terrain.
• Efficacité : En tant que stratégie de post-entraînement, MOTIONGRPO impose une surcharge computationnelle négligeable lors de l'inférence, maintenant des vitesses d'inférence et une utilisation de la VRAM comparables aux modèles de diffusion de base.

Signification
L'article affirme que MOTIONGRPO représente une avancée significative en comblant le fossé entre les modèles de diffusion génératifs et les contraintes géométriques précises requises pour la récupération de mouvement. En adaptant GRPO avec une stratégie d'injection de bruit novatrice, le cadre surmonte les limites de la correspondance de distribution standard et le problème de gradient s'évanouissant inhérent aux tâches de récupération déterministes. Le résultat est un système capable de récupérer un mouvement complet haute fidélité avec une plausibilité visuelle et une précision articulaire supérieures, offrant une solution robuste pour la récupération de mouvement en première personne dans les applications VR/AR.