⚡ electrical engineering

MuPPet: Multi-person 2D-to-3D Pose Lifting

Le papier présente MuPPet, un cadre novateur de levée de pose 2D vers 3D pour plusieurs personnes qui améliore significativement l'estimation de pose et la robustesse aux occlusions en modélisant explicitement les corrélations interpersonnelles grâce à un encodage spécifique, une augmentation par permutation et une attention dynamique.

Auteurs originaux : Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 MuPPet : Le Grand Chef d'Orchestre du Mouvement Humain

Imaginez que vous regardez une vidéo de groupe d'amis qui discutent, rient et se font des câlins. Si vous essayez de deviner où se trouve le coude de Paul, qui est caché derrière Marie, c'est très difficile. Votre cerveau utilise le contexte : "Ah, Paul est derrière Marie, donc son coude doit être là, même si je ne le vois pas."

C'est exactement le problème que MuPPet (Multi-person 2D-to-3D Pose Lifting) tente de résoudre pour les ordinateurs.

1. Le Problème : Le "Cerveau" des ordinateurs est trop solitaire

Jusqu'à présent, la plupart des logiciels qui analysent les mouvements humains fonctionnent comme des solitaires.

Ils regardent une personne, disent "Tiens, c'est un bras", et essaient de deviner où il est en 3D.
Si une personne est cachée (occlusion) par une autre, le logiciel panique et fait des erreurs, car il ne regarde que l'individu isolé, sans tenir compte de ses voisins.
De plus, ils ne comprennent pas les relations sociales : ils ne savent pas que si deux personnes se serrent la main, leurs mains doivent être au même endroit.

2. La Solution : MuPPet, le "Detective Social"

MuPPet change la donne. Au lieu de traiter chaque personne comme un îlot isolé, il traite le groupe comme une équipe de danseurs qui doit rester synchronisée. Il utilise trois astuces magiques :

🧩 Les Étiquettes de Personne (Person Encoding) :
Imaginez que vous mettez un badge de couleur sur chaque personne (Rouge pour Paul, Bleu pour Marie). Avant, l'ordinateur voyait juste "des bras et des jambes" mélangés. MuPPet apprend à dire : "Ce bras rouge appartient à Paul, et ce bras bleu à Marie". Cela permet à l'ordinateur de ne pas confondre les membres entre eux.
🎲 Le Jeu de Mélange (Permutation Learning) :
C'est l'astuce la plus créative. Pour entraîner le logiciel, les chercheurs lui montrent des vidéos où ils mélangent l'ordre des personnes (comme mélanger des cartes).
- L'analogie : Imaginez un professeur qui enseigne à un élève à reconnaître une équipe de football. Au lieu de toujours montrer l'équipe dans le même ordre, il change les positions des joueurs à chaque fois. L'élève apprend ainsi à comprendre que "l'équipe" existe indépendamment de l'ordre dans lequel les joueurs sont présentés. Cela rend le logiciel beaucoup plus intelligent et capable de gérer n'importe quel nombre de personnes, qu'il y en ait 2 ou 10.
👀 L'Attention Dynamique (Dynamic Multi-Person Attention) :
C'est comme si l'ordinateur avait des yeux qui peuvent regarder tout le monde en même temps. Au lieu de se focaliser sur une seule personne, il regarde le groupe entier pour comprendre les relations. Si Marie cache le bras de Paul, l'ordinateur utilise la position de Marie pour "deviner" où se trouve le bras de Paul. Il comprend la cohérence sociale.

3. Comment ça marche ? (Le processus de "Dénouage")

Le papier utilise une technologie appelée Diffusion.

L'analogie : Imaginez que vous essayez de reconstruire une statue de glace qui a fondu en une flaque d'eau.
MuPPet commence par une flaque d'eau (du bruit aléatoire) et, étape par étape, il "dénoue" ce bruit pour faire réapparaître la statue (la pose 3D).
Grâce à la vidéo d'entrée (les poses 2D), il sait à quoi la statue devrait ressembler. Il répète ce processus plusieurs fois pour affiner le résultat, un peu comme un sculpteur qui affine sa statue coup par coup.

4. Les Résultats : Pourquoi c'est génial ?

Les tests montrent que MuPPet est bien meilleur que les anciens systèmes, surtout dans deux situations :

Quand il y a des cachettes (Occlusions) : Si une personne est cachée, MuPPet utilise les autres personnes pour deviner la position manquante, comme un détective qui reconstitue une scène de crime.
La position absolue : MuPPet ne dit pas juste "le bras est à droite", il dit "le bras est à 2 mètres de moi, à gauche de la table". C'est crucial pour que des robots puissent interagir avec des groupes humains dans le monde réel.

En résumé

MuPPet est comme un chef d'orchestre qui ne se contente pas de regarder chaque musicien individuellement. Il écoute l'harmonie du groupe, comprend qui joue avec qui, et même si un musicien est caché derrière un pupitre, il sait exactement où il devrait être pour que la symphonie (la scène sociale) reste parfaite.

C'est un pas de géant pour permettre aux robots et aux intelligences artificielles de comprendre et d'interagir avec nous, humains, dans nos interactions sociales complexes.

1. Problématique

L'estimation de la pose humaine 3D à partir d'images 2D est une tâche fondamentale pour comprendre les interactions sociales et les dynamiques de groupe. Cependant, les méthodes existantes souffrent de plusieurs limitations majeures dans les scénarios multi-personnes :

Négligence des relations inter-personnelles : La plupart des approches traitent les individus de manière isolée, ignorant les corrélations, la synchronisation et l'imitation qui existent naturellement entre les membres d'un groupe.
Gestion rigide du nombre de personnes : Des méthodes comme POTR-3D nécessitent une taille de groupe fixe, ce qui les rend peu pratiques pour des scénarios réels où le nombre d'individus varie.
Difficulté avec les occlusions : Dans les interactions de groupe, les individus se cachent souvent les uns les autres. Les méthodes mono-personnes peinent à reconstruire les poses occlues sans informations contextuelles.
Besoin de pose absolue : Pour l'analyse sociale (ex: formations F, distances physiques), la pose 3D dans l'espace absolu (coordonnées mondiales) est préférable à la pose relative, mais elle est plus difficile à estimer avec précision.

2. Méthodologie : MuPPet

MuPPet est un cadre d'apprentissage profond conçu pour "remonter" (lift) une séquence de poses 2D détectées vers des poses 3D absolues pour un nombre dynamique de personnes. L'architecture repose sur un processus de diffusion avec un backbone Transformer.

A. Architecture Globale

Le modèle prend en entrée une séquence de poses 2D ( $X$ ) et génère une séquence de poses 3D absolues ( $Y$ ) via un processus de débruitage itératif (Diffusion).

Entrée : Séquence de poses 2D de $T$ frames, $P$ personnes, $J$ articulations.
Sortie : Séquence de poses 3D absolues dans le système de coordonnées du monde.
Backbone : Un débruiteur basé sur Transformer combinant des modules d'attention spatiale et temporelle.

B. Composants Clés

Encodage des Personnes (Person Encoding) :
- Contrairement aux Transformers standards qui traitent les tokens de manière interchangeable, MuPPet introduit un encodage apprenable spécifique à chaque personne ( $E_p$ ).
- Cet encodage est ajouté aux caractéristiques de chaque articulation d'une personne donnée. Cela permet au modèle de distinguer explicitement quel joint appartient à quel individu, tout en apprenant les relations entre eux.
- Cela élimine le besoin de remplissage par zéro (padding) pour les groupes de tailles variables.
Attention Multi-Personne Dynamique (Dynamic Multi-Person Attention) :
- Le modèle étend l'attention auto-attentionnelle (self-attention) pour couvrir l'ensemble des articulations de toutes les personnes présentes dans la scène, et non pas seulement celles d'un individu.
- Les matrices de requête, clé et valeur sont calculées sur l'ensemble des tokens, permettant de capturer les dépendances spatiales intra-personnes et inter-personnes, quelle que soit la taille du groupe.
Apprentissage par Permutation (Permutation Learning) :
- Pour augmenter la diversité des données d'entraînement et apprendre l'invariance à l'ordre des personnes, MuPPet utilise deux stratégies de permutation :
  - Permutation de Sur-ensemble (Superset) : On mélange l'ordre des $P$ personnes dans l'échantillon original.
  - Permutation de Sous-ensemble (Subset) : On sélectionne aléatoirement un sous-groupe de personnes (ex: $P-1$ ou $P-2$ ) et on les permute.
- Grâce à l'encodage des personnes, le modèle peut distinguer les individus même après permutation, apprenant ainsi les relations sociales indépendamment de l'ordre d'entrée.
Processus de Diffusion :
- Le modèle utilise un processus de diffusion (DDPM/DDIM) pour générer la pose 3D. Au lieu de prédire directement une pose unique, il apprend à débruiter une pose 3D aléatoire vers la pose cible conditionnée par la pose 2D.
- Cela permet de gérer l'ambiguïté de la profondeur et les occlusions en générant plusieurs hypothèses probables qui sont ensuite agrégées (moyenne des articulations).
Perte (Loss Function) :
- Le modèle sépare la prédiction en deux parties : la position absolue du joint racine (hanches) et les positions relatives des autres articulations par rapport à la racine.
- Une perte pondérée combine l'erreur absolue et l'erreur relative pour optimiser simultanément la localisation globale et la structure du corps.

3. Contributions Principales

Premier cadre de "Lifting" 2D-to-3D multi-personnes capable de gérer dynamiquement un nombre variable d'individus sans padding fixe.
Modélisation explicite des corrélations inter-personnelles via l'encodage des personnes et l'attention spatiale globale, améliorant la robustesse face aux occlusions.
Stratégie d'augmentation de données innovante (Permutation Learning) spécifique aux scénarios multi-personnes pour enrichir la diversité d'entraînement.
Performance supérieure par rapport aux méthodes SOTA (State-of-the-Art) mono et multi-personnes, notamment dans l'estimation de la pose absolue.

4. Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données Haggling (interactions sociales riches) et CMU Panoptic.

Comparaison Mono vs Multi : Sur le dataset Haggling, MuPPet surpasse la méthode mono-personne SOTA (D3DP) avec une réduction significative de l'erreur :
- -6,4% sur l'erreur relative (MPJPErel).
- -17,2% sur l'erreur absolue (MPJPEabs).
- -19,9% sur l'erreur de la racine absolue.
- Cela démontre que l'utilisation des relations sociales améliore la compréhension de la localisation 3D.
Comparaison SOTA Multi-personnes : Sur CMU Panoptic, MuPPet obtient les meilleurs résultats moyens parmi les méthodes de "lifting" (VirtualPose, POTR-3D) et les méthodes d'estimation directe (MubyNet, SMAP).
- Erreur moyenne relative (MPJPErel) : 55,8 mm (contre 57,5 mm pour POTR-3D et 56,8 mm pour VirtualPose).
Robustesse aux Occlusions : L'étude montre que l'écart de performance entre MuPPet et les méthodes mono-personnes s'accroît avec le nombre d'articulations occlues. MuPPet réussit à inférer les poses cachées en s'appuyant sur les positions des autres membres du groupe.
Ablation : L'étude des composants confirme que chaque module (Attention multi-personne, Encodage, Permutations) contribue positivement à la réduction de l'erreur, en particulier l'ajout des permutations de sous-ensemble qui améliore significativement la précision absolue.

5. Signification et Impact

MuPPet représente une avancée significative pour l'analyse du comportement humain dans les groupes.

Analyse Sociale : En fournissant des poses 3D absolues précises, le modèle permet d'analyser des métriques sociales complexes comme les distances interpersonnelles, les orientations et les formations (ex: formations F).
Robustesse : La capacité à gérer les occlusions et les tailles de groupes variables rend cette technologie applicable à des scénarios réels ("in-the-wild") plutôt que de se limiter à des environnements contrôlés.
Futur : L'article ouvre la voie à l'intégration de modalités supplémentaires (comme l'audio) pour renforcer l'inférence de pose, exploitant la corrélation entre la parole et les gestes.

En résumé, MuPPet démontre que modéliser explicitement les relations sociales entre les individus est crucial pour améliorer la précision de l'estimation de pose 3D, surpassant les approches traditionnelles qui traitent les personnes de manière isolée.