Résumé Technique : Raisonnement par Hypergraphe Contrastif Multi-Modal pour la Reconstruction de Maillages 3D de Foules

Énoncé du Problème

La reconstruction 3D multi-personne est essentielle pour des applications en réalité virtuelle, en analyse de foules et en interaction humaine. Cependant, la récupération de maillages 3D précis dans des environnements réels bondés reste un défi redoutable en raison des occlusions inter-personnelles sévères, des arrangements spatiaux complexes et de l'ambiguïté de profondeur inhérente.

Les approches actuelles les plus avancées se heurtent à deux limitations principales :

1. Dépendance à une seule modalité : La plupart des méthodes dépendent uniquement d'images RVB ou de points clés 2D. Bien que suffisantes pour des individus isolés, ces entrées manquent de guidage géométrique explicite, entraînant des ambiguïtés de profondeur et une fragilité dans les foules denses.
2. Reconstruction isolée : Les méthodes existantes reconstruisent souvent les sujets de manière isolée ou s'appuient sur des interactions par paires. Cela néglige le contexte collectif du groupe et les a priori d'ordre supérieur inter-sujets nécessaires pour résoudre les ambiguïtés lorsque les individus sont fortement occlus. De plus, les approches qui intègrent des modalités auxiliaires (par exemple, LiDAR, Radar) emploient souvent des schémas de fusion superficiels qui ne parviennent pas à exploiter pleinement les informations inter-modales.

Méthodologie : CoMHR

Les auteurs proposent le Raisonnement par Hypergraphe Contrastif Multi-Modal (CoMHR), un cadre conçu pour synergiser les indices sémantiques, géométriques et de pose au sein d'une structure topologique d'ordre supérieur. Le pipeline se compose de trois étapes principales :

1. Initialisation des Nœuds Multi-Modaux

Pour atténuer la fiabilité réduite des indices mono-modaux dans les scènes occluses, CoMHR initialise des représentations de nœuds robustes en fusionnant trois modalités complémentaires pour chaque individu détecté :

• Encodage Sémantique Visuel : Des patches d'images haute résolution sont traités via un backbone ResNet pour extraire des caractéristiques RVB ($F_{rgb}$).
• Encodage de la Structure Géométrique : Une carte de profondeur pseudo est générée en utilisant Depth Anything V2. Des patches de profondeur monocanaux sont encodés pour fournir des indices d'ordre géométrique ($F_{depth}$), palliant l'absence de profondeur dans les caractéristiques RVB.
• Encodage de la Pose Sensible aux Occlusions : Les articulations 2D sont estimées via OpenPose. Un masque de visibilité filtre les articulations à faible confiance, et les articulations valides sont échantillonnées avec des valeurs de profondeur pour former des vecteurs 3D. Ceux-ci sont traités par un encodeur convolutif 1D léger pour produire des embeddings de pose ($F_{pose}$) qui capturent les a priori squelettiques même sous occlusion.
• Embedding Spatial Global Guidé par le Bassin : Un Indicateur de Profondeur du Bassin ($T_z$) est calculé comme la profondeur moyenne des articulations de hanche visibles. Cela sert d'ancrage spatial global pour imposer explicitement l'ordre avant-arrière entre les individus. $T_z$ est concaténé avec les caractéristiques RVB pour compenser leur manque de conscience spatiale.

Ces caractéristiques sont mappées dans un espace latent unifié et concaténées pour former une représentation de nœud agrégée ($h_{agg}$).

2. Construction d'Hypergraphe Contrastif

Au lieu de topologies prédéfinies, CoMHR construit un Hypergraphe à Topologie Partagée dynamiquement basé sur les caractéristiques agrégées.

• Génération Dynamique d'Hyperarêtes : Une matrice d'affinité globale est calculée à partir de $h_{agg}$ pour identifier les $K$ plus proches voisins de chaque nœud, formant des sous-groupes à haute densité (hyperarêtes). Cela assure une topologie cohérente à travers toutes les modalités (RVB, profondeur, pose).
• Apprentissage Contrastif sur Hypergraphe : Pour assurer la qualité de la topologie partagée, une stratégie d'apprentissage contrastif à double branche régularise l'espace des caractéristiques avant l'agrégation :
  • Apprentissage Contrastif Intra-Modal : Les nœuds ayant des poses 3D de vérité terrain similaires sont traités comme des paires positives. La perte minimise la distance intra-modale pour imposer un regroupement sémantique plus serré et une cohérence structurelle au sein de chaque modalité.
  • Apprentissage Contrastif Inter-Modal : Une contrainte d'orthogonalité est appliquée à la similarité cosinus entre les modalités distinctes d'un même nœud. Cela impose une complémentarité inter-modale, empêchant la contamination des caractéristiques et assurant que les modalités hétérogènes capturent des traits distincts.

3. Raisonnement et Régression par Hypergraphe Multi-Modal

En utilisant la topologie d'hypergraphe partagée, le cadre effectue un raisonnement d'ordre supérieur via un mécanisme de passage de messages en deux étapes :

1. Agrégation Nœud-vers-Hyperarête : Les informations sont agrégées à partir des individus au sein d'une hyperarête pour former des représentations au niveau du groupe, capturant des motifs collectifs (par exemple, un mouvement partagé).
2. Mise à Jour Hyperarête-vers-Nœud : Les caractéristiques de groupe sont propagées en retour pour affiner les caractéristiques de nœud individuelles. Cela permet au réseau d'inférer des indices manquants pour les sujets occlus en exploitant la dynamique collective du groupe.

Enfin, les caractéristiques multi-modales affinées sont concaténées avec des embeddings de boîtes englobantes et alimentées dans un régresseur SMPL pour prédire la pose ($\theta$), la forme ($\beta$) et les paramètres de la caméra. Le réseau est entraîné de bout en bout en utilisant une fonction de perte multi-objectif combinant la reprojection 2D, les paramètres SMPL, les coordonnées des articulations 3D et le terme de régularisation contrastive.

Contributions Clés

1. Cadre d'Hypergraphe Multi-Modal : Les auteurs proposent un cadre novateur qui synergise les caractéristiques RVB, de profondeur et de pose pour modéliser explicitement les corrélations d'ordre supérieur pour une reconstruction robuste, dépassant les contraintes par paires.
2. Apprentissage Contrastif sur Hypergraphe : Une nouvelle stratégie d'apprentissage est introduite pour améliorer la discriminabilité intra-modale et la complémentarité inter-modale. Cela assure la robustesse des caractéristiques en imposant l'orthogonalité entre les modalités et le regroupement des actions similaires au sein des modalités.
3. Performances de l'État de l'Art : Des expériences extensives démontrent que la méthode atteint des performances supérieures en termes de précision, de cohérence spatiale et d'efficacité computationnelle par rapport aux méthodes existantes.

Résultats Expérimentaux

La méthode a été évaluée sur les benchmarks Panoptic Studio et GigaCrowd.

• Jeu de données Panoptic : CoMHR a obtenu une erreur moyenne de position des articulations (MPJPE) de 104,2 mm, surpassant les méthodes précédentes de l'état de l'art telles que GroupRec (106,6 mm), BEV (109,5 mm) et ROMP (128,2 mm). Notamment, sur la séquence difficile "Pizza", elle a réduit les erreurs de 7,6 mm par rapport à BEV et de 20,0 mm par rapport à ROMP.
• Jeu de données GigaCrowd : Dans des scénarios de foules denses à grande échelle, CoMHR a nettement surpassé GroupRec et autres baselines sur toutes les métriques :
  • OKS (Cohérence de la Pose) : Amélioration de 7,3 % par rapport à GroupRec (78,11 contre 70,80).
  • PA-PPDS (Cohérence Spatiale) : Amélioration de 8,5 % (75,74 contre 67,22).
  • PCOD (Alignement du Maillage) : Augmentation de 22,9 % (94,35 contre 71,42).
  • RP (Conflits de Reconstruction) : Atteint 0,00, éliminant totalement les conflits de reconstruction, alors que GroupRec en avait 0,17.
• Analyse Qualitative : Les comparaisons visuelles montrent que CoMHR produit des maillages spatialement cohérents avec un ordre de profondeur relative précis, évitant les modes de défaillance courants des baselines tels que les pieds flottants, les corps dérivants et un ordre de profondeur incorrect.
• Études d'Ablation : Les résultats confirment que chaque composant contribue de manière significative. Le modèle complet (RVB + Profondeur + Pose + $T_z$ + Apprentissage Contrastif) a obtenu le MPJPE le plus bas (104,18 mm), démontrant la nécessité de la fusion multi-modale, du raffinement de translation et de l'alignement contrastif.

Signification et Revendications

L'article revendique que CoMHR répond aux goulots d'étranglement critiques de l'ambiguïté de profondeur et des occlusions dans la reconstruction 3D multi-personne en passant d'un traitement isolé et mono-modal à un paradigme de raisonnement collectif et multi-modal.

Les auteurs soulignent que leur approche :

• Synergise les Modalités Complémentaires : En exploitant des modèles de fondation (Depth Anything, OpenPose) pour les a priori géométriques et en les fusionnant avec les sémantiques RVB, la méthode crée des contraintes robustes même lorsque les indices individuels sont corrompus.
• Modélise les Dynamiques d'Ordre Supérieur : L'utilisation d'hypergraphes permet au système de capturer les interactions au niveau du groupe et d'inférer des informations manquantes pour les sujets occlus, une capacité absente des approches par paires ou centrées sur l'instance.
• Assure la Robustesse : Le mécanisme d'apprentissage contrastif aligne et désenchevêtre explicitement les caractéristiques, empêchant la contamination inter-modale et assurant que le réseau peut propager efficacement le contexte global.

Ce travail établit un nouvel état de l'art pour la récupération de maillages 3D de foules, offrant une solution à la fois précise et robuste dans des environnements extrêmement denses et occlus où les méthodes traditionnelles échouent. Le code et les modèles pré-entraînés sont mis à disposition pour faciliter la reproductibilité.