💻 computer science

LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-timestamp 3D Human Pose Estimation

Ce papier présente LiCamPose, un pipeline robuste d'estimation 3D de la pose humaine à un seul instant qui fusionne des données RGB multi-vues et des données LiDAR éparses à l'aide d'une architecture volumétrique, en exploitant un générateur de données synthétiques et une adaptation de domaine non supervisée pour obtenir une forte généralisation à travers des scénarios diversifiés sans annotations 3D manuelles.

Auteurs originaux : Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiyu Pan, Zhicheng Zhong, Wenxuan Guo, Yifan Chen, Jianjiang Feng, Jie Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de déterminer exactement comment un joueur de basket bouge son corps dans l'espace 3D. Si vous n'avez qu'une seule caméra, c'est comme essayer de deviner la forme d'un nuage en regardant une seule ombre ; vous risquez de vous tromper si le joueur se cache derrière quelqu'un ou si l'angle est difficile. Si vous avez plusieurs caméras, c'est mieux, mais si le joueur porte des vêtements sombres ou si l'éclairage est mauvais, les caméras pourraient encore être confuses.

Ce papier présente LiCamPose, un nouveau système de « super-sens » qui combine deux types d'« yeux » différents pour résoudre ce problème : les caméras RGB (qui voient les couleurs et les textures, comme nos yeux) et les capteurs LiDAR (qui émettent des faisceaux laser invisibles pour mesurer la distance, comme une chauve-souris utilisant l'écholocation).

Voici une explication du fonctionnement, utilisant des analogies simples :

1. Le Problème : Le Dilemme du « Point Mort »

Les méthodes existantes reposent souvent uniquement sur des caméras. Mais dans un jeu encombré et rapide comme le basket, les joueurs se bloquent mutuellement (occlusion), et les caméras ne perçoivent pas bien la profondeur. D'autres méthodes utilisent le LiDAR, mais les données LiDAR sont souvent « clairsemées » — imaginez cela comme un croquis 3D basse résolution composé de quelques points seulement. C'est excellent pour savoir où se trouve quelque chose, mais difficile de déterminer exactement comment une articulation est pliée à partir de quelques points.

2. La Solution : La « Soupe Volumétrique »

LiCamPose ne regarde pas simplement l'image de la caméra ou les points laser séparément. Il les mélange dans une grille 3D, que les auteurs appellent un « espace volumétrique ».

L'Analogie : Imaginez un immense cube invisible de gelée flottant dans l'air autour du joueur.
- Les Caméras projettent leurs photos 2D dans cette gelée, peignant la « peau » et les « vêtements » sur l'intérieur du cube.
- Le LiDAR projette ses points laser dans la gelée, marquant les « os » et les bords physiques exacts.
- Le système examine ensuite l'ensemble du cube d'un seul coup. Même si la caméra ne voit pas le coude du joueur parce qu'il est caché, les points LiDAR pourraient encore être là. Même si les points LiDAR sont trop clairsemés pour voir la courbe du bras, l'image de la caméra comble la texture. En les combinant dans cette « soupe » 3D, le système obtient une image beaucoup plus claire de la posture.

3. Le Défi de l'Entraînement : Apprendre Sans Enseignant

Habituellement, pour enseigner à un ordinateur à reconnaître des postures, vous avez besoin d'un enseignant humain pour tracer des lignes sur des milliers de vidéos en disant : « C'est un genou, c'est un coude ». Faire cela pour des données 3D dans un vrai match de basket est incroyablement difficile, coûteux et lent.

L'Astuce de LiCamPose :
Au lieu d'utiliser un enseignant humain pour le vrai match, ils ont utilisé un Simulateur de Jeu Vidéo (appelé SyncHuman).

L'Analogie : Pensez-y comme un pilote s'entraînant dans un simulateur de vol. Le simulateur crée des milliers de faux matchs de basket avec des squelettes 3D parfaits et générés par ordinateur. Le système apprend d'abord les règles de « comment les humains bougent » dans ce monde fictif.
Le Pont (Adaptation de Domaine) : Une fois que le système est bon dans le faux match, ils le transfèrent au vrai match de basket. Mais le vrai match a une apparence différente (éclairage différent, personnes différentes). Pour combler cet écart sans enseignant humain, le système utilise l'Auto-correction :
1. Le « Jauge de Confiance » (Entropie) : Le système devine la posture. S'il est très incertain (entropie ou confusion élevée), il ignore cette hypothèse. S'il est très confiant, il traite cette hypothèse comme un « pseudo-étiquette » (une vérité temporaire) pour s'enseigner lui-même.
2. Le « Contrôle Anatomique » (Priorité Humaine) : Le système possède un livre de règles intégré sur l'anatomie humaine. Il sait, par exemple, que vos jambes ne peuvent pas se plier vers l'arrière comme celles d'une araignée, et que vos bras gauche et droit devraient avoir à peu près la même longueur. Si le système prédit une posture qui enfreint ces règles, il reçoit une « pénalité » et apprend à la corriger.

4. Les Résultats

Les chercheurs ont testé cela sur quatre ensembles de données différents, y compris un vrai match de basket difficile qu'ils ont filmé eux-mêmes (l'ensemble de données BasketBall).

Le Résultat : En mélangeant les points laser et les photos de caméra, LiCamPose a pu suivre les joueurs beaucoup mieux que les systèmes utilisant uniquement des caméras ou uniquement des lasers.
La Victoire « Sans Étiquette » : Même sans enseignants humains étiquetant le vrai match de basket, le système a appris efficacement en utilisant sa « jauge de confiance » et son « contrôle anatomique » pour nettoyer ses propres erreurs.

Résumé

LiCamPose est comme donner à un ordinateur une paire de lunettes qui peut voir à la fois la « peinture » (l'image de la caméra) et le « fil de fer » (les points laser) en même temps. Il apprend en s'entraînant d'abord dans un jeu vidéo, puis passe au monde réel où il agit comme un étudiant auto-correcteur : il ne fait confiance à ses propres hypothèses que lorsqu'il se sent confiant, et il vérifie constamment son travail contre les règles de base de l'anatomie humaine pour s'assurer qu'il ne fait rien d'impossible.

Résumé Technique : LiCamPose

Énoncé du Problème

Bien que les méthodes basées sur des images multi-vues aient atteint des performances satisfaisantes dans l'estimation de la pose humaine 3D dans des conditions simples, il existe un écart significatif dans les approches qui extraient des squelettes humains 3D à partir d'entrées multimodales, combinant spécifiquement des images RVB et des données de nuages de points LiDAR épars. Les scénarios pratiques présentent des défis tels que des mouvements humains diversifiés, des occlusions sévères et de grandes échelles de scène que les jeux de données publics existants échouent souvent à capturer. De plus, l'annotation manuelle des poses 3D pour plusieurs individus dans de grandes scènes complexes est chronophage et difficile, entravant l'entraînement de modèles robustes sans dépendre de données étiquetées extensives.

Méthodologie

Les auteurs proposent LiCamPose, un pipeline conçu pour estimer des poses humaines 3D robustes à partir d'entrées LiDAR et RVB multi-vues à un seul instant. La méthodologie est structurée autour de trois composants principaux :

1. Fusion Multimodale Volumétrique

LiCamPose adopte une approche descendante (top-down). Tout d'abord, il utilise PointPillars pour détecter des boîtes englobantes 3D pour les individus. Pour chaque personne détectée, le système définit un espace volumétrique centré sur le centroïde du nuage de points.

Traitement du Nuage de Points : Le nuage de points épars est discrétisé en une grille de voxels ( $X \times Y \times Z$ ), où les voxels contenant des points se voient attribuer une valeur de 1. Un V2V-Net extrait les caractéristiques liées au nuage de points ( $f_p$ ).
Traitement RVB : Des cartes de chaleur de pose 2D sont générées à partir d'images RVB de multiples vues en utilisant des détecteurs du commerce. Ces cartes de chaleur sont rétro-projetées dans le même espace volumétrique, et un V2V-Net extrait les caractéristiques liées au RVB ( $f_c$ ).
Fusion : Les caractéristiques des deux modalités sont concaténées dans l'espace de caractéristiques 3D et traitées par un Fusion-Net pour générer une carte de chaleur finale de pose humaine 3D. Les coordonnées articulaires sont dérivées en utilisant le Soft-argmax pour minimiser les erreurs de quantification.

2. Génération de Données Synthétiques (SyncHuman)

Pour pallier la rareté des jeux de données LiDAR-RVB multi-vues annotés, les auteurs ont développé SyncHuman, un générateur de jeux de données synthétiques basé sur le moteur Unity.

Simulation de Capteurs : Il simule des caméras RVB et des scanners LiDAR (imitant spécifiquement les motifs de balayage du Livox Mid-40 et du Mid-100) pour générer des nuages de points colorés et des cartes de profondeur.
Animation d'Avatars : Les avatars sont pilotés par des fichiers d'action ou des annotations de points clés provenant de jeux de données publics de capture de mouvement (par exemple, AMASS), garantissant des actions humaines diversifiées et complexes.
Vérité Terrain : Le système fournit une vérité terrain de pose 3D précise, des étiquettes de pose 2D et une segmentation sémantique pour les nuages de points.

3. Adaptation de Domaine Non Supervisée

Pour transférer le modèle des données synthétiques vers des scénarios réels sans annotations 3D manuelles, les auteurs proposent une stratégie d'adaptation de domaine non supervisée utilisant une fonction de perte composite :

Supervision Pseudo 2D : Des estimateurs de pose 2D du commerce génèrent des étiquettes 2D pseudo, et une perte $L_{2D}$ aligne les poses 3D projetées avec ces étiquettes.
Supervision Pseudo 3D Guidée par l'Entropie : Le système calcule l'entropie informationnelle des cartes de chaleur de joints 3D prédites. Une entropie élevée indique une incertitude. Les auteurs filtrent les prédictions, en sélectionnant uniquement celles dont l'entropie est inférieure à un seuil ( $\lambda$ ) pour servir d'étiquettes 3D pseudo fiables ( $L_{3D}$ ) pour l'époque d'entraînement suivante.
Perte de Prior Humain : Pour assurer la plausibilité anatomique, une perte de prior ( $L_{prior}$ ) est introduite, pénalisant les longueurs d'os implausibles, les longueurs de membres asymétriques et les angles articulaires déraisonnables (spécifiquement les angles nez-cou-mi-hanche et hanche-genou-cheville).

Contributions Clés

Pipeline LiCamPose : Un cadre novateur qui fusionne des nuages de points épars multi-vues et des informations RVB dans un espace volumétrique pour estimer les poses 3D de plusieurs individus à partir d'un seul instant.
Générateur SyncHuman : Un outil de génération de données synthétiques capable de produire des données multimodales diversifiées avec une vérité terrain de pose 3D précise sous diverses configurations de capteurs, ainsi que la création du jeu de données BasketBall (un jeu de données LiDAR-Caméra réel à quatre vues d'un match de basketball).
Stratégie d'Entraînement Non Supervisée : Une méthode qui évite les annotations 3D manuelles en pré-entraînant sur des données synthétiques et en s'adaptant aux données réelles en utilisant des étiquettes pseudo guidées par l'entropie et des contraintes de prior humain.

Résultats Expérimentaux

La méthode a été évaluée sur quatre jeux de données : CMU Panoptic Studio, MVOR, le jeu de données BasketBall auto-collecté et le synthétique BasketBallSync.

Performance : LiCamPose a surpassé les méthodes supervisées existantes (telles que VoxelPose et PlaneSweepPose) en termes d'erreur moyenne de position par joint (MPJPE) et de MPJPE aligné par Procruste (PA-MPJPE), en particulier dans des configurations de grande scène comme BasketBallSync.
Capacité Non Supervisée : La version non supervisée de LiCamPose a démontré une forte généralisation, surpassant même certaines méthodes multi-vues uniquement RVB supervisées sur le jeu de données Panoptic.
Analyse de Modalité : Les expériences ont confirmé que, bien que les nuages de points épars seuls soient insuffisants pour une extraction précise de squelettes, leur fusion avec des données RVB améliore considérablement la robustesse face aux occlusions et aux erreurs d'estimation de pose 2D.
Études d'Ablation : L'étude a validé que l'alignement des paramètres de capteurs synthétiques avec le jeu de données cible améliore les performances de transfert. De plus, l'ablation des fonctions de perte a confirmé que la supervision 3D guidée par l'entropie et les pertes de prior humain sont critiques pour la performance.
Analyse de l'Entropie : Les auteurs ont observé une corrélation entre les valeurs d'entropie et la rationalité de la pose, démontrant que l'entropie peut servir efficacement de métrique de confiance pour filtrer les prédictions peu fiables.

Importance et Revendications

L'article revendique que LiCamPose présente « d'excellentes performances de généralisation et un potentiel d'application significatif » pour l'estimation robuste de la pose humaine 3D dans des scénarios réels complexes. En intégrant des données LiDAR et RVB, la méthode exploite la nature complémentaire des mesures de profondeur précises à longue portée et de la texture haute résolution, atténuant l'impact des occlusions qui affectent les méthodes mono-vue ou uniquement RVB.

Les auteurs soulignent que leur approche réduit la dépendance aux annotations 3D manuelles coûteuses grâce à l'utilisation d'un pré-entraînement synthétique et d'une adaptation de domaine non supervisée. Ils mettent en avant l'utilité pratique de leur système dans des scénarios tels que l'analyse sportive (démontrée via le jeu de données BasketBall) et la surveillance, où des configurations de capteurs minimales sont avantageuses. L'article conclut que l'architecture volumétrique préserve efficacement les caractéristiques géométriques des deux modalités, facilitant une estimation de pose 3D précise à un seul instant.