🤖 AI

JRDB-Pose3D: A Multi-person 3D Human Pose and Shape Estimation Dataset for Robotics

Cet article présente JRDB-Pose3D, un ensemble de données complet capturé à partir d'une plateforme robotique mobile qui fournit des annotations riches de la pose et de la forme 3D de l'humain pour des scènes complexes, intérieures et extérieures, impliquant plusieurs personnes, comblant ainsi les lacunes des ensembles de données existants limités à une seule personne ou à des environnements contrôlés afin de mieux soutenir les applications robotiques en conditions réelles.

Auteurs originaux : Sandika Biswas, Kian Izadpanah, Hamid Rezatofighi

Publié 2026-02-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sandika Biswas, Kian Izadpanah, Hamid Rezatofighi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à voir le monde comme le fait un humain. La plupart du temps, lorsque les scientifiques apprennent aux robots à comprendre le mouvement humain, ils utilisent des « petites roues ». Ils montrent au robot des vidéos d'une seule personne dans une pièce calme et vide, comme un studio de danse avec un éclairage parfait. Le robot apprend à repérer facilement ce danseur unique.

Mais la vraie vie n'est pas un studio de danse. La vraie vie est une station de métro bondée, un parc fréquenté ou un campus universitaire chaotique où les gens se bousculent, se cachent derrière des piliers et entrent et sortent du champ de la caméra.

Ce document présente JRDB-Pose3D, un nouveau « manuel d'entraînement » conçu spécifiquement pour apprendre aux robots à gérer ces situations réelles, encombrées et désordonnées.

Voici une décomposition de ce qui rend ce jeu de données spécial, en utilisant quelques analogies de la vie quotidienne :

1. La « salle bondée » contre le « studio vide »

La plupart des jeux de données existants sont comme la photo d'une personne seule debout. Si vous essayez d'utiliser ces photos pour apprendre à un robot à naviguer dans un concert bondé, le robot sera confus.

JRDB-Pose3D est comme le flux vidéo en direct d'une caméra de surveillance au milieu d'un festival animé.

L'échelle : Dans un seul instantané (image), ce jeu de données montre généralement 5 à 10 personnes, mais parfois autant que 35 personnes en même temps.
Le point de vue : Il est filmé à partir d'un robot mobile (un robot JackRabbot) circulant sur un campus universitaire. Cela signifie que la caméra bouge, s'incline et voit le monde à « hauteur d'œil » (ou hauteur de robot), et non depuis un drone en hauteur ou un mur fixe. Il capture le monde exactement tel qu'un robot naviguant dans une rue le verrait.

2. Le problème du « mannequin 3D »

Pour comprendre comment une personne se déplace, les ordinateurs ont besoin de plus qu'un simple squelette de bâtonnets. Ils ont besoin de connaître la forme du corps de la personne (est-elle grande ? petite ? large ?).

L'ancienne méthode : De nombreux jeux de données fournissent simplement un squelette. C'est comme essayer de deviner comment une personne bouge en regardant un dessin filaire. C'est correct, mais cela ne vous dit pas si la personne porte un gros manteau ou si son bras touche réellement un mur.
La méthode JRDB : Ce jeu de données fournit des annotations SMPL. Considérez cela comme un mannequin 3D numérique qui s'ajuste parfaitement sur chaque personne dans la vidéo.
- Il suit la pose (comment les membres sont pliés).
- Il suit la forme (la taille du corps) et la maintient cohérente. Si une personne marche dans la foule, le robot sait qu'il s'agit de la même personne avec la même morphologie, même si elle est partiellement cachée.

3. Le défi du « cache-cache »

Dans une foule réelle, les gens se bloquent constamment la vue.

L'occlusion : Imaginez que vous êtes dans une foule et qu'une personne de grande taille se tient devant vous. Vous voyez son dos, mais vos jambes sont cachées. En vision par ordinateur, c'est ce qu'on appelle l'occlusion.
Le problème du « hors cadre » : Parfois, les gens sont si proches du robot que leur tête ou leurs pieds sont coupés par le bord de l'écran de la caméra.
Pourquoi c'est important : La plupart des jeux de données évitent ces situations désordonnées. JRDB-Pose3D les embrasse. Il est rempli de personnes partiellement cachées, coupées par le cadre ou bloquées par d'autres personnes. Cela force l'IA à apprendre comment « deviner » les parties manquantes du corps d'une personne en se basant sur le contexte, tout comme le fait un humain.

4. Le pack « Super-Label »

Ce jeu de données ne s'arrête pas à « où est la personne ? ». Il vient avec une quantité massive d'informations supplémentaires, comme une biographie détaillée pour chaque scène :

Groupes sociaux : Qui marche ensemble ? (S'agit-il d'une famille, d'un groupe d'amis ou d'inconnus ?)
Activités : Que font-ils ? (Parler, marcher, courir ?)
Démographie : Âge, sexe et origine ethnique (pour aider l'IA à comprendre la diversité).
La scène entière : Il ne se contente pas d'étiqueter les personnes ; il étiquette l'environnement entier autour d'elles (voitures, arbres, bâtiments) afin que le robot comprenne l'environnement complet.

5. Comment cela a-t-il été fabriqué ? (La touche humaine)

Vous vous demandez peut-être : « Un ordinateur peut-il simplement faire cela automatiquement ? »
Les auteurs ont utilisé un mélange intelligent d'IA et d'effort humain :

Hypothèse de l'IA : Ils ont utilisé un modèle informatique puissant pour faire une première estimation de l'endroit où tout le monde se trouve et se déplace.
Correction humaine : Ensuite, des experts humains ont examiné la vidéo. Ils ont vérifié le travail de l'IA, en particulier pour les parties délicates (comme lorsqu'une personne est cachée derrière un arbre). Si l'IA s'est trompée, les humains ont corrigé.
Vérification de la cohérence : Ils se sont assurés que si une personne porte un « costume numérique » dans l'image 1, elle porte exactement le même costume dans l'image 100, afin que le robot ne pense pas que la personne change de vêtements chaque seconde.

L'essentiel

L'article affirme que JRDB-Pose3D est un pont. Il relie le « monde parfait » des expériences de laboratoire au « monde désordonné » de la vie réelle. En donnant aux robots un jeu de données encombré, dynamique et riche en détails cachés, il les aide à apprendre à naviguer et à interagir avec les humains de manière sûre et efficace dans le monde réel.

Il ne s'agit pas seulement de repérer une personne ; il s'agit de comprendre une foule entière de personnes se déplaçant ensemble dans un monde complexe et en 3D.

Résumé technique : JRDB-Pose3D

Problématique

Les environnements du monde réel sont intrinsèquement encombrés et dynamiques, ce qui nécessite la capacité d'estimer les poses 3D de plusieurs humains, de suivre leurs mouvements au fil du temps et de comprendre leurs activités dans des contextes sociaux et environnementaux. Ces capacités sont cruciales pour des applications telles que la conduite autonome, la perception des robots, la navigation et l'interaction homme-robot.

Cependant, les jeux de données existants d'estimation de la pose humaine 3D souffrent de limitations significatives concernant leur applicabilité à ces scénarios du monde réel. La plupart des références se concentrent sur des sujets uniques ou sont collectées dans des environaux de laboratoire contrôlés. Bien que des efforts récents aient introduit des jeux de données multi-personnes, beaucoup sont limités à des données synthétiques, restreints aux interactions entre seulement deux individus, manquent de cohérence temporelle ou sont capturés depuis des points de vue spécifiques (par exemple, une vue de dessus) qui ne reflètent pas la perspective d'un robot mobile naviguant au niveau du sol. Par conséquent, il existe une lacune dans les jeux de données fournissant des annotations riches et cohérentes de pose et de forme 3D pour des scènes complexes et multi-personnes capturées à partir d'une plateforme robotique mobile dans le monde réel.

Méthodologie

Les auteurs présentent JRDB-Pose3D, un jeu de données construit en annotant toutes les séquences vidéo du jeu de données JRDB existant [17]. Les données ont été capturées à l'aide de la plateforme de robot mobile JackRabbot, équipée de cinq paires de caméras stéréoscopiques disposées en deux rangées horizontales, offrant une vue panoramique à 360°. Le jeu de données comprend 54 séquences collectées dans des environnements de campus universitaires intérieurs et extérieurs, totalisant 288 435 images.

Le pipeline d'annotation pour JRDB-Pose3D suit un processus multi-étapes pour générer des annotations de pose et de forme 3D basées sur le modèle SMPL avec des identifiants de suivi (tracking IDs) cohérents :

Initialisation de la pose : Le processus commence par l'initialisation des poses SMPL 3D à l'aide du modèle pré-entraîné CameraHMR [22], qui est optimisé pour les scènes multi-humaines et prédit directement le champ de vision (FoV) de la caméra à partir des images d'entrée. Pour remédier à l'absence de suivi d'identité des modèles d'image unique, le pipeline exploite les boîtes englobantes 2D existantes du jeu de données JRDB avec des identifiants de suivi cohérents pour initialiser des poses SMPL 3D cohérentes ( $P_{init}$ ) pour chaque suivi individuel au fil du temps.
Localisation 3D globale : Alors que CameraHMR estime les poses par rapport à un FoV estimé, le jeu de données JRDB fournit des intrinsèques de caméra précises. Le pipeline aligne les poses 3D prédites sur la scène 3D globale en estimant une transformation rigide ( $R, t$ ) qui mappe les articulations du squelette 3D initial aux points clés 2D annotés dans JRDB en utilisant l'algorithme Perspective-n-Point (PnP).
Annotation de forme cohérente : Étant donné que l'estimation par image peut entraîner des formes corporelles incohérentes pour un même individu, le pipeline impose une cohérence de forme. Les annotateurs inspectent visuellement les prédictions par image pour chaque suivi, sélectionnant la meilleure image correspondante comme forme représentative. Si nécessaire, les paramètres de forme sont affinés manuellement à l'aide d'un outil d'annotation pour assurer une représentation cohérente pour chaque individu tout au long de son suivi.
Raffinement de la pose 3D locale : Après la finalisation des formes de suivi et des orientations globales, les poses locales sont raffinées. L'initialisation SMPL est optimisée en minimisant la distance entre les articulations projetées en 3D et les annotations de pose 2D ( $E_{data}$ ). De plus, un terme de régularisation temporelle ( $E_{smooth}$ ) est appliqué pour pénaliser les différences temporelles de second ordre, assurant des trajectoires de mouvement fluides tout en préservant la dynamique.
Inspection et correction manuelles : La dernière étape implique plusieurs annotateurs formés qui examinent les poses générées. Ils vérifient l'orientation des membres, la cohérence temporelle et la plausibilité dans le contexte des interactions, avec une attention particulière aux cas difficiles tels que les occlusions sévères et les parties du corps hors champ. Les corrections sont effectuées selon un protocole d'annotation partagé.

Principales contributions

Le papier présente les contributions primaires suivantes :

Jeu de données JRDB-Pose3D : Un jeu de données de grande échelle pour l'estimation de la pose et de la forme humaine (HPS) 3D multi-personnes en conditions réelles. Il présente des identifiants de suivi cohérents par sujet, des étiquettes d'occlusion par point clé et des annotations basées sur SMPL. Le jeu de données contient une moyenne de 5 à 10 poses humaines par image, certaines scènes présentant jusqu'à 35 individus simultanément.
Annotations multimodales riches : Au-delà des poses 3D, le jeu de données hérite de toutes les annotations du jeu de données JRDB original, incluant les poses 2D, le regroupement social, les activités de groupe, les masques sémantiques de la scène complète avec un suivi cohérent des humains/objets, ainsi que des attributs individuels détaillés (âge, genre, race).
Évaluation de référence (Benchmarking) : Les auteurs évaluent les méthodes de pointe d'estimation de pose, de suivi de pose et de prédiction de pose sensible à l'action multi-personnes sur JRDB-Pose3D afin d'évaluer les forces du jeu de données et les limites actuelles des méthodes existantes face aux scénarios encombrés du monde réel.

Résultats et caractéristiques du jeu de données

Le papier souligne plusieurs caractéristiques uniques et défis de JRDB-Pose3D par rapport aux jeux de données existants comme WorldPose :

Densité de foule : Le jeu de données présente une distribution à longue traîne de la densité de foule, avec des images contenant jusqu'à 35 poses, ce qui est nettement supérieur à la densité moyenne des jeux de données comparables.
Point de vue et distance : Capturé à partir d'une caméra montée sur un robot à hauteur d'homme, le jeu de données offre une vue panoramique à 360° avec des poses distribuées à une distance moyenne de 5 à 10 mètres. Cela contraste avec les jeux de données de vue de dessus (ex: WorldPose) où les sujets sont souvent éloignés (moyenne ~80m) et vus sous un angle limité.
Occlusion et difficulté : Le jeu de données est caractérisé par des occlusions fréquentes et sévères, des corps tronqués et des parties du corps hors champ en raison de la proximité du robot avec les sujets et de la nature encombrée des scènes. Les statistiques indiquent une forte prévalence de points clés 2D occlus ou invisibles, classant une partie significative des poses comme "difficiles" pour la récupération 3D.
Qualité de l'annotation : Le processus de vérification manuelle garantit des annotations de haute qualité et temporellement cohérentes, adaptées à l'évaluation de méthodes robustes d'estimation et de suivi de pose humaine 3D multi-personnes.

Signification

L'article affirme que JRDB-Pose3D constitue une ressource vitale pour faire progresser la recherche dans les tâches aval liées à la conscience sociale. En fournissant un banc d'essai qui reflète étroitement les complexités de la perception robotique réelle — spécifiquement les environnements dynamiques et encombrés avec des occlusions fréquentes et des interactions diverses — il permet le développement et l'évaluation de méthodes plus robustes d'estimation, de suivi et de prédiction de pose 3D multi-personnes. La nature exhaustive des annotations (combinant HPS avec des données sociales et sémantiques) positionne ce jeu de données comme un benchmark holistique pour la compréhension de scènes centrées sur l'humain, dépassant les environnements de laboratoire contrôlés pour répondre aux défis des applications en conditions réelles.