A multimodal dataset for reconstructing common marmoset body-environment interactions in a 3D digital-twin framework

Imaginez que vous essayiez de comprendre comment un minuscule singe interagit avec son monde, mais que vous n'ayez que des photos bidimensionnelles plates ou un simple dessin de bonhomme allumette. Telle a été la limite de l'étude du ouistiti commun (un petit primate souvent utilisé en science) jusqu'à présent. Ce document présente une nouvelle « boîte à outils numérique » massive qui change la donne en créant le jumeau numérique 3D complet de ces singes et de leur environnement.

Considérez ce jeu de données non pas seulement comme une collection de vidéos, mais comme un pack d'assets de jeu vidéo super détaillé pour les scientifiques. Voici ce qui le rend spécial, décomposé en termes courants :

• Le corps « sculpté » : Au lieu de simplement deviner l'apparence intérieure du singe, les chercheurs ont utilisé des scanners CT médicaux (comme un rayon X 3D haute technologie) pour construire un maillage solide et parfait de la forme réelle du corps du singe. C'est comme avoir un modèle d'argile numérique qui correspond exactement aux os et aux muscles de l'animal réel.
• La « fourrure » et la « peau » : Ils ne se sont pas arrêtés au squelette. Ils ont ajouté la fourrure et la texture de la peau du singe en utilisant de vraies photos, afin que le modèle numérique ressemble et semble réel, et non comme un jouet en plastique lisse.
• Le système du « marionnettiste » : Ils ont créé un modèle « riggé », ce qui est comme une marionnette numérique avec des fils invisibles. Cela permet aux scientifiques de bouger les membres du singe et de le regarder marcher, sauter ou grimper dans un espace 3D, tout comme on anime un personnage dans un film.
• L'installation de « surveillance » : Pour capturer la façon dont ces singes se déplacent réellement, l'équipe a filmé trois singes différents pendant environ 90 heures au total. Ils ont utilisé huit caméras différentes simultanément, créant une vue à 360 degrés. C'est comme avoir un système de sécurité qui ne cligne jamais des yeux, capturant chaque angle de la vie du singe.
• La « pièce virtuelle » : Ils n'ont pas seulement filmé le singe ; ils ont également construit une réplique numérique 3D de la pièce et de l'équipement dans lequel se trouvait le singe, en utilisant des plans. Cela signifie que le singe numérique ne flotte pas dans le vide ; il interagit avec une version virtuelle de sa véritable cage.
• Le point de vue « à la première personne » : En combinant les données de mouvement du singe avec les modèles 3D, ils ont généré des vues « pseudo-égocentrées ». Imaginez voir le monde exactement tel que le singe le voit, mais généré par un ordinateur basé sur les données réelles.

Est-ce que cela a fonctionné ?
L'équipe a effectué un contrôle de « qualité ». Ils ont comparé le modèle d'argile numérique aux scanners CT réels pour s'assurer que les formes correspondaient. Ils ont vérifié si l'ordinateur pouvait détecter correctement les coudes et les genoux du singe dans les vidéos. Ils ont mesuré la pièce virtuelle pour s'assurer qu'elle avait la bonne taille, et ils ont comparé les images générées par ordinateur aux photos réelles pour voir si elles se ressemblaient. Les résultats ont montré que les jumeaux numériques sont précis et fiables.

Pourquoi est-ce important ?
Avant cela, les scientifiques suivaient principalement les singes comme de simples points se déplaçant sur un écran. Ce jeu de données leur permet de traiter le comportement du singe comme une histoire complète en trois dimensions impliquant sa forme corporelle réelle et la façon dont elle s'intègre dans son environnement. Il fournit la matière première pour de meilleures études comportementales, créant des visualisations réalistes, générant de nouvelles données d'entraînement pour les ordinateurs et posant les bases de la recherche future sur les « jumeaux numériques » où les scientifiques pourront simuler et étudier ces animaux dans un monde virtuel.