Monocular Panoramic Imaging for High-Precision 3D Shape Reconstruction

Imaginez essayer de construire un modèle tridimensionnel parfait d'un objet complexe, comme un pied humain, en utilisant uniquement des photographies plates. C'est un défi fondamental de la vision par ordinateur, le domaine dédié à l'enseignement aux machines comment voir et comprendre le monde. Pendant des décennies, les scientifiques se sont appuyés sur deux approches principales pour résoudre ce problème. La première consiste à utiliser de nombreuses caméras disposées en cercle, chacune prenant une photo sous un angle différent. Bien qu'efficace, cette méthode est coûteuse, difficile à installer et nécessite une synchronisation précise pour que toutes les caméras s'accordent sur la couleur et le timing. La seconde approche utilise une seule caméra mais repose sur des logiciels complexes pour deviner la profondeur d'un objet, échouant souvent lorsque la surface manque de texture ou de motifs. Les deux méthodes se heurtent à des obstacles lorsqu'il s'agit de capturer des mesures précises et en temps réel de formes lisses ou complexes, un besoin qui surgit fréquemment dans l'inspection industrielle et le diagnostic médical.

Une équipe de chercheurs de l'Université de technologie de Zhejiang a proposé une voie différente, qui combine la simplicité d'une caméra unique avec la vue exhaustive d'un réseau multicaméras. Ils ont conçu un dispositif spécialisé qui capture sept perspectives différentes d'un objet en un instant, en utilisant des miroirs pour replier la lumière dans une seule lentille. En analysant ces vues simultanées avec une nouvelle approche mathématique, ils ont réussi à reconstruire la forme tridimensionnelle d'un pied humain avec une grande précision. Leur travail démontre qu'il est possible d'obtenir des mesures 3D de haute qualité sans le coût élevé et la complexité des systèmes multicaméras traditionnels, offrant une solution robuste pour les scénarios où la précision est primordiale.

Le cœur de leur innovation réside dans une chambre d'imagerie sur mesure. Au lieu de placer une caméra devant un objet et de la déplacer autour, les chercheurs ont placé l'objet à l'intérieur d'une boîte tapissée de miroirs. Cette boîte a la forme d'un entonnoir, construite à partir de six miroirs trapézoïdaux disposés de manière à se faire face. Une seule caméra haute définition regarde dans le centre de cette chambre. Lorsqu'un objet, tel qu'un pied, est placé à l'intérieur, la caméra ne voit pas seulement l'objet directement ; elle voit aussi de multiples reflets de l'objet rebondissant sur les miroirs. En un seul cliché, la caméra capture une vue directe du haut de l'objet et six vues virtuelles des côtés et de l'arrière, simulant ainsi un montage à sept caméras. Comme toutes ces vues proviennent de la même lentille au même instant précis, le système évite les problèmes courants de calibration de plusieurs caméras ou de synchronisation de leurs couleurs. L'éclairage est également contrôlé à l'intérieur de la chambre, garantissant que l'objet est uniformément illuminé et exempt d'ombres gênantes ou d'éclats.

Une fois l'image capturée, les chercheurs sont confrontés à la tâche de transformer ces reflets plats en une forme 3D solide. Ils ont développé une méthode qui traite l'espace autour de l'objet comme une série de petits cubes invisibles, ou voxels. Imaginez remplir l'espace autour du pied avec une grille de ces cubes. L'algorithme vérifie ensuite systématiquement chaque angle possible autour de l'objet, du haut vers le bas et tout autour des côtés. Pour chaque angle, il examine les reflets correspondants dans les sept vues pour déterminer si un cube doit faire partie de l'objet ou être un espace vide. Il y parvient en vérifiant si la luminosité de la projection du cube est cohérente à travers les sept vues différentes. Si la lumière semble identique dans chaque reflet, le cube fait probablement partie de la surface ; si la luminosité varie considérablement, le cube est découpé. Ce processus, connu sous le nom de sculpture d'espace (space carving), permet au système d'éplucher l'espace vide jusqu'à ce qu'il ne reste que la forme de l'objet, créant un nuage de points détaillé qui définit sa surface.

Pour tester leur système, les chercheurs l'ont appliqué à la reconstruction de pieds humains, une tâche qui exige une grande précision en raison des courbes complexes et de la peau lisse du pied. Ils ont placé un pied à l'intérieur de la chambre à miroirs et ont capturé l'image panoramique. Le système a traité l'image, séparant le pied du fond noir et convertissant les données de couleur dans un format utilisable par l'algorithme. Le résultat est un nuage de points tridimensionnel complet du pied, incluant ses informations de couleur. Pour vérifier la précision, ils ont projeté ce modèle 3D sur un écran plat pour voir à quel point il correspondait à la silhouette originale du pied dans la vue de la caméra. La comparaison a révélé un degré de chevauchement très élevé, avec des taux d'erreur restant généralement inférieurs à 3 % pour la plupart des vues. La vue de dessus et les deux vues auxiliaires latérales ont montré la plus grande précision, avec des erreurs tombant à 0,68 %.

L'étude a également comparé leur système à sept vues à une configuration précédente à cinq vues pour voir si les miroirs supplémentaires faisaient une différence. Le système à cinq vues, qui manque des deux miroirs auxiliaires supplémentaires, avait du mal à capturer avec précision l'arrière du pied, entraînant des lacunes et des taux d'erreur plus élevés dans cette zone spécifique. Le système à sept vues, en fournissant des angles indépendants pour la section arrière, a comblé ces détails manquants et a considérablement réduit l'erreur globale. Les chercheurs ont constaté que les points de vue supplémentaires lissaient les fluctuations de la précision de mesure, garantissant que même les parties les plus difficiles à voir de l'objet soient reconstruites fidèlement. Bien que la méthode soit très efficace pour les objets lisses et solides, les auteurs notent qu'elle présente des limites avec les trous profonds ou les structures internes complexes, car la lumière ne peut pas atteindre l'intérieur de ces zones pour créer un reflet.

Cette recherche offre une alternative convaincante aux machines coûteuses et complexes souvent utilisées pour la numérisation 3D. En utilisant une seule caméra et un agencement ingénieux de miroirs, l'équipe a créé un système qui est à la fois rentable et hautement précis. La capacité de capturer une vue complète à 360 degrés en une seule exposition élimine le besoin de pièces mobiles ou de disposités multiples synchronisés, rendant le processus plus rapide et plus fiable. La reconstruction réussie de la forme du pied démontre que cette approche peut gérer des objets du monde réel avec la précision requise pour les applications médicales ou industrielles. Bien que cette technologie ne soit pas encore une solution universelle pour tout type d'objet, particulièrement ceux présentant des cavités profondes, elle représente une étape importante vers une mesure 3D de haute précision plus accessible et pratique. Le code source et la documentation du système ont été rendus publics, permettant à d'autres scientifiques de s'appuyer sur ce travail et d'affiner davantage la technique pour de futures applications.