La création d'un modèle tridimensionnel du monde réel à partir d'une collection de photographies bidimensionnelles est un défi fondamental en vision par ordinateur. Pendant des décennies, les scientifiques se sont appuyés sur deux approches principales pour résoudre ce problème. La première, connue sous le nom de stéréoscopie multi-vues (multi-view stereo), fonctionne comme un cerveau humain : elle observe le même objet sous différents angles, trouve des points correspondants et calcule leur distance pour construire un nuage dense de points représentant la surface. La seconde méthode, plus récente, appelée 3D Gaussian Splatting, représente une scène non pas comme un objet solide, mais comme un essaim de minuscules ellipses colorées et transparentes qui flottent dans l'espace. Lorsqu'une caméra regarde cet essaim, les ellipses se mélangent pour créer une image nette et réaliste. Bien que cette nouvelle méthode soit incroyablement rapide et produise des résultats visuels éblouissants, elle présente un défaut significatif lorsqu'il s'agit de construire de véritables formes 3D. Dans les zones où la caméra dispose de peu d'angles de vue, ou là où des objets sont cachés derrière d'autres, ces ellipses flottantes peuvent s'écarter ou former des structures fantomatiques et instables qui paraissent bonnes sur une photo mais ne représentent pas une surface réelle et solide.

Des chercheurs de l'Université de Wuhan et de l'Université de Hangzhou Dianzi ont développé un nouveau cadre appelé CoMVS-GS pour corriger ce problème. Leur objectif était de combiner la vitesse et la qualité visuelle des ellipses flottantes avec la fiabilité géométrique de la méthode traditionnelle basée sur les points. Au lieu de traiter ces deux techniques comme des outils distincts, ils les ont tissées ensemble en un processus unique. Le résultat est un système capable de reconstruire des maillages 3D précis, tant pour de petits objets que pour de grands environnements extérieurs, même dans des conditions d'éclairage difficiles ou lorsque certaines parties de la scène sont cachées. L'équipe a découvert qu'en utilisant les forces de l'ancienne méthode, plus lente, pour guider la plus récente et plus rapide, ils pouvaient éliminer les artefacts flottants et produire des surfaces qui sont à la fois visuellement convaincantes et géométriquement précises.

Le processus commence par une étape cruciale avant même que l'optimisation principale ne débute. Les méthodes traditionnelles commencent souvent par un ensemble de points épars, laissant de grands intervalles que l'ordinateur doit deviner comment combler. Les chercheurs ont utilisé à la place un nuage dense de points généré par un algorithme de stéréoscopie multi-vues standard pour initialiser leur modèle. Ils ont pris ces points et ont façonné les ellipses flottantes pour qu'elles correspondent à l'orientation et à l'épaisseur de la surface locale dès le tout premier instant. Imaginez que vous essayiez de construire un mur en dispersant d'abord quelques briques dans les airs en espérant qu'elles se déposent en une ligne droite ; cette nouvelle méthode place les briques exactement là où elles doivent être, alignées avec la surface du mur, avant que la construction ne commence. Cela a donné au système un départ géométrique solide, empêchant les ellipses de former des structures instables lors des premières étapes de l'entraînement.

Une fois le modèle initialisé, les chercheurs ont introduit une boucle de rétroaction continue entre les deux techniques. Le système génère une carte de profondeur, qui est essentiellement une image montrant à quelle distance se trouve chaque point de la scène, et utilise cette image pour affiner l'algorithme de stéréoscopie multi-vues. En retour, l'algorithme de stéréoscopie multi-vues affiné produit une carte de profondeur plus précise, qui est ensuite utilisée pour corriger les ellipses flottantes. Cette supervision mutuelle signifiait que le système vérifiait constamment son propre travail. Si les ellipses dérivaient vers un endroit où elles ne devraient pas être, les données de la stéréoscopie multi-vues les ramenaient en place. Si les données de la stéréoscopie multi-vues étaient incertaines en raison d'un manque de texture, le nuage dense d'ellipses fournissait un guide stable. Cet affinement par va-et-vient a permis au modèle de combler les lacunes et de lisser les surfaces que les méthodes précédentes peinaient à gérer.

L'étape finale consistait à transformer ces ellipses raffinées en un maillage solide, qui est la peau filaire utilisée pour représenter un objet 3D. De nombreuses méthodes existantes tentent de le faire en divisant tout l'espace 3D en une grille de minuscules cubes et en calculant la surface à l'intérieur de chaque cube. Cette approche est sensible à la taille des cubes ; si les cubes sont trop grands, les détails fins sont perdus, mais s'ils sont trop petits, l'ordinateur manque de mémoire, particulièrement pour les grandes scènes extérieures. Les chercheurs ont évité ce piège en utilisant une technique différente appelée maillage par coupe de graphe de Delaunay (Delaunay graph-cut meshing). Au lieu de s'appuyer sur une grille rigide, cette méthode connecte directement les points de surface et utilise la ligne de visée de la caméra pour déterminer quelles parties de l'espace sont à l'intérieur de l'objet et lesquelles sont à l'extérieur. Cela leur a permis de créer une surface propre et complète sans la charge de mémoire ou la perte de détails associée à l'approche par grille.

L'équipe a testé sa méthode sur plusieurs jeux de données, y compris le benchmark standard DTU pour la reconstruction au niveau de l'objet et de nouveaux sous-ensembles de scènes extérieures à grande échelle provenant des ensembles de données GauU-Scene V2 et MatrixCity. Sur le benchmark DTU, leur méthode a atteint un taux d'erreur moyen compétitif avec les meilleures techniques existantes, surpassant souvent ces dernières en termes de précision de la géométrie reconstruite. Dans les scènes extérieures, la différence était encore plus marquée. Alors que les autres méthodes produisaient des modèles avec des fragments flottants ou de grands trous dans des zones comme l'eau ou les façades de bâtiments, CoMVS-GS a produit des surfaces propres et continues. Les chercheurs ont noté que leur méthode produisait des maillages avec nettement moins de faces — en moyenne environ 8,76 millions de faces contre plus de 50 millions pour certains concurrents — tout en maintenant une précision géométrique supérieure. Cette compacité suggère que le modèle a capturé la forme réelle de la scène plus efficacement, sans ajouter de complexité inutile pour combler les vides.

L'étude comprenait également des tests pour voir quelles parties de leur système étaient les plus importantes. Lorsqu'ils ont supprimé l'initialisation par nuage de points denses, le modèle a eu du mal à converger vers des surfaces planes, particulièrement sur les façades de bâtiments vues sous des angles aigus. Lorsqu'ils ont supprimé la boucle de supervision mutuelle, la précision géométrique a chuté et les surfaces sont devenues moins lisses. Enfin, lorsqu'ils ont remplacé leur nouvelle technique de maillage par la méthode traditionnelle par grille, les modèles résultants présentaient des trous et des régions incomplètes, confirmant que leur approche par coupe de graphe était essentielle pour gérer la complexité des grandes scènes extérieures. Les chercheurs ont conclu qu'en intégrant la stéréoscopie multi-vues non pas seulement comme une étape finale, mais comme une source d'initialisation, de supervision continue et d'extraction de surface, ils pouvaient atteindre un niveau de stabilité géométrique qu'aucune des deux méthodes ne pouvait atteindre seule.

Bien que la méthode représente une avancée significative, les auteurs reconnaissent qu'elle fait toujours face à des défis avec les surfaces hautement réfléchissantes ou transparentes, où il est difficile de trouver des points correspondants entre différentes vues de caméra. De plus, le processus de raffinement périodique des cartes de profondeur ajoute un certain coût de calcul, ce qui pourrait être un facteur pour les scènes à très haute résolution. Cependant, les résultats démontrent que la combinaison de la rigueur géométrique de la photogrammétrie traditionnelle avec l'efficacité du rendu neuronal moderne est une voie viable vers une reconstruction 3D plus robuste et plus précise. Ce travail suggère que l'avenir de la modélisation 3D ne réside peut-être pas dans le choix entre différentes technologies, mais dans la recherche de moyens de les faire travailler ensemble, en exploitant les forces de chacune pour surmonter les faiblesses de l'autre.