From Geometric Initialization to Gaussian Refinement: A Depth-Prior-Guided Framework for Monocular Endoscopic 3D Gaussian Reconstruction

À l'intérieur du corps humain, la vue d'un chirurgien est souvent limitée au tunnel étroit et mouvant d'un endoscope. Pour naviguer en toute sécurité et accomplir des tâches délicates, les médecins s'appuient sur des systèmes assistés par ordinateur capables de construire une carte tridimensionnelle du site chirurgical à partir d'un flux vidéo unique. C'est un défi difficile car l'intérieur du corps n'est pas une pièce statique et bien éclairée. C'est un paysage de tissus mous et humides qui bougent, s'étirent et se déforment à chaque respiration et à chaque battement de cœur. Les surfaces sont souvent glissantes et réfléchissantes, avec peu de motifs distincts sur lesquels un ordinateur pourrait s'accrocher. Lorsque la lumière de la caméra frappe une surface humide, elle crée des points brillants et aveuglants qui déroutent les algorithmes de vision standards. Pendant des années, des chercheurs ont tenté de construire ces cartes 3D en utilisant des techniques qui suivent le mouvement des caractéristiques d'une image vidéo à la suivante, mais dans l'environnement chaotique de la chirurgie, ces caractéristiques disparaissent ou deviennent floues, laissant l'ordinateur avec une compréhension fragmentée et incomplète de la scène.

Récemment, une nouvelle approche appelée « 3D Gaussian Splatting » est apparue comme un outil puissant pour créer ces cartes. Imaginez une scène non pas comme un maillage solide ou un nuage continu, mais comme une collection de millions de minuscules ellipsoïdes colorés et diffus flottant dans l'espace. Chacune de ces petites formes contient des informations sur la couleur et la profondeur, et lorsque l'ordinateur les regarde sous un angle spécifique, il les mélange pour créer une image nette et réaliste. Cette méthode est incroyablement rapide et efficace par rapport aux techniques plus anciennes, mais elle présente une faiblesse critique : elle nécessite un excellent point de départ. Si l'ordinateur commence avec un ensemble de formes flottantes éparses, clairsemées ou inexactes, la carte 3D finale sera déformée, floue ou présentera de larges sections manquantes. Dans le contexte de la chirurgie, un mauvais point de départ signifie que l'ordinateur pourrait mal évaluer la distance par rapport à un organe vital, une erreur dangereuse pour un chirurgien s'appuyant sur le système.

Une équipe de chercheurs a développé un nouveau cadre de travail pour résoudre ce problème, spécifiquement conçu pour les conditions difficiles de la chirurgie endoscopique monoculaire. Leur travail traite les deux étapes principales où les erreurs surviennent généralement : la création initiale de la carte 3D et le polissage ultérieur de cette carte pour la rendre précise. Au lieu de s'appuyer sur une source unique d'information pour deviner la profondeur du tissu, ils ont créé un système qui écoute simultanément plusieurs « experts » de l'estimation de la profondeur. Il s'agit de différents modèles informatiques, chacun entraîné pour prédire la distance des objets, mais chacun possédant ses propres forces et faiblesses. Un modèle peut être bon pour voir les bords, tandis qu'un autre est meilleur pour comprendre les surfaces lisses. Les chercheurs ont constaté que lorsqu'ils choisissaient simplement la meilleure supposition d'un seul modèle, le résultat était souvent biaisé ou incohérent. Pour corriger cela, ils ont construit un système collaboratif qui aligne les prédictions de ces différents experts, trouvant un terrain d'entente où leurs estimations concordent, puis les fusionne en un guide unique et robuste. Ce guide fusionné agit comme un plan fiable, permettant à l'ordinateur de placer des millions de ces minuscules formes 3D de manière dense et précise dès le début, plutôt que de lutter pour combler les lacunes plus tard.

Cependant, même avec un bon plan initial, la carte peut encore développer de petites erreurs lorsque l'ordinateur tente de raffiner l'image. Le tissu dans le corps possède des détails fins — des crêtes subtiles, de minuscules vaisseaux sanguins et des limites nettes entre différents types d'organes — qui sont facilement lissés ou perdus lors du processus de raffinement. Pour préserver ces structures délicates, les chercheurs ont introduit une nouvelle façon de vérifier le travail. Au lieu de simplement regarder l'image finale pour voir si les couleurs correspondent, ils examinent l'image à travers trois lentilles différentes simultanément. Ils vérifient la forme et la couleur globales, mais ils analysent également l'image d'une manière qui met en évidence les textures fines et les bords nets, et une autre manière qui se concentre spécifiquement sur la direction et la force des contours. En appliquant ces trois contrôles en même temps, le système est contraint de maintenir les détails fins nets et les bords précis, empêchant l'image de devenir floue ou de perdre son intégrité structurelle. Cette approche multicouche garantit que la reconstruction 3D finale n'est pas seulement une approximation grossière, mais une représentation de haute fidélité de la scène chirurgicale.

L'équipe a testé sa méthode sur deux ensembles de données réels contenant de véritables séquences vidéo chirurgicales. Les résultats ont montré une amélioration claire par rapport aux méthodes précédentes. Sur un ensemble de données, leur système a produit des images nettement plus claires et plus précises, avec une mesure de la qualité d'image s'améliorant de près de 8 % par rapport à la meilleure technique existante. Sur l'autre ensemble de données, l'amélioration est encore plus prononcée, avec un gain de qualité de plus de 4 %. Plus important encore, les images paraissent plus naturelles à l'œil humain, avec moins d'artefacts distrayants et une meilleure préservation des détails anatomiques fins. Le système a obtenu ces résultats en seulement quelques minutes de temps de traitement, ce qui le rend assez rapide pour être utile dans un cadre clinique, tout en utilisant une quantité de mémoire informatique gérable. Les chercheurs ont démontré qu'en combinant une approche intelligente et collaborative pour construire la carte 3D initiale avec une méthode rigoureuse et multidimensionnelle pour la raffiner, ils pouvaient surmonter les défis spécifiques des textures faibles et de la déformation des tissus qui entravent depuis longtemps la reconstruction endoscopique. Ce travail suggère que l'avenir de la navigation chirurgicale reposera moins sur la recherche d'un algorithme parfait unique que sur l'orchestration de multiples algorithmes imparfaits pour créer une vérité unique et fiable.