Monocular Endoscopic Tissue 3D Reconstruction with Multi-Level Geometry Regularization

Cet article présente une nouvelle méthode de reconstruction 3D en temps réel des tissus endoscopiques déformables basée sur le 3D Gaussian Splatting, qui intègre une régularisation géométrique multi-niveaux et des contraintes de déformation pour garantir des surfaces lisses et physiquement plausibles.

L'essentiel

🎥 Le Problème : Le "Flou" du Chirurgien

Imaginez que vous êtes un chirurgien robotique. Vous regardez à l'intérieur du corps humain via une petite caméra (un endoscope). Le problème ? Les tissus humains (comme le foie ou l'estomac) sont mous, ils bougent, ils se plient et changent de forme à chaque instant.

Pour aider le robot à opérer avec précision, il a besoin d'une carte 3D parfaite de ces tissus en temps réel. Mais c'est très difficile :

1. Les anciennes méthodes (NeRF) sont comme des sculpteurs très précis mais extrêmement lents. Ils mettent des heures à tailler une statue. En chirurgie, on n'a pas le temps d'attendre !
2. Les nouvelles méthodes rapides (Gaussian Splatting) sont comme des enfants qui lancent des milliers de petites boules de peinture pour former une image. C'est super rapide, mais souvent, les boules ne collent pas bien ensemble. Le résultat ressemble à une soupe de pixels flous, avec des trous et des formes bizarres qui flottent dans le vide.

💡 La Solution : Une Recette en Trois Étapes

Les chercheurs de HKUST(GZ) ont créé une nouvelle méthode qui combine la vitesse des enfants (Gaussian Splatting) avec la précision du sculpteur. Voici comment ils procèdent, étape par étape :

1. Le "Moule" Invisible (Reconstruction Sensible à la Surface)

Imaginez que vous voulez peindre un vase en céramique complexe. Si vous lancez simplement de la peinture au hasard, vous aurez des taches partout.

• L'astuce : D'abord, les chercheurs créent un "moule" virtuel (un maillage 3D) de la surface du tissu, comme si on dessinait le contour exact du vase avant de le remplir.
• L'analogie : Ils utilisent ce moule pour guider les petites boules de peinture (les Gaussians). Au lieu de flotter n'importe où, les boules sont collées à la surface du moule.
• Résultat : Plus de trous, plus de formes bizarres. On obtient une surface lisse et parfaite, même si le tissu bouge.

2. La "Danse Contrôlée" (Déformation Semi-Rigide)

Maintenant, le vase bouge (le patient respire, le chirurgien tire sur un tissu). Comment faire bouger les milliers de boules de peinture sans qu'elles se dispersent ?

• L'astuce : Ils utilisent deux règles de danse :
  • La rigidité locale (Les amis proches) : Si vous tenez la main d'un ami, vous bougez ensemble. Si le tissu se plie légèrement, les points proches doivent rester collés, comme une peau élastique qui ne se déchire pas.
  • La souplesse globale (Le groupe entier) : Si tout le groupe tourne, il doit tourner ensemble, mais en gardant ses distances relatives.
• L'analogie : C'est comme une troupe de danseurs. Chacun garde sa position par rapport à ses voisins immédiats (rigidité locale), mais l'ensemble du groupe peut se déformer pour suivre la musique (non-rigidité globale). Cela empêche les "fantômes" (des boules qui flottent tout seules) d'apparaître.

3. Le "Magasin de Rattrapage" (Inpainting Vidéo)

Parfois, un instrument chirurgical (une pince) cache une partie du tissu. La caméra ne voit plus rien à cet endroit.

• L'astuce : Le système utilise un "magicien" (un modèle d'intelligence artificielle) qui regarde les images avant et après l'obstacle. Il devine ce qui se cache derrière la pince en utilisant le mouvement (flux optique).
• L'analogie : C'est comme si vous regardiez un film où quelqu'un passe devant la caméra. Le logiciel "répare" le film en imaginant ce qui se passe derrière la personne, pour que l'image reste fluide et complète.

🏆 Les Résultats : Pourquoi c'est génial ?

Grâce à cette combinaison intelligente, les chercheurs ont obtenu des résultats incroyables :

• Vitesse de l'éclair : Leur méthode fonctionne en temps réel (plus de 100 images par seconde). C'est 100 fois plus rapide que les anciennes méthodes lentes.
• Qualité de cinéma : Les images reconstruites sont nettes, sans artefacts bizarres, et les textures (les vaisseaux sanguins, les plis) sont très réalistes.
• Économie d'énergie : Cela demande beaucoup moins de puissance de calcul (mémoire vidéo), ce qui est crucial pour que cela puisse un jour être utilisé dans un hôpital avec du matériel standard.

En Résumé

Imaginez que vous devez recréer un paysage en argile qui bouge tout le temps.

• Les anciennes méthodes prenaient des heures pour faire une seule statue parfaite.
• Les méthodes rapides faisaient une statue en 1 seconde, mais elle ressemblait à un tas de sable mouillé qui s'effondre.
• Cette nouvelle méthode, c'est comme avoir un moule magique qui force l'argile à rester lisse, et un chef d'orchestre qui guide chaque particule pour qu'elle bouge avec harmonie. Le résultat est une sculpture parfaite, créée en une fraction de seconde, prête à guider un chirurgien robotique.

C'est une avancée majeure pour rendre la chirurgie robotique plus sûre et plus précise !

Résumé technique

1. Problématique

La reconstruction 3D des tissus chirurgicaux à partir de vidéos endoscopiques est essentielle pour la chirurgie assistée par robot. Cependant, cette tâche présente des défis majeurs :

• Déformabilité et Topologie : Les tissus chirurgicaux sont mous, hautement déformables et subissent des transformations topologiques complexes, ce qui rend difficile la modélisation de la non-rigidité.
• Contraintes de Vue : Les vidéos endoscopiques offrent des perspectives limitées (souvent monoculaires ou stéréo avec des angles restreints) et sont fréquemment obstruées par des instruments chirurgicaux, du sang ou de la fumée.
• Limitations des Méthodes Existantes :
  • Les méthodes basées sur les NeRF (Neural Radiance Fields) offrent une bonne qualité mais souffrent de temps d'entraînement longs et de vitesses de rendu lentes, les rendant inadaptées au temps réel.
  • Les approches récentes basées sur le 3D Gaussian Splatting (3DGS) permettent un rendu rapide mais peinent à produire des surfaces lisses et cohérentes, générant souvent des artefacts visuels et des "floaters" (objets flottants) lors de la reconstruction de surfaces déformables.

2. Méthodologie

Les auteurs proposent une approche novatrice basée sur le 3D Gaussian Splatting enrichie par une régularisation géométrique multi-niveaux. Le pipeline se déroule en trois phases principales :

A. Prétraitement et Préparation

• Appariement de points clés (Sparse Key Point Matching) : Utilisation de SIFT pour identifier des points d'intérêt (intersections vasculaires, textures distinctes) afin de suivre les trajectoires de déformation.
• Inpainting Vidéo : Un modèle d'inpainting guidé par le flux optique (basé sur un Transformer) est utilisé pour reconstruire les régions occluses par les instruments chirurgicaux, assurant une cohérence spatio-temporelle.

B. Reconstruction "Surface-Aware" (Consciente de la Surface)

Pour la première image (cadre de référence), l'objectif est de générer une géométrie de haute qualité avant d'appliquer la déformation :

1. Reconstruction de Maillage : Utilisation de NeuS2 (basé sur les Champs de Distance Signée - SDF) pour générer un maillage 3D précis à partir des images RGB et des cartes de profondeur.
2. Contrainte par Maillage : Les noyaux gaussiens sont initialisés au centre des triangles du maillage.
3. Régularisation : Des termes de perte spécifiques ($L_{scale}$ et $L_{shift}$) sont introduits pour contraindre la taille et le déplacement des gaussiennes à rester cohérents avec la géométrie du maillage sous-jacent, évitant ainsi les distorsions et assurant une surface lisse.

C. Déformation Semi-Rigide

Pour les cadres suivants, le système apprend la déformation des gaussiennes en intégrant deux types de contraintes pour garantir des déformations physiquement plausibles :

1. Restriction de Rigidité Locale (Local Rigidity) : Inspirée de l'approche ARAP (As-Rigid-As-Possible), cette contrainte impose une rigidité maximale dans les petites zones autour des points clés détectés. Elle utilise une perte ($L_{arap}$) pour minimiser la déformation locale non physique.
2. Restriction de Non-Rigidité Globale (Global Non-Rigidity) : Pour gérer les déformations à grande échelle que la rigidité locale ne couvre pas, deux pertes sont appliquées :
   • Perte de Rotation ($L_{rot}$) : Encourage les gaussiennes voisines à avoir des rotations similaires sur de courts intervalles de temps.
   • Perte d'Isométrie ($L_{iso}$) : Garantit que les distances entre les gaussiennes restent constantes sur le long terme, empêchant les éléments de la scène de se disperser.

3. Contributions Clés

1. Reconstruction Endoscopique "Surface-Aware" : Intégration de données RGB, profondeur et flux optique avec des contraintes de maillage pour obtenir des géométries lisses et cohérentes, résolvant le problème des artefacts de surface du 3DGS standard.
2. Guidage de Déformation Semi-Rigide : Une stratégie combinant rigidité locale (autour des points clés) et non-rigidité globale pour modéliser des déformations réalistes tout en éliminant les "floaters" 3D.
3. Approche Multi-Niveaux : Première méthode à adresser spécifiquement le masquage spatio-temporel et la déformation complexe des tissus mous dans un contexte de reconstruction 3D endoscopique, offrant des performances supérieures en texture et géométrie.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données EndoNeRF et SCARED.

• Qualité de Reconstruction : La méthode proposée obtient des scores SOTA (State-of-the-Art) sur les métriques PSNR, SSIM et LPIPS.
  • Sur EndoNeRF : PSNR de 38.05 (Cutting) et 38.27 (Pulling), surpassant EndoNeRF, EndoSurf et EndoGS.
  • Sur SCARED : PSNR de 28.31, supérieur aux méthodes concurrentes.
• Performance et Efficacité :
  • Rendu Temps Réel : > 170 FPS (contre ~0.2 FPS pour NeRF).
  • Temps d'Entraînement : Réduit à environ 2 minutes par scène (contre ~6-7 heures pour les méthodes NeRF).
  • Consommation Mémoire : Seulement 3 Go de GPU (contre ~20 Go pour les méthodes NeRF).
• Études d'Abalation : La suppression de la reconstruction "surface-aware" fait chuter le PSNR à 33.60, prouvant l'importance cruciale de la contrainte de maillage. De même, l'absence de restrictions de rigidité dégrade la cohérence des déformations.

5. Signification et Impact

Ce travail représente une avancée majeure pour la chirurgie robotique assistée par ordinateur. En combinant la rapidité du Gaussian Splatting avec la précision géométrique des maillages et des champs de distance signée, l'approche proposée comble le fossé entre la qualité de reconstruction et la nécessité du temps réel.

• Elle permet une visualisation fluide et précise des tissus déformables, essentielle pour la navigation chirurgicale.
• La réduction drastique des besoins en calcul et en temps d'entraînement rend cette technologie viable pour une intégration clinique future, là où les méthodes NeRF étaient trop lourdes.
• La capacité à gérer les occlusions et les déformations complexes ouvre la voie à de nouvelles applications en réalité augmentée chirurgicale et en planification préopératoire.