4D Monocular Surgical Reconstruction under Arbitrary Camera Motions

L'article présente Local-EndoGS, un cadre de reconstruction 4D de scènes chirurgicales déformables à partir de séquences endoscopiques monoculaires avec des mouvements de caméra arbitraires, surmontant les limitations des méthodes actuelles grâce à une représentation globale progressive et une stratégie d'initialisation robuste.

L'essentiel

🏥 Le Problème : La Chirurgie en "Casse-Tête"

Imaginez que vous essayez de reconstruire un château de sable en 3D, mais avec deux contraintes bizarres :

1. Le vent souffle : Le château bouge, s'écrase et change de forme tout le temps (c'est comme les tissus humains qui respirent ou qui sont touchés par des instruments chirurgicaux).
2. Vous n'avez qu'un seul œil : Vous ne pouvez utiliser qu'une seule caméra (le moniteur de l'endoscope) pour voir le monde, alors que pour bien voir en 3D, on a généralement besoin de deux yeux (stéréo).

Jusqu'à présent, les ordinateurs étaient très mauvais pour faire ce travail. Si la caméra bougeait un peu trop, ils perdaient le fil et le modèle 3D devenait une soupe floue. C'est comme essayer de dessiner un portrait de quelqu'un qui court dans le vent en regardant à travers un trou de serrature : c'est presque impossible.

💡 La Solution : Local-EndoGS (Le "Cinéma Local")

Les chercheurs de l'article proposent une nouvelle méthode appelée Local-EndoGS. Pour comprendre comment ça marche, utilisons une analogie avec la réalisation d'un film.

1. Au lieu d'un seul long métrage, on fait des "scènes" (La Fenêtre Progressive)

Les anciennes méthodes essayaient de tout filmer en une seule prise continue. Si le chirurgien bougeait la caméra de trop, tout le film devenait faux.

Local-EndoGS, lui, découpe le film en petites scènes (des fenêtres).

• Imaginez que vous regardez une longue vidéo de voyage. Au lieu d'essayer de tout mémoriser d'un coup, vous vous concentrez sur la ville où vous êtes maintenant.
• Dès que la caméra bouge trop ou que le décor change radicalement, on "ferme" la scène actuelle et on en ouvre une nouvelle.
• Cela permet à l'ordinateur de se concentrer sur un petit morceau de tissu qui bouge de manière cohérente, sans se perdre dans le chaos du mouvement global. C'est comme si l'ordinateur disait : "Ok, je gère ce petit bout de foie qui bouge ici. Une fois fini, je passe au suivant."

2. Le Démarrage Intelligent (L'Entraînement du Débutant)

Pour reconstruire un objet en 3D, il faut bien commencer. Les anciennes méthodes avaient besoin d'une caméra stéréo (deux yeux) ou d'un système GPS très précis pour se lancer. Mais en chirurgie, on n'a souvent qu'un seul œil et pas de GPS.

Local-EndoGS utilise une astuce de "démarrage en douceur" (du grossier au fin) :

• Étape 1 (Le Brouillon) : Il utilise la géométrie de base et les mouvements de la caméra pour faire un premier croquis approximatif, comme un architecte qui trace les murs au crayon.
• Étape 2 (Le Perfectionnement) : Il regarde les erreurs de ce croquis. Là où c'est flou, il utilise une "devinette" intelligente (basée sur la profondeur d'une seule image) pour corriger les détails.
• Le Secret : Il utilise aussi les scènes précédentes pour aider les suivantes. C'est comme si, en passant d'une pièce à l'autre dans une maison, vous gardiez en tête la taille des portes pour ne pas vous tromper d'échelle dans la nouvelle pièce.

3. Les Lois de la Physique (Le Gardien de la Réalité)

Parfois, les ordinateurs sont trop créatifs et font des choses impossibles (comme faire flotter un organe ou le faire tourner comme un hélicoptère).

Pour éviter ça, Local-EndoGS impose des règles de physique :

• Rigidité locale : Si deux points sont collés sur un tissu, ils doivent bouger ensemble, comme une feuille de papier.
• Pas de magie : Le tissu ne peut pas s'étirer comme du chewing-gum ou se déchirer tout seul (sauf si le chirurgien coupe, mais c'est une autre histoire).
• C'est comme un sculpteur qui a des règles strictes : "Tu peux modeler l'argile, mais tu ne peux pas la faire passer à travers le mur."

🚀 Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, les chercheurs ont montré que :

1. La qualité est incroyable : Les images reconstruites sont nettes, même quand la caméra bouge beaucoup.
2. La géométrie est juste : On peut mesurer la profondeur des tissus avec précision, ce qui est vital pour la chirurgie.
3. C'est rapide : Contrairement aux anciennes méthodes qui prenaient des heures pour calculer une image, celle-ci est très rapide, presque en temps réel.

En Résumé

Imaginez que vous voulez créer une carte 3D parfaite d'un océan agité en utilisant seulement une photo prise par un drone qui vole de manière erratique.

• Les anciennes méthodes s'effondraient dès que le drone tournait.
• Local-EndoGS, c'est comme avoir un chef d'orchestre qui découpe la musique en petites mesures, ajuste l'instrumentation à chaque mesure, et s'assure que chaque musicien respecte le rythme de la mer.

C'est une avancée majeure pour la chirurgie, car cela permet aux médecins de voir en 3D, en temps réel, l'intérieur du corps de leurs patients, même si le chirurgien bouge beaucoup la caméra, ouvrant la voie à des opérations plus sûres et à une meilleure formation des futurs chirurgiens.

Résumé technique

1. Problématique et Contexte

La reconstruction de scènes chirurgicales déformables à partir de vidéos endoscopiques est une tâche cruciale pour des applications cliniques telles que la simulation chirurgicale, la formation par réalité augmentée et la planification préopératoire. Cependant, cette tâche présente des défis majeurs :

• Déformations tissulaires : Les mouvements physiologiques (respiration, battements cardiaques) et les interactions avec les instruments chirurgicaux provoquent des déformations complexes et non rigides des tissus mous.
• Contraintes monoculaires et de profondeur : Les endoscopes sont monoscopiques (une seule caméra), ce qui rend l'estimation de la profondeur ambiguë (problème d'échelle). De plus, l'espace confiné limite les angles de vue et les indices 3D.
• Limitations des méthodes existantes : Les approches récentes basées sur les représentations implicites (NeRF) ou le 3D Gaussian Splatting (3DGS) fonctionnent bien pour des scènes avec une caméra fixe ou des mouvements limités. Elles reposent souvent sur des priors de profondeur stéréoscopiques ou des algorithmes de Structure-from-Motion (SfM) précis (comme COLMAP) pour l'initialisation. Or, ces méthodes échouent ou dégradent fortement leurs performances lorsque la caméra endoscopique effectue de grands mouvements arbitraires, car elles peinent à associer de nouveaux contenus visuels à un espace canonique unique et ne peuvent pas gérer l'ambiguïté d'échelle des données monoculaires.

2. Méthodologie : Local-EndoGS

Les auteurs proposent Local-EndoGS, un cadre de reconstruction 4D haute qualité conçu spécifiquement pour les séquences endoscopiques monoculaires avec des mouvements de caméra arbitraires. L'approche repose sur quatre piliers principaux :

A. Représentation Globale de Scène Progressive et par Fenêtres

Au lieu d'utiliser un seul espace canonique pour toute la séquence (ce qui échoue lors de grands déplacements), la méthode divise dynamiquement la séquence vidéo en plusieurs fenêtres locales contiguës.

• Partitionnement adaptatif : La taille des fenêtres est déterminée par les caractéristiques dynamiques de la séquence (changement de pose de la caméra et variation de contenu RGB). Cela permet de maintenir une cohérence visuelle au sein de chaque fenêtre.
• Optimisation progressive : Chaque fenêtre est modélisée par une représentation locale déformable (un espace canonique local + un champ de déformation). Les paramètres sont optimisés séquentiellement : une fois une fenêtre optimisée, ses paramètres sont sauvegardés avant de passer à la suivante. Cela assure l'évolutivité pour de longues séquences.

B. Initialisation de l'Espace Canonique Local (Coarse-to-Fine)

Pour pallier le manque de priors de profondeur stéréoscopiques et la difficulté du SfM sur des tissus déformables, une stratégie d'initialisation robuste est proposée :

• Phase grossière (Coarse) : Utilisation de la géométrie multi-vue et d'informations inter-fenêtres. Un modèle de suivi de points 2D (Track-Any-Point - TAP) est utilisé pour établir des correspondances denses et fiables entre les images, évitant les échecs des méthodes traditionnelles (SIFT) dans des environnements endoscopiques pauvres en textures. Ces correspondances permettent de trianguler un nuage de points dense et cohérent en échelle. Les informations des fenêtres précédentes sont propagées pour initialiser les suivantes, assurant la cohérence de l'échelle globale.
• Phase fine (Fine) : Une raffinement guidé par l'erreur utilise des priors de profondeur monoculaires (réseaux de profondeur pré-entraînés) alignés sur la profondeur rendue. Les régions présentant une forte erreur de reconstruction sont corrigées par rétro-projection, affinant ainsi la géométrie sans dépendre de la stéréoscopie.

C. Représentation de Scène Déformable Locale

Pour chaque fenêtre, la méthode utilise 3D Gaussian Splatting (3DGS) combiné à un réseau de déformation.

• Un espace canonique local (représenté par des Gaussiennes 3D) est déformé dans le temps via un réseau neuronal qui prédit les changements de position, de rotation et d'échelle.
• Un mécanisme de "cycle de vie" permet d'activer ou de désactiver les Gaussiennes pour gérer les changements topologiques (ex: tissus qui disparaissent ou apparaissent).

D. Contraintes d'Optimisation et Priors Physiques

L'optimisation intègre plusieurs fonctions de perte pour garantir la plausibilité physique :

• Perte de rendu (Lrgb) : Cohérence des couleurs.
• Perte de suivi 2D (Ltrack) : Utilisation des trajectoires de pixels fournies par le modèle TAP pour superviser la cohérence temporelle des mouvements.
• Régularisation basée sur la physique : Trois contraintes (rigidité locale, similarité de rotation, isométrie locale) sont appliquées pour empêcher les déformations non physiques et préserver la structure des tissus mous.

3. Contributions Clés

1. Premier cadre 4D monoculaire pour mouvements arbitraires : Local-EndoGS est la première méthode capable de reconstruire des scènes chirurgicales déformables de haute qualité à partir de séquences monoculaires avec des mouvements de caméra importants, sans dépendre de la stéréoscopie.
2. Stratégie d'initialisation robuste : Une méthode d'initialisation "du grossier au fin" qui intègre la géométrie multi-vue, les informations inter-fenêtres et les priors monoculaires, éliminant le besoin de priors de profondeur stéréo ou de SfM précis.
3. Représentation évolutive par fenêtres : Une approche progressive qui permet de gérer des séquences longues et dynamiques en évitant les erreurs d'association causées par les grands déplacements de caméra.
4. Intégration de contraintes physiques : L'ajout de contraintes de trajectoire 2D à long terme et de priors de mouvement physique améliore la précision et la plausibilité des déformations.

4. Résultats Expérimentaux

L'évaluation a été menée sur trois jeux de données publics (EndoNeRF, StereoMIS, EndoMapper) couvrant des mouvements de caméra fixes, circulaires et en avant.

• Qualité d'apparence : Local-EndoGS surpasse systématiquement les méthodes de l'état de l'art (y compris EndoNeRF, EndoSurf, Deform3DGS, EH-SurGS) en termes de PSNR, SSIM et LPIPS. Sur le jeu de données StereoMIS (caméra en mouvement), l'amélioration du PSNR par rapport à la deuxième meilleure méthode atteint 24,1 % à 31,6 %.
• Précision géométrique : La méthode démontre une supériorité marquée dans la prédiction de la profondeur, réduisant significativement les erreurs relatives (Abs Rel, RMSE). Par exemple, sur StereoMIS, l'erreur RMSE est réduite de plus de 70 % par rapport aux meilleures méthodes existantes.
• Efficacité : Bien que le temps d'entraînement augmente avec la longueur de la séquence (due à l'optimisation progressive), la méthode atteint une vitesse de rendu en temps réel (>300 FPS), bien supérieure aux méthodes implicites (NeRF) et compétitive avec d'autres méthodes 3DGS.
• Études d'ablation : Elles confirment que chaque composant (fenêtres adaptatives, initialisation TAP, régularisation physique) est essentiel pour la performance globale.

5. Signification et Impact

Ce travail représente une avancée significative pour la vision par ordinateur médicale. En résolvant le problème de la reconstruction 4D sous des mouvements de caméra arbitraires avec une seule caméra, Local-EndoGS rend la reconstruction chirurgicale 3D/4D plus applicable aux scénarios cliniques réels où les chirurgiens déplacent librement l'endoscope.

• Applications potentielles : Planification chirurgicale personnalisée, formation par simulation réaliste, et assistance en temps réel (bien que l'optimisation soit actuellement hors ligne, le rendu est rapide).
• Limitations et perspectives : La méthode hérite des limitations de la 3DGS concernant la cohérence multi-vue des surfaces et est actuellement conçue pour un traitement hors ligne. Les travaux futurs visent à améliorer la cohérence des surfaces, à accélérer l'entraînement pour le temps réel, et à gérer les changements topologiques complexes (coupures, déchirures).

En résumé, Local-EndoGS établit un nouvel état de l'art pour la reconstruction chirurgicale 4D monoculaire, offrant une solution robuste, précise et physiquement plausible aux défis posés par les mouvements de caméra et les déformations des tissus.