NeRFscopy: Neural Radiance Fields for in-vivo Time-Varying Tissues from Endoscopy

Each language version is independently generated for its own context, not a direct translation.

🏥 Le Problème : Regarder à l'intérieur sans voir le tout

Imaginez que vous êtes un médecin. Vous devez opérer un patient, mais vous ne pouvez voir l'intérieur de son corps qu'à travers un petit tube (un endoscope) qui ressemble à une caméra de sécurité miniature.

Le problème ?

C'est plat : La caméra ne donne qu'une image en 2D, comme une photo, alors que le corps est en 3D.
C'est mou : Les organes (estomac, poumons, vaisseaux sanguins) ne sont pas des statues rigides. Ils bougent, se plient, se contractent et changent de forme à chaque respiration ou mouvement du patient.
C'est flou : Il y a souvent du sang, de la lumière qui se reflète bizarrement, ou la caméra bouge de manière imprévisible.

Jusqu'à présent, reconstruire une image 3D précise et vivante de ces organes en mouvement était un cauchemar pour les ordinateurs.

🚀 La Solution : NeRFscopy, le "Magicien 3D"

Les auteurs de cet article (Laura et Antonio) ont créé un outil appelé NeRFscopy. Pour faire simple, c'est un logiciel intelligent qui prend une vidéo classique d'une caméra endoscopique et la transforme en un modèle 3D vivant et déformable.

Voici comment cela fonctionne, avec des analogies simples :

1. L'Idée de Base : Le "Moule de Référence"

Imaginez que vous avez une pâte à modeler (l'organe).

Le monde "Canonique" : Le logiciel imagine d'abord une version "au repos" de cette pâte à modeler, comme si elle était posée sur une table, sans bouger. C'est le champ de radiance canonique. C'est la forme de base.
Le monde "Réel" (en mouvement) : En réalité, la pâte est étirée, tordue et déplacée par le chirurgien ou le patient.

2. Le Secret : La Danse des Transformations (SE(3))

Comment le logiciel sait-il comment la pâte bouge ? Il utilise une astuce mathématique appelée SE(3).

Au lieu de dire "ce point bouge de 1 cm vers la gauche" (ce qui est trop simple pour des organes complexes), le logiciel imagine que chaque petit morceau de l'organe tourne et glisse comme un petit robot.
C'est comme si chaque grain de sable de la pâte avait sa propre petite clé de rotation et de translation. Le logiciel apprend à coordonner tous ces petits mouvements pour que l'ensemble reste cohérent, même si l'organe se tord de manière complexe.

3. L'Entraînement : Apprendre sans Professeur (Auto-supervisé)

Habituellement, pour apprendre à un ordinateur à faire de la 3D, il faut lui montrer des milliers d'exemples avec les bonnes réponses (comme un prof avec un corrigé).

NeRFscopy est un autodidacte. Il regarde la vidéo seule.
Il essaie de deviner la forme 3D, puis il "regarde" cette forme 3D sous un angle différent pour voir si cela correspond à la vidéo réelle.
S'il y a une différence (par exemple, la couleur ne correspond pas), il se corrige lui-même. C'est comme essayer de reconstituer un puzzle en regardant seulement les pièces, sans avoir la photo de la boîte, mais en devinant comment elles s'assemblent grâce à la logique.

4. Les "Règles de Bon Sens" (Les Régularisations)

Pour éviter que le logiciel ne devienne fou et ne crée des formes bizarres (comme un poumon qui devient un cube), les auteurs ont ajouté des "règles de bon sens" :

La règle de la douceur : Les organes ne changent pas de forme brutalement d'une image à l'autre. Le logiciel est forcé de garder des mouvements fluides.
La règle des bords : Si l'image montre un bord net (comme la limite d'un organe), le modèle 3D doit aussi avoir un bord net.
La règle du temps : Ce qui se passe à la seconde 10 doit ressembler à ce qui se passe à la seconde 11, sauf si le chirurgien a bougé l'organe.

🎁 À Quoi Cela Sert ? (Les Résultats)

Grâce à cette méthode, les médecins peuvent :

Voir l'invisible : Créer des vues 3D d'organes qu'ils n'ont jamais vus sous cet angle pendant l'opération.
Planifier : Simuler comment un organe va réagir à une intervention.
Suivre : Comparer la forme d'une tumeur aujourd'hui et dans six mois avec une précision incroyable, même si le patient a bougé différemment.

En résumé :
NeRFscopy est comme un sculpteur virtuel qui regarde une vidéo floue et tremblante d'un organe mou, et qui, grâce à des règles mathématiques astucieuses, reconstruit une statue 3D parfaite et vivante, capable de se déformer exactement comme le vrai tissu.

Les tests montrent que cette méthode est bien meilleure que les précédentes, même sur des vidéos très difficiles avec beaucoup de sang ou de mouvements brusques. C'est une étape de plus vers une chirurgie plus précise et plus sûre ! 🩺✨

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

L'endoscopie est une modalité d'imagerie médicale cruciale pour le diagnostic, le pronostic et le traitement. Cependant, la reconstruction 3D dynamique à partir de vidéos endoscopiques monoculaires (une seule caméra) présente des défis majeurs :

Nature des tissus : Les tissus biologiques in vivo sont déformables et non rigides.
Contraintes d'acquisition : Utilisation de caméras monoculaires, changements d'éclairage, occlusions (par les fluides corporels ou l'endoscope lui-même), manque de texture et mouvements de caméra imprévus.
Limitations des méthodes existantes : Les approches classiques (Structure from Motion, photogrammétrie) et les méthodes récentes basées sur les NeRF (Neural Radiance Fields) ou le Gaussian Splatting sont souvent conçues pour des scènes rigides ou nécessitent des hypothèses fortes (calibrage SfM, modèles pré-entraînés, connaissances a priori sur les points rigides).

L'objectif est de développer une méthode générique et universelle capable de reconstruire la géométrie 3D et de synthétiser de nouvelles vues de tissus déformables sans connaissance préalable de la scène.

2. Méthodologie : NeRFscopy

Les auteurs proposent NeRFscopy, un pipeline auto-supervisé pour la synthèse de nouvelles vues et la reconstruction 3D à partir d'une vidéo endoscopique monoculaire.

A. Architecture du Modèle

Le modèle repose sur une représentation implicite continue de la scène via un réseau de neurones (MLP) :

Champ de radiance canonique ( $F_\Theta$ ) : Représente la forme et l'apparence de la scène dans un espace de référence (canonique).
Champ de déformation temporel ( $G_\Phi$ ) : Modélise les mouvements des tissus. Contrairement aux approches précédentes utilisant des champs de déplacement simples, NeRFscopy utilise un champ de déformation dense paramétré par SE(3).
- Ce champ encode une transformation rigide (rotation et translation) pour chaque point de l'espace à un instant $t$ .
- Il est défini par un axe de vis (screw axis) dans l'algèbre de Lie $so(3)$, permettant de capturer des rotations complexes et simultanées avec moins de paramètres qu'un simple champ de déplacement.
Échantillonnage guidé par la profondeur : Pour adapter NeRF aux entrées monoculaires, le système utilise des algorithmes de profondeur monoculaire pré-entraînés (ex: DPT, Depth-Anything) pour générer des cartes de profondeur relatives. L'échantillonnage des rayons est concentré autour de la surface estimée des tissus, éliminant le besoin d'un échantillonnage hiérarchique (coarse/fine).

B. Fonction de Perte et Régularisation

Le modèle est optimisé de manière auto-supervisée en minimisant une fonction de perte globale ( $L$ ) composée de plusieurs termes :

Perte Photométrique ( $L_C$ ) : Minimise la différence entre les couleurs rendues et les pixels observés.
Perte de Profondeur ( $L_D$ ) : Pénalise l'écart entre la profondeur prédite et la carte de profondeur pré-calculée.
Régularisation de Déformation Locale ( $L_J$ ) : Pénalise la déviation des valeurs singulières de la matrice jacobienne du champ de déformation par rapport à zéro, favorisant des déformations locales cohérentes.
Régularisation de Gradient de Profondeur ( $L_g$ ) : Encourage les discontinuités de profondeur à être nettes, similaires à celles de l'entrée.
Lissage de Profondeur ( $L_s$ ) : Utilise des gradients d'ordre deux pour lisser les régions planes tout en préservant les bords (pondéré par l'intensité de l'image).
Variation Totale Temporelle ( $L_{tv}$ ) : Assure la cohérence temporelle entre les déformations de deux frames consécutives pour éviter des changements brusques.

3. Contributions Clés

Première approche NeRF auto-supervisée générique pour les tissus endoscopiques déformables, ne nécessitant ni modèle pré-entraîné ni segmentation préalable des mouvements.
Intégration d'un champ de déformation SE(3) : Une innovation majeure par rapport aux champs de déplacement standards, permettant de mieux capturer les rotations complexes des tissus avec une efficacité paramétrique supérieure.
Stratégie d'échantillonnage guidée par la profondeur : Adaptation réussie des NeRF pour des vidéos monoculaires sans calibration de caméra rigoureuse.
Combinaison de régularisations sophistiquées : Utilisation conjointe de termes de profondeur, de gradient, de lissage et de cohérence temporelle pour stabiliser l'entraînement sur des données bruyantes et déformables.

4. Résultats Expérimentaux

Les auteurs ont évalué NeRFscopy sur quatre vidéos in vivo réelles (chirurgies cardiaques TECAB, lobectomie pulmonaire, bronchoscopie) et sur le jeu de données EndoNeRF.

Comparaison quantitative : NeRFscopy surpasse systématiquement les méthodes concurrentes (EndoNeRF, EndoSurf, LerPlane-32k, EndoGaussian) en termes de PSNR (rapport signal sur bruit) et de LPIPS (similarité perceptuelle), tout en restant compétitif sur l'indice SSIM.
- Exemple : Sur le jeu de données EndoNeRF, NeRFscopy atteint un PSNR de 37.204 contre 29.831 pour EndoNeRF.
Analyse des composants (Ablation) : L'étude montre que l'ajout des termes de gradient et de lissage améliore significativement la base NeRF. Cependant, le terme de variation temporelle ( $L_{tv}$ ) peut parfois dégrader les performances sur des scènes avec des détails haute fréquence ou des artefacts, suggérant un compromis nécessaire.
Qualité visuelle : Les résultats qualitatifs (Figures 2, 3, 4) démontrent une reconstruction 3D physiquement plausible et une synthèse de nouvelles vues de haute qualité, même dans des conditions d'éclairage variables et de textures faibles.
Limitations : La méthode n'est pas encore temps réel (0,14 FPS), car la priorité a été donnée à l'efficacité de la reconstruction plutôt qu'à la vitesse.

5. Signification et Impact

Ce travail représente une avancée significative pour l'imagerie médicale 3D :

Aide au diagnostic et à la planification : En permettant aux médecins de visualiser les structures anatomiques en 3D et de générer de nouvelles vues après la procédure, cela facilite l'évaluation des nodules et des lésions.
Suivi longitudinal : La capacité à comparer des mesures géométriques entre différentes interventions permet de mieux suivre la progression d'une maladie.
Généricité : La méthode s'applique à divers types d'interventions (gastroscopie, laparoscopie, bronchoscopie) sans nécessiter d'adaptation spécifique au type de tissu, ouvrant la voie à des outils d'assistance chirurgicale plus robustes.

En conclusion, NeRFscopy démontre que les réseaux de neurones implicites, correctement adaptés avec des champs de déformation rigides et des régularisations appropriées, peuvent surmonter les défis complexes de la reconstruction 3D de tissus biologiques déformables en temps réel.