Stop Holding Your Breath: CT-Informed Gaussian Splatting for Dynamic Bronchoscopy

1. Énoncé du problème

Le défi central : La navigation bronchoscopique repose sur l'enregistrement de vidéos endoscopiques en temps réel à des scanners CT préopératoires. Cependant, le mouvement respiratoire provoque une déformation significative des voies aériennes (5–20 mm), créant une « divergence CT-corps » qui limite sévèrement la précision de la localisation.
Limitations actuelles :

• Protocoles de retenue de souffle : Les cliniciens demandent actuellement aux patients de retenir leur souffle pour correspondre au CT statique. Cela est difficile à reproduire de manière cohérente, perturbe le flux de travail et augmente l'inconfort du patient.
• Hypothèses statiques : Les méthodes existantes d'enregistrement vidéo-CT supposent souvent une voie aérienne statique ou utilisent des modèles rigides, échouant à prendre en compte le déplacement global cohérent des voies aériennes causé par la respiration.
• Ambiguïté : En bronchoscopie, le mouvement de la caméra et la déformation des voies aériennes sont intrinsèquement couplés, rendant difficile la séparation des changements de point de vue du mouvement anatomique à l'aide de champs de déformation non contraints.
• Absence d'évaluation : Il n'existe aucun jeu de données avec une vérité terrain dense pour la géométrie, la pose et la phase respiratoire permettant d'évaluer quantitativement les méthodes de reconstruction déformable dans ce domaine.

2. Méthodologie

Les auteurs proposent un cadre qui élimine le besoin de retenue de souffle en exploitant une modélisation respiratoire spécifique au patient dérivée de scanners CT appariés inspiration/expiration (standard pour la planification).

A. Espace de déformation informé par le CT

Au lieu d'apprendre des champs de déformation par image non contraints, la méthode contraint la géométrie des voies aériennes à un sous-espace 1D défini par l'imagerie propre du patient :

• Entrée : Paires de scanners CT d'inspiration ($V_{insp}$) et d'expiration ($V_{exp}$).
• Champ de déformation : Un champ de déplacement fixe $\Delta = V_{exp} - V_{insp}$ est précalculé via un enregistrement CT-CT déformable.
• Paramètre scalaire : L'état des voies aériennes à tout instant $t$ est régi par un unique paramètre scalaire de phase respiratoire $\hat{\alpha}_t \in [0, 1]$, où 0 correspond à l'inspiration complète et 1 à l'expiration complète.
• Interpolation de maillage : Les sommets du maillage sont interpolés linéairement : $V(\hat{\alpha}_t) = V_{insp} + \hat{\alpha}_t \cdot \Delta$. Cela garantit que toutes les configurations reconstruites se situent sur une trajectoire anatomiquement observée.

B. Gaussian Splatting ancré sur le maillage

L'approche s'appuie sur BridgeSplat mais l'adapte au régime bronchoscopique :

• Représentation : Les Gaussiennes 3D sont ancrées à un triangle parent du maillage des voies aériennes à l'aide de coordonnées barycentriques apprises.
• Avantages de l'ancrage : À mesure que le maillage se déforme selon $\hat{\alpha}_t$, les Gaussiennes héritent automatiquement de l'étirement local, de la rotation et de la translation. Cela élimine le besoin de paramètres de déformation par Gaussienne et prévient la « dérive hors surface ».
• Optimisation : Un estimateur léger infère la phase respiratoire $\hat{\alpha}_t$ directement à partir de la vidéo RGB endoscopique.
• Fonction d'activation : Une paramétrisation basée sur le cosinus avec une fuite de gradient linéaire est utilisée pour estimer $\hat{\alpha}_t$. Cela évite la disparition du gradient aux extrêmes (inspiration/expiration complètes), assurant une optimisation stable tout au long du cycle respiratoire.

C. Stratégie d'entraînement

L'optimisation suit un calendrier en trois phases pour empêcher les paramètres d'apparence d'absorber les erreurs géométriques :

1. Optimisation de la phase respiratoire ($\theta_t$) avec l'apparence figée.
2. Optimisation de l'apparence avec la phase figée.
3. Optimisation conjointe.
   La fonction de perte combine la fidélité photométrique (L1 + SSIM) et la régularisation temporelle, éliminant le besoin de termes de régularisation géométrique complexes (comme ARAP) requis par les méthodes non contraintes.

3. Contributions clés

A. Le cadre de simulation RESPIRE

Pour permettre une évaluation quantitative, les auteurs ont introduit RESPIRE (Respiratory Endoscopic Scenes with Paired Inspiration-expiration CTs for REconstruction) :

• Fondé sur la physique : Génère des vidéos de bronchoscopie synthétiques réalistes à partir de n'importe quelle paire de scanners CT inspiration/expiration.
• Vérité terrain dense : Fournit des annotations par image pour la géométrie, la pose, la phase respiratoire et la déformation.
• Réalisme : Utilise le rendu basé sur la physique (PBR) dans Blender avec diffusion sous-surface, réflexions spéculaires et éclairage variable pour imiter l'apparence clinique des tissus et le comportement de la caméra.
• Signification : Il s'agit du premier cadre permettant un benchmark rigoureux de la reconstruction bronchoscopique consciente de la déformation.

B. Gaussian Splatting informé par le CT

• Nouveauté : Première application du Gaussian Splatting à la bronchoscopie dynamique qui modélise explicitement le mouvement respiratoire en utilisant des données CT cliniques.
• Efficacité : Remplace l'apprentissage complexe de déformations non contraintes par un unique paramètre scalaire, réduisant drastiquement le coût computationnel.
• Flux de travail clinique : Élimine le besoin de protocoles de retenue de souffle, permettant une navigation continue pendant la respiration normale.

4. Résultats expérimentaux

Des expériences ont été menées sur 9 cas issus du jeu de données COPDGene en utilisant le pipeline RESPIRE.

Métrique	Performance par rapport aux bases (BridgeSplat)
Précision de profondeur	Réduction de l'RMSE de 94 % (de 53,8 mm à 3,2 mm).
Qualité de rendu	Amélioration du PSNR de 32 % et du SSIM de 20 % par rapport aux bases non contraintes.
Phase respiratoire	Atteint un MAE de 0,158 et un Pearson $r$ de 0,833 dans l'estimation de la phase respiratoire à partir du seul RGB.
Localisation de cible	Atteint une erreur de localisation de cible de 1,22 mm (RMSE de contour : 1,24 mm). Cela se situe bien dans la tolérance clinique d'environ 3 mm pour le ciblage des biopsies.
Vitesse d'entraînement	Temps d'entraînement 22 fois plus rapide (17,4 min contre 383,4 min) par rapport à BridgeSplat non contraint.

Résultat clé : La méthode récupère avec succès des reconstructions fidèles géométriquement et des phases respiratoires précises sans retenue de souffle, surpassant les bases à CT unique qui échouent à modéliser la déformation.

5. Signification et impact

• Pertinence clinique : En atteignant une précision de localisation dans la tolérance clinique de 3 mm, cette méthode résout efficacement le problème de « divergence CT-corps » causé par la respiration. Cela pourrait éliminer le besoin de protocoles de retenue de souffle difficiles et inconfortables lors des biopsies pulmonaires.
• Intégration au flux de travail : Puisque les scanners CT appariés inspiration/expiration sont déjà standard pour la planification préopératoire, la méthode ne nécessite qu'une acquisition supplémentaire modeste (la deuxième phase) pour permettre une navigation haute précision.
• Benchmarking : L'introduction de RESPIRE comble une lacune critique dans le domaine, fournissant le premier jeu de données avec une vérité terrain dense pour évaluer la reconstruction bronchoscopique dynamique.
• Généralisabilité : L'approche démontre que contraindre la reconstruction à un sous-espace de faible dimension valide physiologiquement (dérivé des données du patient) est supérieur à l'apprentissage de déformations non contraintes dans des scénarios avec de grands déplacements de caméra et un mouvement global cohérent.

Limites et travaux futurs :

• Dépendance à une segmentation précise des voies aériennes (peut nécessiter un affinage manuel).
• Le modèle de déformation linéaire actuel ne capture pas la dynamique non linéaire pression-volume aux phases intermédiaires.
• Suppose une pose de caméra connue ; les travaux futurs visent à estimer conjointement la pose et la phase respiratoire pour une navigation entièrement auto-supervisée.