Résumé Technique : Représentations Endoscopiques Géométriquement Cohérentes pour la Navigation Guidée par l'Image via l'Adaptation de Modèles de Fondation Structurés

1. Énoncé du Problème

La navigation précise basée sur la vision en endoscopie monoculaire (ex. : bronchoscopie, chirurgie des sinus, coloscopie) est entravée par l'absence d'indices de profondeur, des textures tissulaires faibles, des déformations non rigides et des variations d'apparence significatives entre différents domaines cliniques. Ces facteurs compliquent l'estimation de la pose, la prédiction de la profondeur et l'alignement image-anatomie. Bien que les modèles de fondation (FM) de vision récents offrent des représentations pré-entraînées puissantes, ils manquent souvent de caractéristiques géométriquement cohérentes nécessaires à un raisonnement spatial stable. De plus, l'adaptation de ces grands modèles aux scènes endoscopiques est difficile en raison de la rareté des jeux de données cliniques à grande échelle et étiquetés contenant des supervisions géométriques précises (ex. : poses de caméra, structure 3D, profondeur dense). Les méthodes existantes se concentrent soit sur la perception sémantique sans imposer de cohérence géométrique, soit reposent sur un pré-entraînement spécifique au domaine qui reste sensible aux changements de domaine liés au matériel et à l'illumination.

2. Méthodologie

Les auteurs proposent un cadre unifié pour apprendre des représentations d'images géométriquement cohérentes et robustes au domaine via trois composantes centrales :

A. Pipeline de Données Synthétiques avec Randomisation de Domaine Multi-Niveaux

Pour surmonter le manque de labels géométriques cliniques, le cadre utilise un jeu de données synthétiques conçu à partir de modèles anatomiques dérivés de la CT-scan.

• Génération : Des vues endoscopiques virtuelles sont rendues le long de trajectoires de caméra échantillonnées pour produire des images appariées avec la profondeur de vérité terrain (ground-truth) et les poses relatives.
• Augmentation : Pour combler le fossé sim-to-real, le pipeline utilise CycleGAN pour une translation d'apparence réaliste et inclut quatre modalités d'image (RGB, RGB synthétique, profondeur rendue et prédictions de disparité standard).
• Randomisation : L'entraînement implique une randomisation extensive, incluant des transformations photométriques, du flou, du bruit, des déformations par spline de base lisse (thin-plate spline) et un remaniement au niveau des paires pour assurer l'invariance du domaine.

B. Adaptation Géométrie-Sémantique Hiérarchique (HGSA)

Au lieu de fine-tuner uniformément l'ensemble du modèle de fondation, les auteurs introduisent l'HGSA, une stratégie d'adaptation structurée qui insère des adaptateurs de bas rang (LoRA) sélectivement dans des couches spécifiques d'un Transformer de vision pré-entraîné.

• Recherche Hiérarchique : Le cadre emploie une recherche de grossier à fin pour déterminer la configuration d'adaptateur optimale, incluant :
  1. Placement des Couches : Identification des couches du transformer ($L_a$) qui bénéficient le plus de l'adaptation (ex. : les couches 5 à 12 ont été jugées optimales).
  2. Modules Cibles : Sélection des projections d'attention ($V, QV, QVK, QVKO$) à modifier.
  3. Capacité : Ajustement du rang de l'adaptateur ($r$) et du facteur d'échelle ($\alpha$).
• Raisonnement : Cette approche aligne l'adaptation avec la hiérarchie inhérente du transformer, encourageant les couches intermédiaires à apprendre des correspondances géométriques tout en préservant l'abstraction sémantique dans les couches plus profondes.

C. Objectifs de Supervision Hiérarchiques

L'objectif d'entraînement combine trois termes de perte pour imposer à la fois la cohérence géométrique et la robustesse sémantique :

1. Correspondance de Caractéristiques Géométriques ($L_{ms}$) : Appliquée aux caractéristiques intermédiaires, cette perte utilise une perte de jetons multi-échelle combinant PatchNCE et une perte de reprojection cosinus. Elle déforme les caractéristiques d'une vue à une autre en utilisant des champs de flux de vérité terrain dérivés de la profondeur synthétique, imposant une cohérence spatiale.
2. Régularisation de Représentation Sémantique ($L_{InfoNCE}$) : Appliquée aux jetons globaux dans les couches plus profondes, cette perte contrastive par instance aligne les plongements (embeddings) de scène des vues appariées, assurant la cohérence sémantique à travers les domaines.
3. Distillation de l'Enseignant ($L_{Gram}$) : Une régularisation basée sur la matrice de Gram utilisant un modèle enseignant DINO gelé pour préserver la structure de corrélation des caractéristiques de patch, empêchant le modèle de trop se focaliser sur la sémantique globale au détriment de la fidélité spatiale.

3. Contributions Clés

Le papier revendique les contributions suivantes :

• Pipeline Unifié : Un cadre de bout en bout intégrant un jeu de données géométriques synthétiques, le mécanisme HGSA, et des objectifs hiérarchiques par couche pour apprendre des représentations endoscopiques qui sont à la fois géométriquement cohérentes et robustes au domaine.
• Efficacité de l'HGSA : Des expériences contrôlées démontrant que l'HGSA est une stratégie d'adaptation efficace qui améliore la qualité des représentations. Les représentations résultantes supportent des tâches de navigation en aval (estimation de la pose et de la profondeur) et restent utiles à travers différents domaines endoscopiques.
• Généralisation et Scalabilité :
  • Transfert Sim-to-Real : Transfert robuste démontré de la bronchoscopie synthétique vers des vidéos de patients réels sans adaptation supplémentaire de l'encodeur.
  • Transfert Cross-Domain : Capacité démontrée à adapter des encodeurs entraînés sur la bronchoscopie aux ensembles de données de sinus et de coloscopie sous une supervision limitée.
  • Scalabilité : Validation que le cadre passe favorablement à des modèles de backbone plus larges (ViT-S à ViT-L) et à des tailles de données d'entraînement accrues.

4. Résultats Expérimentaux

Le cadre a été évalué sur des jeux de données de bronchoscopie, de sinus et de coloscopie en utilisant le probing linéaire et des tâches de navigation en aval.

• Qualité de la Représentation (Probing) :

  • Les configurations HGSA (spécifiquement Cfg 7.4.8 : couches 5–12, modules QVKO, rang 32, échelle 64) ont obtenu les scores de probing combinés ($S_{probe}$) les plus élevés, équilibrant la précision sémantique (classification de scène) et la précision géométrique (estimation de la profondeur).
  • Les études d'ablation ont confirmé que le retrait de n'importe quel composant (HGSA, supervision par déformation, pertes contrastives) dégradait les performances, $L_{InfoNCE}$ étant critique pour la séparabilité sémantique et $L_{ms}$ pour la cohérence géométrique.
  • Les métriques de correspondance géométrique au niveau des jetons (PCK@1, similitude cosinus) ont montré que la méthode proposée surpasse à la fois le DINO vanilla et les baselines LoRA complètes.

• Tâches de Navigation en Aval :

  • Estimation de la Pose : Sur des vidéos de bronchoscopie réelles, l'encodeur proposé a atteint un meilleur alignement image-rendu (métriques NC, DS, SI) par rapport aux baselines, indiquant une optimisation de pose plus précise.
  • Estimation de la Profondeur : La méthode a produit des cartes de profondeur structurellement plus cohérentes.
  • Transfert Cross-Domain : Lorsqu'il est adapté au sinus et à la coloscopie avec des données cibles limitées, le cadre a systématiquement surpassé les baselines vanilla et LoRA complète en estimation de profondeur. Les améliorations de l'estimation de la pose étaient significatives pour la coloscopie mais plus modestes pour le sinus, attribuées à la taille limitée du jeu de données de sinus pour le fine-tuning.

• Scalabilité : Les performances se sont améliorées de manière monotone avec des backbones plus larges (ViT-L > ViT-B > ViT-S) et des sous-ensembles de données d'entraînement plus importants (100% > 50% > 25%), suggérant l'absence de saturation précoce.

5. Signification et Revendications

Les auteurs positionnent ce travail comme une approche pratique pour l'apprentissage de représentations endoscopiques qui comble l'écart critique entre les modèles de fondation génériques et les exigences géométriques spécifiques de la navigation chirurgicale.

• Utilité Pratique : Le cadre offre une voie scalable vers des outils de navigation robustes sans nécessiter d'annotations cliniques denses, en exploitant les données synthétiques et l'adaptation structurée.
• Revendications Modestes sur la Généralisation : Les auteurs notent explicitement que bien que le cadre montre une transférabilité prometteuse vers le sinus et la coloscopie, les résultats sont basés sur une adaptation limitée au domaine cible plutôt que sur une généralisation zero-shot. Ils reconnaissent que les variations de performance (ex. : en endoscopie du sinus) soulignent la nécessité de données supplémentaires ou d'une adaptation ciblée dans des domaines spécifiques.
• Insight Central : Le papier soutient qu'une "adaptation hiérarchique, guidée par la géométrie" est essentielle pour transformer les caractéristiques visuelles génériques en représentations capables de supporter un raisonnement stable et géométriquement cohérent dans l'environnement exigeant de l'endoscopie.