Structure-to-Image: Zero-Shot Depth Estimation in Colonoscopy via High-Fidelity Sim-to-Real Adaptation

Cette étude propose un paradigme « Structure-to-Image » novateur pour l'estimation de profondeur en coloscopie, qui transforme les cartes de profondeur en fondation générative active et intègre la congruence de phase pour combler l'écart de domaine entre simulation et réalité, permettant ainsi une réduction significative de l'erreur RMSE en configuration zero-shot.

L'essentiel

🎯 Le Problème : Le "Faux-semblant" du Chirurgien

Imaginez que vous essayez d'apprendre à un robot (une intelligence artificielle) à naviguer dans les intestins d'un humain pour détecter des tumeurs. C'est ce qu'on appelle une coloscopie.

Le problème, c'est que le robot n'a jamais vu un vrai intestin. Il a seulement été entraîné sur des images de synthèse (des dessins d'ordinateur très réalistes).

• Le hic : Les dessins d'ordinateur sont trop "propres". Ils n'ont pas les petites veines, les reflets de la lumière ou les textures réelles.
• La conséquence : Quand le robot regarde un vrai patient, il est perdu. Il ne comprend pas la profondeur (est-ce que cette tâche est un repli de l'intestin ou un polype ?). C'est comme essayer de conduire une voiture dans la vraie vie après avoir seulement joué à un jeu vidéo avec des graphismes trop lisses.

💡 La Solution : Le Paradigme "Structure vers Image"

Les chercheurs proposent une nouvelle façon de faire, qu'ils appellent "Structure vers Image".

L'analogie du Chef Cuisinier :
Imaginez que vous voulez apprendre à un chef à dessiner un gâteau réaliste.

• L'ancienne méthode (Image vers Image) : On donne au chef une photo d'un gâteau en carton (synthétique) et on lui dit : "Peins par-dessus pour que ça ressemble à du vrai". Le chef essaie de deviner la forme et la texture en même temps. Souvent, il déforme le gâteau pour ajouter du réalisme, ou il garde la forme mais le gâteau reste en carton. C'est un équilibre difficile.
• La nouvelle méthode (Structure vers Image) : On donne au chef l'architecture exacte du gâteau (les couches, la forme, la hauteur) et on lui dit : "Maintenant, peins simplement la crème et les fruits sur cette structure".
  • Ici, la "structure" (la carte de profondeur) n'est plus une contrainte passive, c'est la fondation active. Le modèle ne cherche plus à inventer la forme, il se concentre uniquement sur l'ajout de la "peau" réaliste (les veines, les reflets) sur cette base solide.

🔍 Les Outils Magiques : Le "Détecteur de Vérité"

Pour s'assurer que le chef ne triche pas, les chercheurs ont inventé deux règles strictes (les "contraintes") :

1. La Cohérence de Phase (Le Détecteur de Détails) :

   • Imaginez que vous regardez une photo en noir et blanc. Parfois, les contours sont flous. Cette technique, appelée "congruence de phase", agit comme un révélateur de détails invisibles. Elle permet au modèle de voir les petites veines et les textures fines (comme les plis de la peau) sans se laisser tromper par les ombres ou les reflets brillants. C'est comme avoir des lunettes de nuit qui montrent la structure réelle derrière les illusions d'optique.

2. La Cohérence des Normales (Le Respect de la Géométrie) :

   • C'est une règle qui dit : "Si la carte de profondeur dit que la surface est inclinée vers la gauche, l'image générée doit aussi montrer une surface inclinée vers la gauche". Cela empêche le modèle de créer des plis bizarres ou des trous qui n'existent pas.

🏆 Le Résultat : Une Carte Précise sans Données Réelles

Le plus impressionnant, c'est que cette méthode fonctionne sans avoir besoin de voir un seul vrai patient pour s'entraîner (c'est ce qu'on appelle le "Zero-Shot").

• Ils ont pris des données synthétiques, les ont transformées en images ultra-réalistes grâce à leur méthode.
• Ils ont entraîné un modèle de profondeur sur ces nouvelles images.
• Le verdict : Quand ils ont testé ce modèle sur de vraies images de coloscopie, il a fait 44 % moins d'erreurs que les meilleures méthodes actuelles.

En résumé :
Au lieu de demander à l'IA de "deviner" à quoi ressemble un intestin réel à partir de dessins, ils lui donnent d'abord la carte topographique exacte (la structure) et lui demandent de "peindre" la réalité par-dessus. Grâce à des outils mathématiques intelligents qui respectent les petits détails et la géométrie, ils ont créé un pont solide entre le monde virtuel et le monde réel, permettant aux robots de mieux voir et de sauver plus de vies.

Résumé technique

1. Problématique

L'estimation de profondeur monoculaire (MDE) en coloscopie est essentielle pour la création de cartes 3D intra-opératoires, permettant de réduire le taux de polypes manqués (environ 20 %). Cependant, cette tâche est entravée par un écart de domaine (domain gap) significatif entre les données synthétiques (utilisées pour l'entraînement car les données réelles n'ont pas de vérité terrain 3D) et les images réelles.

Les méthodes existantes d'adaptation Sim-to-Real (basées sur des traductions d'image-à-image comme CycleGAN) souffrent de deux limitations majeures :

• Distorsions structurelles : Elles peinent à maintenir la cohérence géométrique des structures macroscopiques (lumen, plis, polypes).
• Artéfacts spéculaires : Elles génèrent souvent des reflets lumineux irréalistes ou des textures incohérentes.
• Compromis réalité/structure : Les approches actuelles traitent la carte de profondeur comme une contrainte a posteriori (passive), ce qui conduit à un déséquilibre entre le réalisme textural (micro-structures comme les vaisseaux sanguins) et la fidélité géométrique.

2. Méthodologie : Le paradigme « Structure-to-Image »

Les auteurs proposent un changement de paradigme où la carte de profondeur n'est plus une simple contrainte, mais la fondation générative active de l'image réaliste.

Architecture Globale

Le framework repose sur une architecture CycleGAN modifiée, entraînée sur des paires non appariées d'images réelles et de cartes de profondeur synthétiques. Le système comprend deux branches :

1. Image vers Profondeur : Génère des cartes de profondeur précises à partir d'images réelles.
2. Profondeur vers Image (Structure-to-Image) : Génère des images réalistes à partir de cartes de profondeur, servant de fondation structurale.

Contributions Techniques Clés

A. Transformation de la profondeur en prior génératif
Au lieu d'essayer d'inférer simultanément la structure et l'apparence, le modèle génère d'abord une apparence réaliste basée sur une structure de profondeur donnée. Cela réduit l'incertitude d'apprentissage et stabilise la génération. Pour éviter les artefacts en « escalier » des cartes de profondeur synthétiques, les auteurs utilisent une carte de profondeur inverse ($D^- = 1 - D^+/65535$).

B. Contrainte de Structure Multi-Niveau (Cross-Level Structure Constraint)
Pour préserver à la fois les structures macroscopiques (géométrie) et les micro-structures (textures vasculaires), deux nouvelles fonctions de perte sont introduites :

1. Perte de Cohérence de Phase (Phase Congruency Loss - $L_{PC}$) :

   • Principe : La cohérence de phase (PC) est une mesure dans le domaine fréquentiel qui identifie les structures importantes (bords, textures) indépendamment du contraste ou de l'éclairage.
   • Avantage : Contrairement aux détecteurs de bords classiques (Sobel, Canny), la PC capture robustement les détails micro-structuraux (comme les vaisseaux sous-muqueux) tout en préservant les contours géométriques macroscopiques.
   • Formulation : Elle compare la carte de cohérence de phase de l'image générée et de l'image réelle, en utilisant également le gradient d'intensité pour renforcer la contrainte géométrique.

2. Perte de Cohérence des Normales (Normal Consistent Loss - $L_n$) :

   • Principe : Elle aligne les vecteurs normaux de la carte de profondeur simulée et de la carte de profondeur reconstruite à partir de l'image générée.
   • Objectif : Assurer une cohérence fine de la géométrie de surface, cruciale pour la précision de l'estimation de profondeur.

La fonction de perte totale combine ces nouvelles contraintes avec les pertes classiques de CycleGAN (GAN, cycle, identité) et de XDCycleGAN.

3. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données, notamment un jeu de données de fantôme public (C3VD) et des données réelles (Colon10K).

Génération d'Images Réalistes

• Qualité : La méthode proposée (« Ours ») surpasse les méthodes de référence (XDCycleGAN, Struct-Preserve, Sim2Real) avec les meilleurs scores PSNR (20.65), SSIM (0.74) et IS (3.47).
• Qualité Visuelle : Les images générées montrent une meilleure préservation des plis coliques et des textures vasculaires, sans les distorsions structurelles ou les reflets spéculaires observés dans les méthodes concurrentes.

Estimation de Profondeur Zero-Shot (Sur Fantôme)

Un modèle MDE pré-entraîné (DepthAnythingV2-small) a été fine-tuné sur les données générées par chaque méthode, puis testé en zero-shot sur le jeu de données C3VD.

• Réduction de l'erreur RMSE : La méthode proposée a permis une réduction maximale de 44,18 % de l'erreur RMSE par rapport à la méthode Sim2Real, et de 32,60 % par rapport à Struct-Preserve.
• Comparaison avec le Baseline : Par rapport au modèle fine-tuné uniquement sur des données synthétiques (Baseline), la réduction est de 25,95 %.
• Performance de la branche Image-vers-Profondeur : Le modèle proposé atteint des performances comparables à NormDepth (un modèle spécialisé), démontrant sa capacité à fournir des priors structurels robustes.

Analyse Ablative

Les variantes sans contrainte de phase (« Ours-w/o Phase ») ou sans contrainte de normale (« Ours-w/o Normal ») montrent une baisse de performance, confirmant que les deux composants sont essentiels pour optimiser simultanément la géométrie et les micro-structures.

4. Contributions Principales

1. Paradigme « Structure-to-Image » : Transformation de la carte de profondeur d'une contrainte passive en une base générative active, améliorant la précision géométrique et le réalisme.
2. Contrainte de Structure Multi-Niveau : Introduction d'une nouvelle contrainte combinant la cohérence de phase (pour les micro-textures) et la cohérence des normales (pour la géométrie fine), adaptée spécifiquement à l'adaptation de domaine en coloscopie.
3. Performance Zero-Shot : Démonstration qu'un modèle MDE fine-tuné sur des données générées par cette méthode atteint une précision supérieure sur des données réelles non vues, réduisant considérablement l'erreur d'estimation.

5. Signification et Impact

Cette recherche adresse un goulot d'étranglement critique en imagerie médicale : la difficulté d'entraîner des modèles 3D précis sur des données réelles sans vérité terrain. En réussissant à combler l'écart Sim-to-Real tout en préservant les détails anatomiques fins (vaisseaux) et la géométrie globale, cette méthode permet :

• D'améliorer la fiabilité des systèmes d'aide au diagnostic et de navigation en coloscopie.
• De réduire le taux de polypes manqués grâce à une meilleure perception de la profondeur.
• De fournir une nouvelle approche générique pour l'adaptation de domaine dans les tâches où la structure géométrique est primordiale.

Les auteurs prévoient de futurs travaux pour générer des textures vasculaires contrôlables et créer des jeux de données synthétiques plus lisses pour éliminer les biais de prédiction résiduels.