🤖 AI

CoGE: Sim-to-Real Online Geometric Estimation for Monocular Colonoscopy

Ce papier présente CoGE, un cadre novateur pour l'estimation géométrique monoculaire en ligne en coloscopie, qui exploite un module de supervision sensible à l'éclairage et un module de perception sensible à la structure pour atteindre des performances de pointe sur des données réelles tout en étant entraîné exclusivement sur des données simulées.

Auteurs originaux : Liangjing Shao, Beilei Cui, Hongliang Ren

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Liangjing Shao, Beilei Cui, Hongliang Ren

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de naviguer dans un tunnel sombre, étroit et sinueux en n'utilisant qu'une seule lampe de poche. C'est essentiellement ce à quoi un chirurgien est confronté lors d'une coloscopie. La caméra est un minuscule œil monoculaire regardant dans un long tube fermé. Pour se déplacer en toute sécurité et trouver le bon chemin, le chirurgien doit comprendre la forme 3D du tunnel : sa profondeur, où les murs courbent et où se trouvent les obstacles.

Ce document présente CoGE, un nouveau « assistant intelligent » pour cette caméra. Sa tâche consiste à transformer instantanément la vidéo plate en 2D de la caméra en une carte 3D de l'intérieur du côlon.

Voici comment CoGE fonctionne, expliqué par des analogies simples :

1. Le Grand Problème : Le « Fossé de l'Entraînement »

Habituellement, pour enseigner à un ordinateur de voir en 3D, il faut lui montrer des milliers de vidéos réelles où l'on connaît déjà exactement à quoi ressemble la forme 3D (la « vérité terrain »). Mais dans un côlon réel, on ne peut pas facilement mesurer la forme 3D exacte car l'espace est trop étroit et fermé.

Ainsi, les chercheurs ont enseigné à CoGE en utilisant des données simulées (une version parfaite de vidéo jeu d'un côlon générée par ordinateur).

Le Défi : Un côlon de vidéo jeu ressemble très peu à un côlon réel. Les vrais ont un éclairage étrange, des points brillants (reflets) et des textures désordonnées. C'est comme enseigner à un conducteur de conduire sur une piste parfaite et ensoleillée, puis lui demander de conduire immédiatement dans une ville pluvieuse et brumeuse. Habituellement, le conducteur se perd.

2. La Solution : Trois « Lunettes » Spéciales

CoGE est spécial car il peut prendre cet entraînement issu du « jeu vidéo parfait » et l'appliquer au « monde réel désordonné » sans avoir besoin d'un entraînement supplémentaire sur des données réelles. Il y parvient grâce à trois astuces ingénieuses :

Les Lunettes « Ondelettes » (Voir le Squelette) :
Imaginez regarder une photo d'un côlon. Certaines parties sont des courbes lisses (basse fréquence), et d'autres sont de petites rides ou des bords (haute fréquence).
CoGE utilise une technique appelée Décomposition en Ondelettes. Imaginez cela comme mettre des lunettes spéciales qui séparent l'image en son « squelette » (les grandes formes) et ses « détails » (les petites rides). Il apprend que le squelette d'un côlon ressemble au même, qu'il soit dans un jeu vidéo ou dans la réalité, même si l'éclairage diffère. Cela l'aide à reconnaître la structure indépendamment du désordre.
Les Lunettes « Détective de Lumière » (Ignorer les Reflets) :
Les vidéos réelles de coloscopie sont délicates car la lumière rebondit sur les surfaces humides, créant des taches blanches brillantes (reflets spéculaires) qui confondent la caméra.
CoGE utilise un module basé sur la théorie de Retinex (une façon de comprendre comment nos yeux séparent la couleur de la lumière). Il agit comme un détective qui dit : « Cette tache brillante n'est qu'un reflet, pas un vrai mur. » Il indique au système : « Ne faites pas confiance au calcul de profondeur dans cette tache brillante ; ce n'est qu'un reflet. » Cela empêche le système d'être trompé par l'éclairage.
Le « Filtre Mémoire » (Oublier le Passé) :
Alors que la caméra se déplace dans le long côlon, elle accumule une mémoire de ce qu'elle a vu. Mais parfois, la mémoire se encombre d'informations anciennes et sans rapport qui ne correspondent pas à la vue actuelle.
CoGE possède un Mécanisme d'Oubli de Mémoire. Imaginez que vous marchez dans un couloir et que vous regardez en arrière une porte que vous avez passée il y a 10 secondes. Si cette porte est maintenant bloquée par un nouveau mur, votre cerveau devrait « oublier » l'ancienne porte pour se concentrer sur le nouveau mur. CoGE fait cela mathématiquement : il vérifie sa mémoire, voit ce qui n'est plus pertinent, et le supprime pour ne pas se confondre.

3. Les Résultats : Entraînement « Parfait comme un Jeu », Performance « Monde Réel »

Les chercheurs ont testé CoGE et ont découvert quelque chose d'incroyable :

Ils l'ont entraîné uniquement sur des données simulées (de jeu vidéo).
Ils l'ont testé sur des vidéos réelles de coloscopie (qu'il n'avait jamais vues auparavant).
Le Résultat : CoGE a mieux performé que d'autres méthodes de premier plan entraînées sur d'énormes quantités de données réelles. Il pouvait créer des cartes 3D précises et des estimations de profondeur en temps réel (plus de 15 images par seconde), ce qui est assez rapide pour qu'un chirurgien l'utilise tout en se déplaçant.

Résumé

En bref, CoGE est un système qui apprend à voir la profondeur 3D dans un côlon en étudiant une simulation parfaite. Il utilise des « lunettes » spéciales pour ignorer le mauvais éclairage, séparer les formes importantes du bruit et nettoyer sa mémoire. Cela lui permet de fonctionner parfaitement dans le monde réel désordonné sans avoir besoin de données d'entraînement réelles, coûteuses et difficiles à obtenir.

Résumé Technique : CoGE – Estimation Géométrique en Ligne Sim-to-Real pour la Colonoscopie Monoculaire

Énoncé du Problème

L'estimation géométrique, englobant l'estimation de la profondeur et la reconstruction de scène, est vitale pour fournir aux chirurgiens une perception spatiale 3D et une navigation lors de la colonoscopie. Cependant, l'acquisition de vérités terrain géométriques (cartes de profondeur, nuages de points, paramètres de caméra) dans la colonoscopie réelle est prohibitivement difficile et coûteuse en raison de la nature étroite et fermée du côlon. Bien que des méthodes auto-supervisées existent, elles sous-performent souvent par rapport aux modèles supervisés. À l'inverse, les modèles supervisés nécessitent généralement de grands jeux de données avec vérité terrain, qui sont rares dans des contextes réalistes. Bien que des logiciels de simulation (par exemple, VR-Caps) puissent générer une vérité terrain géométrique, un « écart de caractéristiques » significatif existe entre les données simulées et les données réalistes en raison d'artefacts et de la diversité de l'éclairage. De plus, les approches sim-to-real existantes reposent souvent sur des réseaux de traduction de style pour prétraiter les données réalistes, ce qui réduit l'efficacité de l'inférence et peut dégrader les performances inter-scènes.

Méthodologie

Les auteurs proposent CoGE, un cadre basé sur un modèle fondamental conçu pour l'estimation géométrique monoculaire en ligne, entraîné exclusivement sur des données simulées mais performant sur des scènes réalistes. Le cadre fonctionne sur une paire d'observations (image précédente mise en cache $I_{t-1}$ et image actuelle $I_t$ ) pour produire des cartes de points, des poses de caméra, des cartes d'éclairage et des cartes de confiance.

1. Perception Sensible à la Structure (SAP)

Pour combler l'écart de caractéristiques et extraire des caractéristiques structurelles communes entre les scènes simulées et réalistes, les auteurs intègrent un bloc de Perception Sensible à la Structure basé sur la transformation en ondelettes.

Décomposition : Les images d'entrée sont décomposées via la Transformation en Ondelettes Discrète (DWT) en quatre sous-bandes : Bas-Bas (approximation), Bas-Haut (détails horizontaux), Haut-Bas (détails verticaux) et Haut-Haut (détails diagonaux).
Extraction de Caractéristiques : Le modèle utilise une Attention Multi-Têtes Auto-Supervisée basée sur des Fenêtres (W-MHSA) pour extraire des caractéristiques de la composante basse fréquence (Bas-Bas), tout en employant des noyaux de convolution spécifiques ( $7\times1$ , $1\times7$ et $3\times3$ ) pour extraire les détails locaux haute fréquence des autres bandes.
Fusion : Les caractéristiques issues des différentes compositions d'ondelettes sont fusionnées et reconstruites via la DWT Inverse pour former la représentation structurelle finale.

2. Supervision Sensible à l'Éclairage (IAS)

Pour gérer les conditions d'éclairage diverses et instables dans le côlon, un module de Supervision Sensible à l'Éclairage auto-supervisé est introduit.

Théorie : Basé sur la théorie de Retinex, le module suppose que la composante intrinsèque d'une image est invariante à l'éclairage dans le domaine du gradient.
Mécanisme : Le module IAS génère une carte d'influence lumineuse ( $L_t$ ) et un graphe intrinsèque ( $A_t$ ). Pendant l'entraînement, $L_t$ est utilisé pour ajuster la carte de confiance ( $C_t$ ) des résultats estimés, contrôlant efficacement la confiance du modèle en fonction de la distribution lumineuse afin d'atténuer les interférences liées à l'éclairage.

3. Mécanisme d'Oubli de Mémoire

Étant donné les longues séquences typiques de la colonoscopie, le cadre emploie un système de mémoire avec un mécanisme d'oubli pour gérer les informations redondantes.

Lecture : Les caractéristiques précédentes récupèrent les informations pertinentes depuis les caches de mémoire de clé ( $M_k$ ) et de valeur ( $M_v$ ).
Oubli : Un mécanisme basé sur un seuil filtre les jetons de mémoire. Si un jeton de mémoire a des poids d'attention inférieurs à un seuil spécifique (5e-4) pour moins de 5 % des jetons de caractéristiques, il est jugé non pertinent et supprimé. Cela empêche l'accumulation de mémoire redondante qui pourrait interférer avec les observations actuelles.
Mise à jour : La nouvelle mémoire est encodée à partir des caractéristiques liées à la mémoire et concaténée avec le cache filtré.

4. Aperçu de l'Architecture

Le backbone utilise six blocs ViT-L suivis du bloc SAP. Le décodeur se compose de six blocs utilisant l'attention auto et l'attention croisée pour traiter les caractéristiques actuelles et celles liées à la mémoire. Les têtes en aval (DPT) produisent les cartes de points finales, les poses de caméra et les cartes de confiance.

Contributions Clés

Perception Sensible à la Structure : Un bloc novateur utilisant la transformation en ondelettes pour extraire des caractéristiques structurelles et locales communes (bords) partagées entre les scènes de colonoscopie simulées et réalistes.
Supervision Sensible à l'Éclairage : Un module qui ajuste la confiance des estimations géométriques en fonction de la distribution lumineuse, abordant le défi de la diversité de l'éclairage à la surface du côlon.
Mécanisme d'Oubli de Mémoire : Une stratégie pour filtrer les jetons de mémoire redondants et non pertinents, réduisant les interférences des observations passées dans les longues séquences.
Performance Sim-to-Real : Un modèle entraîné exclusivement sur des données simulées qui atteint des performances de pointe à la fois sur des scènes simulées inédites et sur des jeux de données de colonoscopie réalistes, sans nécessiter de prétraitement par traduction de style.

Résultats Expérimentaux

Le modèle a été entraîné sur 24 séquences simulées issues de VR-Caps (SimCol3D) et évalué sur des jeux de données réalistes (C3VD, C3VDv2) et des images internes.

Estimation de Profondeur Monoculaire : Sur le jeu de données SimCol, CoGE a obtenu un Abs Rel de 0,027 et une précision $\delta < 1,25$ de 0,995, surpassant d'autres modèles fondamentaux tels que STream3R, MonST3R et CUT3R. Sur les jeux de données réalistes (C3VD et C3VDv2), il a constamment obtenu les taux d'erreur les plus faibles (par exemple, Abs Rel 0,083 sur C3VD) et les métriques de précision les plus élevées par rapport aux méthodes de l'état de l'art.
Reconstruction 3D : En utilisant la Distance Euclidienne Moyenne (mED) et le ratio de points dans un seuil d'erreur spécifique ( $\delta < N$ ), CoGE a démontré une précision de reconstruction supérieure. Par exemple, sur C3VD, il a atteint une mED de 3,957 et un ratio $\delta < 4,0$ de 0,645, surpassant nettement des concurrents comme STream3R et CUT3R.
Études d'Ablation : La suppression du bloc SAP, du module IAS ou du mécanisme d'Oubli de Mémoire a entraîné une dégradation mesurable des performances sur tous les jeux de données, confirmant la nécessité de chaque composant.

Importance et Revendications

L'article revendique que CoGE représente une avancée significative dans l'estimation géométrique sim-to-real pour l'endoscopie. En s'entraînant exclusivement sur des données simulées, la méthode contourne le besoin de vérités terrain géométriques réelles, coûteuses et difficiles à obtenir. Le cadre comble avec succès l'écart de domaine grâce à des innovations architecturales spécifiques (extraction de structure basée sur les ondelettes et contrôle de la confiance sensible à l'éclairage) plutôt que de compter sur un prétraitement inefficace par transfert de style.

Les auteurs notent que, bien que le modèle atteigne une inférence en temps réel (>15 FPS), l'inclusion des blocs de perception sensible à la structure diminue légèrement l'efficacité par rapport aux modèles plus légers. De plus, ils reconnaissent que les performances peuvent se dégrader en présence de flou de mouvement, de changements dynamiques aigus ou de tissus lésionnels spécifiques, qui restent des défis pour les travaux futurs. La contribution principale est de démontrer qu'une perception 3D en ligne de haute qualité en colonoscopie est réalisable en utilisant uniquement des données d'entraînement simulées lorsque le modèle est explicitement conçu pour gérer les similitudes structurelles et la variance de l'éclairage.