A Pixel-based Confidence Weighted Transfusion model for Colonoscopy and Colon Capsule Endoscopy image-based Polyp Segmentation

À l'intérieur du corps humain, la paroi du gros intestin est un paysage complexe où de petites excroissances, souvent invisibles, appelées polypes, peuvent se former. Ces excroissances sont importantes car elles peuvent éventuellement se transformer en cancer, faisant de leur détection précoce une étape critique pour sauver des vies. La méthode de référence actuelle pour trouver ces polypes est une procédure appelée coloscopie, où un médecin guide un tube flexible muni d'une caméra à travers le côlon pour chercher des problèmes. Cependant, ce processus est exigeant. Les médecins doivent scanner des milliers d'images, souvent sous un éclairage difficile ou avec la caméra en mouvement, et ils peuvent manquer jusqu'à un tiers de ces excroissances simplement parce qu'elles sont petites, cachées ou se fondent dans l'arrière-plan. Pour aider, les scientifiques se sont tournés vers l'intelligence artificielle, apprenant aux ordinateurs à reconnaître ces excroissances. Pourtant, les outils qu'ils ont construits jusqu'à présent font face à un problème tenace : ils ont du mal à comprendre l'image globale. Ils sont souvent bons pour voir les détails fins mais mauvais pour comprendre le contexte global, ou vice versa, et ils échouent lorsque le type de caméra ou la qualité de l'image change.

Une équipe de chercheurs issus d'universités et d'hôpitaux du Danemark a développé une nouvelle approche pour résoudre ce problème spécifique. Ils ont créé un modèle informatique conçu pour agir comme un pont entre deux manières différentes de regarder le côlon. L'une utilise une coloscopie traditionnelle, qui fournit des images haute résolution et claires. L'autre utilise une endoscopie par capsule colique, où le patient avale une caméra de la taille d'une pilule qui prend des photos au fur et à mesure de son voyage à travers le système digestif ; ces images sont souvent de résolution inférieure et prises sous un éclairage moins contrôlé. Les chercheurs ont réalisé qu'un modèle informatique unique entraîné sur un type d'image échoue souvent lorsqu'on lui présente l'autre. En fait, les modèles entraînés sur des images de coloscopie optique de haute qualité perdent leur performance lorsqu'ils sont appliqués aux données de plus faible qualité de la capsule, mettant en évidence un écart important dans le transfert de connaissances entre ces types d'imagerie. Pour y remédier, ils ont construit un système qui combine les forces de deux modèles distincts. Un modèle est spécialisé pour les images claires et détaillées du scope traditionnel, tandis que l'autre est ajusté pour les images plus variables de la caméra-pilule. Au lieu de forcer ces deux modèles à s'accorder sur une seule réponse, le nouveau système examine chaque pixel de l'image et pose une question simple : quel modèle est le plus confiant concernant cet endroit précis ? Il fusionne ensuite les réponses, accordant plus de poids au modèle qui est le plus sûr. Cela permet au système de s'adapter instantanément, qu'il regarde une image nette en haute définition ou une image floue à basse résolution.

Les chercheurs ont testé ce nouveau système, qu'ils ont nommé TransFuseNet, sur une grande variété de jeux d'images, incluant des données réelles de patients provenant de milliers de procédures et des images synthétiques créées par ordinateur. Ils ont constaté que le système pouvait délimiter avec précision la forme et la taille des polypes à travers toutes ces différentes conditions. Lors de tests utilisant des images réelles de capsules coliques, le système a correctement identifié les contours des polypes dans environ 82 % des cas, et dans des tests avec des images de coloscopie standard, il a atteint près de 90 % de précision. Crucialement, le nouveau système combiné a réussi à atténuer les baisses de performance typiquement observées lors du passage entre ces types d'imagerie. Alors que les modèles individuels entraînés sur une modalité peinaient considérablement lorsqu'ils étaient testés sur l'autre, le système fusionné a maintenu une précision robuste en sélectionnant dynamiquement les prédictions les plus fiables pour chaque pixel. Le système fournissait également une mesure de certitude pour chaque prédiction, mettant en évidence les zones où il était sûr et les zones où il était moins confiant, ce qui pourrait aider les médecins à savoir quand faire confiance à la suggestion de l'ordinateur.

Au-delà de la simple détection des polypes, le système offre un moyen de les mesurer. En comptant les pixels qui constituent la croissance détectée, le logiciel peut estimer la taille relative du polype, un facteur clé pour déterminer s'il est dangereux. Les chercheurs ont montré que leur modèle pouvait traiter les images assez rapidement pour suivre un flux vidéo en direct, analysant environ 46 images par seconde, ce qui est plus rapide que la vitesse à laquelle les médecins examinent habituellement les vidéos. Cette vitesse suggère que l'outil pourrait être utilisé en temps réel pendant une procédure, agissant comme une seconde paire d'yeux qui ne se fatigue jamais. L'étude confirme qu'en combinant les détails locaux avec une compréhension plus large de l'image, et en laissant l'ordinateur décider quelle source d'information croire à chaque point, il est possible de créer un outil plus fiable pour repérer les signes précoces de cancer. Bien que le système ne soit pas un remplacement pour un médecin, il offre une méthode robuste pour réduire le nombre de polypes manqués, menant potentiellement à un traitement plus précoce et à de meilleurs résultats pour les patients confrontés au cancer colorectal.