⚡ electrical engineering

Investigating the Visual Cues of CNNs for Vascular Segmentation: A Case Study in Microscopy and Fundus Imaging

Cette étude examine les indices visuels qui orientent la segmentation vasculaire basée sur les CNN en imagerie de microscopie et de fond d'œil, révélant que les modèles s'appuient principalement sur l'intensité des pixels au sein d'un champ récepteur limité à 20 pixels plutôt que sur la texture ou la forme globale, malgré le maintien d'une précision élevée même lorsque ces indices sont supprimés.

Auteurs originaux : Weslley dos Santos Silva, Cesar Henrique Comin

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Weslley dos Santos Silva, Cesar Henrique Comin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu de chercher des empreintes digitales, vous examinez une carte de minuscules rivières sinueuses à l'intérieur du corps humain. Ces rivières sont des vaisseaux sanguins, et les trouver sur une photo floue est crucial pour permettre aux médecins de repérer des maladies comme le diabète ou des problèmes cardiaques. Pendant des années, les ordinateurs sont devenus très doués pour dessiner ces cartes grâce à un type spécial de logiciel très intelligent appelé Réseau de Neurones Convolutifs, ou CNN pour faire court. Considérez un CNN comme un robot super intelligent qui apprend à reconnaître des motifs en regardant des milliers d'images. Mais il y a un hic : le robot est un peu une « boîte noire ». Nous savons qu'il trouve la bonne réponse, mais nous ne savons pas comment il décide de ce qui est une rivière et de ce qui n'est qu'un rocher. Regarde-t-il la forme de la rivière ? Regarde-t-il la couleur ? Ou ne fait-il que deviner à partir d'un minuscule point de lumière ? Ce document est comme une loupe qui jette un coup d'œil à l'intérieur du cerveau du robot pour voir exactement quels indices il utilise pour résoudre l'énigme.

Les chercheurs voulaient découvrir si ces cerveaux informatiques « voient » réellement les vaisseaux de la même manière qu'un médecin humain, ou s'ils trichent simplement en cherchant des astuces faciles. Pour ce faire, ils ont mis en place une série d'expériences ingénieuses utilisant deux types différents d'images : un ensemble provenant d'un microscope observant les minuscules vaisseaux d'un cerveau de souris, et un autre provenant d'une caméra observant l'arrière d'un œil humain. Ils ont posé trois grandes questions : Le robot se soucie-t-il plus de la texture (l'aspect granuleux) ou de la luminosité (si les pixels sont clairs ou sombres) ? Peut-il comprendre la forme du vaisseau si on ne lui montre qu'un contour fin ? Et de quelle partie de l'image environnante a-t-il besoin pour accomplir sa tâche ?

Voici ce qu'ils ont découvert. D'abord, ils ont testé si le robot se souciait du « grain » de l'image ou simplement de la luminosité. Ils ont pris de petits morceaux carrés de l'image et ont mélangé les pixels de sorte que la texture disparaisse complètement, comme si l'on mélangeait un jeu de cartes jusqu'à ce que l'ordre n'ait plus aucun sens. Étonnamment, le robot s'en est très bien sorti ! Cela suggère que, bien que la luminosité des pixels soit l'indice le plus important, le robot est en réalité assez intelligent pour trouver d'autres motifs cachés même lorsque la texture est détruite. C'est comme si vous pouviez encore reconnaître le visage de votre ami même si on avait peint sa peau d'une couleur unie, tant que l'éclairage était correct.

Ensuite, ils ont essayé de voir si le robot pouvait dessiner toute la rivière en regardant seulement une ligne fine au milieu (une ligne centrale) ou un contour creux. Ils ont supprimé tous les détails intérieurs des vaisseaux, ne laissant que la forme. Le résultat ? Le robot a été confus. Il a essayé de dessiner les vaisseaux, mais il les a souvent dessinés trop épais ou a rempli les mauvais endroits. Il s'avère que pour ces types d'images spécifiques, le robot ne peut pas simplement regarder la forme et deviner le reste. Il a vraiment besoin de voir l'intérieur du vaisseau pour savoir quelle est sa largeur. C'est comme essayer de deviner la largeur d'une autoroute en regardant seulement les lignes blanches au milieu ; sans voir l'asphalte, on pourrait supposer qu'il s'agit d'une petite allée ou d'une immense autoroute.

Enfin, ils se sont demandé de combien de « contexte » le robot a besoin. A-t-il besoin de voir toute l'image, ou juste une petite zone ? Ils ont testé le robot en lui fournissant des morceaux de plus en plus petits de l'image. Ils ont découvert que le robot n'a réellement besoin de voir qu'un patch carré d'environ 32 par 32 pixels de large pour faire son meilleur travail. Une fois que le patch devient plus grand que cela, le robot ne s'améliore pas davantage. Il semble que le robot possède un « point idéal » où il regarde une petite zone — d'environ 20 pixels de large — et que cela suffit pour prendre une décision parfaite. Il n'a pas besoin de voir toute la forêt pour trouver un seul arbre.

En bref, ce document suggère que pour ces images médicales spécifiques, les cerveaux informatiques s'appuient fortement sur la luminosité des pixels et sur une petite quantité de détails locaux, plutôt que sur la grande forme globale des vaisseaux. Bien que cela puisse ressembler à une limitation, cela aide les scientifiques à construire de meilleurs outils médicaux, plus rapides et plus dignes de confiance. En sachant exactement quels indices le robot utilise, les médecins peuvent être plus convaincus que le robot ne se contente pas de deviner, mais qu'il regarde réellement les bonnes choses pour aider à sauver des vies.

Résumé technique : Étude des indices visuels des CNN pour la segmentation vasculaire

Problématique

La segmentation des vaisseaux sanguins est une procédure critique pour le diagnostic de pathologies allant de la rétinopathie diabétique aux maladies neurodégénératives. Cependant, les réseaux de neurones convolutifs (CNN) utilisés pour cette tâche sont souvent traités comme des « boîtes noires », manquant de transparence quant aux caractéristiques visuelles spécifiques qui dictent leurs décisions. Bien que les CNN atteignent une grande précision, il reste incertain s'ils s'appuient sur la continuité anatomique (forme globale), l'intensité des pixels locaux ou des motifs de texture. Ce manque d'interprétabilité entrave l'intégration clinique, le débogage des modèles et la capacité à garantir la robustesse face aux variations de données. De plus, la relation entre le champ récepteur effectif (ERF) du réseau et le contexte spatial requis pour capturer la géométrie complexe et ramifiée des arbres vasculaires n'est pas systématiquement comprise dans ce domaine.

Méthodologie

Les auteurs ont mené une investigation systématique en trois parties en utilisant deux domaines d'imagerie distincts : la microscopie de fluorescence (jeu de données VessMAP) et la photographie du fond de l'œil (jeu de données DRIVE). L'étude a employé des expériences ciblées pour isoler et quantifier l'influence de la texture, de la forme et du champ récepteur.

1. Quantification de l'influence de la texture et de l'intensité

Pour déterminer l'importance relative de l'intensité par rapport à la texture, les auteurs ont développé une tâche de classification par patch.

Extraction de patchs : Des patchs de $9 \times 9$ pixels ont été extraits des images VessMAP. Deux scénarios ont été testés : des patchs contenant uniquement des pixels de vaisseaux ( $f=100\%$ ) et des patchs contenant des bordures de vaisseaux avec différentes fractions de pixels de vaisseaux ( $f=75\%, 50\%$ ).
Perturbations : Trois variations du jeu de données ont été créées pour supprimer des indices spécifiques :
- Normalisation de l'intensité ( $D_{-i}$ ) : Les valeurs des pixels ont été normalisées avec une moyenne nulle et un écart-type unitaire, supprimant l'intensité absolue et la variance.
- Mélange de pixels ( $D_{-t}$ ) : Les positions des pixels au sein de chaque patch ont été mélangées de manière aléatoire, détruisant la texture spatiale tout en préservant les valeurs d'intensité.
- Homogénéisation ( $D_{-i,-t}$ ) : La normalisation et le mélange ont été appliqués simultanément.
Évaluation : Un réseau résiduel simple a été entraîné pour classifier ces patchs comme étant un vaisseau ou un arrière-plan.

2. Isolation des indices de forme

Pour évaluer la capacité des CNN à segmenter les vaisseaux uniquement sur la base de la géométrie, les auteurs ont créé deux jeux de données où l'apparence interne des vaisseaux a été supprimée :

Jeu de données de contours ( $D_c$ ) : Les images d'entrée contenaient uniquement les contours des vaisseaux (bords), les intensités de pixels originales étant préservées aux emplacements des contours.
Jeu de données de lignes médianes ( $D_s$ ) : Les images d'entrée contenaient uniquement les lignes médianes des vaisseaux, les intensités originales étant préservées en ces points.
Évaluation : Des architectures U-Net et W-Net ont été entraînées pour prédire les masques de segmentation complets à partir de ces entrées de forme éparses.

3. Analyse des exigences du champ récepteur (RF)

L'étude a examiné la relation entre l'architecture du modèle, la taille du champ récepteur et la performance en utilisant deux approches :

Variation architecturale : 160 configurations U-Net ont été entraînées avec des tailles de noyaux variables ($1, 3, 5, 7$), des ratios de dilatation ($2, 3, 7$) et des stratégies de sous-échantillonnage. Le champ récepteur théorique (TRF) et le champ récepteur effectif (ERF) ont été mesurés pour chaque configuration.
Restriction de contexte : Le modèle de base a été entraîné sur des patchs non chevauchants de tailles variables ( $4 \times 4$ à $512 \times 512$ ) pour déterminer le contexte minimal requis pour une performance optimale.

Résultats clés

Texture vs Intensité

Dominance de l'intensité : Il a été constaté que l'intensité des pixels est plus critique que la texture locale. La suppression des informations d'intensité ( $D_{-i}$ ) a provoqué une chute de précision plus importante que la suppression de la texture par mélange ( $D_{-t}$ ).
Robustesse à la perturbation : Étonnamment, même lorsque les indices d'intensité et de texture ont été supprimés (jeu de données homogénéisé $D_{-i,-t}$ ), les réseaux ont maintenu une précision de classification supérieure à 75 %, suggérant qu'ils exploitent d'autres caractéristiques statistiques non explicitement analysées.
Rôle des bordures : L'inclusion des bordures de vaisseaux dans les patchs a considérablement amélioré la précision de la classification, indiquant qu'un contexte local basé sur les bords est un indice fort.

Indices de forme

Insuffisance de la forme seule : Les CNN n'ont pas réussi à reconstruire de manière fiable la géométrie complète des vaisseaux à partir des indices de forme seuls.
- En utilisant les contours ( $D_c$ ), le meilleur modèle (W-Net) a obtenu un score de Dice de 54,4 %.
- En utilisant les lignes médianes ( $D_s$ ), le meilleur modèle (U-Net) a obtenu un score de Dice de 57,0 %.
- En revanche, les modèles entraînés sur les données complètes ont atteint un score de Dice d'environ 90 %.
Sursegmentation : Les modèles s'appuyant uniquement sur les indices de forme ont présenté une sensibilité élevée mais une très faible spécificité (par exemple, 12 % de spécificité pour l'U-Net sur $D_c$ ), conduisant à une sursegmentation significative. Cela indique que les CNN actuels ne peuvent pas extrapoler le calibre des vaisseaux à partir de la géométrie des bordures sans l'information d'apparence interne.

Champ récepteur et contexte

Saturation de l'ERF : Le champ récepteur effectif (ERF) utilisé par les réseaux a convergé vers environ 20 pixels pour les tâches considérées.
Taille du noyau : La performance a augmenté avec la taille moyenne des noyaux, mais a plafonné autour d'une taille de noyau moyenne de 3 ( $3 \times 3$ ). Des noyaux plus grands n'ont pas apporté de gains significatifs, suggérant que l'ERF ne s'étend pas pour utiliser l'intégralité du champ théorique lorsqu'il n'est pas nécessaire.
Taille des patchs :
- Pour VessMAP (microscopie), la performance a plafonné à une taille de patch de $32 \times 32$ , indiquant qu'un contexte local est suffisant.
- Pour DRIVE (fond d'œil), la performance n'a pas plafonné dans la plage testée, suggérant un bénéfice modeste provenant de contextes globaux plus larges, probablement dû à la présence de repères anatomiques globaux (ex: le disque optique).

Signification et affirmations

L'article affirme fournir une base quantitative pour l'audit et l'amélioration des systèmes d'apprentissage profond en imagerie vasculaire. Ses principales contributions sont :

Modèle de diagnostic : La méthodologie offre une approche structurée pour démêler les influences de la forme, de la texture et du contexte sur les décisions du modèle.
Preuve empirique sur le RF : La découverte que l'ERF sature à environ 20 pixels suggère que des CNN légers et efficaces peuvent être adaptés pour la délimitation locale des vaisseaux sans la surcharge de calcul de réseaux inutilement profonds ou de mécanismes d'attention globale (comme les Transformers).
Feuille de route pour l'interprétabilité : Les résultats soulignent que les modèles dépendent fortement de l'intensité locale et de la texture plutôt que de l'extrapolation de la forme globale. Cette observation est proposée comme base pour développer des cadres d'IA explicable (XAI) capables d'attribuer les décisions à des indices spécifiques (intensité vs forme), aidant ainsi les cliniciens à déterminer si un modèle identifie les vaisseaux sur la base de l'anatomie ou s'il est induit en erreur par des artefacts locaux.

Les auteurs restent modestes, reconnaissant que ces conclusions sont des observations empiriques dérivées de jeux de données spécifiques (VessMAP, DRIVE) et d'architectures (variantes d'U-Net), et pourraient ne pas représenter des propriétés universelles de tous les réseaux neuronaux à travers toutes les modalités médicales.