💻 computer science

Label tree semantic losses for rich multi-class medical image segmentation

Ce papier propose deux nouvelles fonctions de perte sémantique basées sur des arbres qui exploitent les structures hiérarchiques des étiquettes pour améliorer la segmentation d'images médicales multi-classes, démontrant des gains de performance constants par rapport aux références dans la parcellisation complète du cerveau en supervision totale et dans les tâches d'imagerie hyperspectrale neurochirurgicale à annotation parcimonieuse.

Auteurs originaux : Junwen Wang, Oscar MacCormac, William Rochford, Aaron Kujawa, Jonathan Shapey, Tom Vercauteren

Publié 2026-05-22

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junwen Wang, Oscar MacCormac, William Rochford, Aaron Kujawa, Jonathan Shapey, Tom Vercauteren

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur à reconnaître chaque partie d'un cerveau humain ou d'une scène chirurgicale. Autrefois, les ordinateurs étaient comme des enseignants stricts qui traitaient chaque erreur de la même manière. Si l'ordinateur confondait un « rein gauche » avec un « rein droit », il obtenait la même « note d'échec » que s'il confondait un « rein » avec un « grille-pain ».

Mais en médecine, toutes les erreurs ne se valent pas. Confondre deux régions cérébrales similaires est une petite erreur ; confondre une région cérébrale avec un organe complètement différent est une erreur énorme.

Ce papier présente une nouvelle façon d'enseigner aux ordinateurs qui comprend les relations. Les auteurs ont construit un « arbre généalogique » pour les étiquettes médicales, où les choses similaires sont regroupées, et ils ont créé deux systèmes de « notation » spéciaux (fonctions de perte) qui utilisent cet arbre pour fournir des retours plus intelligents.

Voici une décomposition de leurs idées à l'aide d'analogies simples :

1. Le Problème : Le Système de Notation « Taille Unique »

Actuellement, la plupart des IA médicales sont entraînées avec un système de notation standard. Si l'IA devine la « Classe A » alors que la réponse est la « Classe B », elle est pénalisée. Si elle devine la « Classe A » alors que la réponse est la « Classe Z » (ce qui est totalement différent), elle reçoit la même pénalité exacte.

C'est comme un enseignant qui donne la même note « Échec » à un élève pour avoir épelé « chat » comme « chien » (une petite erreur) et pour avoir épelé « voiture » comme « avion » (une énorme erreur). À mesure que les images médicales deviennent plus détaillées avec des centaines de classes petites et similaires, ce vieux système devient inefficace car il ne comprend pas que certaines erreurs sont « plus proches » de la vérité que d'autres.

2. La Solution : L'« Arbre Généalogique » des Étiquettes

Les auteurs ont organisé toutes les étiquettes médicales (comme les différentes parties du cerveau ou les types de tissus) en une hiérarchie, ou un arbre généalogique.

La Racine : Le sommet de l'arbre est une catégorie large (par exemple, « Cerveau »).
Les Branches : Elles se divisent en groupes majeurs (par exemple, « Hémisphère gauche », « Hémisphère droit »).
Les Feuilles : Ce sont les détails spécifiques et minuscules (par exemple, « Lobe temporal gauche »).

Ils ont créé deux nouvelles façons de noter l'IA basées sur cet arbre :

A. Le Notateur « Coût de Voyage » (Perte de Distance de Wasserstein)

Imaginez que l'arbre des étiquettes est une carte d'une ville.

Si l'IA fait une erreur, l'ordinateur calcule la distance qu'il doit parcourir sur la carte pour aller de la mauvaise réponse à la bonne réponse.
Si l'IA confond deux quartiers voisins (comme le « Lobe temporal gauche » et le « Lobe temporal droit »), le « coût de voyage » est court, donc la pénalité est faible.
Si l'IA confond un quartier avec une ville complètement différente (comme le « Cerveau » et le « Foie »), le « coût de voyage » est énorme, donc la pénalité est sévère.
Le Résultat : L'IA apprend qu'il est acceptable de faire de petites erreurs « proches », mais qu'elle doit éviter les grandes erreurs « lointaines ».

B. Le Notateur « Responsabilité Familiale » (Entropie Croisée Pondérée par l'Arbre)

Imaginez que l'IA est un élève passant un examen.

Dans l'ancien système, l'élève n'est noté que sur la réponse finale (la feuille spécifique de l'arbre).
Dans ce nouveau système, l'élève est également noté sur les étapes qu'il a suivies pour y parvenir. A-t-il correctement identifié la branche « Cerveau » ? A-t-il correctement identifié la branche « Hémisphère gauche » ?
Même si l'élève se trompe sur la petite feuille, s'il a bien identifié les grandes branches, il obtient des points partiels. Cela encourage l'IA à apprendre la structure « globale » de l'anatomie, ce qui l'aide à faire de meilleures suppositions sur les détails minuscules.

3. Gérer les Informations « Manquantes » (Annotations Éparses)

Dans le monde réel, les médecins n'ont pas le temps d'étiqueter chaque pixel d'une image médicale. Ils étiquettent souvent uniquement les parties importantes et laissent le reste vide.

L'Ancien Piège : Si un pixel n'est pas étiqueté, les anciens systèmes d'IA supposent qu'il s'agit d'« arrière-plan » (rien). C'est dangereux car cet espace vide pourrait en fait être une tumeur que le médecin a simplement oublié de marquer.
La Nouvelle Astuce : Les auteurs ont combiné leur notation « Arbre Généalogique » avec un système de « Détective ». On dit à l'IA : « Si vous n'êtes pas sûr à 100 % qu'un pixel appartient à l'une des familles étiquetées, signalez-le comme « Inconnu » (Hors Distribution) au lieu de deviner qu'il s'agit d'arrière-plan. » Cela empêche l'IA d'étiqueter avec confiance des zones non marquées.

4. Ce Qu'ils Ont Trouvé (Les Résultats)

Les auteurs ont testé ces nouveaux systèmes de notation sur deux tâches très différentes :

IRM Cérébrale (Parcellisation du Cerveau Entier) : Décomposer une IRM cérébrale 3D en plus de 100 petites régions.
- Résultat : Le notateur « Coût de Voyage » (Wasserstein) a été le gagnant. Il a considérablement amélioré la capacité de l'IA à identifier correctement de petites structures cérébrales difficiles à voir par rapport aux méthodes standard.
Caméra Chirurgicale (Imagerie Hyperspectrale) : Identifier les tissus pendant une chirurgie cérébrale en utilisant une caméra spéciale qui voit des couleurs invisibles à l'œil humain.
- Résultat : Le notateur « Responsabilité Familiale » (Pondéré par l'Arbre) a fonctionné le mieux ici, surtout lorsque les données d'entraînement étaient éparpillées (incomplètes). Il a aidé l'IA à distinguer plus précisément les tissus « normaux » des tissus « anormaux ».

Résumé

L'article soutient qu'en enseignant à l'IA à comprendre les relations entre les étiquettes médicales (en utilisant une structure d'arbre généalogique) plutôt que de traiter chaque étiquette comme une île isolée, nous pouvons construire des outils d'imagerie médicale plus intelligents et plus robustes. Ces outils commettent moins d'erreurs catastrophiques et sont mieux à même de gérer les données désordonnées et incomplètes avec lesquelles travaillent les vrais médecins.

Résumé Technique : Pertes Sémantiques Arborescentes pour la Segmentation d'Images Médicales Multi-Classes Riches

Énoncé du Problème
Une segmentation d'images médicales riche et précise est cruciale pour la planification préopératoire, la navigation peropératoire et l'évaluation postopératoire. Cependant, les méthodes d'apprentissage standard pour les tâches de segmentation pénalisent généralement toutes les erreurs de classification de manière égale, ne parvenant pas à exploiter les relations sémantiques au sein de l'espace des étiquettes. Cette limitation devient de plus en plus problématique à mesure que la cardinalité des étiquettes augmente pour inclure des classes subtilement différentes (par exemple, des sous-régions spécifiques du cerveau ou des types de tissus). De plus, en imagerie chirurgicale et dans les efforts d'annotation à grande échelle, les données sont souvent annotées de manière sparse avec des étiquettes « positives uniquement », où les régions non étiquetées ne peuvent pas être supposées être un fond. Les approches existantes manquent souvent de mécanismes pour exploiter les hiérarchies d'étiquettes ou pour gérer l'ambiguïté des pixels non étiquetés d'une manière sémantiquement significative.

Méthodologie
Les auteurs proposent un cadre qui intègre une organisation hiérarchique des étiquettes (un arbre d'étiquettes) dans le processus d'entraînement via deux fonctions de perte sémantique complémentaires. Ces pertes sont conçues pour fonctionner à la fois avec une supervision dense (par exemple, une parcellisation du cerveau entier) et des annotations spares, sans fond (par exemple, imagerie hyperspectrale neurochirurgicale).

Perte de Segmentation Basée sur la Distance de Wasserstein ( $\mathcal{L}_{wass+seg}$ ):
Cette perte utilise la distance de Wasserstein (transport optimal) pour mesurer le coût de transformation des distributions de probabilité prédites en distributions de vérité terrain. La matrice de « distance au sol » ( $M$ ) est dérivée de l'arbre d'étiquettes, où la distance entre deux nœuds feuilles est définie par la longueur du chemin les reliant dans la hiérarchie. Cette formulation pénalise les erreurs en fonction de leur gravité sémantique ; classer incorrectement une classe comme un sibling sémantiquement éloigné entraîne une pénalité plus élevée que de la classer incorrectement comme un parent proche. La perte finale est une composition de la distance de Wasserstein et d'une perte de segmentation générique (par exemple, Dice ou Entropie Croisée).
Perte d'Entropie Croisée Sémantique Pondérée par l'Arbre ( $\mathcal{L}_{twce+seg}$ ):
Cette approche étend l'Entropie Croisée (CE) standard en agrégeant les probabilités sur tous les nœuds de l'arbre d'étiquettes, et pas seulement sur les nœuds feuilles. En utilisant une matrice d'adjacence pour représenter les relations parent-enfant, le modèle calcule les probabilités agrégées pour les nœuds internes. La perte est ensuite calculée comme une somme pondérée de la CE sur tous les nœuds, où les poids sont attribués en fonction de la structure des arêtes. Cela permet au modèle de recevoir des signaux de supervision à plusieurs niveaux d'abstraction (grossier et fin).
Intégration avec l'Apprentissage Sparse Positif Uniquement:
Les pertes proposées sont intégrées dans un cadre pour l'entraînement avec des annotations spares, positives uniquement (basé sur Wang et al., 2026). Dans ce contexte, le modèle est entraîné uniquement sur les classes positives annotées. Lors de l'inférence, un mécanisme de détection de hors-distribution (OOD) signale les pixels ayant une probabilité prédite maximale faible comme étant du fond. Les auteurs étendent cela en agrégeant les probabilités à un niveau hiérarchique choisi (par exemple, les nœuds de niveau supérieur) pour déterminer le seuil OOD, permettant une détection de fond plus robuste sans dégrader les performances sur les classes positives.

Contributions Clés

Fonctions de Perte Nouvelles : Introduction de deux pertes sémantiques basées sur l'arbre (basée sur Wasserstein et CE pondérée par l'arbre) qui encodent explicitement les relations hiérarchiques d'étiquettes lors de l'optimisation.
Cadre Polyvalent : Démonstration de la manière dont ces pertes s'appliquent à la fois à la parcellisation du cerveau entier supervisée densément (WBP) et à l'imagerie hyperspectrale neurochirurgicale supervisée sparsément (HSI), y compris l'intégration avec la détection OOD pour l'identification du fond.
Amélioration des Performances : Preuves empiriques montrant que l'intégration de hiérarchies d'étiquettes définies par des experts ou dérivées anatomiquement conduit à une supervision sémantiquement plus significative et à une amélioration des performances de segmentation par rapport aux bases de référence standard.
Robustesse sur les Petites Structures : Améliorations spécifiques observées sur de petites structures anatomiques avec des annotations limitées, où les bases de référence standard ont souvent du mal.

Résultats Expérimentaux
Les auteurs ont évalué leur approche sur deux tâches distinctes :

Parcellisation du Cerveau Entier (WBP) : Utilisation de données IRM 3D pondérées T1 provenant de trois jeux de données (Mindboggle42, AOMIC, IXI) avec une supervision complète.
- Constats : La perte composée basée sur Wasserstein ( $\mathcal{L}_{wass+seg}$ ) a constamment surpassé la base de référence nnU-Net standard (Dice + CE) et la perte Dice de Wasserstein généralisée. Les améliorations étaient les plus significatives pour les métriques liées aux petites structures (Dicesmall, NSDsmall) et au chevauchement de surface (NSD). L'analyse statistique a confirmé des gains significatifs en NSD et en métriques de petites structures dans presque tous les paramètres d'entraînement-test.
Imagerie Hyperspectrale Neurochirurgicale (HSI) : Utilisation d'annotations spares, positives uniquement, provenant de vidéos chirurgicales peropératoires.
- Constats : Le cadre proposé a amélioré les performances sur les classes de niveau supérieur (par exemple, distinguer les tissus normaux des tissus anormaux) par rapport aux bases de référence entraînées uniquement sur les nœuds feuilles. La supervision de niveau supérieur pondérée par la hiérarchie ( $\mathcal{L}_{twce+seg}$ avec des poids d'arêtes spécifiques) a montré un fort soutien dans le contexte sparse. L'analyse de la matrice de confusion a révélé que les méthodes proposées réduisaient les erreurs sémantiquement implausibles (par exemple, confondre les tissus normaux et anormaux) par rapport à la base de référence.

Signification et Revendications
L'article affirme que l'exploitation de la structure de l'espace des étiquettes comme source d'information est cruciale pour les tâches de segmentation riches, en particulier lors de la gestion de variations de classes subtiles et de données spares. En allant au-delà d'une pénalisation uniforme des erreurs, les méthodes proposées permettent aux modèles de commettre de « meilleures erreurs » (c'est-à-dire des erreurs qui sont sémantiquement plus proches de la vérité). Les auteurs soulignent que leur approche améliore les bases de référence standard sans nécessiter de modifications architecturales aux réseaux de segmentation (par exemple, nnU-Net ou U-Net), ce qui en fait une extension pratique pour les pipelines existants. Ce travail comble un vide en imagerie chirurgicale, où une telle supervision sémantique hiérarchique n'avait auparavant pas été explorée, et fournit une solution évolutive pour l'entraînement sur de grands jeux de données faiblement annotés.