💻 computer science

Instance Awareness of Multi-class Semantic Segmentation Loss Functions

Ce papier propose d'étendre les fonctions de perte sensibles aux instances, telles que la perte blob et la perte CC, à la segmentation sémantique multi-classes via une décomposition un-contre-tous et un pondération inverse de la taille par composante, démontrant que ces adaptations traitent efficacement à la fois les déséquilibres d'instances et de classes pour améliorer les scores Dice et la Qualité Panoptique sur le jeu de données BraTS-METS 2025.

Auteurs originaux : Soumya Snigdha Kundu, Florian Kofler, Marina Ivory, Hendrik Moller, Jonathan Shapey, Tom Vercauteren

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Soumya Snigdha Kundu, Florian Kofler, Marina Ivory, Hendrik Moller, Jonathan Shapey, Tom Vercauteren

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraînez un robot à examiner une carte 3D d'un cerveau humain et à y repérer toutes les tumeurs. Le problème est que le cerveau présente deux types d'"iniquité" très différents qui rendent cette tâche incroyablement difficile pour le robot.

Les Deux Grands Problèmes

Le Problème "Minuscule vs Géant" (Déséquilibre des instances) :
Imaginez que le robot cherche des tumeurs. Certaines sont énormes, comme un pamplemousse. D'autres sont minuscules, comme un grain de sable.
- L'Ancienne Méthode : Si le robot tente d'apprendre à partir de l'image entière d'un coup, il se laisse distraire par le gigantesque pamplemousse. Il se dit : « Oh, j'ai bien trouvé le gros, bravo ! » et ignore le minuscule grain de sable. Le robot n'apprend jamais à trouver les petits parce qu'ils sont trop petits pour compter dans la grande image.
- La Solution du Papier : Les auteurs ont créé un nouveau règlement (une « fonction de perte ») qui force le robot à traiter chaque tumeur comme une tâche distincte. C'est comme donner au robot une loupe pour chaque tumeur individuellement. Désormais, que la tumeur soit un pamplemousse ou un grain de sable, le robot doit la trouver correctement pour réussir le test.
Le Problème "Rare vs Commun" (Déséquilibre des classes) :
Maintenant, imaginez que le cerveau contient différents types de tumeurs.
- Type A (Commun) : Il y en a des milliers.
- Type B (Rare) : Il n'y en a que quelques-uns (comme un type spécifique de cavité de résection).
- L'Ancienne Méthode : Lorsque le robot apprend, il s'entraîne tellement sur le Type A qu'il devient expert pour les trouver. Mais comme le Type B est si rare, le robot les voit à peine pendant l'entraînement. Il oublie efficacement de les chercher.
- La Solution du Papier : Les auteurs ont réalisé que si l'on force le robot à traiter chaque type de tumeur comme un jeu séparé « un contre tous » (où il apprend à trouver le Type A en ignorant tout le reste, puis apprend à trouver le Type B en ignorant tout le reste), cela rétablit l'équité. Soudain, le rare Type B reçoit autant d'attention que le commun Type A, même s'il n'y en a que 10 contre 1 000.

L'Ingrédient Secret : Le Recalibrage « Local » vs « Global »

Le papier a également testé une astuce appelée « Pondération Inverse de la Taille ». Imaginez cela comme donner au robot un bonus de points pour trouver des choses petites.

L'Erreur (Global) : Si vous donnez le bonus de points à l'ensemble du cerveau d'un coup, le robot devient fou. Une tumeur minuscule et rare reçoit un bonus massif, tandis qu'une tumeur énorme et commune reçoit un bonus minuscule. Les mathématiques deviennent si déséquilibrées que le robot plante (ou n'apprend rien d'utile).
Le Succès (Local) : Les auteurs ont découvert que si vous ne donnez le bonus de points que à l'intérieur de la zone spécifique de cette seule tumeur minuscule, cela fonctionne parfaitement. C'est comme donner à un élève une étoile dorée pour avoir terminé un petit puzzle, mais en ne regardant que ce puzzle précis, et non toute la classe. Cela maintient le robot concentré sans casser les mathématiques.

Les Résultats : Un Compromis

Le papier a testé cela sur un ensemble de données de scans cérébraux (BraTS-METS 2025). Voici ce qui s'est produit :

Trouver les Choses Rares : Les nouvelles méthodes étaient incroyables pour trouver les tumeurs rares et difficiles à voir (les « cavités de résection »). Le taux de réussite a bondi de 15 % (avec les anciennes méthodes) à 31 % ou même 44 % avec les nouvelles astuces.
Le Revers de la Médaille : Il y a un compromis. En rendant le robot si obsédé par la recherche des tumeurs minuscules et rares, il devient parfois un peu « bruyant » lorsqu'il examine les tumeurs grandes et communes.
- Imaginez un agent de sécurité si hyper-concentré sur la capture d'un petit pickpocket qu'il trébuche accidentellement sur une grande valise.
- Les méthodes « Blob » et « CC » (les nouvelles règles) ont trouvé un bon équilibre : elles ont trouvé les tumeurs rares beaucoup mieux sans trop trébucher sur les communes.
- La méthode « Inverse-Size » a trouvé les tumeurs les plus rares de toutes, mais elle a rendu le robot légèrement moins bon pour repérer les grandes et évidentes.

La Conclusion

Le papier prouve qu'en changeant la façon dont nous enseignons au robot à examiner le cerveau — spécifiquement en traitant chaque tumeur comme un défi individuel et chaque type de tumeur comme un jeu séparé — nous pouvons résoudre le problème des tumeurs rares et minuscules manquées.

Ils n'ont pas seulement corrigé le problème « petit vs grand » ; ils ont accidentellement corrigé le problème « rare vs commun » aussi. Le résultat est un robot plus intelligent qui n'ignore pas les détails petits et rares simplement parce qu'ils sont difficiles à voir.

1. Énoncé du problème

Le papier aborde le défi du déséquilibre simultané des instances et des classes dans la segmentation sémantique multi-classes, spécifiquement dans le contexte de la segmentation des métastases cérébrales (BraTS-METS 2025).

Déséquilibre des classes : Les classes rares (par exemple, la cavité de résection - RC) ont significativement moins de voxels et d'instances que les classes communes (par exemple, la tumeur entière - WT). Les fonctions de perte standard (comme Dice + Entropie Croisée) moyennent les gradients sur tous les voxels de premier plan, ce qui fait que les classes rares reçoivent des signaux d'entraînement disproportionnellement faibles.
Déséquilibre des instances : Au sein d'une seule classe, les petites lésions (micro-métastases) sont souvent sous-représentées par rapport aux grandes lésions, car les pertes standard au niveau des voxels sont dominées par le volume plus important des grandes instances.
Le fossé : Les pertes « sensibles aux instances » existantes (Blob Loss, CC Loss) ont été conçues pour la segmentation mono-classe. Elles égalisent les gradients entre les instances d'une même classe mais échouent à résoudre le déséquilibre entre différentes classes dans un contexte multi-classes. Inversement, les pertes multi-classes standard gèrent le déséquilibre des classes par une moyenne uniforme mais ignorent les disparités de taille au niveau des instances.

2. Méthodologie

Les auteurs proposent un cadre qui étend les pertes sensibles aux instances à la segmentation multi-classes et intègre un pondération inverse de la taille de manière novatrice et localisée.

A. Extension multi-classes via décomposition Un contre Tous

Les auteurs adaptent la Blob Loss et la CC Loss (Connected Component) pour les contextes multi-classes en utilisant une stratégie Un contre Tous :

Décomposition : Pour chaque classe de premier plan $c$ , la carte d'étiquettes multi-classes est isolée en une carte binaire $y_c$ (où la classe $c$ est le premier plan, et toutes les autres sont l'arrière-plan).
Extraction des instances : Des composantes connexes 3D sont identifiées dans $y_c$ pour définir les instances individuelles $\{S^c_1, \dots, S^c_{K_c}\}$ .
Calcul de la perte :
- CC Loss : Partitionne le volume en cellules de Voronoi $V^c_k$ basées sur la distance euclidienne à la composante la plus proche. La perte est calculée uniquement dans ces régions locales pour empêcher les grands voisins de dominer les petits.
- Blob Loss : Construit un domaine spécifique à l'instance $\Omega^c_k$ en supprimant toutes les autres composantes de premier plan de la même classe, ne laissant que la composante cible et l'arrière-plan.
Agrégation : La perte d'instance finale ( $L_{instance}$ ) est la moyenne uniforme des pertes sur toutes les composantes et toutes les classes :
$L_{instance} = \frac{1}{|C|} \sum_{c \in C} \frac{1}{K_c} \sum_{k=1}^{K_c} \ell^c_k$
Insight clé : En moyennant uniformément sur les classes ( $\frac{1}{|C|}$ ), une classe rare avec peu d'instances (par exemple RC) contribue également au gradient qu'une classe commune avec de nombreuses instances (par exemple ET), résolvant efficacement le déséquilibre des classes tandis que la moyenne par composante résout le déséquilibre des instances.

B. Pondération inverse de la taille localisée (IWL)

La pondération inverse de la taille standard (attribuer des poids inversement proportionnels à la taille de la composante) échoue dans les contextes multi-classes lorsqu'elle est appliquée globalement, car les poids varient de plusieurs ordres de grandeur entre les classes rares et communes, déstabilisant l'entraînement.

Solution proposée : Intégrer la pondération au sein de la perte par composante.
Mécanisme : Une carte de poids $w^c_k$ est appliquée uniquement aux voxels à l'intérieur du domaine spécifique de la composante ( $\Omega^c_k$ ou $V^c_k$ ).
$w^c_k(v) = \min(\max(|\Omega^c_k|/|S^c_k|, 1), 2 \times 10^5)$
Effet : Cela confine le repondérage au contexte spatial d'une seule composante, amplifiant les gradients pour les petites instances sans créer de déséquilibres de poids globaux entre les classes.

C. Fonction de perte combinée

La perte totale combine la perte globale standard (pour pénaliser les faux positifs dans les régions d'arrière-plan) avec la nouvelle perte d'instance :
$L = \alpha \cdot L_{global} + \beta \cdot L_{instance}$
Les auteurs évaluent $\alpha=1, \beta=1$ et $\alpha=1, \beta=2$ .

3. Contributions clés

Réaffectation des pertes d'instances : Démonstration que l'extension des pertes sensibles aux instances (Blob/CC) à la segmentation multi-classes via une décomposition Un contre Tous résout simultanément le déséquilibre des classes (via une moyenne uniforme des classes) et le déséquilibre des instances.
Repondérage localisé : Démonstration que la pondération inverse de la taille n'est efficace que lorsqu'elle est intégrée localement au sein des pertes par composante. L'application globale déstabilise l'entraînement, tandis que l'application locale améliore considérablement les performances des classes rares (par exemple, le Dice RC passe de 0,22 à 0,44).
Analyse des compromis : Identification d'un compromis systématique entre le recouvrement au niveau des voxels (Dice) et la détection au niveau des instances (Qualité Panoptique). Les méthodes qui surpondèrent agressivement les classes rares améliorent le Dice mais dégradent souvent la qualité de détection (PQ).

4. Résultats expérimentaux

Les expériences ont été menées sur le jeu de données BraTS-METS 2025 (260 cas de test), se concentrant sur quatre régions : WT, TC, ET et la rare Cavité de Résection (RC).

Référence : nnU-Net standard (Dice + CE) a obtenu un Dice RC de 0,15 et une Moyenne PQ du premier plan (à $\tau=0,5$ ) de 0,38.
CC Loss multi-classes :
- Amélioration du Dice RC à 0,31.
- Maintien de la Moyenne PQ du premier plan à 0,39 (comparable à la référence).
- Obtention de la meilleure Moyenne Dice globale du premier plan (0,64).
Blob Loss multi-classes :
- Obtention de la meilleure Moyenne PQ du premier plan (0,40) et de la Qualité de Reconnaissance (0,53).
- Amélioration du Dice RC à 0,22.
Avec pondération inverse de la taille localisée (IWL) :
- Blob + IWL : A obtenu le Dice RC le plus élevé (0,44) et la Moyenne Dice du premier plan (0,65).
- Coût : Cela s'est fait au détriment de la qualité de détection, faisant chuter la Moyenne PQ du premier plan à 0,31.
Paramètre de pondération ( $\beta$ ) : Contrairement aux contextes mono-classe où $\beta=2$ est recommandé, le contexte multi-classes a donné les meilleurs résultats avec $\beta=1$ . La décomposition Un contre Tous fournit déjà un équilibrage des classes suffisant, et $\beta=2$ conduit à une sur-segmentation des classes rares.

5. Importance et conclusion

Impact clinique : Une segmentation précise de la cavité de résection (RC) est cruciale pour la planification de la Radiochirurgie Stéréotaxique (SRS) post-opératoire. L'amélioration du Dice RC de 0,15 à 0,44 améliore directement la précision de la planification du traitement.
Insight méthodologique : Le papier établit que le repondérage structuré et spatialement circonscrit (décomposition Un contre Tous + pondération inverse de la taille localisée) est supérieur au repondérage global pour la segmentation multi-classes avec des données déséquilibrées.
Voies futures : Les auteurs soulignent le compromis inhérent entre Dice et Qualité Panoptique. Les travaux futurs devraient viser à résoudre ce compromis pour atteindre simultanément un fort recouvrement de voxels et une détection d'instances précise.

En résumé, ce travail fournit un cadre robuste de fonctions de perte qui traite chaque instance de tumeur et chaque classe de tumeur avec une importance égale, comblant le fossé entre la segmentation automatisée et la précision par lésion requise pour le traitement individualisé des métastases cérébrales.