OOD-SEG: Exploiting out-of-distribution detection techniques for learning image segmentation from sparse multi-class positive-only annotations

1. Problématique et Contexte

L'article aborde deux défis majeurs dans la segmentation d'images médicales par apprentissage profond :

1. La rareté et le coût des annotations : Obtenir des masques de segmentation pixel par pixel (denses) nécessite une expertise médicale coûteuse et chronophage. Les annotations disponibles sont souvent éparses (seuls certains pixels d'intérêt sont étiquetés) et uniquement positives (les pixels non étiquetés ne sont pas nécessairement du "fond" ou de la classe négative ; ils peuvent appartenir à une classe positive non annotée par manque de temps ou d'ambiguïté).
2. L'absence de détection de données hors distribution (OOD) : Les pipelines de segmentation classiques supposent que toutes les données d'entrée proviennent de la même distribution que les données d'entraînement (In-Distribution ou ID). En milieu clinique, cela pose un risque de sécurité : le modèle peut produire des prédictions erronées et confiantes pour des tissus inconnus, des instruments chirurgicaux nouveaux ou des artefacts, sans pouvoir les signaler.

L'objectif est de développer un cadre capable d'apprendre à partir de ces annotations positives éparces tout en étant capable d'identifier et de rejeter les pixels hors distribution (OOD) ou de fond, sans nécessiter d'annotations de fond explicites.

2. Méthodologie Proposée : OOD-SEG

Les auteurs proposent un cadre novateur qui reformule la segmentation multi-classes à partir d'annotations positives uniquement comme un problème d'apprentissage Positive-Unlabelled (PU) et y intègre des techniques de détection OOD.

A. Formulation du problème

• Apprentissage Positive-Only : Contrairement aux méthodes supervisées classiques qui traitent les pixels non étiquetés comme du fond (classe 0), ce cadre considère que les pixels non étiquetés peuvent appartenir soit à une classe positive (mais non annotée), soit au fond/OOD.
• Stratégie d'entraînement : Un réseau de segmentation standard (basé sur U-Net avec un encodeur EfficientNet-B4) est entraîné uniquement sur les pixels annotés positivement. La perte de fonction (Cross-Entropy) est calculée uniquement sur ces pixels. Le réseau apprend donc les frontières de décision pour les classes ID sans jamais voir d'exemples de fond.

B. Intégration de la détection OOD

Au moment de l'inférence, le cadre utilise une fonction de score par pixel pour déterminer si un pixel appartient à une classe ID ou s'il est OOD (fond/autre) :

1. Score de confiance : Pour chaque pixel, on calcule un score de probabilité pour chaque classe ID.
2. Seuil de décision : Si le score maximum dépasse un seuil de confiance $\tau$, le pixel est assigné à la classe ID correspondante. Sinon, il est classé comme OOD (fond).
3. Méthodes de score testées : L'article compare plusieurs approches de détection OOD adaptées à la segmentation :
   • Baseline : Score Softmax standard.
   • ODIN : Utilisation de l'échelle de température (Temperature Scaling) et de perturbations (ici, seule la température est utilisée pour des raisons de coût computationnel et de simplicité).
   • Mahalanobis : Calcul de la distance de Mahalanobis entre les features du réseau et les distributions gaussiennes des classes d'entraînement.
   • GODIN (Generalized ODIN) : Une adaptation convolutive de la méthode GODIN, apprenant une fonction de température et de similarité directement via des couches 1x1 ou 3x3, permettant une calibration dynamique.

C. Protocole d'évaluation innovant (Cross-validation à deux niveaux)

Face au manque de jeux de données OOD étiquetés en segmentation médicale, les auteurs proposent une stratégie de validation croisée originale :

• Partitions par Sujet (SP) : Garantit qu'un même patient n'est pas présent à la fois dans l'entraînement et le test (évite le biais de patient).
• Partitions par Classe (CP) : Une partie des classes positives annotées est "mise de côté" (held-out) durant l'entraînement d'un fold spécifique. Ces classes mises de côté sont traitées comme des données OOD lors du test.
• Cela permet d'évaluer la capacité du modèle à rejeter des classes inconnues sans avoir besoin d'un jeu de données externe.

D. Métriques d'évaluation

• Pour la détection OOD : Utilisation de l'AUROC (Area Under the ROC Curve) et de l'AUPR (Area Under the Precision-Recall Curve), en traitant les classes ID comme positives et les classes mises de côté (OOD) comme négatives.
• Pour la classification ID : Métriques classiques (F1, Précision, Rappel) calculées en mode "One-vs-Rest" pour les classes connues.

3. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données :

1. Heiporspectral : Imagerie hyperspectrale (HSI) porcine (20 organes).
2. ODSI-DB : Imagerie hyperspectrale dentaire/humaine (35 tissus, sélectionnés à 9 classes).
3. DSAD : Imagerie laparoscopique RGB (11 organes abdominaux).

Principales constatations :

• Performance de détection OOD : La méthode ODIN (avec échelle de température) a obtenu les meilleures performances globales en termes d'AUROC et d'AUPR sur tous les jeux de données. Cela suggère qu'une calibration de la confiance est cruciale pour distinguer les pixels OOD.
• Limites des autres méthodes : La méthode Mahalanobis a montré des performances inférieures, probablement due à la difficulté d'estimer une matrice de covariance fiable dans des espaces de features de haute dimension. GODIN a montré des résultats mitigés, parfois inférieurs à ODIN, peut-être dû à la complexité d'entraînement supplémentaire.
• Préservation de la précision ID : L'ajout du mécanisme de rejet OOD (via le seuil $\tau_m$) n'a pas dégradé la précision de classification pour les classes In-Distribution. Le modèle rejette efficacement les pixels incertains sans sacrifier les vrais positifs.
• Qualité visuelle : Les masques de segmentation générés montrent une meilleure gestion des zones ambiguës et du fond par rapport à la baseline (sans détection OOD), évitant les fausses détections confiantes sur des structures non pertinentes.

4. Contributions Clés

1. Nouveau cadre de segmentation : Première formulation de la segmentation multi-classes à partir d'annotations positives uniquement comme un problème PU résolu par des techniques de détection OOD au niveau du pixel.
2. Stratégie d'évaluation sans données OOD externes : Proposition d'une validation croisée à deux niveaux (sujets et classes) permettant d'évaluer systématiquement la détection OOD sur un seul jeu de données annoté.
3. Adaptation de méthodes OOD à la segmentation : Intégration réussie de méthodes classiques (ODIN, Mahalanobis, GODIN) dans un pipeline de segmentation, avec une adaptation convolutive spécifique pour GODIN.
4. Robustesse clinique : Démonstration que le framework fonctionne aussi bien sur des données spectrales (HSI) que sur des images RGB standard, prouvant sa généralité.

5. Signification et Impact

Ce travail est significatif pour l'adoption clinique de l'IA en chirurgie et en imagerie médicale :

• Sécurité : En permettant au système de signaler son incertitude ou la présence de tissus/instruments inconnus (OOD), il réduit le risque d'erreurs critiques lors du déploiement en conditions réelles.
• Efficacité des annotations : Il ouvre la voie à l'utilisation de protocoles d'annotation beaucoup moins contraignants (seulement annoter ce qui est certain), réduisant considérablement le temps et le coût de préparation des données.
• Benchmark : Le protocole d'évaluation proposé comble un vide important dans la littérature, offrant une méthode standardisée pour évaluer la robustesse des modèles de segmentation face aux données hors distribution.

Limites mentionnées : Le cadre n'utilise pas les données non étiquetées pendant l'entraînement (potentiel d'amélioration future) et n'inclut pas de perturbations adverses (coûteuses en calcul). Il existe également un compromis inhérent entre la précision de classification ID et la sensibilité de détection OOD.