Unsupervised Source-Free Ranking of Biomedical Segmentation Models Under Distribution Shift

1. Problématique

Le domaine de l'imagerie biomédicale fait face à un goulot d'étranglement majeur : le coût élevé et le temps nécessaire pour annoter les données d'entraînement. Bien que de nombreux modèles pré-entraînés soient disponibles via des "zoos de modèles" (comme le BioImage Model Zoo) ou des défis publics, la réutilisation de ces modèles sur de nouveaux ensembles de données (cibles) pose un problème critique : comment sélectionner le meilleur modèle sans accès aux étiquettes de vérité terrain (labels) de la nouvelle cible ?

Les défis spécifiques identifiés sont :

• Absence d'étiquettes (Unsupervised) : L'annotation manuelle est souvent impossible ou trop coûteuse pour évaluer les modèles avant leur déploiement.
• Absence de données sources (Source-Free) : L'utilisateur peut ne pas avoir accès aux données d'entraînement originales du modèle pré-entraîné.
• Décalage de distribution (Distribution Shift) : Les données cibles (nouveau microscope, nouvelle espèce, nouveau protocole) diffèrent souvent significativement des données sources.
• Limites des méthodes existantes : Les méthodes actuelles d'estimation de transférabilité sont souvent conçues pour la classification, nécessitent des labels, ou échouent à évaluer la segmentation d'instances (où les étiquettes sont des ensembles non ordonnés de masques, contrairement à la segmentation sémantique).

2. Méthodologie : CMR (Consistency Model Ranking)

Les auteurs proposent CMR, un cadre d'évaluation non supervisé, sans source et compatible avec les boîtes noires. L'idée centrale repose sur la cohérence des prédictions sous perturbation.

Principe Fondamental

L'hypothèse est qu'un modèle bien adapté à une distribution cible possède des frontières de décision robustes. Si l'on applique de petites perturbations aux entrées (images) ou aux caractéristiques internes (features), un bon modèle devrait maintenir ses prédictions (cohérence), tandis qu'un modèle inadapté verra ses prédictions changer de manière erratique.

Mécanisme de Perturbation

Le système applique des perturbations lors de l'inférence (Test-Time) :

1. Perturbations de l'espace d'entrée : Ajout de bruit gaussien, ajustement de la luminosité, du contraste ou correction gamma.
2. Perturbations de l'espace de caractéristiques (Feature Space) : Utilisation du Dropout au moment du test (Test-Time Dropout - TTD) appliqué aux couches intermédiaires ou aux connexions résiduelles du réseau, sans modifier les poids du modèle.

Métriques de Cohérence

Selon le type de segmentation, une métrique spécifique est utilisée pour comparer la prédiction originale ($\hat{y}$) et la prédiction perturbée ($\tilde{y}$) :

• Pour la Segmentation Sémantique :

  • CMR-EI (Effective Invariance) : Une métrique "douce" utilisant les probabilités softmax et la cohérence des classes.
  • CMR-NHD (Normalized Hamming Distance) : Une métrique "dure" basée sur le nombre de changements de pixels (flips) entre les prédictions, normalisée par le nombre de pixels d'intérêt. Elle est équivalente à l'IoU mais focalisée sur la stabilité.
  • Note : Les métriques sont restreintes aux pixels d'intérêt (foreground) pour éviter que le fond ne domine le score.

• Pour la Segmentation d'Instances :

  • CMR-ARS (Adapted Rand Score) : Puisque les étiquettes d'instances sont arbitraires (pas de correspondance fixe entre les IDs), on ne peut pas comparer pixel à pixel directement. La méthode utilise l'indice de Rand pour mesurer l'accord sur les paires de pixels : si deux pixels appartiennent à la même instance dans la prédiction originale, ils doivent aussi appartenir à la même instance dans la prédiction perturbée.

Le score final pour un modèle est la médiane des scores de cohérence sur l'ensemble des images cibles et des perturbations. Les modèles sont ensuite classés par ordre décroissant de ce score.

3. Contributions Clés

1. Première méthode unifiée : Introduction de la première méthode capable de classer à la fois les modèles de segmentation sémantique et d'instance de manière non supervisée et sans accès aux données sources.
2. Compatibilité Boîte Noire : La méthode ne nécessite que les prédictions du modèle (inférence). Elle fonctionne avec des API d'inférence ou des conteneurs, sans accès aux poids internes ou à l'architecture, ce qui la rend applicable à des zoos de modèles hétérogènes.
3. Validation sur des scénarios réalistes : Évaluation sur une large gamme de tâches biomédicales (noyaux, cellules, mitochondries en microscopie 2D/3D) et sur le défi ToothFairy2 (segmentation 3D des mâchoires en CBCT).
4. Performance après Adaptation de Domaine (UDA) : Démonstration que la méthode fonctionne aussi bien pour classer des modèles directement transférés (zero-shot) que pour classer des modèles après une adaptation de domaine non supervisée (UDA).

4. Résultats Expérimentaux

Les auteurs ont évalué CMR sur plusieurs ensembles de données publics et comparé leurs résultats à des métriques de référence (baselines) supervisées et non supervisées.

• Corrélation avec la performance réelle :

  • CMR montre une corrélation forte (coefficients de Pearson, Spearman et Kendall Tau élevés, souvent > 0.8) avec la performance réelle (F1-score ou mAP) sur les données cibles, même sans accès aux labels.
  • Échec des méthodes existantes : Les métriques de transférabilité supervisées (comme LEEP, LogME, H-score) conçues pour la classification échouent à prédire la performance en segmentation biomédicale, même lorsqu'elles ont accès aux labels de la cible. Les méthodes non supervisées existantes (Transfer Score, NuNo) sont également inférieures.

• Segmentation Sémantique :

  • Sur les données de mitochondries et de noyaux, CMR surpasse systématiquement les baselines.
  • Sur le défi ToothFairy2 (3D, multi-classes), CMR reproduit avec succès le classement moyen des modèles du défi (basé sur le score DICE) sans connaître les labels de test.

• Segmentation d'Instances :

  • CMR-ARS surpasse la méthode de référence SEG (basée sur l'agrégation de prédictions et les centroïdes), qui est sensible aux paramètres et ignore la forme des objets. CMR-ARS capture mieux la qualité pixel par pixel.

• Robustesse :

  • La méthode est stable sur une large gamme de forces de perturbation (bruit, dropout).
  • Elle fonctionne aussi bien sur des architectures variées (U-Net, Transformers, modèles généralistes comme µSAM et Cellpose-SAM).

• Limites observées :

  • Des cas pathologiques (effondrement de mode où le modèle prédit tout comme premier plan ou arrière-plan) peuvent générer une cohérence artificiellement élevée mais une mauvaise performance.
  • En cas de confusion de classe majeure (ex: un modèle entraîné sur des structures EPFL segmentant erroneusement des structures VNC similaires), la cohérence reste élevée alors que la performance chute.

5. Signification et Impact

Ce travail apporte une solution pratique et immédiate au problème de la sélection de modèles dans l'écosystème croissant des modèles biomédicaux.

• Réduction des coûts : Il élimine le besoin d'annotation manuelle coûteuse pour évaluer quel modèle pré-entraîné utiliser sur une nouvelle tâche.
• Facilitation du réutilisation : Il permet aux chercheurs et cliniciens de naviguer efficacement dans les "zoos de modèles" (comme BioImage Model Zoo) pour trouver le modèle le plus adapté à leurs données spécifiques, même en présence de décalages de distribution importants.
• Indépendance technologique : En étant agnostique à l'architecture et aux données sources, CMR est applicable à n'importe quel modèle déployable, favorisant ainsi l'adoption de l'IA dans des domaines où les données annotées sont rares.

En résumé, CMR établit un nouvel état de l'art pour l'évaluation non supervisée de la transférabilité des modèles de segmentation, comblant le fossé entre la disponibilité massive de modèles pré-entraînés et la difficulté de les sélectionner pour des applications biomédicales réelles.