MARVEL: Margin-Aware Robust von Mises-Fischer Expert Learning for Long-Tailed Out-of-Distribution Detection

Résumé Technique : MARVEL – Apprentissage d'Experts de von Mises-Fischer Robuste et Sensible aux Marges pour la Détection de Hors-Distribution à Longue Traîne

Énoncé du Problème
Les réseaux de neurones profonds (DNN) ont atteint des performances élevées en imagerie médicale mais font face à des défis de fiabilité importants lors de leur déploiement en conditions réelles. Deux problèmes principaux exacerbent cette situation :

1. Échec de la détection de Hors-Distribution (OOD) : Les DNN produisent souvent des prédictions erronées et trop confiantes sur des entrées OOD (ex: régions anatomiques différentes, modalités ou images non radiographiques), ce qui pose des risques de sécurité.
2. Déséquilibre de Classes à Longue Traîne : Les ensembles de données médicaux suivent fréquemment une distribution à longue traîne où quelques classes « tête » dominent et de nombreuses classes « queue » sont rares. Ce biais provoque un surapprentissage des classes tête, entraînant une représentation médiocre des classes queue. Par conséquent, les échantillons de la queue sont souvent mal classés comme étant OOD, ou de véritables échantillons OOD sont confondus avec les classes de la queue en raison du chevauchement des clusters de caractéristiques près des frontières de décision.

La littérature existante suppose souvent des ensembles de données équilibrés, évalue la détection OOD sur des benchmarks d'images naturelles grossiers, ou ne parvient pas à traiter l'interaction entre le déséquilibre des classes et l'incertitude distributionnelle.

Méthodologie : Cadre MARVEL
Les auteurs proposent MARVEL (Margin-Aware Robust von Mises-Fisher Expert Learning), un cadre conçu pour la classification ID (en distribution) en imagerie médicale avec détection OOD sous des distributions à longue traîne. L'architecture se compose d'un extracteur de caractéristiques partagé et d'un ensemble d'experts spécialisés.

1. Classificateur von Mises-Fisher Nonlinéaire (NvMF) :

   • Motivation : Les classificateurs conventionnels basés sur le vMF se réduisent à des similitudes cosinus mises à l'échelle, produisant des frontières de décision linéaires dans l'espace hypersphérique. Cela limite la flexibilité pour modéliser les géométries de classes complexes et hétérogènes présentes dans les données déséquilibrées.
   • Innovation : Les auteurs réinterprètent la distribution vMF à travers sa structure de famille exponentielle. Au lieu de la traiter uniquement comme un modèle de vraisemblance, ils définissent les logits par des changements dans la fonction de partition logarithmique ($\ell_c = -\Delta A(x)$).
   • Garantie Théorique : L'article prouve (Théorème 1) que lorsque le paramètre de concentration $\kappa \to \infty$, les logits NvMF proposés convergent vers la similitude cosinus standard, établissant ainsi une généralisation rigoureuse des classificateurs hypersphériques existants. Pour un $\kappa$ fini, cela induit des frontières de décision non linéaires, permettant une meilleure séparation des clusters complexes.

2. Ensemble Multi-Experts Sensible aux Marges :
   Pour traiter le déséquilibre de la longue traîne, le cadre utilise trois experts NvMF, chacun entraîné avec un paramètre de force de marge distinct $\tau \in \{0, 1, 2\}$ :

   • Biaisé vers la tête ($\tau=0$) : Classificateur standard pour les classes majoritaires.
   • Équilibré ($\tau=1$) : Rééquilibrage modéré.
   • Biaisé vers la queue ($\tau=2$) : Protection agressive pour les classes minoritaires.
   • Mécanisme : Le terme de marge $\Delta_{yc} = \tau \log(\pi_c / \pi_y)$ est introduit dans la fonction de perte, où $\pi$ représente les priors de classe empiriques. Cela déplace asymétriquement les frontières de décision loin des classes de la queue, empêchant ces dernières d'être submergées par les classes de la tête.

3. Expert Outlier Dédié :

   • Une couche entièrement connectée séparée et simple ($g_{out}$) est entraînée explicitement pour la classification binaire (ID vs OOD).
   • Elle utilise un ensemble de données OOD auxiliaire (ImageNet-100) pendant l'entraînement. Contrairement aux experts NvMF qui modélisent les classes ID fines, cet expert se concentre uniquement sur la séparation des inliers des outliers, fournissant un signal de supervision direct pour la détection OOD.

4. Stratégie d'Inférence :

   • Classification ID : Agrège les prédictions des trois experts NvMF (moyenne des probabilités softmax sur les $K$ classes ID).
   • Détection OOD : Combine deux signaux : (i) la probabilité de la $(K+1)$-ième classe (OOD) provenant des experts NvMF, et (ii) la probabilité OOD explicite de l'expert outlier. Le score final est la moyenne de ces deux signaux.

Protocole d'Évaluation
Les auteurs critiquent les benchmarks existants qui reposent sur des images naturelles (ex: SVHN, LSUN) ou sur une simple exclusion de classes. Ils proposent un cadre d'évaluation OOD cliniquement réaliste couvrant :

• Nouvelles Classes : Classes sémantiques non vues pendant l'entraînement (Open-Set).
• Corruptions : Dégradations synthétiques (bruit, flou, artefacts).
• NearOOD : Décalages de domaine au sein de l'imagerie médicale (ex: différents appareils d'acquisition, techniques de coloration ou régions anatomiques).
• FarOOD : Images naturelles (MS-COCO) visuellement distantes des données médicales.
• Datasets : Les expériences sont menées sur RFMiD (imagerie rétinienne), ISIC2019 (dermatologie) et NCTCRC (histopathologie), toutes remodelées pour suivre une distribution à longue traîne de 50:1.

Résultats Clés

• Détection OOD : MARVEL surpasse systématiquement les méthodes de l'état de l'art (PASCL, COCL, EAT, PATT, OE) sur tous les jeux de données et scénarios OOD.
  • Il atteint des réductions de FPR95 moyennes de 8,45 % (RFMiD), 13,02 % (ISIC2019) et 36,90 % (NCTCRC) par rapport aux bases de référence.
  • Il atteint des AUROC proches de la saturation (>99 %) sur les scénarios FarOOD et NearOOD2, grâce à l'expert outlier dédié.
  • Il maintient la meilleure performance dans le scénario Open-Set le plus difficile, bien que l'AUROC reste inférieure à 85 % dans ce cas précis, soulignant la difficulté inhérente à distinguer les nouvelles classes des classes de la queue.
• Classification ID : MARVEL obtient la précision (Accuracy) et la précision équilibrée (Balanced Accuracy) les plus élevées. Contrairement aux bases de référence qui montrent un grand écart entre la performance de la tête et de la queue, MARVEL améliore significativement la reconnaissance des classes de la queue (ex: la précision de la queue approche 95 % sur NCTCRC) tout en maintenant la performance des classes de la tête.
• Études d'Ablation :
  • Choix du Classificateur : Le NvMF surpasse nettement le vMF linéaire, le cosinus et les classificateurs FC, validant l'avantage des frontières non linéaires.
  • Nombre d'Experts : Un ensemble de trois experts offre le compromis optimal ; l'ajout d'un quatrième expert n'apporte aucune amélioration et dégrade souvent les performances.
  • Calibration : MARVEL démontre une calibration de confiance supérieure aux bases de référence, qui ont tendance à être soit trop confiantes (PASCL, PATT), soit trop peu confiantes (OE, EAT).
  • Scoring OOD : Le scoring basé sur les logits (MSP) au sein du cadre surpasse les méthodes basées sur la distance (KNN, Mahalanobis), qui peinent face à la nature éparse et anisotrope des représentations des classes de la queue.

Signification et Revendications
L'article affirme que MARVEL comble une lacune critique de l'IA médicale en unifiant la reconnaissance de la longue traîne et la détection OOD. Sa signification réside dans :

1. Nouveauté Méthodologique : Introduction d'un classificateur von Mises-Fischer non linéaire fondé sur la théorie qui généralise les classificateurs de cosinus, et d'une stratégie d'experts multiples sensible aux marges pour gérer le déséquilibre sévère des classes.
2. Modélisation Explicite de l'OOD : Découplage de la détection OOD de la discrimination multi-classes ID via un expert outlier dédié, évitant la confusion entre les classes rares de la queue et les véritables outliers.
3. Pertinence Clinique : Aller au-delà des benchmarks artificiels pour évaluer les modèles sur un spectre de décalages de distribution cliniquement représentatifs (changements de modalité, variations d'acquisition et images naturelles).
4. Sécurité : Permettre l'identification fiable des cas inconnus pour un renvoi vers les cliniciens, soutenant ainsi une IA plus sûre dans les flux de travail réels où les données sont intrinsèquement déséquilibrées et les décalages de distribution fréquents.

Les auteurs reconnaissent des limites, notamment la dépendance à des données OOD auxiliaires pour l'entraînement et l'hypothèse d'un espace d'étiquettes fixe, notant que les travaux futurs pourraient explorer l'apprentissage continu et les tâches de prédiction dense.