MARVEL: Margin-Aware Robust von Mises-Fischer Expert Learning for Long-Tailed Out-of-Distribution Detection

Technische Samenvatting: MARVEL – Margin-Aware Robust von Mises-Fischer Expert Learning voor Long-Tailed Out-of-Distribution Detectie

Probleemstelling
Diepe neurale netwerken (DNN's) hebben een hoge prestatie bereikt in medische beeldvorming, maar staan voor aanzienlijke betrouwbaarheidsproblemen bij implementatie in de echte wereld. Twee primaire problemen verergeren dit:

1. Out-of-Distribution (OOD) Detectie Falen: DNN's produceren vaak overgeconfident, foutieve voorspellingen op OOD-inputs (bijv. andere anatomische regio's, modaliteiten of niet-radiografische beelden), wat veiligheidsrisico's met zich meebrengt.
2. Long-Tailed Class Imbalance: Medische datasets volgen vaak een long-tailed distributie waarbij een paar "head"-klassen domineren en talloze "tail"-klassen zeldzaam zijn. Deze bias zorgt ervoor dat modellen overfitten op head-klassen, wat resulteert in een slechte representatieleer voor tail-klassen. Gevolgen daarvan worden tail-samples vaak verkeerd geclassificeerd als OOD, of worden ware OOD-samples verward met tail-klassen door overlappende feature-clusters nabij de beslissingsgrenzen.

Bestaande literatuur gaat vaak uit van gebalanceerde datasets, evalueert OOD-detectie op grove natuurlijke beeldbenchmarks, of faalt in het adresseren van de interactie tussen klasse-imbalans en distributionele onzekerheid.

Methodologie: MARVEL Framework
De auteurs stellen MARVEL voor (Margin-Aware Robust von Mises-Fisher Expert Learning), een framework ontworpen voor medische beeldvorming ID-classificatie met OOD-detectie onder long-tailed distributies. De architectuur bestaat uit een gedeelde feature extractor en een ensemble van gespecialiseerde experts.

1. Nonlinear von Mises-Fisher (NvMF) Classifier:

   • Motivatie: Conventionele vMF-gebaseerde classifiers reduceren tot geschaalde cosinus-similariteiten, wat resulteert in lineaire beslissingsgrenzen in de hypersferische ruimte. Dit beperkt de flexibiliteit voor het modelleren van complexe, heterogene klasse-geometrieën die kenmerkend zijn voor ongebalanceerde data.
   • Innovatie: De auteurs herinterpreteren de vMF-distributie via de structuur van de exponentiële familie. In plaats van het uitsluitend als een likelihood-model te behandelen, definiëren zij de logits middels veranderingen in de log-partitiefunctie ($\ell_c = -\Delta A(x)$).
   • Theoretische Garantie: Het paper bewijst (Theorema 1) dat naarmate de concentratieparameter $\kappa \to \infty$, de voorgestelde NvMF-logits convergeren naar standaard cosinus-similariteit, waarmee het wordt gevestigd als een gefundeerde generalisatie van bestaande hypersferische classifiers. Voor een eindige $\kappa$ induceert het niet-lineaire beslissingsgrenzen, wat zorgt voor een betere scheiding van complexe clusters.

2. Margin-Aware Multi-Expert Ensemble:

   • Om de long-tailed imbalans aan te pakken, gebruikt het framework drie NvMF-experts, elk getraind met een afzonderlijke marge-sterkte parameter $\tau \in \{0, 1, 2\}$:
     • Head-biased ($\tau=0$): Standaard classifier voor meerderheidsklassen.
     • Balanced ($\tau=1$): Matige herbalancering.
     • Tail-biased ($\tau=2$): Agressieve bescherming voor minderheidsklassen.
   • Mechanisme: De marge-term $\Delta_{yc} = \tau \log(\pi_c / \pi_y)$ wordt geïntroduceerd in de loss-functie, waarbij $\pi$ de empirische klasse-priors vertegenwoordigt. Dit verschuift de beslissingsgrenzen asymmetrisch weg van de tail-klassen, waardoor wordt voorkomen dat zij worden overstemd door de head-klassen.

3. Dedicated Outlier Expert:

   • Een aparte, eenvoudige fully connected laag ($g_{out}$) wordt expliciet getraind voor binaire classificatie (ID vs. OOD).
   • Deze maakt gebruik van een auxiliary OOD-dataset (ImageNet-100) tijdens de training. In tegenstelling tot de NvMF-experts die fijnmazige ID-klassen modelleren, focust deze expert zich puur op het scheiden van inliers van outliers, wat een direct supervisiesignaal biedt voor OOD-detectie.

4. Inference Strategie:

   • ID Classificatie: Aggregeert voorspellingen van de drie NvMF-experts (gemiddelde van softmax-probabiliteiten over de $K$ ID-klassen).
   • OOD Detectie: Combineert twee signalen: (i) de waarschijnlijkheid van de $(K+1)$-de klasse (OOD) van de NvMF-experts, en (ii) de expliciete OOD-waarschijnlijkheid van de outlier expert. De uiteindelijke score is het gemiddelde van deze twee signalen.

Evaluatieprotocol
De auteurs bekritiseren bestaande benchmarks vanwege hun afhankelijkheid van natuurlijke afbeeldingen (bijv. SVHN, LSUN) of eenvoudige klasse-uitsluiting. Zij stellen een klinisch realistisch OOD-evaluatieframework voor dat een spectrum beslaat van:

• Nieuwe Klassen: Semantische klassen die niet gezien zijn tijdens de training (Open-Set).
• Corrupties: Synthetische degradaties (ruis, onscherpte, artefacten).
• NearOOD: Domeinverschuivingen binnen medische beeldvorming (bijv. verschillende acquisitieapparaten, kleuringstechnieken of anatomische regio's).
• FarOOD: Natuurlijke afbeeldingen (MS-COCO) die visueel ver verwijderd zijn van medische data.
• Datasets: Experimenten worden uitgevoerd op RFMiD (retinale beeldvorming), ISIC2019 (dermatologie) en NCTCRC (histopathologie), die allemaal zijn omgevormd naar een 50:1 long-tailed distributie.

Belangrijkste Resultaten

• OOD Detectie: MARVEL presteert consistent beter dan state-of-the-art methoden (PASCL, COCL, EAT, PATT, OE) over alle datasets en OOD-scenario's.
  • Het bereikt gemiddelde FPR95-reducties van 8,45% (RFMiD), 13,02% (ISIC2019) en 36,90% (NCTCRC) vergeleken met de baselines.
  • Het bereikt bijna verzadigde AUROC (>99%) op FarOOD en NearOOD2 scenario's, toe te schrijven aan de toegewijde outlier expert.
  • Het behoudt de beste prestaties in het meest uitdagende Open-Set scenario, hoewel de AUROC in dit specifieke geval onder de 85% blijft, wat de inherente moeilijkheid benadrukt van het onderscheiden van nieuwe klassen van tail-klassen.
• ID Classificatie: MARVEL behaalt de hoogste Accuracy en Balanced Accuracy. In tegen tegenstelling tot baselines die een grote kloof vertonen tussen head- en tail-prestaties, verbetert MARVEL de herkenning van tail-klassen aanzienlijk (bijv. tail-accuracy nadert 95% op NCTCRC) terwijl de head-klasse prestaties behouden blijven.
• Ablatie Studies:
  • Classifier Keuze: NvMF presteert significant beter dan lineaire vMF, cosinus en FC classifiers, wat het voordeel van niet-lineaire grenzen valideert.
  • Expert Aantal: Een ensemble van drie experts biedt de optimale trade-off; het toevoegen van een vierde expert levert geen verbetering op en verslechtert vaak de prestaties.
  • Calibratie: MARVEL vertoont superieure confidence calibratie vergeleken met baselines, die vaak ofwel overgeconfident (PASCL, PATT) of ondergeconfident (OE, EAT) zijn.
  • OOD Scoring: Logit-gebaseerde scoring (MSP) binnen het framework presteert beter dan afstand-gebaseerde methoden (KNN, Mahalanobis), die moeite hebben met de ijle, anisotrope aard van tail-klasse representaties.

Betekenis en Claims
Het paper claimt dat MARVEL een kritieke kloof in medische AI adresseert door long-tailed herkenning en OOD-detectie te verenigen. De significantie ligt in:

1. Methodologische Nieuwheid: Introductie van een theoretisch gefundeerde Nonlinear vMF classifier die cosinus-classifiers generaliseert, en een marge-bewuste multi-expert strategie om ernstige klasse-imbalans aan te pakken.
2. Expliciete OOD Modellering: Het ontkoppelen van OOD-detectie van multi-class ID discriminatie via een toegewijde outlier expert, wat verwarring tussen zeldzame tail-klassen en ware outliers voorkomt.
3. Klinische Relevantie: Verder gaan dan kunstmatige benchmarks door modellen te evalueren op een spectrum van klinisch reflectieve distributieverschuivingen (veranderingen in modaliteit, acquisitievariaties en natuurlijke afbeeldingen).
4. Veiligheid: Het mogelijk maken van betrouwbare identificatie van onbekende gevallen voor overdracht aan clinici, wat veiliger AI-ondersteunde diagnose ondersteunt in real-world workflows waar data inherent ongebalanceerd is en distributieverschuivingen gebruikelijk zijn.

De auteurs erkennen beperkingen, inclusief de afhankelijkheid van auxiliary OOD-data voor training en de assumptie van een vaste labelruimte, waarbij zij opmerken dat toekomstig werk continu leren en dense prediction taken kan verkennen.