Technische Samenvatting: Mitose Detectie "In the Wild" – Multi-Tumor en Context-bewuste Generalisatie in de MIDOG 2025 Challenge

1. Probleemstelling

Geautomatiseerde detectie van mitotische figuren (MF) is een cruciale taak in de computationele pathologie voor het beoordelen van de agressiviteit van kanker via de mitotische telling (MC). Hoewel eerdere benchmarks (bijv. MITOS, MIDOG 2021/2022) het vakgebied hebben geavanceerd, vertrouwden zij grotendeels op door experts geselecteerde "hotspot"-regio's—gebieden met een hoge cellulaire dichtheid en mitotische activiteit. Deze aanpak introduceert selectiebias en weerspiegelt niet de variabiliteit van echte klinische workflows, waarbij algoritmen volledige Whole-Slide Images (WSI's) moeten verwerken die diverse weefselarchitecturen, willekeurige regio's en gebieden rijk aan "imposters" bevatten (structuren die morfologisch lijken op mitosen, zoals apoptotische cellen of necrotisch debris).

Verder is, hoewel de prognostische relevantie van atypische mitotische figuren (AMF)—indicatief voor chromosomale instabiliteit en agressief tumorgedrag—vastgesteld, zijn grootschalige, multi-domein datasets voor AMF-classificatie schaars gebleven. De MIDOG 2025 challenge was ontworpen om deze hiaten aan te pakken door de algoritmische robuustheid te evalueren over ongekende biologische diversiteit (12 tumortypes uit menselijke, caniele en feline monsters) en contextuele diversiteit (hotspot, random en uitdagende regio's).

2. Methodologie

Challenge Design en Data

De challenge bestond uit twee onafhankelijke tracks:

• Track 1: Mitotic Figure Detection. Deelnemers lokaliseerden MF's binnen 2 mm² Regions of Interest (ROIs). In tegen tegenstelling tot vorige edities strekte de evaluatie zich uit voorbij hotspots naar:
  • Hotspot ROIs: Door experts geselecteerde regio's met een hoge dichtheid.
  • Random ROIs: Uniform gesampled uit het weefselgebied om de hele slide te representeren.
  • Challenging ROIs: Door experts geselecteerde regio's met een hoge dichtheid aan MF-imposters (bijv. ontstekingscellen, necrotisch debris) en artefacten.
  • De testset bestond uit 365 ROIs van 122 gevallen uit 12 tumordomeinen (waaronder menselijk melanoom, glioblastoom, longadenocarcinoom en diverse caniele/feline tumoren), gedigitaliseerd op meerdere scannerplatforms.
• Track 2: Atypical Mitotic Figure Classification. Deelnemers classificeerden 128×128 px patches gecentreerd op bevestigde MF's als "normaal" of "atypisch". De testset bevatte 11.939 MF's over zeven domeinen, afgeleid van de MIDOG++ dataset.

Annotatieprotocol

De grondwaarheid (ground truth) voor Track 1 werd vastgesteld via een tweefasige annotatiepipeline, ondersteund door Phosphohistone H3 (PHH3) immunohistochemie (IHC) om bij te dragen aan het identificeren van mitotische fasen.

1. Fase 1: Een gecertificeerd veterinaire patholoog annoteerde cellen met behulp van PHH3-ondersteunde labeling, waarbij ze werden gecategoriseerd in vijf klassen (variërend van PHH3-positieve/kenmerkende MF's tot PHH3-negatieve imposters).
2. Fase 2: Een secundaire patholoog classificeerde blindelings cropped patches (30 micron) van H&E-afbeeldingen als MF of niet-MF imposter. Meningsverschillen werden opgelost door een derde expert.
   Voor Track 2 volgde de AMF-classificatie de gevestigde richtlijnen, waarbij consensus werd bereikt door twee pathologen (en een derde voor tie-breaking) op bevestigde MF's.

Evaluatiemetrieken

• Track 1: De primaire metriek was de micro-gemiddelde F1-score. Secundaire metrieken waren FROC-AUC (area under the free-response ROC curve, beperkt tot 8 false positives per afbeelding) en Average Precision (AP).
• Track 2: De primaire metriek was Balanced Accuracy (BA) om rekening te houden met klasse-imbalans. De secundaire metriek was ROC AUC.
• Post-Challenge Analyse: De organisatoren voerden ablatie-studies uit op ingediende Docker-containers om de effecten van Ensembling en Test-Time Augmentation (TTA) te isoleren, naast analyse van inferentietijd en VRAM-gebruik.

3. Belangrijkste Bijdragen

1. Expansie van de Evaluatiescore

Dit werk introduceert de eerste grootschalige evaluatie van mitosis detectie "in the wild", waarbij wordt bewogen van gecureerde hotspots naar het opnemen van random en uitdagende regio's. Deze verschuiving legt een significante "klinische betrouwbaarheidsgap" bloot, waarbij wordt aangetoond dat modellen die goed presteren op hotspots vaak falen in bredere contexten.

2. Multi-Domein en Multi-Species Benchmark

De challenge maakte gebruik van een testset die verspreid is over 12 tumortypes van menselijke, caniele en feline bronnen, gedigitaliseerd over diverse scanners. Dit biedt een rigoureuze test van domein-generalisatie over soorten en door scanners veroorzaakte verschuivingen (scanner-induced shifts).

3. Grootschalige AMF Dataset

De challenge bracht een uitgebreide, multi-domein dataset uit voor AMF-classificatie, waarmee het tekort aan geannoteerde data voor deze prognostische marker wordt aangepakt.

4. Empirische Analyse van Veelvoorkomende Technieken

Door middel van ablatie-studies op inzendingen van deelnemers levert het artikel empirisch bewijs over de effectiviteit van Ensembling en TTA, wat de aanname uitdaagt dat deze technieken universeel voordelig zijn.

4. Resultaten

Track 1: Detectieprestaties

• Algemene Prestaties: Het topteam (Lv et al.) behaalde een F1-score van 0,740.
• Contextuele Variantie: De prestaties verslechterden aanzienlijk buiten de hotspots.
  • Hotspot: Gemiddelde F1 = 0,735.
  • Random: Gemiddelde F1 = 0,638.
  • Challenging: Gemiddelde F1 = 0,479.
• False Positive Rate: De precisie in uitdagende gebieden daalde naar 0,400 vergeleken met 0,805 in hotspots, wat resulteerde in een toename van 208% in de false positive rate.
• Tumorafhankelijkheid: De prestaties varieerden sterk per tumortype, met de laagste mediane F1 op menselijk glioblastoom (0,444) en de hoogste op caniele hemangiosarcoom (0,808).
• Correlatie: Er was geen significante correlatie tussen prestaties in hotspots en uitdagende gebieden ($r=0,36, p=0,201$), wat aangeeft dat expertise in hotspots de robuustheid in moeilijke regio's niet voorspelt.

Track 2: Classificatieprestaties

• Algemene Prestaties: Het topteam (Balezo et al.) behaalde een Balanced Accuracy van 0,908.
• Tumorafhankelijkheid: Significante variantie werd waargenomen over tumortypes, waarbij feline lymfoom de laagste mediane BA vertoonde (beperkt door lage recall) en menselijk astrocytoom de hoogste.

Methodologische Inzichten (Ablatie-studies)

• Ensembling: Leverde consistente winst op. In Track 1 verhoogde ensembling de F1 met een gemiddelde van 1,55 procentpunt, waarbij het voordeel groter was in uitdagende regio's. In Track 2 verhoogde het de BA met 1,30 procentpunt.
• Test-Time Augmentation (TTA): Toonde verwaarloosbare of geen betekenisvolle verbetering. In Track 1 leverde TTA een gemiddelde toename op van slechts 0,32 procentpunt, met een mediane afname van -0,042 punten.
• Architectuurtrends:
  • Track 1: De YOLO-familie (v5–v12) was het dominante objectdetectiekader.
  • Track 2: Low-Rank Adaptation (LoRA) van foundation modellen (bijv. DINOv3, Virchow, UNI) was de gangbare strategie onder de top performers.

5. Betekenis en Claims

Het artikel claimt dat de MIDOG 2025 challenge aantoont dat mitosis detectie "in the wild" nog steeds een aanzienlijke hindernis vormt. De overgang van een hotspot-gebaseerde evaluatie naar een multi-contextueel framework onthult dat huidige state-of-the-art architecturen "blind spots" hebben, met name met betrekking tot zeldzame tumortypes en zeer pleomorfe of imposter-rijke regio's.

De belangrijkste lessen die door de auteurs worden benadrukt, zijn:

1. Klinische Betrouwbaarheidsgap: Modellen die alleen op hotspots zijn gevalideerd, zijn niet betrouwbaar voor routinematige WSI-analyse vanwege de hoge false positive rate in random en uitdagende regio's.
2. Noodzaak voor Datacuratie: Toekomstige datasets moeten prioriteit geven aan domeinvariantie (tumortypes, scanners) en cruciaal, de ruimtelijke context van annotaties. Patch-gebaseerde datasets (bijv. 64×64 px) kunnen objectdetectiemodellen die afhankelijk zijn van de omliggende weefselarchitectuur om mitosen van imposters te onderscheiden, hinderen.
3. Effectiviteit van Technieken: Terwijl ensembling een robuuste methode is voor het verbeteren van generalisatie, biedt TTA blijkbaar geen significante voordelen en voegt het computationele overhead toe.
4. Evaluatiestandaarden: De challenge vestigt een nieuwe benchmark die generalisatie over diverse biologische en contextuele landschappen beloont, waardoor het veld dichter bij klinisch inzetbare oplossingen komt.

De auteurs concluderen dat hoewel hotspot-detectie robuust is, het veld zich moet richten op rigoureuze validatie buiten de hotspots en de curatie van diverse trainingsbronnen om een verantwoorde vertaling naar de klinische praktijk mogelijk te maken.