Benchmarking Deep Learning and Vision Foundation Models for Atypical vs. Normal Mitosis Classification with Cross-Dataset Evaluation

1. Probleemstelling

Het artikel adresseert de kritieke uitdaging van het classificeren van Atypische Mitotische Figuren (AMFs) versus Normale Mitotische Figuren (MFs) in histopathologie.

• Klinische relevantie: AMFs vertegenwoordigen abnormale celdeling en dienen als een onafhankelijke prognostische marker voor tumor maligniteit en patiëntoverleving. Het kwantificeren van de verhouding van AMFs is essentieel voor het beoordelen van tumoragressiviteit.
• Uitdagingen:
  • Lage prevalentie: AMFs zijn zeldzaam in vergelijking met normale MFs, wat leidt tot een ernstige class imbalance.
  • Morfologische subtiliteit: De visuele verschillen tussen normale en atypische figuren zijn vaak subtiel, met overlappende kenmerken.
  • Variabiliteit in annotatie: Er is een lage inter-rater overeenstemming onder pathologen, wat het genereren van ground truth moeilijk maakt.
  • Domain shift: Modellen die zijn getraind op specifieke datasets falen vaak bij generalisatie naar data van verschillende instellingen, scanners of soorten, vanwege variaties in kleuring en weefselvoorbereiding.
• Gat: Hoewel deep learning de detectie van MFs heeft verbeterd, ontbreekt het aan gestandaardiseerde benchmarks en uitgebreide evaluaties van Foundation Models (voorgetraind op enorme datasets) specifiek voor de binaire classificatie van AMF versus Normale MF.

2. Methodologie

2.1 Datasets

De auteurs introduceren en gebruiken drie distincte datasets om een rigoureuze evaluatie te waarborgen:

1. AMi-Br (Training & In-Domain Test): De grootste dataset met 3.720 MFs van humane borstkanker (bronnen TUPAC16 en MIDOG21). Annotaties zijn gebaseerd op een meerderheidsstem van 3 experts.
   • Class Balance: ~22,4% Atypisch, ~77,6% Normaal.
2. AtNorM-Br (Out-of-Domain Test): Bevat 746 MFs uit de TCGA-borstkankercohort.
   • Annotatie: Enkele expert (zeer ervaren).
   • Doel: Test generalisatie naar een andere databron (TCGA) met potentiële labelbias.
3. AtNorM-MD (Out-of-Domain/Multi-Domain Test): Bevat 2.107 MFs uit een subset van de MIDOG++ dataset, bestaande uit zes domeinen (humane en canine tumoren, waaronder long, lymfoma, melanoom, enz.).
   • Annotatie: Meerderheidsstem van 5 experts.
   • Doel: Test generalisatie over soorten en weefseltypen (significante domain shift).

2.2 Modelarchitecturen & Strategieën

De studie benchmarkt drie distincte leerstrategieën:

• A. End-to-End Fine-Tuned Baselines:

  • Drie architecturen getraind vanaf scratch (met ImageNet-weights) op de AMi-Br dataset: EfficientNetV2, Vision Transformer (ViT) en Swin Transformer.
  • Volledige fine-tuning van alle lagen.

• B. Foundation Models met Linear Probing:

  • Acht state-of-the-art Vision Foundation Models (voorgetraind op miljoenen histopathologische tegels met self-supervised learning/DINOv2): UNI, UNI2-h, Virchow, Virchow2, Prov-Gigapath, H-Optimus-0, H-Optimus-1 en H0-mini.
  • Strategie: De backbone is bevroren; alleen een lichtgewicht lineaire classifier wordt getraind bovenop de geëxtraheerde embeddings.

• C. Foundation Models met LoRA (Low-Rank Adaptation):

  • Dezelfde acht foundation models worden aangepast met LoRA, een Parameter-Efficient Fine-Tuning (PEFT) techniek.
  • Strategie: Originele weights zijn bevroren; kleine, trainbare low-rank matrices worden geïnjecteerd in attention lagen (Query, Key, Value) en MLP-componenten. Dit maakt aanpassing mogelijk met minimale rekenkosten terwijl de voorgetrainde kennis van het model behouden blijft.

2.3 Experimentele Opzet

• Training: Alle modellen uitsluitend getraind op de AMi-Br dataset.
• Validatie: 5-voudige cross-validatie met patiëntniveau-stratificatie om datalekken te voorkomen.
• Metrics: Balanced Accuracy (primaire metric vanwege class imbalance) en AUROC.
• Preprocessing: Afbeeldingsgrootte aanpassen naar 224x224, standaard augmentaties (flip, rotatie, color jitter) en model-specifieke normalisatie.

3. Belangrijkste Bijdragen

1. Nieuwe Benchmarks: Introductie van twee nieuwe vastgehouden datasets (AtNorM-Br en AtNorM-MD) specifiek ontworpen om cross-dataset en cross-domain generalisatie voor AMF-classificatie te evalueren.
2. Uitgebreide Benchmarking: De eerste grootschalige vergelijking van end-to-end fine-tuning, linear probing en LoRA fine-tuning voor de specifieke taak van atypische versus normale mitose classificatie.
3. Code en Data Release: Publieke beschikbaarheid van alle code, data en getrainde modellen via een GitHub-repository om toekomstig onderzoek te faciliteren.

4. Resultaten

Prestatietotaal (Balanced Accuracy)

• In-Domain (AMi-Br):
  • Beste Model: Virchow2 (LoRA) behaalde de hoogste balanced accuracy van 0,8135.
  • Baselines: De Swin Transformer (end-to-end) presteerde het beste onder de baselines (0,8052), beter dan EfficientNetV2 en ViT.
  • Linear Probing: Foundation modellen met alleen linear probing presteerden slecht (0,60–0,65), wat aangeeft dat bevroren features onvoldoende waren voor deze specifieke taak.
• Out-of-Domain (AtNorM-Br):
  • Beste Model: ViT (End-to-End) leidde met 0,7788.
  • LoRA Prestaties: Virchow (LoRA) volgde op korte afstand (0,7696). LoRA-modellen presteerden consequent beter dan hun linear probing tegenhangers.
• Multi-Domain (AtNorM-MD):
  • Beste Model: Swin Transformer (End-to-End) behaalde 0,7723.
  • LoRA Prestaties: Virchow (LoRA) was het beste foundation model (0,7705).
  • Generalisatiekloof: Alle modellen vertoonden een prestatiedaling in vergelijking met AMi-Br, wat de moeilijkheid van domain shifts (verschillende soorten/weefsels) benadrukt.

Statistische Significantie

• LoRA vs. Linear Probing: LoRA presteerde significant beter dan linear probing over alle datasets heen ($p \ll 0,001$).
• Baselines vs. Linear Probing: End-to-end baselines presteerden significant beter dan linear probing ($p \ll 0,0001$).
• Baselines vs. LoRA: Het verschil tussen volledige end-to-end baselines en met LoRA gefine-tuned foundation modellen was niet statistisch significant in de meeste gevallen (bijv. $p=0,73$ voor AMi-Br), wat suggereert dat LoRA foundation modellen in staat stelt het prestatieniveau te bereiken van modellen die vanaf scratch zijn getraind, maar volledige fine-tuning nog steeds een klein voordeel heeft in sommige cross-domain scenario's.

5. Relevantie en Discussie

• Effectiviteit van Aanpassing: De studie toont aan dat hoewel foundation modellen generaliseerbare features bezitten, fine-tuning essentieel is voor de genuanceerde taak van AMF-classificatie. Linear probing is onvoldoende, maar LoRA biedt een zeer efficiënt alternatief voor volledige fine-tuning, waarbij vergelijkbare prestaties worden behaald met minder bijgewerkte parameters.
• Uitdagingen bij Domain Shift: De resultaten bevestigen dat domain shifts (verschillende scanners, kleuringprotocollen en soorten) de prestaties significant verslechteren. De opname van multi-domein data (AtNorM-MD) onthult dat modellen die uitsluitend zijn getraind op humane borstkanker moeite hebben om te generaliseren naar andere weefsels zonder specifieke aanpassing.
• Toekomstige Richtingen: De auteurs merken op dat de huidige beperking ligt in het trainen uitsluitend op humane borstkanker. Toekomstig werk moet deze classifiers integreren in een twee-traps detectiepijplijn en de trainingsdata uitbreiden met diverse weefseltypen en soorten om de robuustheid te verbeteren.
• Klinische Impact: Door het automatiseren van het kwantificeren van AMF-verhoudingen kan deze technologie objectievere, reproduceerbare en efficiëntere tumorgradering ondersteunen, wat mogelijk de behandelplanning en prognostische beoordelingen in klinische settings verbetert.

Concluderend stelt het artikel vast dat met LoRA gefine-tuned foundation modellen (specifiek Virchow2) en end-to-end gefine-tuned Swin Transformers de state-of-the-art vertegenwoordigen voor AMF-classificatie, aanzienlijk beter presteren dan eenvoudige linear probing en een haalbaar pad bieden naar geautomatiseerde, robuuste histopathologische analyse.