Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

Technische Samenvatting: Voorbij Classificatie: Pathologie Foundation Modellen als Detectie-encoders voor Mitotische Figuren

Probleemstelling
Pathologie Foundation Modellen (FMs), zoals UNI, Virchow en H-Optimus, hebben een sterke prestatie geleverd bij beeldniveau- en patchniveau-classificatietaken door gebruik te maken van zelfgesuperviseerd leren op enorme, ongelabelde histopathologische datasets. Echter, hun nut bij taken voor dichte objectdetectie blijft onduidelijk. Specifiek is het onbekend of de latente ruimtes van deze FMs—getraind op primair beeldniveau-zelfsupervisie—voldoende discriminerende en ruimtelijk opgeloste kenmerken bevatten om te dienen als backbones voor de detectie van mitotische figuren (MFs). MF-detectie is een cruciale taak in de oncologie voor prognostische stratificatie, maar vereist fijnmazige ruimtelijke lokalisatie in plaats van semantische samenvatting. Eerdere pogingen om FMs te integreren in cel-niveau pipelines (bijv. CellViT++) hebben aangetoond dat sterke classificatierepresentaties niet automatisch overgaan naar detectie, waarbij ze vaak onderpresteren ten opzichte van modellen die vanaf nul zijn getraind. Deze studie onderzoekt of bevroren (frozen) FM-backbones kunnen concurreren met volledig end-to-end getrainde convolutionele baselines voor MF-detectie.

Methodologie
De auteurs voerden een systematische evaluatie uit waarbij bevroren pathologie FMs werden vergeleken met een conventionele convolutionele baseline op de multi-domein MIDOG++ dataset en de out-of-domain (OOD) TUPAC16 dataset.

• Backbones: Zes ViT-gebaseerde FMs werden geëvalueerd als strikt bevroren feature extractors: UNI, UNI2-h, Virchow, Virchow2, H-Optimus-0 en H-Optimus-1. Deze werden vergeleken met twee ResNet-50 baselines: één die volledig end-to-end is gefinetuned en één die bevroren is.
• Detectiekoppen (Heads): Elke backbone werd gekoppeld aan drie verschillende detectiearchitecturen die verschillende paradigma's vertegenwoordigen:
  • Single-stage: RetinaNet
  • Two-stage: Faster R-CNN
  • Transformer-gebaseerde set-voorspelling: Deformable DETR
• Architecturale Adaptatie: Omdat ViT-backbones single-scale feature maps outputten terwijl detectoren multi-scale hiërarchieën vereisen, werd een lichtgewicht Feature Pyramid Neck (gebaseerd op het ViTDet-ontwerp) tussen de bevroren backbone en de detectiekop geplaatst. Deze neck was het enige leerbare component in de frozen-backbone configuraties, verantwoordelijk voor het aanpassen van single-scale representaties aan multi-scale dense predictie.
• Trainingsprotocol: Alle modellen werden getraind met behulp van het MMDetection framework met identieke data-augmentatie (flips, affine transformaties, stain jittering) en optimalisatie-instellingen (AdamW, cosine/step learning rate schedules). Evaluatiemetrieken omvatten micro-gemiddelde F1, precisie, recall en de Area Under the Free-range Operating Characteristic curve (FROC-AUC).

Belangrijkste Resultaten
De studie leverde de volgende prestatiekenmerken op voor de MIDOG++ testset en de TUPAC16 OOD set:

1. Concurrentiekracht van Bevroren FMs: De beste bevroren FM-configuratie (H-Optimus-0 met RetinaNet) behaalde een F1-score van 0,7718 op MIDOG++, wat dicht in de buurt komt van de volledig end-to-end gefinetunede ResNet-50 baseline (F1 0,7917). Opvallend genoeg presteerden de bevroren FMs aanzienlijk beter dan de bevroren ResNet-50 baseline (beste F1 0,7498), wat aangeeft dat het voordeel voortkomt uit pathologie-specifieke pretraining in plaats van louter de handeling van het bevriezen van een backbone.
2. Impact van Detectiekoppen: De prestaties varieerden significant per detectiekop. RetinaNet was de meest betrouwbare kop en behaalde de hoogste F1-scores voor de ResNet-50 baseline, H-Optimus-0 en Virchow. Faster R-CNN en Deformable DETR vertoonden meer variabele resultaten afhankelijk van de backbone.
3. Out-of-Domain Robuustheid: Op de TUPAC16 dataset keerde de prestatievolgorde om. De beste algemene F1-score (0,7349) werd bereikt door een bevroren FM (H-Optimus-0 met RetinaNet), waarmee de beste ResNet-50 configuratie (0,7193) werd overtroffen. Dit suggereert dat bevroren FM-features mogelijk iets robuuster zijn tegen domeinverschuivingen dan volledig gefinetunede convolutionele netwerken die op de bron-domein zijn getraind.
4. Ranking van Backbones: Onder de FMs leidden de pathologie-specifieke H-Optimus modellen (0 en 1) over het algemeen, gevolgd door de Virchow-familie. UNI en UNI2-h bleven achter.

Significantie en Claims
Het artikel concludeert dat de bevroren latente ruimtes van huidige pathologie FMs voldoende rijk en ruimtelijk opgelost zijn om dichte detectie van mitotische figuren te ondersteunen zonder enige taakspecifieke adaptatie van de backbone-gewichten. De auteurs stellen dat:

• Ruimtelijke Informatie Aanwezig is: Ondanks dat deze modellen uitsluitend zijn getraind op beeldniveau-zelfsupervisie, coderen ze de ruimtelijke informatie die nodig is voor het lokaliseren van kleine objecten zoals mitotische figuren, die herstelbaar is via een lichtgewicht neck en head.
• Robuustheid: Bevroren FMs vertonen een mate van robuustheid tegen domeinverschuivingen die de volledig gefinetunede baselines in deze specifieke detectie-setting overtreft.
• Ontwerpimplicaties: De studie benadrukt dat de keuze van de detectiekop en de neck cruciaal is, en vaak belangrijker is dan de verschillen tussen specifieke foundation modellen.

De auteurs blijven voorzichtig en merken op dat deze resultaten de informatie karakteriseren die aanwezig is in de bevroren representaties. Ze suggereren dat parameter-efficiënte fine-tuning (bijv. LoRA) potentieel het resterende gat naar end-to-end getrainde modellen zou kunnen dichten, hoewel het een open vraag blijft of een dergelijke adaptatie de geobserveerde out-of-domain robuustheid zou behouden. Het werk vestigt de status van foundation modellen als levensvatbare backbones voor dichte pathologie detectie-taken, waarmee ze hun gevestigde rol in classificatie overstijgen.