Technische Samenvatting: Benchmarking van Foundation Modellen voor de Classificatie van Mitotische Figuren

Probleemstelling

In de computationele pathologie wordt de prestatie van deep learning-modellen sterk beperkt door het tekort aan hoogwaardige, door experts geannoteerde datasets. Het annoteren van Whole Slide Images (WSI's) is arbeidsintensief, gevoelig voor inter-beoordelaarsvariabiliteit en gecompliceerd door domeinverschuivingen die voortkomen uit verschillen in kleuringsprotocollen en scangeraten. Hoewel self-supervised learning (SSL) de training van grootschalige "foundation modellen" op enorme hoeveelheden ongelabelde datasets mogelijk heeft gemaakt, is er een gebrek aan diepgaande analyse over hoe deze modellen presteren op specifieke, fijnmazige taken zoals de classificatie van mitotische figuren onder variërende dataregimes. Specifiek blijft het onduidelijk hoe verschillende adaptatiestrategieën (bijv. linear probing versus parameter-efficiënte fine-tuning) schalen met de beschikbaarheid van data en hoe robuust deze modellen zijn wanneer ze worden toegepast op ongeziene tumor-domeinen (out-of-distribution).

Methodologie

De auteurs voerden een systematische benchmarking-studie uit waarbij zes state-of-the-art pathologie-specifieke foundation modellen werden geëvalueerd tegenover traditionele baselines.

Datasets

Er werd gebruikgemaakt van twee publiek beschikbare datasets:

1. CCMCT: Een grootschalige, single-domain dataset van canine cutane mastceltumoren (32 WSI's, ~45k mitotische figuren). Gebruikt voor data-schalingsexperimenten.
2. MIDOG 2022: Een zeer diverse, multi-domain dataset die vijf tumortypen beslaat (canine en menselijk), meerdere soorten en diverse scanners omvat. Gebruikt voor cross-domain robuustheidsexperimenten.

Geëvalueerde Modellen

De studie vergeleek zes pathologie foundation modellen (Phikon, UNI, Virchow, Virchow2, H-optimus-0, Prov-GigaPath) en een algemeen bruikbare Vision Transformer (ViT-S DINOv3) tegenover traditionele baselines (ResNet50, ViT-S/B/H). De foundation modellen varieerden in backbone-grootte (ViT-B tot ViT-G), pretraining-algoritmen (iBOT, DINOv2) en pretraining-dataschaal (tot 2 miljard tegels).

Adaptatiestrategieën

Drie primaire adaptatiebenaderingen werden getest:

1. Linear Probing: De backbone is bevroren en alleen een lineaire classifier wordt getraind bovenop de geëxtraheerde features.
2. Low-Rank Adaptation (LoRA): Een parameter-efficiënte fine-tuning techniek waarbij low-rank matrices worden geïnjecteerd in attention- en MLP-lagen, wat selectieve fine-tuning mogelijk maakt met een minimaal aantal trainbare parameters.
3. End-to-End Fine-Tuning: Traditionele supervised training van het gehele model (gebruikt voor baselines en vergelijking).

Experimenteel Ontwerp

• Data Scaling: Modellen werden getraind op 0,1%, 1%, 10% en 100% van de trainingsdata om de prestaties in scenario's met respectievelijk weinig en veel data te beoordelen.
• Cross-Domain: Gebruikmakend van MIDOG 2022, werden modellen getraind op één tumor-domein en getest op alle andere domeinen om de generalisatie naar ongeziene distributies te evalueren.
• Metrieken: Prestaties werden geëvalueerd met behulp van Balanced Accuracy, Weighted F1 en AUROC, waarbij statistische significantie werd getest via Wilcoxon signed-rank tests.

Belangrijkste Bijdragen

1. Systematische Benchmarking: Het artikel biedt een uitgebreide evaluatie van huidige pathologie foundation modellen specifiek voor de taak van mitigische figuurclassificatie, een cruciale prognostische marker.
2. Vergelijking van Adaptatiestrategieën: Het vergelijkt rigoureus linear probing met LoRA, waarbij wordt aangetoond dat LoRA consequent beter presteert dan linear probing, vooral in scenario's met weinig data.
3. Data Scaling Laws: De studie kwantificeert de relatie tussen de omvang van de trainingsdata en de modelprestaties, waarbij wordt aangetoond dat LoRA-geadapteerde foundation modellen een prestatieniveau kunnen bereiken dat vergelijkbaar is met 100% data-beschikbaarheid met slechts 10% van de trainingsdata.
4. Cross-Domain Robuustheid: Het werk evalueert het vermogen van deze modellen om te generaliseren over verschillende tumortypen en soorten, waarbij het effect van LoRA wordt benadrukt bij het dichten van de prestatiekloof tussen in-domain en out-of-domain scenario's.

Resultaten

• Superioriteit van LoRA: Over beide datasets en alle dataschalen heen, presteerden foundation modellen die met LoRA waren geadapteerd significant beter dan die met linear probing. In de CCMCT-dataset bereikten LoRA-geadapteerde modellen prestatieniveaus die vergelijkbaar zijn met 100% data-beschikbaarheid met slechts 10% van de data.
• Presteren boven Baselines: Bij de volledige dataschaal evenaarden of overtroffen LoRA-geadapteerde foundation modellen (specifiek Virchow2 en H-optimus-0) de prestaties van volledig gefinetunede traditionele architecturen (ResNet50). Echter, linear probing alleen presteerde over het algemeen minder goed dan end-to-end getrainde baselines.
• Cross-Domain Generalisatie: In het cross-domain experiment vertoonden LoRA-geadapteerde modellen een opmerkelijke robuustheid. Modellen zoals H-optimus-0 en Virchow2 behaalden out-of-domain AUROC-scores van respectievelijk 0,88 en 0,87, waarmee ze de kloof met hun in-domain prestaties bijna sloten. In contrast vertoonden traditionele baselines en linear probing benaderingen significante prestatiedalingen in ongeziene domeinen.
• Model-specifieke details: De meest recente en grootste foundation modellen (Virchow2, H-optimus-0) leverden over het algemeen de beste resultaten op. Het algemene ViT-S DINOv3 model presteerde minder goed dan pathologie-specifieke foundation modellen, wat aangeeft dat domein-specifieke pretraining cruciaal is.

Betekenis en Claims

De auteurs stellen dat hun werk de praktische waarde aantoont van parameter-efficiënte adaptatiestrategieën (LoRA) voor klinische toepassingen waar geannoteerde data schaars en heterogeen is. De bevindingen suggereren dat:

• Foundation modellen, wanneer ze via LoRA worden geadapteerd, een superieure afweging bieden tussen computationele kosten en prestaties, wat robuuste oplossingen mogelijk maakt die generaliseren over diverse klinische settings.
• De geobserveerde "data scaling laws" aangeven dat hoogwaardige classificatie van mitotische figuren haalbaar is met aanzienlijk minder gelabelde data dan voorheen nodig werd geacht voor traditioneel supervised learning.
• Hoewel traditionele architecturen met volledige fine-tuning competitief blijven wanneer er voldoende data beschikbaar is, bieden LoRA-geadapteerde foundation modellen een meer schaalbare en robuuste aanpak voor real-world implementatie waar domeinverschuivingen gebruikelijk zijn.

Het artikel concludeert dat hoewel foundation modellen klaar staan om de computationele pathologie te transformeren, toekomstig werk zich moet richten op de integratie ervan in volledige detectie-pipelines en het verder verkennen van hyperparameter-optimalisatie voor parameter-efficiënte methoden.