From pre-training to downstream performance: Does domain-specific pre-training make sense?

Technische Samenvatting: Van Pre-training tot Downstream Prestaties

Probleemstelling
Diep leren heeft medische beeldvorming aanzienlijk vooruitgebracht, met name in diagnostische nauwkeurigheid en ziektedetectie. De relatie tussen pre-trainingstrategieën en downstream-prestaties in medische contexten blijft echter onderbelicht. Hoewel vaststaat dat domeinspecifieke data de prestaties kan verbeteren en dat zelftoezichthoudend leren (SSL) de schaarste aan gelabelde data aanpakt, blijven kritische vragen bestaan: Hoe nauwkeurig moet pre-trainingdata overeenkomen met het doelmodaliteit om voordelen te bieden? Overtreft pre-training op grote, domein-agnostische datasets (bijv. ImageNet) gevolgd door domeinspecifieke fine-tuning directe domeinspecifieke pre-training? Bovendien, hoe beïnvloeden verschillende architecturen (CNN's versus Transformers) en evaluatiemetrics (beyond gemiddelde AUC) de betrouwbaarheid en robuustheid van deze modellen over diverse dataverzamelingslocaties en ziekteverdelingen?

Methodologie
De studie vergelijkt systematisch Convolutional Neural Networks (CNN's) en Vision Transformers (ViT's) over verschillende pre-training- en fine-tuningconfiguraties.

• Datasets: Acht datasets werden gebruikt. Voor pre-training werden 100.000 afbeeldingen willekeurig geselecteerd uit ImageNet (natuurlijke afbeeldingen), NIH ChestX-ray, MIMIC-IV-CXR, CovidxCT (borst-CT) en OCT (retina). Voor fine-tuning en evaluatie werden modellen voornamelijk getraind op de NIH ChestX-ray dataset (75.312 trainingsafbeeldingen, 11.212 validatieafbeeldingen, 14 klassen). Evaluatie vond plaats op out-of-distribution (OOD) datasets: VinDr-CXR (Vietnam), PadChest (Spanje) en CheXpert (VS), evenals in-distribution-tests op NIH ChestX-ray.
• Architecturen: De studie evalueerde ResNet50 (CNN) en ViT-small (Transformer).
• Pre-trainingstrategieën:
  • Initialisaties: Willekeurig versus ImageNet1k-supervisie-gewichten.
  • Strategieën: Supervised learning versus Self-supervised learning (specifiek GMML, DINO, MoCo-V3 en SiT).
  • Domeinen: Pre-training werd uitgevoerd op natuurlijke afbeeldingen, borst-röntgenfoto's, borst-CT en retina-OCT om modaliteitsalignatie te testen.
• Fine-tuning: Alle modellen werden 30 epochs gefine-tuned op NIH ChestX-ray met vijf verschillende willekeurige zaden om statistische robuustheid te waarborgen. De auteurs betogen dat 30 epochs een korte aanpassing vertegenwoordigen in plaats van langdurige hertraining.
• Evaluatiemetrics: Naast de standaard Area Under the Curve (AUC) beoordeelde de studie de betrouwbaarheid met behulp van subset-accuraatheid (het correct voorspellen van alle labels), rates van vals-negatieven (onderdiagnose) over beslissingsdrempels heen, en "Oracle AUC" (prestaties als onzekere gevallen worden doorverwezen naar een expert).

Belangrijkste Bijdragen

1. Noodzaak van Modaliteitsalignatie: Het onderzoek toont aan dat pre-training op data die nauw overeenkomt met het doelmodaliteit een voorwaarde is voor aanzienlijke verbeteringen in downstream-prestaties. Pre-training op een gezondheidszorgmodaliteit die niet overeenkomt met de doeltaak (bijv. OCT of CT voor een taak met borst-röntgenfoto's) kan de prestaties negatief beïnvloeden in vergelijking met het gebruik van een grotere, domein-agnostische dataset zoals ImageNet.
2. Architectuur-gevoeligheid: De studie bevestigt dat op Transformers gebaseerde modellen (ViT's) gevoeliger zijn voor initialisatie dan CNN's (ResNet50). Waar CNN's robuust blijken voor willekeurige initialisatie, profiteren ViT's aanzienlijk van voorgeöorde gewichten.
3. Beperkingen van Aggregatie-metrics: Het artikel benadrukt dat gemiddelde prestatiemetrics (zoals gemiddelde AUC) misleidend kunnen zijn. Er bestaan aanzienlijke prestatieverschillen tussen specifieke ziekten (bijv. presteerden modellen in sommige configuraties 20 procentpunten beter op Pleurale Effusie dan Atelectase) en tussen verschillende dataverzamelingslocaties.
4. Betrouwbaarheid en Mens-in-de-Loop: De studie introduceert het belang van het evalueren van modellen via "Oracle AUC", waarbij wordt aangetoond dat prestaties en betrouwbaarheid aanzienlijk kunnen worden verbeterd als het systeem onzekere voorspellingen kan doorverwijzen naar menselijke experts, een cruciaal kenmerk voor klinische implementatie.

Resultaten

• Impact van Pre-training: Experimenten (specifiek 3.3–3.8 in Tabel 2) geven aan dat alleen pre-training op data die nauw overeenkomt met het doelmodaliteit (bijv. borst-röntgenfoto's voor een taak met borst-röntgenfoto's) consequent de downstream-prestaties verbetert ten opzichte van de baseline ImageNet-initialisatie. Omgekeerd leidde pre-training op niet-overeenkomende medische modaliteiten (bijv. CT of OCT) vaak tot prestaties die gelijk waren aan of slechter waren dan ImageNet-pre-training, mogelijk vanwege een "knowledge-forgetting issue".
• Zelftoezichthoudend versus Supervised: Zelftoezichthoudend leren (SSL) kan supervisie-pre-training overtreffen, maar dit is contextafhankelijk. In sommige gevallen leverde SSL op domeinspecifieke data (bijv. MIMIC-IV-CXR) de beste resultaten op (Experiment 3.4), terwijl in andere gevallen de winst marginaal of niet-bestaand was in vergelijking met supervisie-methoden.
• Prestaties over Locaties: Modellen vertoonden aanzienlijke variatie bij evaluatie op OOD-datasets (VinDr, PadChest, CheXpert). Sommige modellen die op NIH-data waren gefine-tuned, presteerden verrassend goed op VinDr-CXR, terwijl anderen moeite hadden. De variatie over fine-tuning-zaden was opvallend hoger voor OOD-datasets, wat zorgen oproept over modelrobuustheid.
• Sensitiviteit van Metrics: Hoge AUC-scores garandeerden geen hoge subset-accuraatheid of lage rates van onderdiagnose. Bijvoorbeeld, zelfs de best presterende modellen faalden vaak om alle vijf ziekte-labels gelijktijdig correct te voorspellen. De Oracle AUC-analyse onthulde dat het doorverwijzen van onzekere gevallen naar een oracle de effectieve prestaties aanzienlijk kon verhogen.

Betekenis en Claims
Het artikel claimt een systematische benchmark te bieden die de voorwaarden verduidelijkt waaronder domeinspecifieke pre-training voordelig is. Het betoogt dat hoewel domein-agnostische pre-training (ImageNet) dient als een sterke baseline, de "one-size-fits-all"-benadering van pre-training op elke grote medische dataset ontoereikend is; de pre-trainingdata moet nauw overeenkomen met het doelmodaliteit om standaard baselines te overtreffen.

De auteurs benadrukken dat de keuze van pre-trainingstrategie interacteert met fine-tuning-methoden en dat geen enkele strategie alle datasets domineert. Zij concluderen dat voor betrouwbare klinische implementatie onderzoekers verder moeten gaan dan geaggregeerde AUC-metrics om prestaties per ziekte, robuustheid over locaties heen en het potentieel voor mens-in-de-loop-samenwerking (Oracle AUC) te evalueren. De studie beoogt prioritering van middelen te sturen, waarbij wordt gesuggereerd dat domeinspecifieke fine-tuning cruciaal is voor het verbeteren van modelprestaties op doeltaak, maar alleen wanneer de pre-trainingdata passend is.