Revisiting the Role of Foundation Models in Cell-Level Histopathological Image Analysis under Small-Patch Constraints -- Effects of Training Data Scale and Blur Perturbations on CNNs and Vision Transformers

Probleemstelling

De analyse van celniveau in histopathologische beelden vereist het werken met extreem kleine beeldpatches van slechts 40×40 pixels. Dit staat in schril contrast met de standaard invoergrootte van 224×224 pixels (of groter) die wordt gebruikt voor ImageNet-classificatie en de meeste moderne diepe leerarchitecturen.
De centrale vraag is of moderne diepe leermodellen, inclusief geavanceerde Foundation Models (vooraf getrainde modellen zoals Vision Transformers en grote CNN's), robuuste en schaalbare representaties kunnen leren onder deze extreme ruimtelijke beperkingen. Er is onduidelijkheid over of het simpelweg herschalen van deze kleine patches naar 224×224 pixels (om foundation models te gebruiken) nuttig is, of dat dit belangrijke morfologische details vernietigt of irrelevante artefacten introduceert.

Methodologie

De auteurs hebben een systematische evaluatie uitgevoerd met de volgende opzet:

• Dataset: Er werden 185.432 geannoteerde celafbeeldingen gegenereerd uit 303 colorectale kankerproeven met CD103/CD8-immunokleuring.
• Experimentele Opzet:
  • Data-schaal: Modellen werden getraind op verschillende datasetschalen (FlagLimit: van 256 tot 16.384 samples per klas).
  • Architecturen: Acht taakspecifieke architecturen werden vanaf nul getraind (MLP, CNN, ResNet-D4, NIN, SE-ResNet-D4, EfficientNet-B0, ConvNeXt-Tiny, en een aangepaste CustomViT).
  • Foundation Models: Drie grote foundation modellen (ResNet-RS50, CTransPath, UNI) werden geëvalueerd via Linear Probing (alleen de laatste laag trainen) en Fine-Tuning (laatste laag of blok ontgrendelen) na herschaling van de input naar 224×224 pixels.
  • Robuustheid: De weerstand tegen vervaging (blur) werd getest met Gaussische ruis, zowel vóór het herschalen (optische vervaging) als na het herschalen (digitale vervaging).

Belangrijkste Bijdragen

1. Systematische Vergelijking: Dit is een van de eerste studies die moderne architectuurparadigma's (CNN, Vision Transformer, hybride modellen) vergelijkt onder de extreme beperking van 40×40 pixels in de pathologie.
2. Evaluatie van Foundation Models: Het artikel test de hypothese dat foundation models, geoptimaliseerd voor grotere beelden, mogelijk niet optimaal presteren bij celniveau-analyse zonder specifieke aanpassing.
3. Ontwikkeling van CustomViT: De auteurs introduceren een Vision Transformer die specifiek is ontworpen voor kleine patches (indeling in 8×8 patches), wat leidt tot een efficiëntere verwerking van de beperkte ruimtelijke informatie.
4. Robuustheidsanalyse: Een gedetailleerde analyse van hoe blur de prestaties beïnvloedt, met een onderscheid tussen fysiek plausibele vervaging en digitale degradatie.

Resultaten

• Schaalbaarheid en Prestaties:
  • Taakspecifieke modellen (vanaf nul getraind) vertoonden een consistente verbetering naarmate de datagrootte toenam.
  • Foundation Models bereikten hun piekprestaties bij matige datagroottes en vertoonden verzadiging; ze profiteerden niet significant van extra data.
  • CustomViT behaalde de hoogste nauwkeurigheid (Macro-F1 score van 0,92 bij FlagLimit 4096), wat aanzienlijk beter was dan alle foundation modellen (UNI Fine-Tuning haalde 0,78).
• Efficiëntie: CustomViT was niet alleen nauwkeuriger, maar ook aanzienlijk sneller en lichter. De inferenti Tijd was 1,78 ms per patch, vergeleken met 24,89 ms voor het grootste foundation model (UNI). Dit betekent een snelheidswinst van meer dan een orde van grootte.
• Ander Architecturen:
  • SE-ResNet en EfficientNet: Presteerden slechter dan hun baselines. De auteurs concluderen dat Squeeze-and-Excitation-mechanismen en diepe separabele convoluties schadelijk kunnen zijn bij zo kleine inputs omdat ze informatieve lage-niveau kenmerken onderdrukken.
  • ConvNeXt: Toonde geen verbetering ten opzichte van conventionele CNN's, waarschijnlijk door te vroege verlies van ruimtelijke informatie door grote receptieve velden.
• Robuustheid tegen Blur: Er was geen kwalitatief voordeel voor foundation modellen. Alle modellen vertoonden vergelijkbare gevoeligheid voor vervaging. Hoewel Vision Transformers de hoogste absolute nauwkeurigheid hadden, waren ze ook het meest gevoelig voor sterke vervaging, wat aantoont dat hoge "schone" nauwkeurigheid niet automatisch leidt tot superieure robuustheid.

Significantie en Conclusie

De studie concludeert dat voor celniveau-classificatie onder extreme ruimtelijke beperkingen (40×40 pixels):

1. Foundation Models zijn niet de "silver bullet": Zolang er voldoende trainingsdata beschikbaar is (≥ 2048-4096 samples per klas), zijn taakspecifieke architecturen die vanaf nul worden getraind superieur aan foundation models in termen van nauwkeurigheid, kosten en snelheid.
2. Architecturale Alignement is cruciaal: Modellen die zijn ontworpen voor grote beelden (zoals UNI of CTransPath) verliezen hun voordeel wanneer de inputgrootte drastisch wordt verkleind. De prestaties van foundation modellen satureren vroeg omdat de features waar ze op zijn getraind niet direct toepasbaar zijn op deze schaal.
3. CustomViT als ideale oplossing: Een Vision Transformer die specifiek is aangepast voor kleine patches biedt de beste balans tussen prestatie en efficiëntie.
4. Praktische Implicatie: Voor pathologische toepassingen met beperkte ruimtelijke context is het trainen van een lichtgewicht, taakspecifiek model vaak effectiever dan het fine-tunen van een zwaar, vooraf getraind foundation model, mits er voldoende data beschikbaar is.

Kortom, de paper daagt het huidige paradigma uit dat foundation modellen altijd beter presteren in medische beeldanalyse en benadrukt dat het ontwerp van de architectuur moet worden afgestemd op de specifieke domeinbeperkingen (in dit geval: extreem kleine resolutie).