Deep Learning for BioImaging: What Are We Learning?

Probleemstelling

Hoewel representatieleren (representation learning) enorme vooruitgang heeft geboekt in de analyse van natuurlijke afbeeldingen, is het in de microscopie onduidelijk wat huidige modellen daadwerkelijk leren. Er bestaat een risico dat modellen niet de onderliggende biologie (bijv. celmorfologie of weefselstructuur) leren, maar in plaats daarvan "shortcuts" gebruiken. Deze shortcuts kunnen bestaan uit:

• Batch-effecten: Variaties veroorzaakt door experimentele omstandigheden.
• Acquisitie-artefacten: Ruis of patronen specifiek voor de opnameapparatuur.
• Laag-niveau statistieken: Eenvoudige intensiteitsverdelingen of pixelcorrelaties die niets met biologie te maken hebben.

De huidige benchmarks in de biologie missen vaak diagnostische baselines om te onderscheiden of een model echt biologically meaningful features heeft geleerd of dat de prestaties puur het gevolg zijn van deze dataset-specifieke shortcuts.

Methodologie

De auteurs voeren een systematische studie uit op twee kritieke biologische schalen: celkweek (cell culture) en weefsel (tissue/histopathologie). Ze introduceren een reeks eenvoudige maar onthullende baselines om de prestaties van state-of-the-art foundation modellen te vergelijken.

1. Benchmarks:

• Celniveau: Gebruikmakend van RxRx3-core (gen-genen retrievel) en JUMP-CP (chemische perturbatie retrievel).
• Weefselniveau: Gebruikmakend van HEST-1k, een dataset die H&E-gekleurde weefselvlekken koppelt aan ruimtelijke transcriptomics (genexpressie). Ze introduceren ook een versie genaamd HEST-1k-1NN waarbij naburige ruimtelijke spots worden gebundeld om grootschalige structuren te benadrukken.
• Referentie: ImageNet-1k wordt gebruikt als referentie voor natuurlijke afbeeldingen om te zien of bevindingen specifiek zijn voor microscopie.

2. Baselines (De kern van de analyse):
Om te testen wat er echt wordt geleerd, vergelijken ze geavanceerde modellen met drie soorten baselines:

• Pixel-statistieken: Eenvoudige kenmerken zoals gemiddelde, standaardafwijking en scheefheid per kanaal. Deze negeren ruimtelijke structuur volledig.
• Ongetrainde modellen (Untrained Models): Diepe netwerken (CNNs en ViTs) met willekeurig geïnitieerde gewichten. Deze dienen als feature extractors zonder enige biologische kennis. Als deze presteren, wijst dit op sterke architecturale inductieve bias of dataset-shortcuts.
• Ontkoppelde weefselstructuur (Disentangled Tissue Structure): Een baseline die alleen de ruimtelijke organisatie van cellen behoudt (coördinaten van celkernen) maar alle textuur, kleur en morfologie verwijdert. Dit wordt weergegeven als:
  • Binaire afbeeldingen van celgrafieken.
  • Puntwolken (point clouds) voor geometrische deep learning.

3. Experimenteel Opzet:
Ze evalueren een breed scala aan modellen, waaronder ResNets, Vision Transformers (ViTs), DINOv2/v3, en specifieke bio-imaging foundation modellen (zoals OpenPhenom, H-Optimus, UNI). Ze analyseren niet alleen de eindresultaten, maar ook de representaties op verschillende diepten van het netwerk (intermediate layers).

Belangrijkste Resultaten

1. Prestaties van Ongetrainde Modellen:

• Opvallend genoeg presteren ongetrainde Vision Transformers (ViTs) op de RxRx3-core benchmark vergelijkbaar met de beste voorgeprogrammeerde foundation modellen.
• Zelfs een minimale ongetrainde CNN-baseline (SingleConv) is concurrerend met de beste methoden.
• Dit suggereert dat een groot deel van het signaal in deze benchmarks toegankelijk is via architecturale bias of laag-niveau correlaties, zonder dat er biologisch betekenisvolle representaties nodig zijn.

2. Gebrek aan Hoog-niveau Biologische Kenmerken:

• In tegenstelling tot natuurlijke afbeeldingen (ImageNet), waar prestaties monotoon verbeteren met diepere lagen, zien de auteurs dat biologische recall vaak stabiel blijft of zelfs afneemt in diepere lagen van de modellen.
• Modellen falen er consistent in om hoog-niveau, biologisch betekenisvolle kenmerken te verwerven die consistent zijn over verschillende taken.

3. Rol van Ruimtelijke Structuur in Weefsel:

• Op de HEST-1k-1NN benchmark (weefsel) presteren structure-only modellen (gebaseerd op celposities) verrassend goed, soms zelfs concurrerend met out-of-domain (OOD) beeldmodellen op specifieke ziektebeelden (zoals prostaatkanker en darmkanker).
• Dit wijst erop dat de ruimtelijke organisatie van cellen een sterke voorspeller is voor genexpressie, maar het roept ook de vraag op of modellen hierdoor "leren" of dat ze simpelweg celgetallen of dichtheden schatten.

4. Tekortkomingen van Bestaande Metrics:

• De huidige benchmarks en metrics (zoals mAP of Recall) zijn ontoereikend om de kwaliteit van representaties te beoordelen. Ze maskeren vaak de beperkingen van modellen omdat ze gevoelig zijn voor dataset-shortcuts.
• Een hoge score betekent niet noodzakelijk dat het model de biologie begrijpt; het kan betekenen dat het model de dataset-structuur heeft "gehackt".

Belangrijkste Bijdragen

1. Systematische Evaluatie: De eerste uitgebreide studie die foundation modellen voor microscopie test tegen strikte, diagnostische baselines (ongetrainde netwerken en structuur-only modellen).
2. Ontmaskering van Shortcuts: Het bewijs leveren dat veel state-of-the-art modellen op microscopie-benchmarks niet beter presteren dan ongetrainde netwerken of simpele statistieken, wat suggereert dat ze geen echte biologische abstracties hebben geleerd.
3. Nieuwe Baselines: De introductie van een "structure-only" baseline die de bijdrage van celorganisatie isoleert van textuur en morfologie.
4. Diagnostisch Kader: Het voorstellen van een nieuw paradigma voor benchmarking waarbij het doel niet alleen het maximaliseren van een score is, maar het diagnosticeren van wat er precies wordt geleerd (biologie vs. artefacten).

Significantie en Conclusie

De paper concludeert dat de vooruitgang in representatieleren voor microscopiebeelden niet alleen afhankelijk is van het bouwen van sterkere modellen, maar vooral van het ontwikkelen van diagnostischere benchmarks.

De huidige evaluatiemethoden zijn misleidend omdat ze vaak dataset-specifieke shortcuts belonen in plaats van biologische generalisatie. Om echt vooruitgang te boeken, moeten de gemeenschap:

• Zorgen voor benchmarks die immuniteit hebben tegen batch-effecten en lage-niveau correlaties.
• Simpele baselines (zoals ongetrainde modellen) standaard opnemen om de "waarde" van training te kalibreren.
• Modellen ontwikkelen die specifiek leren om biologische abstracties te vormen, in plaats van te vertrouwen op de huidige "black box" prestaties.

Kortom: We moeten eerst begrijpen wat we leren voordat we kunnen claimen dat we betere modellen hebben.