Using Deep Learning Models Pretrained by Self-Supervised Learning for Protein Localization

Probleemstelling

De analyse van celstructuren en eiwitlocalisatie via fluorescentiemicroscopie is cruciaal voor het begrijpen van ziektemechanismen en het vinden van medicijndoelen. Een centrale uitdaging in dit domein is dat specifieke microscopiedatasets vaak klein zijn, wat het trainen van robuuste deep learning-modellen bemoeilijkt. Hoewel zelftoezichtend leren (Self-Supervised Learning, SSL) veelbelovend is, is de generaliseerbaarheid van deze modellen over datasets met verschillende kleuringprotocollen, beeldvormingsmodaliteiten en kanaalconfiguraties onvoldoende onderzocht.

Specifiek stellen de auteurs de volgende vragen:

1. Hoe presteren vaste-kanaal SSL-voorgereede ViT-backbones (Vision Transformers) op kleine, taakspecifieke datasets (zoals OpenCell), met en zonder fijnafstemming (fine-tuning)?
2. Hoe kunnen eenvoudige strategieën voor kanaalbeheer (channel handling) mismatches tussen datasets oplossen?
3. Hoe sterk hangt de prestatie af van de hoeveelheid taakspecifieke data voor fijnafstemming?
4. Kunnen embeddings van modellen die zijn voorgeprogrammeerd op enkel-cel-niveau (single-cell) betekenisvolle patronen vangen wanneer gelabelde data schaars is?

Methodologie

De auteurs evalueren DINO-gebaseerde Vision Transformer (ViT) backbones op de OpenCell-dataset (een kleine dataset met CRISPR-gemerkte eiwitten in HEK293T-cellen, bestaande uit 2 kanalen: eiwit en kern). Ze vergelijken dit met drie bronnen voor pre-training:

1. ImageNet-1k: Natuurlijke afbeeldingen (3 kanalen: RGB).
2. HPA FOV: Human Protein Atlas Field-of-View data (4 kanalen: eiwit, microtubuli, kern, endoplasmatisch reticulum).
3. HPA Single-Cell: Enkel-cel annotaties van HPA.
4. OpenCell: Trainen van een model van scratch op de OpenCell-dataset als baseline.

Kanaalbeheer Strategieën:
Omdat de inputkanalen van de bron-datasets verschillen van OpenCell, worden twee strategieën getest om de mismatch op te lossen:

• Kanaalreplicatie (Channel Replication): Elke kanaal van de input wordt onafhankelijk verwerkt door het model, waarna de feature vectors worden samengevoegd. Dit vereist geen extra training maar schaalt lineair met het aantal kanalen.
• Kanaalgebaseerde Embedding (Channel-wise Embedding): Kanalen worden direct gemapt naar de corresponderende kanalen van het voorgeprogrammeerde model (bijv. OpenCell-kern naar HPA-kern), met lege kanalen (zero-padding) voor ontbrekende kanalen. Bij ImageNet-1k wordt een semantische mapping toegepast (bijv. eiwit naar groen kanaal).

Evaluatie:

• FOV-niveau (Field-of-View): Een supervisor classificatiekop (MLP) wordt getraind op de embeddings om eiwitlocalisatie te voorspellen (17 klassen).
• Enkel-cel niveau: Een subset van OpenCell-maskers is handmatig gelabeld door experts. De kwaliteit van de embeddings wordt getest met een k-nearest neighbor (k-NN) classificator zonder extra training.
• Fijnafstemming (Fine-tuning): De auteurs testen de impact van de grootte van de dataset voor fijnafstemming (van 20% tot 100% van OpenCell).

Belangrijkste Bijdragen

1. Systematische Vergelijking: Een uitgebreide evaluatie van de transferability van SSL-modellen (DINO) van natuurlijke afbeeldingen en domeinspecifieke microscopie naar een kleine, taakspecifieke dataset.
2. Kanaalstrategieën: Het aantonen dat semantisch correcte kanaal-mapping (natural channel-wise embedding) significant beter presteert dan willekeurige mapping of replicatie, vooral bij domeinspecifieke pre-training.
3. Single-Cell Validatie: Het valideren van de bruikbaarheid van SSL-embeddings op enkel-cel-niveau, zelfs met zeer beperkte gelabelde data.
4. Fijnafstemming Insights: Inzicht in hoeveel taakspecifieke data nodig is om de prestaties te maximaliseren.

Resultaten

• Zero-Shot Prestaties: Zelfs zonder fijnafstemming presteren de voorgeprogrammeerde modellen goed. Het model voorgeprogrammeerd op HPA FOV (domeinspecifiek) behaalde de beste scores met een macro F1-score van 0.822 ± 0.007, beter dan ImageNet-1k (0.818) en een model getraind van scratch op OpenCell (0.810).
• Effect van Fijnafstemming: Na fijnafstemming op de volledige OpenCell-dataset steeg de prestatie van het HPA FOV-model naar 0.860 ± 0.013. Dit is een duidelijke verbetering ten opzichte van de ImageNet-1k modellen en de baseline.
• Kanaalbeheer: Kanaalgebaseerde embedding met semantische mapping overtrof consistent de replicatiestrategie. Willekeurige mapping resulteerde in een daling van ongeveer 0.03 in de F1-score.
• Data Schaal: De prestaties verbeterden lineair met de hoeveelheid data voor fijnafstemming. Interessant genoeg leidde fijnafstemming op slechts 20% van de data tot een lichtere daling in prestatie vergeleken met het model zonder fijnafstemming, wat suggereert dat te weinig data de representatie kan verstoren.
• Enkel-cel Niveau: Het model voorgeprogrammeerd op HPA Single-Cell behaalde de hoogste k-NN prestaties (macro F1 ≥ 0.796) over alle buurtgroottes (k), wat aantoont dat granulaire pre-training essentieel is voor enkel-cel representaties.

Betekenis en Conclusie

De studie concludeert dat zelftoezichtende methoden zoals DINO, wanneer ze zijn voorgeprogrammeerd op grote, domein-relevante datasets (zoals HPA), zeer effectief zijn voor het fijnafstemmen op kleine microscopiedatasets.

• Domeinrelevantie: Hoewel pre-training op natuurlijke afbeeldingen (ImageNet) al goed werkt, levert pre-training op microscopiedata een consistente en significante meerwaarde op, vooral na fijnafstemming.
• Praktische Richtlijnen: Voor het hergebruiken van vaste-kanaal backbones is het cruciaal om de kanalen semantisch correct te mappen (bijv. kern naar kern) in plaats van ze willekeurig toe te wijzen of te repliceren.
• Toekomstperspectief: Zelfs met beperkte gelabelde data kunnen SSL-embeddings biologisch betekenisvolle patronen vangen. Dit maakt deze modellen waardevolle hulpmiddelen voor onderzoekers die geen toegang hebben tot enorme, handmatig gelabelde datasets.

De auteurs benadrukken echter beperkingen, zoals het gebruik van slechts twee microscopiedatasets en de afhankelijkheid van segmentatie-algoritmen (Cellpose) voor de enkel-cel analyse, wat de generaliseerbaarheid naar andere assays nog verder onderzoek vereist.