Using Deep Learning Models Pretrained by Self-Supervised Learning for Protein Localization

Titolo

Utilizzo di modelli Deep Learning pre-addestrati tramite Self-Supervised Learning per la localizzazione delle proteine.

1. Il Problema

L'analisi delle cellule umane tramite microscopia è fondamentale per comprendere i meccanismi molecolari delle malattie e identificare bersagli farmacologici. Tuttavia, l'addestramento di modelli di Deep Learning (DL) robusti per la localizzazione delle proteine è ostacolato da due fattori principali:

1. Scarsità di dati annotati: I dataset specifici per compiti di microscopia sono spesso piccoli e costosi da generare, limitando la capacità dei modelli di apprendere caratteristiche significative.
2. Disallineamento dei canali e generalizzazione: Esiste una mancanza di comprensione su quanto i modelli pre-addestrati su grandi dataset (come ImageNet o dataset specifici di dominio come HPA) possano essere trasferiti efficacemente su dataset più piccoli con configurazioni di canali, protocolli di colorazione e modalità di imaging diverse.

L'obiettivo dello studio è valutare la trasferibilità cross-domain di modelli pre-addestrati con Self-Supervised Learning (SSL) su dataset specifici per la microscopia (HPA) e naturali (ImageNet-1k), applicandoli al dataset OpenCell (un dataset di localizzazione proteica su piccola scala) con e senza fine-tuning.

2. Metodologia

Dataset Utilizzati

• OpenCell: Dataset di destinazione (task-specific). Contiene 6.301 immagini a due canali (proteina di interesse e nucleo) ottenute tramite editing genomico CRISPR. Le proteine sono annotate in 17 compartimenti subcellulari.
• HPA FOV (Field of View): Dataset di pre-addestramento di dominio. ~120.000 immagini a 4 canali (proteina, microtubuli, nucleo, reticolo endoplasmatico) da oltre 30 linee cellulari.
• HPA Single-Cell: Dataset di pre-addestramento di dominio a livello di singola cellula. ~105.000 immagini annotate a livello di compartimento.
• ImageNet-1k: Dataset di pre-addestramento generico (immagini naturali a 3 canali RGB).

Architettura e Modello

Il lavoro utilizza l'architettura DINO (Self-Distillation with No Labels) basata su Vision Transformer (ViT) come estrattore di caratteristiche. Sono stati testati diversi backbones (ViT-small/8 e ViT-base/8/16).

Gestione dei Canali (Channel Handling)

Poiché i modelli pre-addestrati hanno configurazioni di input fisse (es. 3 canali per ImageNet, 4 per HPA) e OpenCell ne ha solo 2, sono state esplorate due strategie per allineare gli input:

1. Replicazione dei canali (Channel Replication): Estrarre caratteristiche per ogni canale indipendentemente e concatenare i vettori. Non richiede addestramento aggiuntivo ma aumenta la dimensionalità.
2. Embedding canale per canale (Channel-wise embedding): Mappare i canali di OpenCell sui canali corrispondenti del modello pre-addestrato, riempiendo i canali mancanti con zeri.
   • Strategia "Naturale": Mappare la proteina e il nucleo sui canali corrispondenti semanticamente (es. Proteina $\to$ Canale Proteina HPA).
   • Strategia "Casuale": Mappare i canali in modo arbitrario per testare la robustezza.

Procedure di Valutazione

1. Classificazione FOV (Field of View):
   • Zero-shot: Uso diretto dei backbone pre-addestrati senza fine-tuning.
   • Fine-tuning: Adattamento del backbone su OpenCell, seguito da un classificatore MLP (Multi-Layer Perceptron) per predire la localizzazione.
   • Scaling: Valutazione dell'impatto della dimensione del dataset di fine-tuning (dal 20% al 100% dei dati).
2. Classificazione a Singola Cellula:
   • Estrazione di embedding per singole cellule segmentate (usando Cellpose).
   • Valutazione della qualità delle rappresentazioni tramite un classificatore k-Nearest Neighbors (k-NN) su un sottoinsieme etichettato da esperti, senza ulteriore addestramento supervisionato.

3. Risultati Chiave

Generalizzazione e Zero-Shot

• I backbone pre-addestrati con SSL trasferiscono efficacemente le conoscenze al dataset OpenCell, anche senza fine-tuning.
• Il modello pre-addestrato su HPA FOV ottiene il punteggio più alto in modalità zero-shot (Macro F1 = 0.822 ± 0.007), superando sia i modelli pre-addestrati su ImageNet-1k che un modello addestrato da zero su OpenCell.
• La strategia di embedding naturale dei canali (mappatura semantica corretta) supera significativamente la replicazione dei canali e l'embedding casuale, specialmente quando si utilizza un pre-addestramento di dominio (HPA).

Impatto del Fine-Tuning

• Il fine-tuning su OpenCell migliora ulteriormente le prestazioni. Il modello HPA FOV pre-addestrato e poi fine-tuned raggiunge un Macro F1 di 0.860 ± 0.013.
• Il fine-tuning su dataset di dominio (HPA) offre un vantaggio più marcato rispetto al pre-addestramento su immagini naturali (ImageNet) quando si passa a un task di microscopia.
• Scaling dei dati: L'uso di una frazione maggiore del dataset di fine-tuning migliora costantemente le prestazioni. Curiosamente, un fine-tuning su solo il 20% dei dati ha portato a un leggero calo delle prestazioni rispetto all'uso del modello pre-addestrato senza fine-tuning, suggerendo che una quantità insufficiente di dati può causare uno spostamento della distribuzione dannoso.

Embedding a Singola Cellula

• L'approccio di pre-addestramento su HPA Single-Cell ha dimostrato la massima efficacia per la rappresentazione a livello di singola cellula, ottenendo i migliori punteggi k-NN (Macro F1 $\ge$ 0.796) su tutte le dimensioni del vicinato ($k$).
• Questo indica che l'addestramento SSL direttamente a livello di singola cellula produce caratteristiche biologicamente significative anche con dati etichettati molto scarsi.

Analisi Qualitativa

L'analisi UMAP e visiva ha mostrato che il modello riesce a catturare pattern di localizzazione ben definiti. Gli errori (falsi positivi/negativi) si verificano spesso quando i segnali di localizzazione si sovrappongono o sono deboli, situazioni in cui anche l'annotazione umana è difficile.

4. Contributi Principali

1. Validazione della Trasferibilità SSL: Dimostrazione empirica che i modelli SSL pre-addestrati su grandi dataset di microscopia (HPA) sono superiori o equivalenti a quelli su immagini naturali per task di localizzazione proteica su dataset piccoli.
2. Strategie di Adattamento dei Canali: Identificazione che l'embedding naturale dei canali (preservando la semantica biologica) è cruciale per il trasferimento efficace, superando di gran lunga la semplice replicazione dei canali o l'assegnazione casuale.
3. Raccomandazioni sul Fine-Tuning: Evidenza che il fine-tuning richiede una quantità sufficiente di dati (non solo una frazione minima) per essere efficace e che il pre-addestramento di dominio offre un vantaggio residuo significativo rispetto al pre-addestramento generico.
4. Valutazione a Singola Cellula: Dimostrazione che l'SSL pre-addestrato a livello di singola cellula genera embedding biologicamente significativi, utili anche in scenari con etichette limitate.

5. Significato e Conclusioni

Questo studio fornisce linee guida pratiche per l'uso di modelli Deep Learning in microscopia a fluorescenza, specialmente in contesti con dati limitati. I risultati suggeriscono che:

• Non è necessario addestrare modelli da zero per dataset piccoli; l'uso di backbone pre-addestrati con SSL su dataset di dominio (come HPA) è la strategia ottimale.
• La corretta mappatura dei canali tra il dataset sorgente e quello di destinazione è un fattore critico per il successo del trasferimento.
• L'SSL permette di estrarre caratteristiche biologicamente rilevanti anche a livello di singola cellula, aprendo la strada a nuove applicazioni in biologia computazionale dove le annotazioni manuali sono costose o scarse.

Il lavoro conclude incoraggiando l'adozione di backbones SSL a canali fissi per dataset FOV e a singola cellula, purché le relazioni tra i canali dei dataset di destinazione e pre-addestramento siano sfruttate esplicitamente.