Riepilogo Tecnico: Post-Pretraining Guidato da Prototipi per l'Apprendimento di Rappresentazioni a Livello di Singola Cellula

Enunciato del Problema

L'apprendimento di rappresentazioni a livello di singola cellula (SCRL) mira a decodificare dati di espressione genica ad alta dimensionalità per svelare la logica regolatoria cellulare. Sebbene i recenti modelli fondazione ispirati ai grandi modelli linguistici (che trattano i geni come token e le cellule come frasi) abbiano mostrato promesse, affrontano due limitazioni fondamentali:

1. Distribuzioni a Coda Lunga dei Tipi Cellulari: I dataset a livello di singola cellula presentano uno sbilanciamento estremo delle classi, in cui popolazioni cellulari rare ma biologicamente critiche (ad esempio, cellule staminali che innescano malattie) costituiscono una frazione minima dei campioni. Ciò porta a embedding rumorosi o collassati per i tipi cellulari rari, poiché i modelli sono distorti verso popolazioni abbondanti.
2. Spostamenti delle Covariate: Artefatti tecnici, come effetti batch e profondità di sequenziamento variabili, creano lacune distributive tra i dati di addestramento e quelli di inferenza. I modelli esistenti tendono spesso a sovradattarsi a pattern specifici del batch piuttosto che catturare una logica regolatoria universale, limitando la loro generalizzazione tra diverse piattaforme o protocolli sperimentali.

Le attuali strategie di affinamento (fine-tuning) spesso non riescono a risolvere completamente questi problemi perché partono da una varietà latente di embedding instabile stabilita durante il pretraining iniziale.

Metodologia: CellRefine

Per affrontare queste sfide, gli autori introducono CellRefine, un framework di post-pretraining progettato per operare tra la fase di pretraining iniziale e l'affinamento (fine-tuning) a valle. CellRefine inietta pregiudizi induttivi fondati biologicamente per rimodellare lo spazio di embedding latente in una struttura più stabile e discriminativa.

Il metodo impiega una funzione obiettivo multifacciale ($L_{Total}$) che combina quattro componenti:

1. Apprendimento Guidato da Prototipi (Programmi di Geni Marcatori):

   • Concetto: Utilizza set noti di geni marcatori come prior strutturali. Poiché i set completi di marcatori sono spesso sconosciuti, il metodo utilizza sottoinsiemi curati di marcatori per creare "prototipi" per ogni tipo cellulare.
   • Implementazione: I geni marcatori per un tipo cellulare $c_i$ sono ordinati in base alla gerarchia dell'ontologia cellulare (dai sottotipi specifici ai lignaggi più ampi) utilizzando una funzione $H(c_i)$. Queste sequenze ordinate vengono tokenizzate e codificate in embedding prototipali ($z_m$).
   • Perdita: Una perdita di regolarizzazione guidata da prototipi ($L_{prototype}$) massimizza la similarità coseno tra l'embedding di una cellula ($z_c$) e il suo embedding prototipale corrispondente, minimizzando al contempo la similarità con altri prototipi. Ciò inietta struttura biologica nella rappresentazione.

2. Regolarizzazione Consapevole del Lignaggio:

   • Concetto: Affronta il problema per cui i tipi cellulari strettamente correlati (che condividono un lignaggio genitore nell'ontologia) rimangono insufficientemente separati nello spazio di embedding.
   • Implementazione: Una perdita di separazione consapevole del lignaggio ($L_{lineage}$) penalizza la similarità eccessiva tra coppie di cellule che condividono lo stesso lignaggio genitore e lo stesso livello ontologico, incoraggiando il modello a distinguere identità biologiche fini.

3. Codifica Variazionale a Mixture Gaussiana (GMVE):

   • Concetto: Modella esplicitamente lo spazio latente come una struttura clusterizzata per migliorare la qualità della rappresentazione.
   • Implementazione: Un Encoder Variazionale a Mixture Gaussiana viene aggiunto al modello. Una perdita di divergenza KL ($L_{GMVE}$) regolarizza la posterior variazionale rispetto a un prior a mixture gaussiana appreso, imponendo una struttura latente clusterizzata.

4. Modellazione Linguistica Mascherata (MLM):

   • L'obiettivo standard di pretraining è mantenuto per garantire che il modello continui a imparare pattern generali di espressione genica.

L'obiettivo totale è:
$$L_{Total} = L_{MLM} + \lambda_1 L_{prototype} + \lambda_2 L_{lineage} + \lambda_3 L_{GMVE}$$

Contributi Chiave

• Nuova Fase di Post-Pretraining: Propone una fase di adattamento intermedia (CellRefine) che affina la varietà latente dei modelli fondazione prima dell'affinamento specifico per il compito, invece di affidarsi esclusivamente al pretraining seguito da un affinamento diretto.
• Integrazione di Prior Biologici: Integra sistematicamente conoscenze biologiche meccanicistiche (programmi di geni marcatori e ontologie cellulari) direttamente nel processo di ottimizzazione per guidare l'apprendimento delle rappresentazioni.
• Gestione della Coda Lunga e degli Spostamenti delle Covariate: Dimostra che fondare il modello su prior biologici mitiga il pregiudizio verso i tipi cellulari abbondanti e migliora la robustezza agli spostamenti tecnici.

Risultati Sperimentali

Gli autori hanno valutato CellRefine su tre compiti computazionali fondamentali della biologia su 11 dataset che coprono vari tessuti (sangue, pancreas, fegato, cervello, polmone, cuore, ecc.):

1. Predizione dell'Identità Cellulare:

   • In Dominio: CellRefine ha costantemente superato le linee di base dello stato dell'arte (inclusi l'affinamento completo, LoRA e l'allineamento MLM standard) su 10 dataset. Ha ottenuto miglioramenti del macro-F1 fino al 15% rispetto alla linea di base più forte (MLM $\to$ FF) su dataset sbilanciati come Sangue e Pancreas.
   • Fuori Dominio (Zero-Shot): Nel trasferimento cross-modale (addestramento su scRNA-seq, test su trascrittomica spaziale), CellRefine ha mostrato prestazioni superiori di recall@k, indicando rappresentazioni più robuste e generalizzabili.

2. Imputazione della Trascrittomica Spaziale:

   • CellRefine ha migliorato la previsione delle espressioni geniche non misurate, ottenendo punteggi di correlazione di Pearson e similarità coseno più elevati rispetto alle linee di base sui dataset spaziali del fegato.

3. Predizione della Risposta alle Perturbazioni Geniche:

   • Nella previsione dei cambiamenti di espressione genica sotto perturbazione, CellRefine ha prodotto miglioramenti coerenti, sebbene più piccoli, rispetto alle linee di base, ottenendo le prestazioni complessive migliori tra tutti i metodi testati.

Studi di Ablazione:

• La rimozione di uno qualsiasi dei tre termini di regolarizzazione ($L_{prototype}$, $L_{lineage}$, $L_{GMVE}$) ha portato a un degrado delle prestazioni, confermando che l'approccio multi-obiettivo è sinergico.
• Efficienza del Campione: In scenari di apprendimento con pochi esempi (5–50 shot), CellRefine ha dimostrato guadagni di prestazioni significativamente più ripidi a bassi conteggi di campioni rispetto all'affinamento standard, suggerendo che sfrutta dati etichettati limitati in modo più efficace.

Analisi Qualitativa:

• Le visualizzazioni UMAP dello spazio latente hanno rivelato che CellRefine riorganizza la varietà di embedding, rendendo le popolazioni cellulari "di coda" rare (ad esempio, specifici sottoinsiemi di cellule T, tipi cellulari rari del fegato) più distinguibili e meno intrecciate con i principali cluster cellulari rispetto ai modelli addestrati solo con MLM.

Significato e Affermazioni

Il documento afferma che CellRefine rappresenta una direzione promettente per l'apprendimento di rappresentazioni a livello di singola cellula, dimostrando che i pregiudizi induttivi informati biologicamente possono migliorare significativamente le prestazioni a valle dei modelli fondazione.

• Utilità Clinica: Catturando meglio i tipi cellulari rari e migliorando la robustezza agli spostamenti delle covariate, il metodo potenzia il potenziale per identificare meccanismi di malattia e bersagli terapeutici in stati cellulari rari o transizionali che sono spesso oscurati nei modelli standard.
• Cambiamento Metodologico: Il lavoro si oppone all'affidamento esclusivo sul pretraining guidato dai dati seguito da affinamento, sostenendo invece fasi intermedie che incorporano esplicitamente conoscenze di dominio (geni marcatori e ontologie) per stabilizzare il processo di apprendimento.
• Limitazioni: Gli autori notano modestamente che l'approccio si basa su programmi di geni marcatori curati, che possono essere incompleti o rumorosi per nuovi tipi cellulari. Inoltre, i guadagni di prestazioni non implicano necessariamente un'efficienza parametrica migliorata.

In sintesi, CellRefine offre un framework per colmare il divario tra il pretraining su larga scala e le realtà specifiche, spesso sbilanciate, dei dati biologici a livello di singola cellula, producendo rappresentazioni cellulari più discriminative e generalizzabili.