CLM-X: A multimodal single-cell foundation model with flexible multi-way Transformer for unified scRNA-seq and scATAC-seq analysis

Il paper presenta CLM-X, un modello fondazionale multimodale basato su un'architettura Transformer flessibile che unifica l'analisi di scRNA-seq e scATAC-seq, superando le prestazioni dei metodi esistenti in compiti come l'integrazione, la traduzione cross-modale e la previsione delle risposte alle perturbazioni genetiche.

L'essenziale

Immagina il corpo umano come una città enorme e complessa. Ogni cellula è un cittadino con una vita privata, un lavoro e un'opinione. Per capire come funziona questa città, gli scienziati usano due "telecamere" diverse per guardare i cittadini:

1. La telecamera RNA (scRNA-seq): Guarda cosa i cittadini stanno dicendo in questo momento (quali geni stanno "parlando" o producendo proteine). È come ascoltare una conversazione in tempo reale.
2. La telecamera ATAC (scATAC-seq): Guarda i libri di istruzioni (il DNA) che i cittadini hanno in tasca e quali pagine hanno aperto. Non ci dice cosa stanno dicendo ora, ma quali regole stanno seguendo e quali porte hanno sbloccato per poter parlare.

Il Problema: Troppi dati, troppe lingue

Fino a poco tempo fa, gli scienziati avevano due grandi problemi:

• Avevano milioni di dati (come se avessero registrato milioni di conversazioni), ma erano disordinati.
• Le due telecamere parlavano "lingue" diverse. L'RNA parlava di parole (geni), l'ATAC di pagine di un libro (regioni del DNA). Metterle insieme era come cercare di tradurre un libro in giapponese usando un dizionario per l'inglese: spesso si perdeva il senso o si creavano errori.
• I vecchi metodi erano come traduttori specializzati: uno sapeva tradurre solo l'RNA, un altro solo l'ATAC, e un terzo sapeva unire i due solo se aveva una lista perfetta di coppie (uno che parlava e uno che ascoltava allo stesso tempo). Ma nella realtà, spesso abbiamo solo l'uno o l'altro, o dati che non corrispondono perfettamente.

La Soluzione: CLM-X, il "Poliglotta Universale"

Gli autori hanno creato CLM-X, un'intelligenza artificiale che funziona come un super-linguista o un traduttore universale addestrato su una biblioteca gigantesca.

Ecco come funziona, con un'analogia semplice:

1. Imparare a leggere in due lingue (Tokenizzazione)

Immagina che CLM-X debba leggere sia il diario dei cittadini (RNA) che i loro libri di istruzioni (ATAC). Invece di trattarli come cose diverse, CLM-X li trasforma entrambi in una sequenza di blocchi Lego (chiamati "token").

• Che tu gli dia solo il diario o solo il libro, lui li mette tutti in fila nello stesso modo.
• Questo gli permette di leggere qualsiasi combinazione: solo diario, solo libro, o entrambi insieme.

2. La scuola di addestramento (Pre-training)

CLM-X non è nato pronto. È stato mandato in una "scuola" dove ha studiato 36 milioni di diari e 2,8 milioni di libri (dati reali), più 370.000 coppie dove aveva sia il diario che il libro della stessa persona.

• Il metodo di studio: Gli hanno coperto alcune parti del testo (mascheramento) e gli hanno chiesto di indovinare cosa mancava.
  • Se gli davano solo il diario, doveva indovinare le parole mancanti.
  • Se gli davano solo il libro, doveva indovinare le pagine mancanti.
  • Se gli dava entrambi, doveva imparare a collegare le due cose: "Ah, se questa pagina del libro è aperta (ATAC), allora il cittadino probabilmente dirà questa parola (RNA)".
• Questo processo ha insegnato al modello la logica biologica di base: come le regole del DNA controllano le parole che le cellule pronunciano.

3. Cosa sa fare CLM-X oggi? (I risultati)

Grazie a questo addestramento, CLM-X è diventato un "cervello" che può fare cose incredibili:

• Pulire il rumore (Correzione dei "Batch"): Immagina di avere foto scattate con due macchine fotografiche diverse: una ha una luce gialla, l'altra una luce blu. CLM-X sa rimuovere quelle luci strane per vedere il vero volto della persona, indipendentemente da chi ha scattato la foto.
• Unire i pezzi (Integrazione): Sa fondere il diario e il libro in un'unica storia coerente, capendo meglio la persona di quanto farebbe leggendo solo uno dei due.
• Tradurre il futuro (Traduzione incrociata): Questa è la sua magia più grande. Se gli dai solo il libro di istruzioni (ATAC), CLM-X può prevedere esattamente cosa dirà il cittadino (RNA), anche se non l'ha mai sentito parlare prima. È come se, guardando le pagine di un manuale, potesse dirti esattamente quale frase scriverà l'autore.
• Indovinare le reazioni (Perturbazioni): Se gli dici: "Cosa succede se chiudiamo questa pagina del libro?", CLM-X può prevedere come cambierà il discorso del cittadino. Questo è fondamentale per capire come funzionano i farmaci o le malattie.

Perché è importante?

Prima, per capire una cellula, dovevi usare strumenti separati e spesso perdere pezzi del puzzle. Con CLM-X, abbiamo un unico modello che:

1. Capisce tutto: RNA, ATAC, o entrambi.
2. È flessibile: Funziona anche se non hai dati perfetti o se ti mancano alcune informazioni.
3. È preciso: Fa previsioni migliori di chiunque altro, specialmente nel collegare il DNA alle sue conseguenze.

In sintesi, CLM-X è come un grande architetto biologico che, avendo letto milioni di progetti e di storie, ora può ricostruire la città cellulare, prevedere come reagirà a un terremoto (una malattia) e suggerire come ripararla, tutto con un'unica mente digitale.

Sommario tecnico

1. Il Problema

L'analisi del singolo cella (single-cell) ha fatto passi da gigante grazie alle tecnologie multimodali che misurano simultaneamente diversi strati molecolari (es. trascrittomica e epigenomica). Tuttavia, l'accumulo rapido di dataset su larga scala, eterogenei e strutturati in modo complesso, pone sfide significative:

• Eterogeneità dei dati: Le diverse modalità (RNA e ATAC) hanno strutture, bias tecnici e caratteristiche di rumore molto diverse, rendendo difficile l'integrazione.
• Scarsità di dati accoppiati: Sebbene esistano dataset multimodali (RNA+ATAC dallo stesso cella), sono spesso limitati in numero rispetto ai vasti dataset unimodali disponibili.
• Limitazioni dei modelli esistenti: La maggior parte dei metodi attuali richiede preprocessing specifico per modalità, è progettata per compiti specifici (non generalizzabile) e fatica a scalare a milioni di cellule. Inoltre, i modelli basati su apprendimento contrastivo (che allineano coppie RNA-ATAC) spesso non catturano appieno le informazioni complementari e richiedono dati strettamente accoppiati.
• Mancanza di un modello fondazionale unificato: Non esisteva un modello "foundation" capace di gestire in modo flessibile input unimodali (solo RNA o solo ATAC) e multimodali (RNA+ATAC) all'interno di un'unica architettura.

2. Metodologia: CLM-X

Gli autori propongono CLM-X, un modello fondazionale multimodale basato sull'architettura BEiT-3 (Multiway Transformer), progettato per l'analisi unificata di scRNA-seq e scATAC-seq.

A. Tokenizzazione Armonizzata

Per gestire l'eterogeneità dei dati, CLM-X introduce uno schema di tokenizzazione unificato:

• scRNA-seq: Ogni cella è rappresentata come una sequenza di token genici associati a valori di espressione binnati (discretizzati in base al rango per-cellula).
• scATAC-seq: I picchi di accessibilità cromatinica (circa 1 milione) sono raggruppati in "patch" contigue ordinate genomicamente e binarizzati. Ogni patch diventa un token associato a un vettore binario di accessibilità.
• Input Unificato: Entrambe le modalità vengono ridotte o estese a una lunghezza massima di 2.000 token. Per le cellule accoppiate (RNA+ATAC), le due sequenze vengono concatenate in un'unica finestra di contesto fino a 4.000 token, permettendo l'interazione diretta tramite l'attenzione.

B. Architettura Multiway Transformer

Il backbone del modello utilizza un Multiway Transformer con:

• Attenzione Condivisa (Shared MHSA): Un unico meccanismo di self-attention gestisce tutte le modalità, permettendo l'interazione cross-modale.
• Expert Feed-Forward (FFN) Specifici: Per ogni tipo di input (solo RNA, solo ATAC, o RNA+ATAC), esistono layer FFN distinti (R-FFN, A-FFN, RA-FFN) che elaborano le rappresentazioni specifiche della modalità.
• Questo design permette al modello di essere "agnostic" rispetto all'input: può elaborare dati unimodali o multimodali senza cambiare architettura.

C. Strategia di Pretraining a Stadi

Per massimizzare l'uso dei dati unimodali abbondanti e imparare l'allineamento dai dati accoppiati scarsi, CLM-X utilizza una strategia di pretraining a stadi con ricostruzione mascherata:

1. Fase 1 (RNA-only): Addestramento su 36 milioni di cellule scRNA-seq per ricostruire i valori di espressione mascherati.
2. Fase 2 (ATAC-only): Addestramento su 2,8 milioni di cellule scATAC-seq, ereditando i pesi dell'attenzione condivisa dalla Fase 1.
3. Fase 3 (RNA+ATAC accoppiato): Addestramento su 370.000 cellule accoppiate (pseudo-paired da scCLIP) con un obiettivo di ricostruzione condizionale bidirezionale:
   • Fase A: Mascherare l'ATAC e ricostruirlo condizionato all'RNA visibile.
   • Fase B: Mascherare l'RNA e ricostruirlo condizionato all'ATAC visibile.
     Questo approccio insegna al modello le dipendenze bidirezionali e le informazioni complementari tra le modalità.

D. Adattamento ai Compiti (Fine-tuning)

Il modello pre-addestrato viene adattato a cinque compiti downstream tramite test specifici leggeri, mantenendo il core encoder congelato o fine-tunato:

1. Correzione dei batch.
2. Integrazione multimodale.
3. Traduzione cross-modale (RNA $\leftrightarrow$ ATAC).
4. Annotazione dei tipi cellulari.
5. Predizione della risposta a perturbazioni genetiche.

3. Contributi Chiave

• Primo modello fondazionale multimodale unificato: CLM-X è il primo modello in grado di gestire nativamente input unimodali e multimodali in un'unica architettura Transformer, superando la rigidità dei metodi precedenti.
• Efficienza con dati accoppiati scarsi: Grazie alla strategia di pretraining a stadi e alla ricostruzione condizionale, il modello impara efficacemente le relazioni cross-modali anche con un numero limitato di dati accoppiati (370k), sfruttando la massa di dati unimodali (36M+).
• Tokenizzazione armonizzata: La mappatura di RNA e ATAC in spazi di token comuni permette un'integrazione profonda senza preprocessing soggettivo o riduttivo.
• Scalabilità: Il modello è stato pre-addestrato su scala di milioni di cellule, dimostrando capacità di generalizzazione su dataset eterogenei.

4. Risultati

Il modello è stato valutato su 10 dataset e 5 compiti principali, confrontandosi con metodi dello stato dell'arte (MultiVI, scJoint, scGPT, BABEL, ecc.):

• Correzione dei Batch: CLM-X ottiene i punteggi più alti nel mantenere la struttura biologica (NMI) mentre rimuove gli effetti del batch (bASW), superando i baselines multimodali del 5,9%–35,0%. Funziona anche in modalità "zero-shot" senza fine-tuning specifico.
• Integrazione Multimodale: Nel fondere RNA e ATAC, CLM-X produce embedding che migliorano l'accordo con le annotazioni dei tipi cellulari (ARI/NMI) mantenendo una forte coerenza locale (cLISI), superando MultiVI e SCOIT.
• Traduzione Cross-Modale: CLM-X eccelle nella predizione quantitativa (ricostruzione dei valori) sia da ATAC a RNA che da RNA a ATAC. Mostra una fedeltà superiore nella ricostruzione delle variazioni di espressione e accessibilità rispetto a metodi come BABEL e CMAE.
• Annotazione dei Tipi Cellulari: CLM-X (Fusion) raggiunge la massima accuratezza e F1-score, dimostrando una maggiore capacità di distinguere popolazioni rare o confondibili (es. monociti IL1B+) rispetto a modelli unimodali o di fusione tradizionali.
• Predizione di Perturbazioni: Nel compito di prevedere le risposte trascrizionali a geni target non visti durante l'addestramento, CLM-X supera GEARS e scGPT, recuperando con maggiore precisione i geni differenzialmente espressi e le firme genomiche.

5. Significato e Impatto

CLM-X rappresenta un passo fondamentale verso modelli fondazionali generalizzabili per la biologia cellulare.

• Robustezza e Generalizzazione: Dimostra che un singolo encoder pre-addestrato può essere adattato a compiti eterogenei, riducendo la necessità di sviluppare modelli specifici per ogni task.
• Interpretabilità Biologica: La capacità di tradurre tra RNA e ATAC e di prevedere risposte a perturbazioni apre nuove strade per l'inferenza di programmi regolatori e meccanismi di malattia.
• Futuro: Il framework è estendibile ad altre modalità molecolari e contesti biologici dinamici, promettendo di accelerare la scoperta biologica man mano che gli atlanti cellulari continuano a crescere in scala e complessità.

In sintesi, CLM-X supera le limitazioni delle attuali strategie di fusione e dei modelli unimodali, offrendo una piattaforma unificata, scalabile e biologicamente interpretabile per l'analisi integrata dei dati single-cell.