Sintesi Tecnica: CellTok – La Tokenizzazione dei Trascrittomi a Singola Cellula come Linguaggio Nativo per gli LLM

Definizione del Problema

I Large Language Models (LLM) eccellono nell'elaborare informazioni eterogenee quando queste sono rappresentate come token discreti all'interno di uno spazio sequenziale condiviso. Tuttavia, i trascrittomi a singola cellula rimangono una "modalità estranea" per gli LLM. A differenza del linguaggio naturale o del codice, i dati trascrittomici consistono in profili molecolari continui e ad alta dimensionalità piuttosto che in unità linguistiche discrete. Di conseguenza, le cellule non possono essere lette, composte, predette o generate direttamente come parte del linguaggio di token nativo di un LLM. Gli approcci esistenti si affidano spesso a interfacce indirette, come la conversione degli stati cellulari in riassunti testuali o l'allineamento di embedding continui con il testo tramite apprendimento cross-modale. Questi metodi limitano la capacità degli LLM di eseguire ragionamenti contestuali sulle cellule, come l'analisi delle popolazioni cellulari, l'inferenza della comunicazione intercellulare o la modellazione delle traiettorie di sviluppo, poiché l'informazione cellulare è esterna allo spazio dei token del modello.

Metodologia: CellTok

Gli autori propongono CellTok, un approccio di modellazione del linguaggio a singola cellula basato sulla tokenizzazione che converte i profili trascrittomici in token cellulari discreti e compatti e li integra direttamente nel vocabolario di un LLM pre-addestrato.

1. Architettura di Tokenizzazione

CellTok impiega un'architettura encoder–quantizzatore–decoder ispirata ai VQ-VAE (Vector-Quantized Variational Autoencoders):

• Input: I profili di espressione genica a singola cellula vengono normalizzati e allineati a un pannello condiviso di 5.000 geni altamente variabili.
• Encoder: Mappa il profilo di espressione normalizzato in una rappresentazione latente continua, che viene suddivisa in segmenti.
• Quantizzatore: Sostituisce ogni segmento latente con il vettore più vicino da un codebook apprendibile (codici discreti).
• Decoder: Ricostruisce il profilo di espressione genica dalla rappresentazione latente quantizzata.
• Integrazione: I vettori del codebook appresi sono trattati come ID di token unici e aggiunti al vocabolario di un LLM pre-addestrato (nello specifico Qwen 2.5 7B). Ciò crea un design di early-fusion dove i token cellulari e i token testuali coesistono nello stesso framework di modellazione autoregressiva.

2. Strategia di Addestramento

CellTok è addestrato utilizzando due obiettivi di pre-addestramento complementari per allineare le modalità cellulari e linguistiche:

• Comprensione Cellulare (Cell Comprehension): Il modello si condiziona su una sequenza di token cellulari per generare una descrizione in linguaggio naturale dello stato cellulare.
• Generazione Cellulare (Cell Generation): Il modello si condiziona su una descrizione testuale per generare la corrispondente sequenza di token cellulari, che vengono poi decodificati nuovamente in profili trascrittomici.
• Fine-Tuning: L'LLM pre-addestrato viene adattato utilizzando la Low-Rank Adaptation (LoRA), modificando circa il 2% dei parametri (proiezioni dell'attenzione, strati feed-forward e embedding dei token). I dati di addestramento includono 68 milioni di profili ad alta qualità da CELLxGENE, accoppiati con descrizioni testuali generate da GPT-4o.

3. Task a Valle (Downstream Tasks)

Il framework supporta vari compiti componendo molteplici cellule tokenizzate all'interno di un contesto autoregressivo condiviso:

• Livello Cellulare: Annotazione del tipo cellulare e generazione condizionale di cellule sintetiche.
• Livello di Popolazione: Annotazione di cluster, annotazione di popolazioni eterogenee e inferenza dello stato di malattia (ad esempio, distinguere tra stati sani e COVID-19 senza etichette esplicite del tipo cellulare).
• Relazionale: Inferenza dei percorsi di comunicazione cellula-cellula (CCC) tra popolazioni sorgente e target, e distinzione tra vicini spaziali comunicanti e non comunicanti.
• Temporale: Inferenza dell'ordinamento temporale (pseudotempo) e generazione di profili trascrittomici corrispondenti ai vari stadi lungo le traiettorie.

Risultati Chiave

Il paper valuta CellTok attraverso diversi benchmark, dimostrando che gli LLM possono leggere ed eseguire ragionamenti efficacementi sui dati cellulari quando dotati di token nativi.

• Identità e Generazione Cellulare: CellTok raggiunge prestazioni competitive con i modelli cellulari estesi (LCM) specializzati come Geneformer e scGPT, e supera notevolmente i modelli linguistici general-purpose molto più grandi (ad esempio, GPT-4o, LLaMA 3 70B) sollecitati per l'analisi a singola cellula. Nei compiti di generazione, produce cellule sintetiche che corrispondono strettamente ai profili reali, superando Cell2Sentence e eguagliando scDiffusion.
• Inferenza a Livello di Popolazione:
  • Annotazione: CellTok supera i baseline nell'annotazione di cluster omogenei e, crucialmente, nell'annotare popolazioni eterogenee contenenti tipi cellulari confondibili (ad esempio, cellule T CD4+ vs CD8+) direttamente da input misti.
  • Stato di Malattia: Il modello identifica accuratamente gli stati associati a malattie (ad esempio, COVID-19) attraverso popolazioni miste senza che gli vengano fornite etichette del tipo cellulare durante l'inferenza, basandosi invece su pattern trascrittomici e sul contesto della popolazione.
  • Sensibilità Semantica: Gli studi di ablazione mostrano che sostituire le etichette biologicamente significative (ad esempio, "COVID-19") con etichette neutre (ad esempio, "Status A") riduce le prestazioni, indicando che CellTok sfrutta i priori semantici incorporati nella conoscenza linguistica dell'LLM.
• Comunicazione Cellula-Cellula (CCC):
  • Non Spaziale: CellTok predice i percorsi di segnalazione ligando-recettore tra popolazioni cellulari. Generalizza a donatori non visti e si basa su contesti trascrittomici accoppiati piuttosto che memorizzare le identità dei tipi cellulari.
  • Spaziale: Nella trascrittomica spaziale (Visium HD), CellTok distingue le cellule vicine comunicanti da quelle non comunicanti usando solo l'input trascrittomico (senza coordinate spaziali). Generalizza a regioni tissutali non viste e funziona bene sulle interazioni eterotipiche, suggerendo che apprenda la competenza comunicativa piuttosto che la semplice frequenza delle coppie di tipi cellulari.
• Traiettorie di Sviluppo: CellTok riesce a inferire l'ordinamento temporale relativo delle cellule attraverso gli stadi di sviluppo (organoidi cerebrali) e generalizza a punti temporali non visti. Può anche generare profili trascrittomici per specifici stadi di sviluppo condizionati da cellule di altri stadi, supportando sia l'interpolazione che l'estrapolazione.

Significato e Rivendicazioni

Gli autori affermano che CellTok stabilisce un interfaccia unificata per la modellazione di cellule, popolazioni e conoscenza biologica in uno spazio di token condiviso.

• Linguaggio Nativo per la Biologia: Il lavoro dimostizza che i trascrittomi a singola cellula possono essere trasformati da una modalità molecolare estranea in un linguaggio nativo per gli LLM. Ciò consente che misurazioni cellulari, contesti multi-cellulari, prompt testuali e conoscenza biologica siano modellati all'interno di un unico framework autoregressivo.
• Ragionamento Contestuale: Rappresentando le cellule come unità compositive all'interno dello spazio dei token, CellTok consente agli LLM di eseguire ragionamenti contestuali su popolazioni, relazioni intercellulari e processi di sviluppo, andando oltre il trattamento delle cellule come endpoint isolati.
• Grounding Bidirezionale: Il framework crea un'interfaccia diretta tra misurazioni molecolari e linguaggio naturale, dove i token cellulari possono condizionare il testo e il testo può condizionare la generazione/interpretazione degli stati cellulari.
• Prova di Concetto: Gli autori pongono CellTok come una prova di concetto della tokenizzazione cellulare come rappresentazione condivisa e interfaccia di task. Riconoscono limitazioni, come la potenziale perdita di informazioni quantitative fini a causa della discretizzazione e la necessità di ulteriori valutazioni del trasferimento di conoscenza tra i task. Tuttavia, sostengono che questo approccio fornisce una via verso una scienza basata su LLM in cui i modelli possono interpretare le misurazioni molecolari in stretta connessione con la conoscenza biologica e le domande scientifiche.