Sintesi Tecnica: OCOO-T – Un Modello di Cellula Virtuale Semplice e Scalabile

Definizione del Problema

Prevedere le risposte trascrizionali delle singole cellule a perturbazioni genetiche, chimiche e di citochine è una sfida centrale nella biologia computazionale, con implicazioni critiche per la scoperta di farmaci e l'elucidazione delle reti di regolazione genica. Una difficoltà fondamentale in questo dominio è l'assenza di vere corrispondenze a livello cellulare prima e dopo la perturbazione; il sequenziamento dell'RNA a singola cellula è distruttivo, il che significa che i modelli non possono apprendere mappature deterministiche cellula-cellula. Invece, il compito è intrinsecamente distribuzionale, richiedendo ai modelli di catturare gli spostamenti della popolazione nei profili di espressione genica.

Gli approcci esistenti affrontano trade-off significativi:

• Modelli di predizione puntuale (es. scGPT) spesso non riescono a catturare gli spostamenti distribuzionali a livello di popolazione.
• Modelli nello spazio latente (es. scGen, CPA, Squidiff) si affidano ad autoencoder variazionali (VAE) ausiliari per comprimere i profili ad alta dimensionalità, introducendo complessità architettonica, potenziali colli di bottiglia informativi e impedendo l'ottimizzazione end-to-end nello spazio di espressione originale.
• Modelli di matching distributivo (es. STATE, PerturbDiff) affrontano la natura non accoppiata dei dati, ma spesso faticano con la scalabilità. PerturbDiff, ad esempio, si affida a embedding di medie di kernel in uno Spazio di Hilbert Riproducente (RKHS), che decade statisticamente quando si scala verso profili trascrizionali lunghi (migliaia di geni).
• Limitazioni dei profili lunghi: La maggior parte dei modelli limita gli input a geni altamente variabili (HVG, ~2.000–5.000), escludendo geni e pathway critici a bassa abbondanza a causa della complessità computazionale quadratica dell'auto-attenzione.

Metodologia: OCOO-T

OCOO-T viene introdotto come un modello di Cellula Virtuale (AIVC) basato sul flow-matching, minimalista, progettato per prevedere le risposte alle perturbazioni trascrizionali direttamente nello spazio continuo dell'espressione genica, bypassando encoder ausiliari e spazi latenti specializzati.

Architettura Core

Il modello utilizza uno stack Transformer vanilla che opera su profili di espressione genica continui. I componenti chiave dell'architettura includono:

• Codifica di Valori Continui: A differenza dei modelli che utilizzano la discretizzazione (binning), OCOO-T proietta i valori di espressione continui rumorosi ($z_t$) direttamente nella dimensione nascosta tramite un MLP, preservando la precisione numerica.
• Embedding di Identità Genica: Gli embedding pre-addestrati di modelli linguistici proteici (es. ESM2) sono utilizzati come prior semantici per i token genici, iniettati insieme ai valori di espenza.
• Meccanismi di Condizionamento:
  • Normalizzazione Adattiva del Layer (AdaLN): L'identità della perturbazione, il dosaggio, la linea cellulare e le informazioni sul batch vengono aggregati in un vettore di condizionamento che modula i blocchi Transformer tramite AdaLN.
  • Token di Contesto In-Context: Token apprendibili sono pre-aggiunti alla sequenza nei livelli intermedi per trasportare esplicitamente informazioni specifiche della condizione, migliorando la capacità del modello di gestire scenari complessi a doppia condizione.
  • Iniezione di Contesto Implicito: Per scenari in cui le linee cellulari target non sono state viste, il modello può accettare il profilo medio di una popolazione di controllo come input di contesto, riassumendo le caratteristiche distribuzionali senza richiedere embedding categorici appresi.
• Patching e Depatching: Per gestire profili trascrizionali lunghi (es. ~18.000 geni), il modello impiega una strategia di patching in cui i token genici vengono raggruppati in patch contigue prima dell'elaborazione Transformer e de-patchati successivamente alla risoluzione del singolo gene. Ciò riduce la lunghezza effettiva dell'attenzione da $O(G)$ a $O(G/s)$ senza alterare il backbone.

Framework Generativo

OCOO-T formula la predizione della risposta alla perturbazione come un processo di denoising continuo nel tempo condizionato utilizzando il Rectified Flow:

• Addestramento: Viene definita un'interpolazione lineare tra il rumore gaussiano puro e il profilo di espressione perturbato target. Il modello impara a prevedere il campo di velocità ($v = x - \epsilon$) di questa traiettoria.
• Funzione di Perdita: Il modello è addestrato con una perdita di velocità ($v$-loss), che empiricamente produce una migliore qualità di generazione aumentando il peso dei contributi dai timestep con $t$ elevato (campioni quasi puliti).
• Inferenza: Il campo di velocità predetto viene integrato tramite un solver ODE (Euler o Heun) per generare il profilo perturbato a partire dal rumore.
• Guida (Guidance): Durante l'inferenza, viene impiegata una strategia di Classifier-Free Guidance (CFG) a doppia condizione per bilanciare l'aderenza sia alla condizione di perturbazione che a quella della linea cellulare, migliorando la fedeltà.

Contributi Chiave

1. Design Minimalista: OCOO-T dimostra che una predizione efficace della risposta alla perturbazione può essere ottenuta senza complessi moduli ausiliari di allineamento distributivo o autoencoder pre-addestrati. Si affida esclusivamente a un semplice backbone Transformer condizionato su covariate.
2. Modellazione Continua Diretta: Operando direttamente sui profili di espressione genica continui, il modello evita i colli di bottiglia informativi e le disconnessioni di ottimizzazione associati alla compressione dello spazio latente.
3. Scalabilità a Profili Lunghi: Il meccanismo di patching/depatching consente di modellare input del trascrittoma completo (es. 18.080 geni) in modo efficiente, superando la barriera della complessità quadratica della standard auto-attenzione.
4. Condizionamento Flessibile: Il modello supporta sia embedding espliciti di covariate (per linee cellulari già viste) sia condizionamento a livello di popolazione tramite profili di controllo medi (per contesti non visti o più granulari).

Risultati Sperimentali

OCOO-T è stato valutato su tre benchmark principali: Tahoe100M (perturbazioni chimiche), Replogle-Nadig (perturbazioni genetiche) e PBMC (stimolazione da citochine).

• Prestazioni Complessive: OCOO-T ha raggiunto prestazioni allo stato dell'arte in vari benchmark, inclusi la ricostruzione del livello di espressione (MSE, MAE), la discriminazione della perturbazione (PDS) e il recupero dell'espressione differenziale (DEOver, DEPrec, DirAgr).
  • Su Tahoe100M, ha ottenuto il miglior PDCorr (0.952) e l'errore di ricostruzione più basso tra tutti i baseline.
  • Su Replogle-Nadig, ha eguagliato o superato le prestazioni di STATE (un forte baseline a livello di popolazione) su PDCorr e ha ottenuto i punteggi più forti nel recupero dell'espressione differenziale.
  • Su PBMC, ha dimostrato una capacità superiore nel recuperare la direzionalità trascrizionale indotta dalle citochine e le strutture di risposta differenziale.
• Scalabilità dei Profili Lunghi: Gli esperimenti sul benchmark Replogle-Nadig utilizzando 18.080 geni hanno mostrato che il patching (con dimensioni 8, 16, 32) mantiene prestazioni comparabili al modello a pannello breve (2.000 HVG), validando l'efficienza della strategia di patching.
• Strategia di Condizionamento: Mentre gli embedding apprenduti delle linee cellulari hanno prodotto prestazioni di picco nei contesti noti, l'uso dei profili delle cellule di controllo medi come contesto implicito ha fornito predizioni robuste per contesti non visti, evidenziando un trade-off pratico tra applicabilità e punteggi massimi nei benchmark.

Significato e Rivendicazioni

L'articolo sostiene che la semplicità architettonica è sufficiente per una predizione ad alta fedeltà della risposta alla perturbazione quando l'obiettivo di denoising e gli schemi di condizionamento sono progettati correttamente. Sfruttando la semplicità del denoising basato su Transformer per l'omica a singola cellula, OCOO-T fornisce un framework efficace e scalabile per la simulazione cellulare in-silico.

Gli autori sottolineano che il loro approccio evita le barriere statistiche dei metodi basati su kernel in alta dimensione e la complessità architettonica delle pipeline VAE a due stadi. Tuttavia, riconoscono con moderazione che, sebbene il modello funzioni bene sui benchmark standardizzati, rimangono dei divari tra le attuali valutazioni e l'utilità biologica nel mondo reale. Notano che le metriche esistenti potrebbero non catturare completamente la rilevanza biologica a valle (es. coerenza dei pathway) e che ulteriori lavori sono necessari per testare la generalizzazione in contesti out-of-distribution (interventi, laboratori e protocolli non visti).