An Empirical Comparison of Virtual Cell Models: Perturbation Prediction, Representation, and the Baseline Gap

Sintesi Tecnica: Un confronto empirico tra i modelli di cellula virtuale

Problematica
Il campo della biologia computazionale si è coalescente attorno alla visione di una "IA cellula virtuale" (AIVC): un modello appreso capace di rappresentare gli stati cellulari e simulare le risposte a perturbazioni genetiche e chimiche. Sebbene esista uno "zoo" diversificato di candidati modelli — che spaziano da predittori di perturbazione dedicati (es. GEARS, CPA, scGen) a embedding di modelli fondazionali (es. Geneformer, scGPT, scFoundation) e sistemi integrati (es. State) — le loro capacità rimangono poco chiare a causa di pratiche di valutazione eterogenee. I modelli vengono addestrati su dataset differenti, utilizzano diverse suddivisioni dei dati e riportano metriche disomogenee, rendendo impossibile il confronto tra i vari lavori. Inoltre, manca un consenso sul fatto che le complesse architetture di deep learning superino realmente i semplici baseline interpretabili, specialmente alla luce delle recenti critiche che suggeriscono come i modelli profondi possano non superare i predittori lineari su perturbazioni a singolo gene non viste.

Metodologia
Per affrontare queste incongruenze, gli autori hanno costruito un benchmark unificato che valuta undici metodi appartenenti a cinque famiglie di modelli. Lo studio mantiene costanti le suddivisioni dei dati, le pipeline di pre-processing e le metriche di valutazione per garantire un confronto equo.

• Modelli Valutati:
  • Baseline Semplici: Cell-mean (predizione del profilo di controllo non perturbato) e Lineare/additivo (mappatura lineare regolarizzata tramite ridge dell'identità della perturbazione sugli spostamenti di espressione).
  • Modelli Generativi: scGen, CPA, chemCPA (modelli a variabili latenti).
  • Modelli a Grafo: GEARS (utilizzando la struttura gene-gene).
  • Embedding Fondazionali: Geneformer, scGPT, scFoundation, UCE (pre-addestrati su corpora su scala atlas, adattati tramite fine-tuning o intervento in-silico).
  • Modello Integrato: State (accoppiamento di State Embedding e State Transition transformer addestrati su circa 170 milioni di cellule osservazionali e circa 100 milioni di cellule perturbate).
• Dataset e Task: Il benchmark abbraccia nove dataset pubblici che coprono Perturb-seq genetico (Adamson, Norman, Replogle), screen chimici (sci-Plex, Tahoe-100M) e task di rappresentazione (annotazione del tipo cellulare, integrazione del batch).
• Suddivisioni di Valutazione: Sono stati testati tre scenari di generalizzazione:
  1. Perturbazione non vista: Interi geni o farmaci esclusi dal set di addestramento.
  2. Combinatoria: Singoli geni visti, ma coppie specifiche di geni esclusi per testare le interazioni non additive.
  3. Cross-Context: Interi tipi cellulari o linee cellulari esclusi per testare la trasferibilità.
• Metriche:
  • Predizione della Perturbazione: Delta-Pearson sui primi 20 geni differenzialmente espressi (DE) ($p\Delta$), Differential-Expression Score (DES), Perturbation-Discrimination Score (PDS), Mean Absolute Error (MAE) ed Energy Distance. Lo studio critica esplicitamente l'uso diffuso della "Correlazione di Pearson su tutti i geni", dimostrando la sua suscettibilità ai baseline banali.
  • Rappresentazione: Accuratezza dell'annotazione del tipo cellulare e punteggi di integrazione scIB.

Risultati Chiave

1. Predizione della Perturbazione vs Baseline Lineari:
   Sulle perturbazioni a singolo gene non viste, nessun metodo di deep learning supera drasticamente un baseline lineare/additivo ben tarato. Il modello con le migliori prestazioni, State, ha migliorato rispetto a un baseline cell-mean del 26%, rispetto al 19% del baseline lineare e al 22% di GEARS. Diversi predittori di modelli fondazionali (es. scGPT) sono scesi al di sotto del baseline lineare. Il margine tra il miglior modello profondo e il baseline lineare è piccolo (0.043 in $p\Delta$) e spesso rientra nel rumore della variazione tra le diverse suddivisioni.

2. Sensibilità delle Metriche e Trabocchetti:
   Lo studio identifica un errore critico di valutazione: la Correlazione di Pearson su tutti i geni è massimizzata dai modelli che predicono "nessuna variazione" (il baseline cell-mean), poiché la maggior parte dei geni non cambia sotto perturbazione. Questa metrica non riesce a distinguere i predittori utili da quelli inutili. Al contrario, le metriche focalizzate sui cambiamenti ($p\Delta$, DES, PDS) forniscono classifiche sensate dove il baseline lineare è competitivo ma non dominante.

3. Dove i Modelli Profondi Eccellono:
   I modelli profondi dimostrano guadagni chiari e riproducibili in nicchie specifiche:

   • Perturbazioni Combinatorie: Sulle interazioni genetiche non additive (sinergia, soppressione, neomorfismo), i modelli profondi (State, GEARS) superano significativamente i baseline additivi, che falliscono nel catturare queste complesse interazioni.
   • Perturbazioni Chimiche: Modelli come State e chemCPA mostrano margini più ampi rispetto ai baseline lineari sui dati dose-risposta (sci-Plex), sebbene le prestazioni calino bruscamente nei setting cross-linea cellulare.
   • Trasferimento Cross-Context: Sebbene tutti i modelli soffrano lo shift di distribuzione quando predicono le risposte in tipi cellulari non visti, i modelli con forti prior pre-addestrati (State, scGPT) mantengono una frazione più alta della loro performance (67–69%) rispetto ai baseline lineari (49%).

4. Rappresentazione vs Predizione:
   Esiste una dicotomia netta tra capacità di rappresentazione e di predizione. Gli embedding fondazionali battono decisamente i baseline lineari nei task di rappresentazione (annotazione del tipo cellulare e integrazione del batch), ottenendo un'accuratezza superiore di 6-8 punti percentuali su dataset difficili. Al contrario, questi stessi modelli faticano a battere i baseline lineari nella predizione della perturbazione.

5. Efficienza Computazionale:
   Il baseline lineare raggiunge circa il 73% del miglioramento del modello profondo rispetto al baseline cell-mean a un costo di addestramento trascurabile (<0.1 ore di GPU rispetto alle ~42.000 ore di GPU per State). La "frontiera accuratezza-computazione" per la predizione della perturbazione è dominata dal basso costo del baseline lineare, mentre i task di rappresentazione giustificano l'alto costo dei modelli fondazionali.

Significatività e Rivendicazioni
L'articolo sostiene che il campo sia attualmente più vicino a un "microscopio virtuale utile" che a un "simulatore virtuale". Mentre i modelli fondazionali hanno risolto con successo il problema della rappresentazione (codificando strutture di tipo cellulare organizzate e largamente correlazionali), non hanno ancora padroneggiato la simulazione di perturbazioni controfattuali, che richiede una logica regolatoria causale piuttosto che una semplice correlazione.

Gli autori rivendicano tre contributi primari:

1. Standardizzazione: Fornire un benchmark unificato che riveli le reali prestazioni relative di diverse famiglie di modelli in condizioni fisse.
2. Correzione della Valutazione: Dimostrare che l'affidamento del campo sulla correlazione di tutti i geni maschera il fallimento dei modelli nel predire i reali cambiamenti biologici, ed estendere il baseline lineare semplice come il vero standard per la predizione della perturbazione.
3. Aspettative Realistiche: Chiarire che i modelli profondi offrono un valore genuino principalmente per le interazioni non additive, il trasferimento cross-context e la rappresentazione, piuttosto che per la predizione generale della perturbazione a singolo gene.

Lo studio conclude che la visione della "cellula virtuale" rimane divisa: la rappresentazione è un regime maturo in cui eccellono i modelli pre-addestrati, mentre la simulazione rimane una sfida aperta in cui i semplici baseline interpretabili rimangono altamente competitivi. Gli autori rilasciano il codice del benchmark e le suddivisioni per garantire che i futuri modelli siano misurati contro questo "standard spietato".