What Makes a Representation Good for Single-Cell Perturbation Prediction?

Riepilogo Tecnico: Cosa rende una rappresentazione efficace per la previsione delle perturbazioni a livello di singola cellula?

Enunciato del Problema
La modellazione delle perturbazioni a livello di singola cellula mira a prevedere come l'espressione genica cambia in risposta a perturbazioni genetiche (ad esempio, knock-out basati su CRISPR). Sebbene gli approcci esistenti varino dall'apprendimento di rappresentazioni causali ai modelli fondazionali (FM), essi affrontano una sfida fondamentale, spesso trascurata: lo squilibrio del segnale. Nei dati a livello di singola cellula, le informazioni invarianti alla perturbazione (programmi cellulari di fondo) dominano lo spazio dell'espressione genica, mentre i segnali specifici della perturbazione sono intrinsecamente sparsi.

Gli autori identificano un fenomeno denominato Ipotesi di Soppressione della Perturbazione: quando la variazione invariante domina i dati, gli approcci di apprendimento standard falliscono sistematicamente.

1. Apprendimento di Rappresentazioni Causali: I metodi spesso intrecciano le informazioni di fondo invarianti con le rappresentazioni specifiche della perturbazione. Ciò avviene perché i risultati teorici di identificabilità assumono tipicamente che tutte le variabili latenti siano sottoposte a intervento, mentre i dati reali coinvolgono interventi parziali (solo un sottoinsieme di geni viene perturbato). Di conseguenza, le informazioni invarianti vengono assorbite nelle rappresentazioni causali, portando a predittori spurii con scarsa generalizzazione.
2. Modelli Fondazionali (FM): Gli FM sono addestrati per adattarsi alla distribuzione complessiva dei dati, dando priorità alla struttura invariante dominante. Esperimenti empirici di linear probing mostrano che le rappresentazioni degli FM presentano una decodificabilità più debole delle etichette di perturbazione rispetto a semplici baseline PCA, suggerendo che i segnali specifici della perturbazione vengono soppressi o resi inaccessibili durante il pre-addestramento.

Metodologia: PerturbedVAE
Per affrontare lo squilibrio del segnale, gli autori propongono PerturbedVAE (Variational Autoencoder Consapevoli della Perturbazione), un framework progettato per separare e utilizzare esplicitamente le informazioni specifiche della perturbazione. Il framework si basa su due principi fondamentali: Estrazione Esplicita e Utilizzo Efficace.

1. Modello Generativo Causale Latente:
   Il modello scompone lo spazio latente in due componenti distinte:

   • $z_\iota$ (Variabili invarianti alla perturbazione): Rappresenta programmi di fondo stabili condivisi da tutte le cellule, indipendenti dalla condizione di perturbazione $u$.
   • $z_\nu$ (Variabili responsive alla perturbazione): Rappresenta fattori latenti che cambiano in risposta a perturbazioni genetiche. Questi sono modellati per seguire una struttura di Grafo Aciclico Diretto (DAG) per catturare le dipendenze causali tra gli effetti delle perturbazioni.

2. Inferenza Variazionale con Allineamento Contrastivo:
   I variational autoencoder (VAE) standard potrebbero ricostruire i dati modellando la componente invariante dominante, lasciando $z_\nu$ sottoripristinato. Per contrastare ciò, PerturbedVAE introduce un obiettivo di allineamento contrastivo:

   • Per ogni campione perturbato $(x, u)$, viene campionato un campione di controllo (non perturbato) $x(u_0)$.
   • Il modello impone che le rappresentazioni invarianti inferite $z_\iota$ per entrambi i campioni perturbati e non perturbati siano identiche (minimizzando $\|z_\iota - z_\iota^{(u_0)}\|^2$).
   • Ciò forza la variazione di fondo dominante a essere spiegata interamente da $z_\iota$, liberando $z_\nu$ per catturare le variazioni residue indotte dalla perturbazione.

3. Obiettivo di Addestramento:
   La perdita totale combina il Limite Inferiore della Evidenza (ELBO) per la ricostruzione e l'apprendimento della struttura causale con il termine di allineamento contrastivo:
   $$\mathcal{L} = -\mathcal{L}_{ELBO} + \alpha \mathcal{L}_{contrast}$$
   dove $\alpha$ controlla la forza della separazione tra fattori invarianti e responsive.

Contributi Teorici: Analisi di Identificabilità
Il documento fornisce un'analisi rigorosa dell'identificabilità che caratterizza le condizioni in cui gli effetti di perturbazione sparsi possono essere recuperati in modo affidabile da dati con intervento parziale.

• Teorema 1: Sotto le ipotesi di invertibilità, sufficienza ambientale (sufficiente diversità nelle condizioni di perturbazione), allineamento ottimale e sufficienza dell'intervento, il framework garantisce:
  • $z_\nu$ (Responsive): Identificato a meno di permutazione e scala (identificabilità componente per componente).
  • $z_\iota$ (Invariante): Identificato a meno di una trasformazione lineare a blocchi.
• Questa analisi chiarisce che l'allineamento contrastivo non è meramente euristico, ma una condizione necessaria per impedire che le informazioni invarianti vengano assorbite nelle rappresentazioni causali, colmando così il divario tra garanzie teoriche e la realtà degli interventi parziali.

Risultati Empirici
Gli autori valutano PerturbedVAE su dati sintetici e dataset Perturb-seq reali (Norman et al., 2019; Replogle et al., 2022).

• Dati Sintetici: Gli esperimenti confermano che l'allineamento contrastivo migliora significativamente il Coefficiente di Correlazione Medio (MCC) per il recupero di $z_\nu$ e l'$R^2$ per il recupero di $z_\iota$, validando le affermazioni teoriche di identificabilità.
• Benchmark su Dati Reali:
  • vs. Modelli Fondazionali: PerturbedVAE supera significativamente gli FM (scFoundation, UCE, Geneformer) e le semplici baseline (RandomForest, ElasticNet) nella previsione di perturbazioni combinatorie a doppio gene. Gli FM degradano in impostazioni combinatorie zero-shot, mentre PerturbedVAE mantiene un alto $R^2$ e un basso RMSE.
  • vs. Metodi di Rappresentazione Causale: PerturbedVAE supera i modelli causali latenti esistenti (Discrepancy-VAE, SENA, sVAE+, SAMS-VAE). Crucialmente, uno studio di ablazione che rimuove il termine di allineamento contrastivo ("PerturbedVAE w/o Align") mostra un degrado delle prestazioni comparabile ai metodi esistenti, confermando la necessità del meccanismo di allineamento.
  • vs. Baseline Lineari Additive: Sebbene i modelli lineari additivi siano competitivi sulle metriche pseudobulk a livello di condizione (espressione genica media), PerturbedVAE ottiene prestazioni superiori a livello di singola cellula. I modelli additivi e altre deep baseline producono un $R^2$ negativo a livello cellulare, indicando che falliscono nel catturare la variabilità a livello di singola cellula, mentre PerturbedVAE preserva la struttura a livello cellulare ($R^2 \approx 0.98$).
• Interpretabilità: Il grafo causale appreso recupera noti pathway di regolazione biologica (ad esempio, TGFBR2→SNAI1, TP73→CDKN1A), dimostrando che il modello apprende rappresentazioni strutturate e biologicamente plausibili piuttosto che associazioni statistiche arbitrarie.

Significato e Affermazioni
Il documento sostiene che il fallimento dei modelli fondazionali nella previsione delle perturbazioni non è primariamente una questione di scala, ma deriva da un disallineamento tra obiettivi di addestramento generici e la struttura sparsa e guidata dall'intervento dei dati di perturbazione.

Il significato di PerturbedVAE risiede nella sua dimostrazione che una rappresentazione "buona" per la previsione delle perturbazioni a livello di singola cellula deve essere consapevole della perturbazione e strutturata causalmente. Separando esplicitamente i programmi di fondo invarianti dai segnali specifici della perturbazione tramite allineamento contrastivo, il framework abilita:

1. Generalizzazione Affidabile: Previsione zero-shot riuscita di perturbazioni combinatorie non viste.
2. Interpretabilità: Recupero di meccanismi di regolazione causali e programmi di risposta alla perturbazione.
3. Fondamento Teorico: Un'istanza concreta dell'apprendimento di rappresentazioni causali che aderisce alle condizioni di identificabilità anche sotto interventi parziali, un contesto in cui i risultati teorici precedenti spesso falliscono.

Gli autori concludono che il loro approccio fornisce un'alternativa principiale sia alla fattorizzazione puramente statistica che ai modelli fondazionali generici, offrendo una soluzione robusta per comprendere le risposte cellulari agli interventi genetici.