Riassunto Tecnico: PerturbPFN

Definizione del Problema

Prevedere le risposte cellulari a perturbazioni chimiche non viste è una sfida centrale nella scoperta di farmaci. A differenza delle modifiche genetiche discrete (es. CRISPR), i farmaci a piccole molecole introducono interventi complessi in cui il target, il percorso e il meccanismo sono spesso sconosciuti, dipendenti dal contesto o solo parzialmente catturati dalle covariate della perturbazione. I modelli predittivi attuali affrontano tre ostacoli primari:

1. Meccanismi Sconosciuti: La necessità di inferire target atomici latenti e meccanismi dai dati di risposta osservati piuttosto che fare affidamento su target predefiniti.
2. Generalizzazione: Lo spazio di progettazione teorico delle piccole molecole supera vastamente le capacità di screening fisico, richiedendo ai modelli di generalizzare a perturbazioni non viste piuttosto che limitarsi a interpolare tra farmaci noti.
3. Limitazioni dei Paradigmi Esistenti:
   • Modelli black-box non strutturati: apprendono spostamenti statistici ma mancano di interpretabilità.
   • Modelli meccanicistici strutturati: offrono interpretabilità ma spesso si affidano all'ottimizzazione specifica per istanza o all'adattamento specifico al dataset, limitando la capacità di ammortizzare la conoscenza attraverso contesti eterogenei (es. diverse linee cellulari o batch).
   • Modelli fondazionali: pre-addestrati su massicci dati reali (es. scGPT, GenePT) apprendono rappresentazioni robuste ma potrebbero non modellare esplicitamente la propagazione causale degli interventi.

Metodologia

Gli autori propongono PerturbPFN, un framework in stile Prior-Data Fitted Network (PFN) progettato per l'inferenza ammortizzata degli effetti di perturbazione sotto un prior di Modello Causale Strutturale (SCM) sintetico gerarchico.

1. Framework Teorico

L'approccio modella il sistema come un SCM $\mathcal{M} = \{G, \theta\}$, dove $G$ è un Grafo Aciclico Diretto (DAG) che rappresenta le relazioni di regolazione genica, e $\theta$ parametrizza i meccanismi locali.

• Interventi di Spostamento (Shift Interventions): Inveve di interventi hard (rimozione della dipendenza dai genitori), PerturbPFN modella le perturbazioni come spostamenti additivi ai meccanismi locali: $x_i = f_i(x_{G_i}; \theta_i) + \psi_i + \epsilon_i$, dove $\psi_i$ è l'intensità dell'intervento per i nodi target $I$.
• Predizione Episodica: Il compito è definito come la predizione della distribuzione predittiva posteriore $p(x_j | \gamma_j, D_{ctx})$ per un regime di query $\gamma_j$ dato un contesto di osservazioni $D_{ctx}$. Il modello approssima questo processo inferendo stime puntuali del grafo latente $G$, dei target di intervento $I$ e delle intensità $\psi$.

2. Prior Sintetico Gerarchico

PerturbPFN è addestrato interamente su episodi predittivi sintetici, evitando la necessità di risposte a perturbazioni reali durante l'addestramento.

• Generatore di Grafi: Campiona reti di regolazione genica (GRN) con strutture modulari per indurre topologie eterogenee e scale-free.
• Generatore di Perturbazioni: I descrittori $\gamma$ generano target atomici sparsi da una distribuzione geometrica troncata. Le intensità di intervento seguono funzioni dose-risposta di tipo Hill.
• Modello di Osservazione: I dati sintetici sono campionati da un modello di espressione log-normale a inflazione di zeri con iniezione di rumore SERGIO.
• Supervisione Controfattuale: Il rumore esogeno viene riutilizzato tra i rollout fattuali e interveneri per garantire che le differenze accoppiate riflettano i cambiamenti indotti dall'intervento.

3. Architettura del Modello

Il modello utilizza un predittore basato su transformer con un collo di bottiglia strutturato:

• Memoria di Intervento del Contesto: Un encoder condiviso elabora le coppie di contesto $(\gamma_i, x_i)$ per produrre rappresentazioni dei nodi e riassunti del regime. Le teste di target e intensità predicono $\hat{I}_i$ e $\hat{\psi}_i$ per i regimi di contesto, che vengono codificati in token di memoria di intervento.
• Ramo di Struttura: Un encoder set-to-graph combina le statistiche di risposta del contesto con gli interventi inferiti per stimare il grafo del sistema $\hat{G}$. Utilizza una penalità in stile NOTEARS ($L_{dag}$) per imporre l'aciclicità e una proiezione greedy per calibrare la densità dei bordi.
• Inferenza di Query: Il regime di query è condizionato dalla memoria del contesto. Il modello predice i target specifici della query $\hat{I}_j$ e le intensità $\hat{\psi}_j$.
• Decoder SCM: Un decoder SCM intervenuto esegue il rollout degli effetti. Utilizza un grafo $\hat{G}$ con proiezione hard e gli interventi predetti per propagare gli spostamenti attraverso il sistema latente, producendo una distribuzione predittiva log-normale a inflazione di zeri.

4. Addestramento e Inferenza

• Obiettivo di Addestramento: Una perdita multi-task combina la perdita del grafo ($L_G$), la perdita del target ($L_I$), la perdita dell'intensità ($L_\psi$), la verosimiglianza dell'osservazione ($L_{obs}$) e una penalità di aciclicità ($A_{dag}$).
• Inferenza: Al tempo di test, PerturbPFN esegue un singolo passaggio in avanti senza aggiornamenti del gradiente. Converte i punteggi degli archi continui in un DAG hard e esegue il rollout del decoder per predire gli effetti.

Contributi Chiave

1. Framework: Introduzione di PerturbPFN, un framework in stile PFN che ammortizza l'inferenza degli effetti di perturbazione utilizzando un prior SCM sintetico gerarchico. Esso predice esplicitamente grafi latenti, target sparsi e intensità prima di decodificare le risposte, anziché regredire direttamente output ad alta dimensionalità.
2. Efficienza e Generalizzazione: Dimostra una competenza competitiva nella predizione degli effetti su dati single-cell reali attraverso un singolo passaggio in avanti in-context, eliminando la necessità di ottimizzazione specifica del dataset al tempo di test.
3. Interpretabilità: Fornisce stime intermedie strutturate (target, intensità, struttura del sistema) che offrono intuizioni meccanicistiche, contrastando con le predizioni dello spazio latente black-box.
4. Valutazione: Valutazione completa attraverso il recupero del latente in-prior, la predizione degli effetti nel mondo reale (dataset Sci-Plex) e la scoperta della struttura regolatoria (benchmark GeneRNIB).

Risultati

Recupero del Latente In-Prior

Su 1.024 episodi sintetici, PerturbPFN ha recuperato con successo le variabili latenti senza collasso:

• Recupero del Grafo: AUROC di 0.8133 e AUPRC di 0.2980 (significativamente sopra la prevalenza degli archi di 0.0363).
• Identificazione del Target: AUROC di 0.9330 e F1 di 0.7649.
• Stima dell'Intensità: Rapporto medio di intensità assoluta di 0.9386.
• Predizione della Risposta: Alta similarità del coseno (0.7437) tra le direzioni di intervento predette e quelle reali.

Predizione dell'Effetto di Perturbazione (Sci-Plex)

Valutato sul benchmark di holdout con i 12 protocolli a dosaggio più elevato:

• Performance: PerturbPFN ha ottenuto il miglior punteggio Wasserstein-2 normalizzato ($W_2$) (0.9183) e si è classificato secondo complessivamente (0.8394 punteggio medio), dietro solo a RF X-Learner.
• Efficienza: Una volta pre-addestrato, richiede 1.11 secondi per protocollo per l'inferenza. Questo è significativamente più veloce di GIM (4495s) e CondOT (7266s). Anche considerando i costi di pre-addestramento ammortizzato, rimane sostanzialmente più veloce dei baseline complessi.
• Compromesso: Offre un equilibrio favorevole tra performance predittiva, interpretabilità strutturata e basso costo di inferenza.

Scoperta della Struttura GRN (GeneRNIB)

Valutato sul benchmark 300BCG per il trasferimento della struttura appresa a dati biologici reali:

• Performance: PerturbPFN ha ottenuto il miglior GS-F1 (0.6410), indicando un forte allineamento con i pathway attivi, e un TFB-F1 competitivo (0.1146).
• Limitazioni: Non ha superato i baseline dedicati alla GRN (es. GRNBoost2, PORTIA) in termini di R-Precision, R-Recall o metriche Virtual Cell (VC). Gli autori notano che questo è previsto, poiché PerturbPFN è ottimizzato per la propagazione causale sotto un prior sintetico, non per riprodurre annotazioni GRN statiche curate.

Significato e Rivendicazioni

Il paper posiziona PerturbPFN come un passo verso i modelli fondazionali strutturati per la biologia. La sua importanza primaria risiede nel dimostrare che:

1. Il Pre-addestramento Sintetico è Viabile: Un modello può essere pre-addestrato su compiti sintetici su larga scala per ammortizzare l'inferenza di variabili latenti complesse (grafi, target, meccanismi) senza richiedere dati di perturbazione reali per l'addestramento.
2. Problemi Inversi Ammortizzati: Il transformer ammortizza efficacemente un problema inverso — inferire quale grafo latente e quali cambiamenti di meccanismo spiegano i contesti osservati — e applica questa procedura a nuovi compiti senza adattamento basato sul gradiente.
3. Collo di Bottiglia Strutturato: Il collo di bottiglia strutturato serve a duplice scopo: funge da vincolo architettonico per l'efficienza ed espone ipotesi ispezionabili su come le perturbazioni agiscono e si propagano.

Gli autori mantengono una posizione modesta, riconoscendo che il significato delle variabili latenti è legato al prior sintetico e che il recupero in-prior non garantisce l'identificabilità univoca dei meccanismi biologici. Suggeriscono che il lavoro futuro dovrebbe concentrarsi su simulatori più ricchi, quantificazione dell'incertezza posteriore e scalabilità all'intero trascrittoma.