SVC-Probe: A Framework for Evaluating Perturbation Generalization in Spatial Foundation-Model Embeddings

Sintesi Tecnica: SVC-Probe: Un framework per la valutazione della generalizzazione delle perturbazioni negli embedding di modelli foundation spaziali

Problematica
Sebbene i modelli foundation spaziali abbiano fatto avanzare l'acquisizione di rappresentazioni concise dell'organizzazione proteica da dati di microscopia su larga scala, la loro valutazione rimane limitata. I benchmark attuali valutano prevalentemente la localizzazione basale, il recupero (retrieval) o la capacità di discriminare tra condizioni sperimentali osservate. Tuttavia, esiste una lacuna critica nel valutare se le rappresentazioni apprese catturino strutture meccanicistiche che persistono sotto intervento. In particolare, non è chiaro se gli embedding spaziali possano predire le risposte alle perturbazioni fuori campione (out-of-sample) o recuperare schemi di riorganizzazione indotti da farmaci che si trasferiscono tra diversi agenti chimici. Nella proteomica spaziale, questo requisito è stringente, poiché gli effetti del trattamento comportano non solo lo spostamento proteico, ma anche un coordinato rimodellamento subcellulare e una riorganizzazione dei vicinati.

Metodologia: Il framework SVC-Probe
Gli autori introducono SVC-Probe, un framework diagnostico progettato per valutare la generalizzazione delle perturbazioni negli embedding di modelli foundation spaziali. Il framework integra tre moduli complementari applicati all'atlante di perturbazione chimica CM4AI MDA-MB-468 (462 etichette anticorpali, condizioni di controllo, paclitaxel e vorinostat) utilizzando embedding SubCell a 1536 dimensioni:

1. Subcellular Embedding Atlas Stability (SEAS): Questo modulo quantifica la stabilità dei singoli embedding proteici sotto perturbazione. Calcola un punteggio di stabilità $S(P) \in (0, 1]$ basato sulla deriva del baricentro geodetico e sul rapporto di dispersione delle nuvole di embedding per cellula. Le proteine sono categorizzate come stabili, plastiche o di livello intermedio in base agli intervalli di confidenza bootstrap.
2. Mondrian Neighborhood Graphs (MNG): Questo modulo analizza la riorganizzazione dei vicinati di co-localizzazione locale. Costruisce una matrice di somiglianza del coseno etichetta per etichetta per identificare i vicini top-$k$ reciproci e calcola una metrica di turnover $R(P)$ che rappresenta la frazione di vicini persi o guadagnati sotto trattamento. La rilevazione di comunità di Leiden viene utilizzata per delineare sottosistemi funzionali, visualizzati come layout in stile Mondrian.
3. Foundation Model Perturbation Probe (FMP): Questo modulo testa la capacità predittiva dello spazio latente. Una testa di regressione viene addestrata per predire il baricentro della condizione del farmaco $\hat{\mu}(P,c)$ utilizzando il baricentro di controllo $\mu(P,ctrl)$ e un token di perturbazione appreso. Il framework impiega una strategia di valutazione Leave-One-Drug-Out (LODO) per valutare la trasferibilità tra diversi farmaci, distinguendo tra l'adattamento in-domain e la genuina generalizzazione. Utilizza inoltre un approccio di "calibrazione nulla", confrontando l'accoppiamento reale del farmaco con split controllo-vs-controllo per isolare i segnali specifici del farmaco dalla geometria generica degli embedding.

Risultati Chiave

• Classificazione vs. Generalizzazione: Sebbene gli embedding SubCell abbiano raggiunto un'elevata accuratezza (98,6%) nel distinguere le tre condizioni di farmaco osservate, questa prestazione non si è tradotta in generalizzazione della perturbazione. Nel setting LODO, la somiglianza del coseno della sonda di perturbazione appresa è scesa drasticamente da 0,944 (in-domain) a 0,30, indicando un fallimento nel trasferire le strutture di perturbazione apprese a farmaci non visti. Al contrario, i baseline semplici (identità e spostamento globale) sono rimasti stabili, suggerendo che il modello appreso cattura artefatti specifici del farmaco piuttosto che meccanismi trasferibili.
• Calibrazione Nulla: È stato scoperto che la correlazione grezza tra i residui FMP e il turnover del vicinato era guidata in gran parte dalla struttura generica dell'embedding ($\rho \approx 0,21$ negli split null). Dopo la calibrazione nulla, è emerso un segnale specifico del farmaco per il vorinostat ($\rho = -0,186$), coerente con la riorganizzazione correlata alla cromatina, mentre non è stato osservato alcun pattern coerente per il paclitaxel, probabilmente a causa della copertura sparsa delle proteine associate ai microtubuli nel panel.
• Stabilità e Riorganizzazione (Rewiring): Su un subset di calibrazione di 33 etichette, SEAS ha identificato correttamente i modificatori della cromatina come "plastici" sotto vorinostat, mentre i controlli strutturali rimanevano stabili. Inoltre, l'analisi di correlazione di Spearman parziale ha confermato che il turnover del vicinato fornisce informazioni sull'asse di riorganizzazione (rewiring) distinto dalla deriva del baricolo grezzo.

Significatività e Rivendicazioni
Il paper sostiene che SVC-Probe serva come workflow diagnostico riutilizzabile per testare sotto stress le rappresentazioni delle cellule virtuali spaziali. La significatività primaria risiede nel dimostrare che una forte discriminazione delle condizioni non implica la generalizzazione della perturbazione. Gli autori sostengono che la generalizzazione della perturbazione debba servire come un benchmark più rigoroso e informativo rispetto alla semplice discriminazione delle condizioni basali.

Il framework evidenzia come, sebbene gli attuali modelli foundation spaziali possano separare efficacemente gli stati osservati, potrebbero fallire nel preservare la struttura biologicamente informativa sotto intervento. I risultati suggeriscono che un'analisi consapevole della perturbazione sia necessaria per validare se gli embedding catturino assi meccanicistici (come l'asse della cromatina sotto l'inibizione di HDAC) piuttosto che artefatti geometrici generici. Gli autori pongono questi risultati come generatori di ipotesi, notando che i segnali osservati richiedono ulteriore validazione attraverso classi di farmaci e linee cellulari più ampie.