SVC-Probe: A Framework for Evaluating Perturbation Generalization in Spatial Foundation-Model Embeddings

Technische Samenvatting: SVC-Probe: Een raamwerk voor het evalueren van perturbatie-generalisatie in ruimtelijke foundation-model embeddings

Probleemstelling
Hoewel ruimtelijke foundation-modellen geavanceerde methoden hebben ontwikkeld voor de acquisitie van beknopte representaties van eiwitorganisatie uit grootschalige microscopiegegevens, blijft hun evaluatie beperkt. Huidige benchmarks beoordelen voornamelijk baseline-lokalisatie, retrieval of het vermogen om tussen geobserveerde experimentele condities te differentiëren. Er bestaat echter een kritieke kloof in het evalueren of deze geleerde representaties mechanistische structuren vastleggen die standhouden onder interventie. Het is specifiek onduidelijk of ruimtelijke embeddings de respons op out-of-sample perturbaties kunnen voorspellen of de door medicatie geïnduceerde reorganisatiepatronen kunnen herstellen die overdraagbaar zijn naar verschillende chemische agentia. In de ruimtelijke proteomics is aan deze vereiste een strikte voorwaarde verbonden, aangezien behandelingseffecten niet alleen betrekking hebben op eiwitverplaatsing, maar ook op gecoördineerde subcellulaire remodeling en buurtreorganisatie.

Methodologie: Het SVC-Probe Raamwerk
De auteurs introduceren SVC-Probe, een diagnostisch raamwerk ontworpen om de perturbatie-generalisatie van ruimtelijke foundation-model embeddings te beoordelen. Het raamwerk integreert drie complementaire modules toegepast op de CM4AI MDA-MB-468 chemische-perturbatie atlas (462 antilichaam-labels, controle, paclitaxel en vorinostat condities) met behulp van 1536-dimensionale SubCell embeddings:

1. Subcellular Embedding Atlas Stability (SEAS): Deze module kwantificeert de stabiliteit van individuele eiwit-embeddings onder perturbatie. Het berekent een stabiliteitsscore $S(P) \in (0, 1]$ op basis van geodetische zwaartepuntdrift (geodesic centroid drift) en de spreidingsratio van per-cel embedding-wolken. Eiwitten worden gecategoriseerd als stabiel, plastisch of mid-tier op basis van bootstrap-betrouwbaarheidsintervallen.
2. Mondrian Neighborhood Graphs (MNG): Deze module analyseert de reorganisatie van lokale co-lokalisatie-buurten. Het construeert een label-per-label cosinus-gelijkenismatrix om wederzijdse top-$k$ buren te identificeren en berekent een turnover-metriek $R(P)$ die het fractie van verloren of gewonnen buren onder behandeling weergeeft. Leiden community detection wordt gebruikt om functionele subsystemen af te bakenen, gevisualiseerd als Mondrian-stijl lay-outs.
3. Foundation Model Perturbation Probe (FMP): Deze module test de voorspellende capaciteit van de latente ruimte. Een regressie-kop wordt getraind om het drug-conditie zwaartepunt $\hat{\mu}(P,c)$ te voorspellen met behulp van het controle-zwaartepunt $\mu(P,ctrl)$ en een geleerd perturbatie-token. Het raamwerk maakt gebruik van een Leave-One-Drug-Out (LODO) evaluatiestrategie om cross-drug transfereerbaarheid te beoordelen, waarbij onderscheid wordt gemaakt tussen in-domain fitting en genuante generalisatie. Het maakt ook gebruik van een "null kalibratie"-benadering, waarbij de werkelijke drug-koppeling wordt vergeleken met controle-versus-controle splitsingen om drug-specifieke signalen te isoleren van generieke embedding-geometrie.

Belangrijkste Resultaten

• Classificatie versus Generalisatie: Hoewel SubCell embeddings een hoge nauwkeurigheid (98,6%) bereikten bij het onderscheiden van de drie geobserveerde drug-condities, vertaalde deze prestatie zich niet naar perturbatie-generalisatie. In de LODO-setting daalde de cosinus-gelijkenis van de geleerde perturbatie-probe drastisch van 0,944 (in-domain) naar 0,30, wat wijst op een falen om geleerde perturbatie-structuren over te dragen naar ongeziene drugs. In tegenstelling hiertoe bleven eenvoudige baselines (identiteit en globale verschuiving) stabiel, wat suggereert dat het geleerde model drug-specifieke artefacten vastlegt in plaats van overdraagbare mechanismen.
• Null Kalibratie: De ruwe correlatie tussen FMP-residuen en buurt-turnover werd grotendeels gedreven door generieke embedding-structuur ($\rho \approx 0,21$ in null-splitsingen). Na null-kalibratie kwam er een drug-specifiek signaal naar voren voor vorinostat ($\rho = -0,186$), consistent met chromatine-gerelateerde reorganisatie, terwijl er geen consistent patroon werd waargenomen voor paclitaxel, waarschijnlijk door de schaarse dekking van microtubuli-geassocieerde eiwitten in het paneel.
• Stabiliteit en Rewiring: Op een 33-label kalibratiesubset identificeerde SEAS correct chromatine-modificatoren als "plastisch" onder vorinostat, terwijl structurele controles stabiel bleven. Bovendien bevestigde een partiële Spearman-correlatieanalyse dat buurt-turnover informatie biedt over de rewiring-as die afwijkt van de ruwe zwaartepuntdrift.

Significantie en Claims
Het artikel stelt dat SVC-Probe dient als een herbruikbaar diagnostisch workflow voor het stress-testen van ruimtelijke virtuele-cel representaties. De primaire significantie ligt in het aantonen dat sterke conditie-discriminatie niet impliceert dat er sprake is van perturbatie-generalisatie. De auteurs argumenteren dat perturbatie-generalisatie als een striktere en meer informatieve benchmark moet dienen dan baseline conditie-discriminatie.

Het raamwerk benadrukt dat hoewel huidige ruimtelijke foundation-modellen effectief geobserveerde toestanden kunnen scheiden, ze er mogelijk in falen om biologisch informatieve structuren te behouden onder interventie. De resultaten suggereren dat een perturbatie-bewuste analyse noodzakelijk is om te valideren of embeddings mechanistische assen vastleggen (zoals de chromatine-as onder HDAC-inhibitie) in plaats van generieke geometrische artefacten. De auteurs positioneren deze bevindingen als hypothese-genererend, waarbij zij opmerken dat de geobserveerde signalen verdere validatie vereisen over bredere drug-klassen en celtypen.