SVC-Probe: A Framework for Evaluating Perturbation Generalization in Spatial Foundation-Model Embeddings

Resumen Técnico: SVC-Probe: Un marco para evaluar la generalización de perturbaciones en los embeddings de modelos fundacionales espaciales

Planteamiento del problema
Si bien los modelos fundacionales espaciales han avanzado en la adquisición de representaciones concisas de la organización proteica a partir de datos de microscopía a gran escala, su evaluación sigue siendo limitada. Los benchmarks actuales evalúan predominantemente la localización basal, la recuperación o la capacidad de discriminar entre condiciones experimentales observadas. Sin embargo, existe una brecha crítica al evaluar si estas representaciones aprendidas capturan estructuras mecanísticas que persisten bajo intervención. Específicamente, no está claro si los embeddings espaciales pueden predecir respuestas a perturbaciones fuera de la muestra (out-of-sample) o recuperar patrones de reorganización inducidos por fármacos que se transfieran entre diferentes agentes químicos. En proteómica espacial, este requisito es estricto, ya que los efectos del tratamiento implican no solo el desplazamiento de proteínas, sino también una remodelación subcelular coordinada y una reorganización de vecindades.

Metodología: El marco SVC-Probe
Los autores presentan SVC-Probe, un marco de diagnóstico diseñado para evaluar la generalización de perturbaciones en los embeddings de modelos fundacionales espaciales. El marco integra tres módulos complementarios aplicados al atlas de perturbación química CM4AI MDA-MB-468 (462 etiquetas de anticuerpos, condiciones de control, paclitaxel y vorinostat) utilizando embeddings de SubCell de 1536 dimensiones:

1. Estabilidad del Atlas de Embeddings Subcelulares (SEAS): Este módulo cuantifica la estabilidad de los embeddings de proteínas individuales bajo perturbación. Calcula una puntuación de estabilidad $S(P) \in (0, 1]$ basada en la deriva del centroide geodésico y la relación de dispersión de las nubes de embeddings por célula. Las proteínas se categorizan como estables, plásticas o de nivel medio según los intervalos de confianza de bootstrap.
2. Grafos de Vecindad de Mondrian (MNG): Este módulo analiza la reorganización de las vecindades de colocalización local. Construye una matriz de similitud de coseno etiqueta por etiqueta para identificar los vecinos superiores $k$ mutuos y calcula una métrica de rotación $R(P)$ que representa la fracción de vecinos perdidos o ganados bajo tratamiento. Se utiliza la detección de comunidades de Leiden para delinear subsistemas funcionales, visualizados como diseños de estilo Mondrian.
3. Sonda de Perturbación de Modelo Fundacional (FMP): Este módulo pone a prueba la capacidad predictiva del espacio latente. Se entrena una cabeza de regresión para predecir el centroide de la condición del fármaco $\hat{\mu}(P,c)$ utilizando el centroide del control $\mu(P,ctrl)$ y un token de perturbación aprendido. El marco emplea una estrategia de evaluación de Dejar un Fármaco Fuera (LODO, Leave-One-Drug-Out) para evaluar la transferibilidad entre fármacos, distinguiendo entre el ajuste dentro del dominio y la generalización genuina. También utiliza un enfoque de "calibración nula", comparando el acoplamiento real del fármaco frente a divisiones de control contra control para aislar las señales específicas del fármaco de la geometría genérica del embedding.

Resultados Clave

• Clasificación vs. Generalización: Aunque los embeddings de SubCell lograron una alta precisión (98.6%) al distinguir las tres condiciones de fármacos observadas, este rendimiento no se tradujo en la generalización de la perturbación. En el entorno LODO, la similitud de coseno de la sonda de perturbación aprendida cayó drásticamente de 0.944 (dentro del dominio) a 0.30, lo que indica un fallo al transferir las estructuras de perturbación aprendidas a fármacos no vistos. En contraste, los baselines simples (identidad y desplazamiento global) se mantuvieron estables, lo que sugiere que el modelo aprendido captura artefactos específicos del fármaco en lugar de mecanismos transferibles.
• Calibración Nula: Se encontró que la correlación bruta entre los residuos de FMP y la rotación de vecindad estaba impulsada en gran medida por la estructura genérica del embedding ($\rho \approx 0.21$ en divisiones nulas). Tras la calibración nula, emergió una señal específica del fármaco para vorinostat ($\rho = -0.186$), consistente con la reorganización relacionada con la cromatina, mientras que no se observó un patrón consistente para paclitaxel, probablemente debido a la cobertura dispersa de proteínas asociadas a microtúbulos en el panel.
• Estabilidad y Reconfiguración: En un subconjunto de calibración de 33 etiquetas, SEAS identificó correctamente a los modificadores de la cromatina como "plásticos" bajo vorinostat, mientras que los controles estructurales permanecieron estables. Además, un análisis de correlación de Spearman parcial confirmó que la rotación de vecindad proporciona información sobre el eje de reconfiguración distinta de la deriva del centroide bruto.

Significancia y Reivindicaciones
El artículo afirma que SVC-Probe sirve como un flujo de trabajo de diagnóstico reutilizable para someter a pruebas de estrés las representaciones de la célula virtual espacial. La principal significancia radica en demostrar que una fuerte discriminación de condiciones no implica la generalización de la perturbación. Los autores argumentan que la generalización de la perturbación debe servir como un benchmark más estricto e informativo que la discriminación de condiciones basal.

El marco resalta que, si bien los modelos fundacionales espaciales actuales pueden separar eficazmente los estados observados, pueden fallar en preservar la estructura biológicamente informativa bajo intervención. Los resultados sugieren que el análisis consciente de la perturbación es necesario para validar si los embeddings capturan ejes mecanísticos (como el eje de la cromatina bajo la inhibición de HDAC) en lugar de artefactos geométricos genéricos. Los autores posicionan estos hallazgos como generadores de hipótesis, señalando que las señales observadas requieren una mayor validación a través de clases de fármacos y líneas celulares más amplias.