Resumen Técnico: PerturbPFN

Planteamiento del Problema

Predecir las respuestas celulares a perturbaciones químicas no vistas es un desafío central en el descubrimiento de fármacos. A diferencia de las ediciones genéticas discretas (p. ej., CRISPR), los fármacos de moléculas pequeñas introducen intervenciones complejas donde el objetivo, la vía y el mecanismo son a menudo desconocidos, dependientes del contexto o solo parcialmente capturados por las covariables de la perturbación. Los modelos predictivos actuales enfrentan tres obstáculos principales:

1. Mecanismos Desconocidos: La necesidad de inferir objetivos atómicos latentes y mecanismos a partir de los datos de respuesta observados, en lugar de depender de objetivos predefinidos.
2. Generalización: El espacio de diseño teórico de las moléculas pequeñas excede ampliamente las capacidades de cribado físico, lo que requiere que los modelos generalicen a perturbaciones no vistas en lugar de simplemente interpolar entre fármacos conocidos.
3. Limitaciones de los Paradigmas Existentes:
   • Los modelos de caja negra no estructurados aprenden desplazamientos estadísticos pero carecen de interpretabilidad.
   • Los modelos mecanísticos estructurados ofrecen interpretabilidad, pero a menudo dependen de la optimización específica de cada instancia o del ajuste al conjunto de datos, lo que limita su capacidad para amortizar el conocimiento a través de contextos heterogéneos (p. ej., diferentes líneas celulares o lotes).
   • Los modelos fundacionales preentrenados en datos masivos del mundo real (p. ej., scGPT, GenePT) aprenden representaciones robustas, pero pueden no modelar explícitamente la propagación causal de las intervenciones.

Metodología

Los autores proponen PerturbPFN, un marco de estilo Red de Datos Ajustados a Priores (PFN, por sus siglas en inglés) diseñado para la inferencia amortizada de efectos de perturbación bajo un prior de Modelo Causal Estructural (SCM) sintético jerárquico.

1. Marco Teórico

El enfoque modela el sistema como un SCM $\mathcal{M} = \{G, \theta\}$, donde $G$ es un Grafo Acíclico Dirigido (DAG) que representa las relaciones de regulación génica, y $\theta$ parametriza los mecanismos locales.

• Intervenciones de Desplazamiento (Shift Interventions): En lugar de intervenciones duras (eliminar la dependencia de los padres), PerturbPFN modela las perturbaciones como desplazos aditivos a los mecanismos locales: $x_i = f_i(x_{G_i}; \theta_i) + \psi_i + \epsilon_i$, donde $\psi_i$ es la fuerza de la intervención para los nodos objetivo $I$.
• Predicción Episódica: La tarea se define como la predicción de la distribución predictiva posterior $p(x_j | \gamma_j, D_{ctx})$ para un régimen de consulta $\gamma_j$ dado un contexto de observaciones $D_{ctx}$. El modelo la aproxima infiriendo estimaciones puntuales del grafo latente $G$, los objetivos de intervención $I$ y las fuerzas $\psi$.

2. Prior Sintético Jerárquico

PerturbPFN se entrena completamente sobre episodios predictivos sintéticos previos, evitando la necesidad de respuestas de perturbación reales durante el entrenamiento.

• Generador de Grafos: Muestrea redes de regulación génica (GRN) con estructuras modulares para inducir topologías heterogéneas de tipo scale-free.
• Generador de Perturbaciones: Los descriptores $\gamma$ generan objetivos atómicos dispersos a partir de una distribución geométrica truncada. Las fuerzas de intervención siguen funciones de dosis-respuesta de tipo Hill.
• Modelo de Observación: Los datos sintéticos se muestrean de un modelo de expresión log-normal con exceso de ceros e inyección de ruido SERGIO.
• Supervisión Contrafactual: El ruido exógeno se reutiliza en los despliegues fácticos e intervenidos para asegurar que las diferencias de pareja reflejen cambios inducidos por la intervención.

3. Arquitectura del Modelo

El modelo utiliza un predictor amortizado basado en transformadores con un cuello de botella estructurado:

• Memoria de Intervención de Contexto: Un codificador compartido procesa pares de contexto $(\gamma_i, x_i)$ para producir representaciones de nodos y resúmenes de régimen. Las cabezales de objetivo y fuerza predicen $\hat{I}_i$ y $\hat{\psi}_i$ para los regímenes de contexto, que se codifican en tokens de memoria de intervención.
• Rama de Estructura: Un codificador de conjunto-a-grafo combina las estadísticas de respuesta del contexto con las intervenciones inferidas para estimar el grafo del sistema $\hat{G}$. Emplea una penalización de tipo NOTEARS ($L_{dag}$) para imponer la aciclicidad y una proyección codiciosa (greedy) para calibrar la densidad de aristas.
• Inferencia de Consulta: El régimen de consulta se condiciona a la memoria de contexto. El modelo predice los objetivos $\hat{I}_j$ y las fuerzas $\hat{\psi}_j$ específicos de la consulta.
• Decodificador SCM: Un decodificador de SCM intervenido ejecuta el despliegue de los efectos. Utiliza un grafo proyectado duro $\hat{G}$ y las intervenciones predichas para propagar los desplazos a través del sistema latente, produciendo una distribución predictiva log-normal con exceso de ceros.

4. Entrenamiento e Inferencia

• Objetivo de Entrenamiento: Una pérdida multitarea combina la pérdida de grafo ($L_G$), la pérdida de objetivo ($L_I$), la pérdida de fuerza ($L_\psi$), la verosimilitud de observación ($L_{obs}$) y una penalización de aciclicidad ($A_{dag}$).
• Inferencia: En el tiempo de prueba, PerturbPFN realiza un único paso hacia adelante sin actualizaciones de gradiente. Convierte las puntuaciones de aristas continuas en un DAG duro y ejecuta el decodificador para predecir los efectos.

Contribuciones Clave

1. Marco de Trabajo: Introducción de PerturbPFN, un marco de estilo PFN que amortiza la inferencia de efectos de perturbación utilizando un prior de SCM sintético jerárquico. Predice explícitamente grafos latentes, objetivos dispersos y fuerzas antes de decodificar las respuestas, en lugar de regredir directamente salidas de alta dimensión.
2. Eficiencia y Generalización: Demuestra una predicción de efectos competitiva en datos de célula única reales mediante un único paso hacia adelante in-context, eliminando la necesidad de optimización específica del conjunto de datos en el tiempo de prueba.
3. Interpretabilidad: Proporciona estimaciones intermedias estructuradas (objetivos, fuerzas, estructura del sistema) que ofrecen información mecánica, contrastando con las predicciones de espacio latente de caja negra.
4. Evaluación: Evaluación exhaustiva a través de la recuperación de latentes in-prior, predicción de efectos en el mundo real (conjunto de datos Sci-Plex) y descubrimiento de estructura regulatoria (benchmark GeneRNIB).

Resultados

Recuperación de Latentes In-Prior

En 1,024 episodios sintéticos, PerturbPFN recuperó con éxito las variables latentes sin colapso:

• Recuperación de Grafos: AUROC de 0.8133 y AUPRC de 0.2980 (significativamente por encima de la prevalencia de aristas de 0.0363).
• Identificación de Objetivos: AUROC de 0.9330 y F1 de 0.7649.
• Estimación de Fuerza: Relación de fuerza absoluta media de 0.9386.
• Predicción de Respuesta: Alta similitud de coseno (0.7437) entre las direcciones de intervención predichas y las reales.

Predicción de Efectos de Perturbación (Sci-Plex)

Evaluado en el benchmark de retención de 12 protocolos de dosis más alta:

• Rendimiento: PerturbPFF alcanzó el mejor puntaje de Wasserstein-2 normalizado ($W_2$) (0.9183) y ocupó el segundo lugar general (promedio de 0.8394), solo detrás del RF X-Learner.
• Eficiencia: Una vez preentrenado, requiere 1.11 segundos por protocolo para la inferencia. Esto es significativamente más rápido que GIM (4495s) y CondOT (7266s). Incluso con los costos de preentrenamiento amortizado, sigue siendo sustancialmente más rápido que los modelos base complejos.
• Compromiso: Ofrece un equilibrio favorable entre rendimiento predictivo, interpretabilidad estructurada y bajo costo de inferencia.

Descubrimiento de Estructura de GRN (GeneRNIB)

Evaluado en el benchmark 300BCG para transferir la estructura aprendida a datos biológicos reales:

• Rendimiento: PerturbPFN logró el mejor GS-F1 (0.6410), indicando una fuerte alineación con las vías activas, y un competitivo TFB-F1 (0.1146).
• Limitaciones: No superó a los modelos base dedicados de GRN (p. ej., GRNBoost2, PORTIA) en R-Precision, R-Recall o métricas de Virtual Cell (VC). Los autores señalan que esto es esperado, ya que PerturbPFN está optimizado para la propagación causal bajo un prior sintético, no para reproducir anotaciones estáticas de GRN curadas.

Significancia y Reivindicaciones

El artículo posiciona a PerturbPFN como un paso hacia los modelos fundacionales estructurados para la biología. Su principal significancia radica en demostrar que:

1. El Preentrenamiento Sintético es Viable: Un modelo puede preentrenarse en tareas sintéticas a gran escala para amortizar la inferencia de variables latentes complejas (grafos, objetivos, mecanismos) sin requerir datos de perturbación reales etiquetados para el entrenamiento.
2. Problemas Inversos Amortizados: El transformador logra amortizar un problema inverso —inferir qué grafo latente y cambios de mecanismo explican los contextos observados— y aplica este procedimiento a nuevas tareas sin adaptación basada en gradientes.
3. Cuello de Botella Estructurado: El cuello de botella estructurado cumple un doble propósito: actúa como una restricción arquitectónica para la eficiencia y expone hipótesis inspeccionables sobre cómo actúan y se propagan las perturbaciones.

Los autores mantienen una postura modesta, reconociendo que el significado de las variables latentes está ligado al prior sintético y que recuperar tales variables in-prior no garantiza una identificabilidad única de los mecanismos biológicos. Sugieren que el trabajo futuro debería centrarse en simuladores más ricos, cuantificación de la incertidencia posterior y escalado a transcriptomas completos.