Method Choice, Not Biology, Determines In Silico Perturbation Results: A Systematic Evaluation of Eight Methods Across Four Datasets

Resumen Técnico: La elección del método, no la biología, determina los resultados de la perturbación in silico

Planteamiento del problema
Los métodos actuales de perturbación in silico para la transcriptómica de célula única sufren un vacío crítico de validación: típicamente se evalúan mediante comparaciones con conjuntos de datos individuales, lo que deja desconocida su fiabilidad, generalizabilidad y capacidad para recuperar señales causales reales. Esta falta de evaluación sistemática entre métodos y entre conjuntos de datos dificulta determinar si las conclusiones biológicas observadas son impulsadas por la biología subyacente o son artefactos de elecciones algorítmicas específicas.

Metodología
Los autores realizaron un estudio de benchmarking sistemático evaluando ocho métodos distintos de perturbación in silico. Estos métodos abarcaron seis marcos matemáticos diferentes y fueron probados a través de cuatro conjuntos de datos diversos. La estrategia de evaluación incluyó:

• Benchmarking cruzado de métodos y conjuntos de datos: Comparación de la consistencia del rendimiento en diferentes contextos biológicos.
• Análisis de detección de señales: Evaluación de la capacidad de los métodos para detectar la regulación direccional de factor de transcripción (TF) hacia una vía, centrándose específicamente en la señal de TF hacia la glucólisis.
• Verificaciones de coherencia biológica: Análisis de las asociaciones TF-vía en monocitos de PBMC, incluyendo pruebas de enriquecimiento para pares específicos (p. ej., SPI1 hacia la glucólisis, FOS hacia los objetivos de AP-1) y el uso de SOX9 como control negativo para la especificidad de la vía.
• Consistencia de correlación y clasificación: Medición de la correlación entre las clasificaciones de los métodos para identificar resultados anticorrelacionados que podrían revertir las conclusiones biológicas.
• Validación experimental: Validación de las predicciones frente a datos de Perturb-seq de CRISPRi en células K562, comparando específicamente las direcciones de perturbación predichas con los resultados experimentales de knockdown para genes como JUN, CEBPB, SPI1 y FOS.
• Análisis de modo de fallo diagnóstico: Utilización de perfiles del espacio latente de VAE, comparaciones de distribución de correlación y análisis de grafos de gen-gen para localizar fallos técnicos específicos en los métodos con bajo rendimiento.
• Estudios de ablación: Prueba de si la incorporación de un conocimiento previo (prior) de Red de Regulación Génica (GRN) en el método DDIM mejoró la recuperación de objetivos.

Resultados clave

• Fallo generalizado de los métodos actuales: Seis de los ocho métodos evaluados, incluidos enfoques de descomposición de tensores y basados en Autoencoders Variacionales (VAE) ampliamente utilizados, no lograron producir señales detectables de TF hacia la vía.
• Éxito limitado: Solo CellOracle y DDIM detectaron consistentemente la regulación direccional de TF hacia la glucólisa. Aunque ambos métodos tuvieron éxito en el benchmark inicial, las predicciones de CellOracle fallaron en la subsiguiente validación experimental.
• Conclusiones dependientes del método: La elección del método por sí sola puede revertir las conclusiones biológicas. Por ejemplo, las clasificaciones producidas por DDIM y scTenifoldKnk estuvieron significativamente anticorrelacionadas ($\rho = -0.811$, $p = 0.027$).
• Discrepancia de validación: Si bien el CRISPRi Perturb-seq confirmó que el knockdown de TF suprime la expresión de genes de la glucólisis (p. ej., JUN $\delta = -1.72$, SPI1 $\delta = -1.57$), las direcciones de perturbación predichas por CellOracle mostraron solo un 40.9% de acuerdo con las direcciones experimentales, una tasa que no es significativamente diferente del azar. Esto resalta una brecha fundamental entre la correlación de estado estacionario y la inferencia de perturbación causal.
• Modos de fallo identificados: Los análisis diagnósticos revelaron razones específicas para el fallo de los métodos:
  • Competencia del espacio latente de VAE: Relaciones señal-ruido deficientes (p. ej., la relación señal-ruido de STAT3 de 0.44 frente a la de SPI1 de 4.25).
  • Ruido de correlación: Las correlaciones TF-glucólisis ($|r|=0.038$) eran indistinguibles del ruido de fondo ($|r|=0.047$).
  • No especificidad del grafo: Factores de enriquecimiento tan bajos como 0.84x.
• Hallazgos de la ablación: La adición de un conocimiento previo de GRN a DDIM no mejoró la recuperación de objetivos ($\delta = 0$ para todos los TFs), confirmando que las diferencias de rendimiento son multifactoriales y no se solucionan únicamente mediante la integración de conocimientos previos.

Contribuciones clave

• Benchmarking sistemático: El estudio proporciona la primera evaluación cruzada de métodos y conjuntos de datos de ocho métodos de perturbación in silico, yendo más allá de la validación de un solo conjunto de datos.
• Evidencia empírica de sesgo del método: El artículo demuestra que la selección del método es un determinante primario de los resultados, capaz de generar narrativas biológicas contradictorias.
• Marco de diagnóstico: Introduce herramientas diagnósticas específicas (perfilado del espacio latente, comparación de la distribución de la correlación, análisis de grafos) para identificar por qué ciertos métodos fallan en contextos particulares.
• Identificación de la brecha de validación: El trabajo cuantifica explícitamente la desconexión entre las predicciones basadas en la correlación de estado estacionario y los resultados de la perturbación experimental.

Significancia y orientación
El artículo establece que las conclusiones biológicas derivadas de la perturbación in silico dependen fuertemente del algoritmo elegido y no son puramente reflejo de la verdad biológica. En consecuencia, los autores proporcionan una orientación preliminar basada en datos para la selección de métodos con el fin de mitigar estos riesgos. Esta orientación incluye:

• Implementar la validación cruzada de vías.
• Adoptar protocolos de benchmarking que consideren la dirección.
• Adherirse a requisitos mínimos de datos para asegurar la detección robusta de señales, recomendando específicamente conjuntos de datos con $\ge$500 células y $\ge$1,000 genes altamente variables (HVGs).

Los hallazgos subrayan la necesidad de una validación rigurosa y multifacética antes de confiar en los resultados de perturbación computacional para la inferencia biológica.