PathwayBench: a multi-criterion benchmark of pseudobulk pathway activity scoring methods reveals rank-window competition as a mechanism of biological signal loss in single-cell RNA-seq

Resumen Técnico: PathwayBench

Planteamiento del Problema
La puntuación de la actividad de las vías es un paso crítico en el análisis de secuenciación de ARN de célula única (scRNA-seq), que transforma los datos de expresión de alta dimensión en puntuaciones interpretables para comparar condiciones y definir estados celulares. A pesar del dominio del régimen de casos y controles de pseudopulpa (pseudobulk) en los estudios de enfermedades aplicados, la selección de métodos para la puntuación de vías rara vez se guía por una evidencia sistemática y multicriterio. Los benchmarks previos se han centrado en la verdad de terreno de la perturbación a nivel de célula o en la robustez del agrupamiento (clustering), dejando el escenario de la pseudopulpa prácticamente sin abordar. Además, cuando los métodos conscientes de la magnitud (p. ej., ssGSEA, GSVA, z-score) y los métodos basados en rangos (p. ej., AUCell, UCell) arrojan resultados divergentes, el campo carece de una explicación mecánica para este desacuerdo.

Metodología
Los autores presentan PathwayBench, un benchmark exhaustivo que evalúa cinco métodos de puntuación de vías ampliamente utilizados: ssGSEA, GSVA, z-score, AUCell y UCell.

• Conjuntos de Datos: La evaluación utiliza ocho conjuntos de datos de scRNA-seq de pseudopulpa de casos y controles que abarcan cinco tejidos (cerebro, sangre, riñón, pulmón, corazón) y 682 donantes. Estos cubren diversas condiciones, incluyendo Alzheimer, Parkinson, COVID-19, fibrosis pulmonar idiopática, cardiomiopatía dilatada, lupus eritematoso sistémico y enfermedad renal crónica (ERC).
• Criterios de Evaluación: Los métodos se evalúan frente a cinco criterios distintos:
  1. Relevancia Biológica: Precisión de dirección (contra la verdad de terreno de la literatura), AUROC y tamaño del efecto (d de Cohen).
  2. Robustez: Estabilidad de agregación, sensibilidad a valores atípicos (outliers), estabilidad de la normalización y estabilidad del tamaño de la muestra.
• Clasificación de Rendimiento: El rendimiento por criterio se discretiza en "Bueno", "Intermedio" o "Pobre" basándose en umbrales fijos para facilitar la comparación.
• Investigación Mecanística: Para explicar las discrepancias entre familias de métodos, los autores realizaron simulaciones controladas con variaciones en la "carga de genes competidores" (genes no relacionados sobreexpresados en la misma condición) para probar los límites de las ventanas de puntuación basadas en rangos.
• Validación en el Mundo Real: El mecanismo se probó en un entorno clínicamente relevante relacionado con la remodelación de la matriz extracelular (ECM) en la ERC.

Resultos Clave

• Relevancia Biológica Variable: Todos los métodos detectan direcciones respaldadas por la literatura por encima del azar, pero con un gradiente de sensibilidad. El método z-score logró la mayor precisión de dirección (0.773), seguido de ssGSEA (0.733), GSVA (0.705), UCell (0.662) y AUCell (0.605). La discriminación (AUROC) se mantuvo estrechamente agrupada en todos los métodos.
• Competencia de la Ventana de Rango: El estudio identifica un mecanismo denominado "competencia de la ventana de rango". En los métodos basados en rangos (AUCell, UCell), las puntuaciones se derivan de la posición de los genes de la vía dentro de una ventana de rango superior fija. Cuando los genes "competidores" ajenos a la vía saturan esta ventana (común en transcriptomas ampliamente remodelados como la fibrosis o la inflamación), la puntuación colapsa o, en casos extremos, invierte su signo.
  • Simulación: Bajo una alta carga de competidores (500 genes no relacionados), los métodos basados en rangos exhibieron inversión de signo en el 40% de las réplicas, mientras que los métodos conscientes de la magnitud (z-score, GSVA) mantuvieron la señal.
  • Datos Reales: En la ERC, donde la remodelación de la ECM es un sello distintivo, los métodos basados en rangos produjeron efectos de dirección errónea o cercanos a cero, mientras que los métodos conscientes de la magnitud identificaron correctamente la regulación al alza.
• No Existe un Único Método Dominante: Ningún método cumplió con los cinco criterios.
  • GSVA obtuvo calificaciones de "Bueno" en cuatro criterios (biología, outliers, estabilidad de normalización, estabilidad de tamaño de muestra) pero "Pobre" en estabilidad de agregación.
  • UCell también obtuvo "Bueno" en cuatro criterios, incluyendo la mayor estabilidad de agregación, pero fue "Intermedio" en estabilidad de tamaño de muestra.
  • Z-score ofreció alta sensibilidad pero puntuaciones de robustez intermedias.
  • AUCell y ssGSEA cumplieron con menos criterios, siendo AUCell el que mostró menor sensibilidad y estabilidad de normalización.
• Compromisos (Trade-offs): Existe un compromiso claro entre la sensibilidad (precisión de dirección) y la robustez. El z-score ocupa el cuadrante de alta sensibilidad/robustez media, mientras que UCell ocupa el cuadrante de alta robustez/sensibilidad moderada.

Significancia y Contribuciones
El artículo reclama tres contribuciones principales:

1. Explicación Mecanística: Proporciona una explicación coherente para la divergencia sistemática entre los métodos conscientes de la magnitud y los basados en rangos, atribuyéndola a la competencia de la ventana de rango. Esto explica por qué los métodos basados en rangos pueden fallar en transcriptomas con remodelación amplia (como fibrosis o inflamación).
2. Replanteamiento de la Selección de Métodos: Al demostrar que ningún método es universalmente superior, el trabajo replantea el debate sobre el "mejor método" como una cuestión de prioridades de análisis. Sugiere que la selección de métodos debe depender de si un estudio prioriza la detección de la señal biológica (favoreciendo el z-score) o la robustez técnica (favoreciendo a UCell o GSVA).
3. Infraestructura Extensible: PathwayBench se publica como un andamiaje versionado y reproducible. Incluye puntuaciones por conjunto de datos, código de evaluación y una aplicación interactiva "PathwayBench Advisor" que permite a los usuarios introducir sus prioridades específicas (p. ej., máxima sensibilidad frente a estabilidad de la normalización cruzada) para recibir recomendaciones de métodos clasificadas.

Conclusión
Los autores concluyen que los profesionales que analizan transcriptomas con remodelación amplia (p. ej., fibrosis, inflamación) deberían preferir métodos conscientes de la magnitud o verificar explícitamente la competencia de la ventana de rango antes de confiar en las puntuaciones basadas en rangos. El benchmark sirve como una herramienta para la selección de métodos basada en evidencia y para la extensión de la comunidad, más que como un veredicto final sobre un único algoritmo "mejor".