PathwayBench: a multi-criterion benchmark of pseudobulk pathway activity scoring methods reveals rank-window competition as a mechanism of biological signal loss in single-cell RNA-seq

Resumo Técnico: PathwayBench

Problema
A pontuação de atividade de vias é uma etapa crítica na análise de sequenciamento de RNA de célula única (scRNA-seq), transformando dados de expressão de alta dimensão em escores interpretáveis para comparar condições e definir estados celulares. Apesar do domínio do regime caso-controle de pseudobulk em estudos de doenças aplicadas, a seleção de métodos para pontuação de vias raramente é guiada por evidências sistemáticas e multicritério. Benchmarks anteriores focaram na verdade fundamental de perturbação ao nível celular ou na robustez de agrupamento (clustering), deixando o cenário de pseudobulk amplamente não abordado. Além disso, quando métodos sensíveis à magnitude (ex: ssGSEA, GSVA, z-score) e métodos baseados em ranking (ex: AUCell, UCell) produzem resultados divergentes, a área carece de uma explicação mecanística para esse desacordo.

Metodologia
Os autores apresentam o PathwayBench, um benchmark abrangente que avalia cinco métodos amplamente utilizados de pontuação de vias: ssGSEA, GSVA, z-score, AUCell e UCell.

• Datasets: A avaliação utiliza oito conjuntos de dados de scRNA-seq de pseudobulk caso-controle abrangendo cinco tecidos (cérebro, sangue, rim, pulmão, coração) e 682 doadores. Estes cobrem diversas condições, incluindo Alzheimer, Parkinson, COVID-19, fibrose pulmonar idiopática, cardiomiopatia dilatada, lúpus eritematoso sistêmico e doença renal crônica (DRC).
• Critérios de Avaliação: Os métodos são avaliados contra cinco critérios distintos:
  1. Relevância Biológica: Precisão de direção (contra a verdade fundamental da literatura), AUROC e tamanho do efeito (Cohen's d).
  2. Robustez: Estabilidade de agregação, sensibilidade a outliers, estabilidade de normalização e estabilidade de tamanho de amostra.
• Classificação de Desempenho: O desempenho por critério é discretizado em "Bom", "Intermediário" ou "Pobre" com base em limiares fixos para facilitar a comparação.
• Investigação Mecanística: Para explicar as discrepâncias entre famílias de métodos, os autores conduziram simulações controladas com variadas "cargas de genes competidores" (genes não relacionados regulados positivamente na mesma condição) para testar os limites das janelas de pontuação baseadas em ranking.
• Validação no Mundo Real: O mecanismo foi testado em um cenário clinicamente relevante envolvendo a remodelação da matriz extracelular (ECM) na DRC.

Resultos Principais

• Relevância Biológica Variável: Todos os métodos detectam direções suportadas pela literatura acima do acaso, mas com um gradiente de sensibilidade. O método z-score alcançou a maior precisão de direção (0,773), seguido por ssGSEA (0,733), GSVA (0,705), UCell (0,662) e AUCell (0,605). A discriminação (AUROC) ficou densamente agrupada em todos os métodos.
• Competição de Janela de Ranking: O estudo identifica um mecanismo denominado "competição de janela de ranking". Em métodos baseados em ranking (AUCell, UCell), os escores são derivados da posição dos genes da via dentro de uma janela fixa de topo de ranking. Quando genes "competidores" não pertencentes à via saturam essa janela (comum em transcriptomas amplamente remodelados como fibrose ou inflamação), o escore colapsa ou, em casos extremos, inverte seu sinal.
  • Simulação: Sob alta carga de competidores (500 genes não relacionados), os métodos baseados em ranking exibiram inversão de sinal em 40% dos repliques, enquanto os métodos sensíveis à magnitude (z-score, GSVA) sustentaram o sinal.
  • Dados Reais: Na DRC, onde a remodelação da ECM é uma marca registrada, os métodos baseados em ranking produziram efeitos de direção quase nula ou errada, enquanto os métodos sensíveis à magnitude identificaram corretamente a regulação positiva.
• Não Existe um Único Método Dominante: Nenhum método satisfez todos os cinco critérios.
  • GSVA obteve classificações "Boas" em quatro critérios (biologia, outlier, estabilidade de normalização, estabilidade de tamanho de amostra), mas "Pobre" em estabilidade de agregação.
  • UCell também obteve "Bom" em quatro critérios, incluindo a maior estabilidade de agregação, mas foi "Intermediário" em estabilidade de tamanho de amostra.
  • Z-score ofereceu alta sensibilidade, mas escores de robustez intermediários.
  • AUCell e ssGSEA atenderam a menos critérios, com o AUCell mostrando a menor sensibilidade e estabilidade de normalização.
• Trade-offs: Existe um trade-off claro entre sensibilidade (precisão de direção) e robustez. O z-score ocupa o quadrante de alta sensibilidade/robustez mediana, enquanto o UCell ocupa o quadrante de alta robustez/sensibilidade moderada.

Significância e Contribuições
O artigo reivindica três contribuições principais:

1. Explicação Mecanística: Fornece uma explicação coerente para a divergência sistemática entre métodos sensíveis à magnitude e métodos baseados em ranking, atribuindo-a à competição de janela de ranking. Isso explica por que métodos baseados em ranking podem falhar em transcriptomas fibrosos, inflamatórios ou amplamente remodelados.
2. Reenquadramento da Seleção de Métodos: Ao demonstrar que nenhum método é universalmente superior, o trabalho reenquadra o debate sobre o "melhor método" como uma questão de prioridades de análise. Sugere que a seleção de métodos deve depender de se um estudo prioriza a detecção de sinal biológico (favorecendo o z-score) ou a robustez técnica (favorecendo o UCell ou GSVA).
3. Infraestrutura Extensível: O PathwayBench é lançado como um arcabouço versionado e reprodutível. Inclui escores por dataset, código de avaliação e um aplicativo interativo "PathwayBench Advisor" que permite aos usuários inserir suas prioridades específicas (ex: máxima sensibilidade vs. estabilidade de normalização cruzada) para receber recomendações de métodos ranqueados.

Conclusão
Os autores concluem que os profissionais que analisam transcriptomas com remodelação ampla (ex: fibrose, inflamação) devem preferir métodos sensíveis à magnitude ou verificar explicitamente a competição de janela de ranking antes de confiar em escores baseados em ranking. O benchmark serve como uma ferramenta para a seleção de métodos baseada em evidências e extensão da comunidade, em vez de um veredito final sobre um único "melhor" algoritmo.