A Framework for Benchmarking Pathway Reconstruction Algorithms

Problema
O mapeamento de interações moleculares para compreender processos celulares permanece um desafio em aberto. Embora tecnologias de ômicas de alto rendimento identifiquem moléculas ativas, elas não revelam as interações específicas que impulsionam condições biológicas. Algoritmos de reconstrução de vias abordam isso integrando dados de ômica específicos ao contexto com conhecimento prévio (interatomas) para inferir vias específicas de uma condição. No entanto, o campo sofre com a falta de benchmarks independentes. A heterogeneidade das formulações dos algoritmos (ex: árvores de Steiner, fluxo de rede, passeios aleatórios), combinada com diversas dependências de software, formatos de dados e espaços de parâmetros, cria barreiras técnicas substanciais para a comparação sistemática. Consequentemente, a seleção de algoritmos para contextos biológicos específicos frequentemente recorre à familiaridade ou popularidade, em vez da eficácia demonstrada.

Metodologia
Este relatório registrado descreve um framework de benchmarking em larga escala projetado para avaliar 14 algoritmos de reconstrução de vias em 822 conjuntos de dados de quatro contextos biológicos distintos. O núcleo da metodologia é o Signaling Pathway Reconstruction Analysis Streamliner (SPRAS), um framework de software que padroniza as entradas, saídas e a execução dos algoritmos.

• Framework SPRAS: O SPRAS utiliza Snakemake para orquestração de workflow e conteinerização (Docker/Apptainer) para isolar as dependências dos algoritmos. Ele converte os conjuntos de dados fornecidos pelo usuário em formatos específicos para cada algoritmo e padroniza as saídas brutas para uma avaliação unificada.
• Algoritmos: O benchmark avalia 14 algoritmos que representam várias classificações metodológicas, incluindo All Pairs Shortest Paths (APSP), BowTieBuilder, DIAMOnD, DOMINO, Maximum Edge Orientation (MEO), MinCostFlow (MCF), NetMix, Omics Integrator 1 & 2, PathLinker, Random Walks with Restarts (RWR), ResponseNet, Source-Target RWR (ST-RWR) e TieDIE.
• Conjuntos de Dados: A avaliação utiliza quatro coleções de conjuntos de dados:
  1. Vias de Sinalização PANTHER: 22 vias de sinalização humana curadas para recuperação controlada de vias contra padrões de referência (gold standards) conhecidos.
  2. Linhas Celulares de Câncer DepMap: 627 conjuntos de dados derivados de linhagens de células cancerosas, utilizando mutações somáticas e alterações no número de cópias como fontes e atividades de fatores de transcrição inferidas como alvos, avaliados contra dados de dependência gênica baseados em CRISPR.
  3. Coleção de Doenças: 124 conjuntos de dados específicos de doenças usando associações gênicas baseadas em GWAS como prêmios de entrada, avaliados contra anotações de genes-doenças baseadas em mineração de texto e conhecimento.
  4. Espectrometria de Proteínas Fosfo (EGFR Phosphoproteomics): Um conjunto de dados capturando respostas de sinalização à estimulação por EGF, avaliado contra proteínas conhecidas por participar da sinalização de EGFR.
• Ajuste de Parâmetros: Para evitar o overfitting aos padrões de referência e o viés subjetivo, os autores empregam uma busca em grade de dois estágios agnóstica ao algoritmo. Uma grade grosseira identifica intervalos de parâmetros plausíveis baseados em heurísticas topológicas (ex: tamanho da via, conectividade), seguida por uma grade refinada que explora pontos médios entre combinações grosseiras aprovadas.
• Métricas de Avaliação: Os algoritmos são avaliados em:
  • Desempenho de Recuperação de Vias: Precisão, recall e curvas de precisão-recall contra padrões de referência.
  • Similaridade de Algoritmo: Análise de Componentes Principais (PCA), agrupamento hierárquico e similaridade de Jaccard para determinar se os algoritmos produzem saídas semelhantes.
  • Desempenho Computacional: Consumo de pico de memória e tempo de CPU.
• Infraestrutura: O benchmark é executado em escala usando o Open Science Pool (OSPool) via HTCondor, gerenciando centenas de milhares de execuções de algoritmos.

Principais Contribuições

• Framework SPRAS: A introdução de um framework unificado que padroniza a execução de algoritmos de reconstrução de vias díspares, permitindo o benchmarking sistemático que era anteriormente inviável devido a incompatibilidades técnicas.
• Benchmark de Larga Escala: A avaliação de 14 algoritmos em 822 conjuntos de dados, cobrindo diversos contextos biológicos (vias curadas, genômica do câncer, associações de doenças e fosfoproteômica).
• Ajuste Sistemático de Parâmetros: O desenvolvimento de um procedimento de busca em grade de dois estágios que seleciona combinações de parâmetros representativas baseadas na plausibilidade topológica, em vez da otimização pelo padrão de referência, abordando o desafio das interações não intuitivas de parâmetros.
• Estratégia de Avaliação Abrangente: Um plano de avaliação multifacetado que vai além da simples acurácia para incluir similaridade de algoritmos, viabilidade computacional e desempenho através de variações de tamanhos de rede e estruturas de entrada.

Resultos
Nota: Como este é um relatório registrado delineando o framework e a metodologia, o artigo não apresenta resultados quantitativos finais do benchmark. A seção "Estudo Piloto" (Seção 4) fornece achados preliminares:

• Achados do Piloto: Um estudo piloto com 7 algoritmos e 5 vias PANTHER confirmou que o SPRAS pode operar em escala. Revelou que nenhum algoritmo único teve o melhor desempenho em todos os conjuntos de dados.
• Complexidade de Parâmetros: O piloto demonstrou que a estrutura da via reconstruída depende fortemente tanto das combinações de parâmetros quanto das características subjacentes do conjunto de dados, motivando a necessidade da busca em grade de dois estágios específica para o conjunto de dados, em vez de uma grade universal.
• Viabilidade Computacional: O piloto estimou o total de tarefas (até ~6,8 milhões de tarefas) e validou o uso do OSPool para execução distribuída.

Significância
O artigo afirma que este trabalho fornecerá evidências quantitativas para entender o comportamento dos algoritmos de reconstrução de vias e guiar a seleção de algoritmos em diversos contextos biológicos. Ao padronizar as entradas e a execução através do SPRAS, os autores visam superar as barreiras técnicas que limitaram as comparações sistemáticas. As avaliações resultantes pretendem ajudar pesquisadores a ir além da seleção de algoritmos baseada em familiaridade ou popularidade, escolhendo métodos com base na eficácia demonstrada para casos de uso biológicos específicos. O framework também apoia as melhores práticas para benchmarking computacional, incluindo ajuste de parâmetros reprodutível e execução escalável.