Systematically Examining Reproducibility: A Case Study for High Throughput Sequencing using the PRIMAD Model and BioCompute Object

Resumo Técnico: Exame Sistemático da Reprodutibilidade em Sequenciamento de Alto Rendimento via PRIMAD e Objetos BioCompute

Declaração do Problema
A reprodutibilidade continua sendo um desafio crítico na ciência biomédica, particularmente na medicina de precisão e no sequenciamento de alto rendimento (HTS). Embora inúmeras iniciativas e ferramentas (ex: contêineres, gerenciadores de fluxo de trabalho, repositórios) existam para aumentar a reprodutibilidade computacional, uma "crise de reprodutibilidade" persiste, evidenciada pelas baixas taxas de sucesso na reprodução de fluxos de trabalho científicos. Em contextos regulatórios, como os supervisionados pela US Food and Drug Administration (FDA), o padrão IEEE 2791-2020 para Objetos BioCompute (BCO) foi desenvolvido para padronizar o relato de pipelines de bioinformática. No entanto, as alegações do BCO quanto à sua capacidade de garantir a reprodutibilidade não foram sistematicamente avaliadas. Além disso, o framework conceitual PRIMAD (Plataforma, Objetivos de Pesquisa, Implementação, Métodos, Ator, Dados), projetado para descrever experimentos computacionais para reprodutibilidade, carece de validação sistemática contra padrões de domínio específicos como o BCO.

Metodologia
Este estudo emprega uma abordagem de mapeamento sistemático para avaliar o alinhamento entre o modelo conceitual PRIMAD e o framework prático BCO.

1. Seleção de Caso de Uso: Os autores selecionaram um BCO regulatório publicado (BCO_022531/2.2) detalhando um pipeline de Sequenciamento de Próxima Geração (NGS) para análise de resistência ao Vírus da Hepatite C na plataforma HIVE como um caso de uso representativo.
2. Fase de Exame: A especificação do BCO (versão 22.01) e o caso de uso específico foram examinados de forma abrangente para identificar a adesão aos padrões e limitações práticas.
3. Fase de Mapeamento: Os autores realizaram um mapeamento de duas etapas:
   • Mapeamento Geral: Alinhando as dimensões conceituais do PRIMAD com os domínios estruturais do framework BCO.
   • Mapeamento de Caso de Uso: Mapeando os campos e valores específicos do BCO_022531/2.2 sobre as dimensões do PRIMAD para identificar lacunas, omissões e redundâncias.
4. Análise: A análise focou em quão bem o BCO captura a informação necessária para diferentes rótulos de reprodutibilidade (ex: Repetir, Portar, Reutilizar, Validar) definidos no modelo PRIMAD.

Principais Resultados
O mapeamento sistemático revelou várias descobertas críticas sobre o estado atual dos frameworks BCO e PRIMAD:

• Limitações Práticas do BCO: O exame do caso de uso destacou barreções significativas para a reprodução independente, incluindo informações de licenciamento insuficientes (links para templates em vez de licenças específicas), convenções de nomenclatura de arquivos ofuscadas que dificultam a compreensão fora do contexto do laboratório original e dependência de plataforma que impede o acesso independente a scripts e dados sem autorização do autor.
• Discrepâncias de Mapeamento: O mapeamento mostrou que os frameworks não são isomorfos.
  • Emaranhamento: No caso de uso do BCO, as dimensões do PRIMAD de Plataforma, Método e Implementação estão emaranhadas. Por exemplo, as etapas do pipeline descritas no domínio BCO.Description eram específicas da plataforma (HIVE-Hexagon), impedindo uma separação clara entre o método abstrato e sua implementação.
  • Abstração vs. Especificidade: O modelo PRIMAD é um framework conceitual de alto nível que carece de checklists, enquanto o BCO é um padrão detalhado e específico de domínio. O BCO carece de um mapeamento claro entre os esboços de método de alto nível (em BCO.Usability) e as etapas específicas do pipeline (em BCO.Description), o que dificulta a portabilidade para outras plataformas.
  • Dimensões Ausentes: O BCO não captura explicitamente todas as dimensões do PRIMAD, particularmente no que diz respeito ao "Ator" (papéis humanos) e aos "Objetivos de Pesquisa" de maneira estruturada adequada para a reprodutibilidade.
• Extensões Propostas: O estudo identificou dez aspectos transversais necessários para expandir o modelo PRIMAD para a reprodutibilidade prática de pipelines: Tempo, Recursos Adicionais, Categorizações de Dados, Funcionalidade, Versões, Papéis Humanos, Licenças, Tolerância a Falhas, Revisões e Esquemas de Metadados.

Principais Contribuições

1. Validação Sistemática: O artigo fornece a primeira avaliação sistemática das alegações de reprodutibilidade do framework BCO usando o modelo PRIMAD como benchmark.
2. Identificação de Lacunas: Ele identifica explicitamente omissões no padrão BCO, como a falta de descrições de métodos independentes de plataforma e a documentação insuficiente de papéis humanos e licenciamento, que são críticos para a verificação independente.
3. Extensão de Framework: Os autores propõem estender o modelo PRIMAD com dez aspectos específicos para suportar melhor o relato de pipelines computacionais, inspirando-se nos campos estruturados encontrados no BCO.
4. Recomendações de Reconfiguração do BCO: O artigo sugere mudanças estruturais específicas no padrão BCO para melhorar a reprodutibilidade:
   • Mesclar BCO.Usability e BCO.Description em um novo "Domínio Conceitual" para fornecer uma descrição de workflow independente de plataforma.
   • Expandir o BCO.Execution para incluir scripts de etapas de pipeline, mantendo os dados específicos da plataforma em BCO.IO.
   • Melhorar o domínio BCO.Provenance para incluir registros de estudos de reprodutibilidade anteriores e publicações científicas relacionadas.
   • Adicionar campos para declarar explicitamente os requisitos de permissão e acesso para todos os recursos referenciados.

Significância e Alegações
Os autores alegam que este estudo ressalta a necessidade de validar sistematicamente as alegações de reprodutibilidade para objetos digitais publicados. Ao demonstrar o "emaranhamento" de dimensões nas implementações atuais do BCO, o artigo argumenta que uma separação clara entre a metodologia abstrata e a implementação específica da plataforma é essencial para alcançar portabilidade e reprodutibilidade de longo prazo.

O estudo afirma que, embora o BCO seja um framework pragmático adaptado para o relato regulatório de NGS, ele requer reconfiguração para suportar plenamente os "Rs" da reprodutibilidade (reprodutível, repetível, reutilizável, etc.). Inversamente, o modelo PRIMAD é validado como uma ferramenta conceitual útil para identificar essas lacunas, mas requer a adição de aspectos específicos e adaptados ao domínio (como os propostos) para ser eficaz na prática. Em última análise, o artigo defende a integração de frameworks conceituais com padrões específicos de domínio para aumentar a confiabilidade da pesquisa científica em biosciências e disciplinas relacionadas.