Code Sharing In Prediction Model Research: A Scoping Review

1. Problema e Contexto

O desenvolvimento e a avaliação de modelos de previsão diagnóstica e prognóstica são inerentemente computacionais. O código analítico utilizado para pré-processamento de dados, desenvolvimento do modelo, ajuste de parâmetros e avaliação de desempenho é fundamental para a reprodutibilidade científica. No entanto, o acesso a esse código na literatura publicada permanece limitado.

Embora as diretrizes TRIPOD (e sua atualização TRIPOD+AI) tenham estabelecido padrões para relatar métodos de modelos de previsão, elas não definem padrões explícitos para a estrutura de repositórios, documentação ou reprodutibilidade técnica. Consequentemente, mesmo quando os autores afirmam que o código está disponível, a qualidade e a usabilidade real desses repositórios são desconhecidas. Estudos anteriores em outras áreas da biomedicina indicam que a disponibilidade declarada de código muitas vezes não corresponde à acessibilidade funcional (ex: apenas 5,3% dos notebooks Jupyter em uma amostra puderam ser executados com sucesso).

2. Metodologia

Os autores realizaram uma revisão de escopo (scoping review) seguindo as diretrizes PRISMA-ScR, focada em artigos indexados no PubMed que citam as declarações TRIPOD ou TRIPOD+AI até 11 de agosto de 2025.

• Cohorte: O estudo analisou 3.967 artigos elegíveis que desenvolveram, atualizaram ou validaram modelos de previsão multivariados e que eram acessíveis via API de Acesso Aberto do PubMed Central.
• Pipeline Assistido por LLM: Foi desenvolvido um pipeline automatizado utilizando um Grande Modelo de Linguagem (LLM) específico (identificado no texto como GPT-5.2, uma versão futura simulada no contexto do artigo) para:
  1. Triagem de Artigos: Identificar elegibilidade, extrair declarações de disponibilidade de código e links de repositórios.
  2. Caracterização de Repositórios: Um utilitário de recuperação baixou os repositórios (GitHub, GitLab, Zenodo, etc.) e o LLM analisou o conteúdo contra 14 características pré-definidas relacionadas à reprodutibilidade.
• Critérios de Avaliação: As características incluíam presença de arquivo README, especificação de dependências (com ou sem controle de versão), licenciamento, modularidade, existência de testes, fixação de sementes aleatórias (se aplicável) e inclusão de dados ou conjuntos de dados de amostra.
• Validação: A precisão do pipeline foi validada contra anotações humanas em subconjuntos de dados, alcançando pontuações F1 ponderadas de 0,97 para triagem de artigos e 0,83 para caracterização de repositórios.

3. Principais Resultados

Disponibilidade de Código

• Taxa Geral: Apenas 12,2% (482 de 3.967) dos artigos incluídos compartilharam o código.
• Tendência Temporal: A prática aumentou ao longo do tempo, passando de 4,5% em 2016 para 15,8% em 2025.
• Impacto das Diretrizes: Estudos que citavam o TRIPOD+AI tinham uma taxa de compartilhamento significativamente maior (29,7% em 2025) em comparação com os que citavam apenas o TRIPOD (11,8% em 2025).
• Variabilidade Geográfica e Editorial: A prevalência variou amplamente por país (mais alta na Finlândia, Bélgica e Israel) e por revista. Revistas com diretrizes explícitas sobre disponibilidade de código (ex: Nature Communications, npj Digital Medicine, PLOS Digital Health) apresentaram taxas de compartilhamento superiores a 50%.

Qualidade e Reprodutibilidade dos Repositórios

Dentre os repositórios acessíveis (n=380), a análise revelou lacunas significativas na reprodutibilidade:

• Documentação: 80,5% possuíam um arquivo README, mas apenas 52,1% descreviam claramente o propósito e as saídas esperadas.
• Dependências: Apenas 37,6% especificavam dependências de software, e apenas 21,6% faziam isso com restrições de versão (ex: package==1.2.3), o que é crucial para a reprodutibilidade.
• Estrutura e Testes: Apenas 42,4% eram considerados modulares e estruturados. A implementação de testes (unitários ou funcionais) foi extremamente rara (3,9%).
• Licenciamento: Apenas 35,3% dos repositórios continham informações de licença.
• Dados: Apenas 37,1% incluíam dados ou conjuntos de dados de amostra.
• Aleatoriedade: Entre os repositórios com componentes estocásticos, 64,3% fixavam sementes aleatórias (random seeds).
• Linguagens de Programação: Python e R foram as mais comuns. O Python superou o R em 2023 e representou mais da metade das linguagens em 2025.

4. Contribuições Chave

1. Linha de Base Empírica: Este é o primeiro estudo de grande escala a quantificar não apenas a disponibilidade, mas a qualidade técnica do compartilhamento de código em pesquisas de modelos de previsão clínica.
2. Desenvolvimento do TRIPOD-Code: Os resultados fornecem a evidência necessária para o desenvolvimento da extensão TRIPOD-Code, uma nova diretriz de relato focada especificamente em padrões de repositório, documentação e reprodutibilidade computacional.
3. Metodologia Escalável: Demonstrou a viabilidade de usar LLMs para realizar revisões sistemáticas em larga escala de artefatos de código, superando as limitações de revisões manuais que não escalavam para grandes corpora.
4. Distinção entre Disponibilidade e Usabilidade: Evidenciou que a simples disponibilidade de um link não garante a reprodutibilidade; a falta de documentação, controle de versão e licenciamento impede o uso real do código por outros pesquisadores.

5. Significado e Conclusão

O estudo conclui que, embora a disponibilidade de código esteja aumentando, a prática atual em pesquisa de modelos de previsão é insuficiente para garantir a reprodutibilidade computacional. A maioria dos repositórios compartilhados funciona mais como um artefato de arquivo do que como um recurso computacional reutilizável.

Os autores argumentam que a comunidade científica, editores de revistas e financiadores devem ir além da exigência de "disponibilidade de código". É necessário estabelecer expectativas claras sobre:

• Documentação completa (README descritivo);
• Especificação de dependências com controle de versão;
• Licenciamento adequado;
• Estrutura modular e testes.

Essas descobertas fundamentam a criação do TRIPOD-Code, visando transformar o compartilhamento de código de uma formalidade burocrática em uma prática que realmente permita a verificação, reprodução e reutilização de modelos de previsão clínica.