Evidence of Unreliable Data and Poor Data Provenance in Clinical Prediction Model Research and Clinical Practice

Este estudo alerta que dois conjuntos de dados amplamente utilizados do Kaggle para modelos de previsão clínica carecem de proveniência verificável e parecem ser simulados ou fabricados, tendo sido empregados em centenas de publicações e até na prática clínica, o que exige que revistas e repositórios exijam relatórios rigorosos de proveniência para evitar que dados não confiáveis orientem decisões de cuidado ao paciente.

O essencial

Imagine que você está construindo uma casa muito importante: a casa da saúde de uma pessoa. Para que essa casa seja segura e não desabe, você precisa de materiais de construção de alta qualidade e de um plano (arquitetura) muito bem feito.

Neste artigo de pesquisa, os autores descobriram que muitos "arquitetos" (pesquisadores médicos) estão construindo essas casas de saúde usando tijolos falsos e plantas desencontradas, e o pior: eles estão dizendo que essas casas estão prontas para morar.

Aqui está a explicação do que aconteceu, usando analogias simples:

1. O "Mercado de Ferramentas" Falso (Kaggle)

O Kaggle é como um grande mercado online onde pessoas trocam dados (informações) para treinar computadores a fazer previsões. É um lugar ótimo para aprender, como um parque de diversões para cientistas de dados.

Os autores do estudo foram a esse mercado e encontraram dois "pacotes de dados" muito populares: um sobre derrames (AVC) e outro sobre diabetes.

• O Problema: Ninguém sabia de onde esses dados vinham. Era como comprar um saco de "tijolos" sem saber se são de barro, de plástico ou se foram feitos de chocolate.
• A Verdade: Ao analisar os dados, os autores viram sinais claros de que eles eram falsos ou simulados (inventados por computador).
  • Analogia: Imagine que você tem 100.000 pacientes. Em dados reais, sempre há erros, faltas de informação ou variações estranhas. Mas nesses dados, tudo estava "perfeito demais", como se fosse uma foto de um banco de imagens, não uma foto real de uma sala de emergência. Havia padrões repetitivos que não existem na vida real.

2. A Corrida de "Fast-Food" Científico

O artigo diz que muitos pesquisadores estão usando esses dados falsos para escrever artigos científicos rapidamente.

• A Analogia: É como se alguém pegasse uma receita de bolo genérica da internet, mudasse o nome do bolo e dissesse: "Olha, fiz um bolo novo!". Eles não estão tentando descobrir a verdade ou salvar vidas; estão apenas tentando publicar o máximo de "receitas" possível para ganhar fama ou dinheiro.
• O Resultado: Eles encontraram 124 artigos publicados usando esses dados duvidosos. Muitos desses artigos sugerem que os médicos devem usar essas previsões para tratar pacientes.

3. O Perigo Real: Médicos Tomando Decisões Erradas

A parte mais assustadora é que alguns desses modelos (as "receitas de bolo falsas") já estão sendo usados ou sugeridos para uso real.

• A Consequência: Se um médico confia num modelo feito com dados falsos, ele pode dizer a um paciente: "Você não precisa de tratamento" (quando na verdade precisa) ou "Você precisa de uma cirurgia" (quando não precisa).
• A Metáfora: É como usar um GPS que foi programado com mapas de um país que não existe. O GPS vai te levar para lugar nenhum ou, pior, para um abismo, e você vai confiar nele porque ele parece profissional.

4. O Silêncio das Regras (Falta de Proveniência)

O estudo aponta que os dados não têm "proveniência".

• O que é isso? É como comprar um carro sem saber quem o fabricou, quando foi feito, ou se ele tem um histórico de batidas.
• Nos dois dados analisados, os donos do arquivo no Kaggle disseram: "Não posso dizer de onde veio isso" ou "Use apenas para brincadeira, não para pesquisa". Mesmo assim, os pesquisadores pegaram esses dados e os usaram em artigos sérios.

5. O Que Precisa Ser Feito? (As Soluções)

Os autores dão algumas dicas para consertar essa bagunça:

1. Jornais e Revistas: Devem exigir que, antes de publicar um artigo, os autores mostrem a "fatura de compra" dos dados. De onde vieram? Quem coletou? Quando? Se não tiverem essa prova, o artigo não é publicado.
2. Repositórios de Dados (como o Kaggle): Devem obrigar quem sobe dados a preencher um formulário dizendo a origem deles. Se for um dado falso, deve ser rotulado como tal.
3. Pesquisadores e Médicos: Precisam parar de confiar cegamente em qualquer dado que esteja na internet. Precisam fazer perguntas difíceis: "Isso faz sentido?", "De onde veio isso?".

Resumo Final

Este artigo é um alerta de incêndio. Ele mostra que a ciência médica está correndo o risco de construir hospitais inteiros sobre alicerces de areia. Se continuarmos usando dados falsos para prever doenças, podemos causar danos reais aos pacientes.

A mensagem é clara: Não adianta ter uma tecnologia super avançada (Inteligência Artificial) se os ingredientes que usamos para treiná-la são mentirosos. Precisamos de transparência total sobre a origem dos dados antes de usá-los para salvar vidas.

Resumo técnico

Título do Estudo: Evidências de Dados Não Confiáveis e Má Proveniência de Dados na Pesquisa de Modelos Preditivos Clínicos e na Prática Clínica

Autores: Alexander D. Gibson, Nicole M. White, Gary S. Collins, Adrian G. Barnett.
Data: Fevereiro de 2026 (Pré-impressão no medRxiv).

---

1. O Problema

O estudo aborda uma crise emergente na integridade da pesquisa em saúde: o uso generalizado de conjuntos de dados públicos de procedência duvidosa ou inexistente para o desenvolvimento de Modelos Preditivos Clínicos (MPCs).

• Contexto: Com o aumento de 250.000 modelos publicados até 2024, há uma pressão por "pesquisa de alta rotatividade" (fast-churn), onde o objetivo é publicar rapidamente em vez de gerar conhecimento robusto.
• A Lacuna: Repositórios de dados populares, como o Kaggle, permitem o upload de conjuntos de dados sem exigir informações sobre a proveniência (origem, quem coletou, quando, onde e como).
• Risco: Modelos baseados em dados simulados, fabricados ou sem ética podem levar a decisões clínicas errôneas, prejudicando pacientes e desperdiçando recursos de pesquisa. O estudo foca especificamente em dois conjuntos de dados amplamente utilizados (sobre AVC e Diabetes) que carecem de verificação de autenticidade.

2. Metodologia

Os autores realizaram uma análise metacientífica rigorosa utilizando os seguintes passos:

• Seleção de Dados: Identificaram dois conjuntos de dados públicos no Kaggle (um sobre AVC com 5.110 pacientes e outro sobre Diabetes com 100.000 pacientes).
• Avaliação de Proveniência: Aplicaram nove itens do checklist TRIPOD+AI (atualização de 2024 para modelos de IA) para avaliar a transparência e a proveniência dos dados.
• Análise Exploratória: Realizaram análises estatísticas para detectar sinais de fabricação ou simulação, incluindo:
  • Padrões anormais em variáveis de ID de pacientes.
  • Distribuições uniformes ou errôneas.
  • Correlações ausentes onde eram esperadas (ex: entre IMC e glicose).
  • Presença de linhas duplicadas.
• Revisão Bibliográfica: Buscaram no Google Scholar artigos que utilizaram esses dois conjuntos de dados para desenvolver ou validar modelos preditivos clínicos.
• Critérios de Inclusão: Apenas artigos revisados por pares que usaram os dados para modelos clínicos. Excluíram pré-prints, teses e resumos.
• Avaliação de Impacto: Verificaram citações, uso em prática clínica, patentes e menções em revisões sistemáticas.

3. Principais Contribuições

• Exposição de Fraude/Simulação: Demonstrou evidências concretas de que dois conjuntos de dados amplamente utilizados na literatura médica são provavelmente simulados ou fabricados.
• Mapeamento do Impacto: Quantificou a extensão do problema, mostrando que 124 estudos foram publicados usando esses dados, resultando em mais de 1.500 citações e influência em revisões e patentes.
• Identificação de Falhas Éticas: Revelou que 90% dos artigos que usaram esses dados não possuíam qualquer declaração ética, apesar de envolverem dados de pacientes humanos (ou supostamente humanos).
• Proposta de Solução Estrutural: Desenvolveu um conjunto de recomendações obrigatórias para editores, repositórios de dados e pesquisadores para mitigar o problema da proveniência de dados.

4. Resultados Chave

A. Análise dos Conjuntos de Dados (Kaggle)

• Proveniência: Ambos os conjuntos de dados obtiveram 0/9 nos itens de proveniência do TRIPOD+AI. Os uploaders admitiram que a fonte não pode ser divulgada por "confidencialidade" e, no caso do dataset de AVC, recomendaram explicitamente que não fosse usado para pesquisa.
• Irregularidades no Dataset de AVC:
  • Ausência quase total de dados faltantes (apenas 0,3%), o que é estatisticamente improvável em dados reais de saúde.
  • Padrão anormal na distribuição de glicose média em relação ao ID do paciente (mudança brusca no meio do intervalo de IDs).
• Irregularidades no Dataset de Diabetes:
  • Contém exatamente 100.000 pacientes com apenas 18 níveis discretos de glicose e HbA1c, indicando reamostragem artificial.
  • 7% das observações (6.939 pacientes) eram duplicadas.
  • Ausência de associação clínica esperada entre IMC e glicose/HbA1c.

B. Impacto na Literatura e Prática

• Volume de Publicações: Foram encontrados 124 artigos revisados por pares (103 sobre AVC, 20 sobre Diabetes, 1 sobre ambos).
• Origem Geográfica: Autores de 32 países, com destaque para Índia, Indonésia e China.
• Ética: Apenas 2% dos artigos mencionaram aprovação ética; 90% não tiveram nenhuma declaração ética.
• Uso Clínico e Patentes:
  • Três modelos foram citados como sendo usados ou prontos para uso na prática clínica.
  • Um modelo foi citado em uma patente de dispositivo médico (Califórnia/US).
  • Os artigos foram citados em 86 revisões sistemáticas, perpetuando o erro.
• Recomendações Clínicas: 68% dos artigos sobre AVC e 80% sobre Diabetes fizeram recomendações práticas para a clínica, baseadas em dados potencialmente falsos.

5. Significância e Recomendações

Significância

O estudo alerta que a pesquisa médica está sendo desviada por dados não confiáveis. Se modelos baseados em dados simulados forem usados para guiar tratamentos, pacientes podem receber terapias desnecessárias ou ter tratamentos vitais negados. A falta de proveniência viola princípios fundamentais da ciência aberta e da ética em pesquisa.

Recomendações Propostas

Os autores sugerem mudanças imediatas em três frentes:

1. Para Jornais e Editores:

   • Exigir declarações de proveniência de dados obrigatórias (incluindo: quem coletou, quando, onde, por que e financiamento).
   • Solicitar o envio de dados não processados no momento da submissão para verificação rápida.
   • Rejeitar automaticamente conjuntos de dados de competições (como Kaggle) a menos que os autores justifiquem fortemente seu uso e declarem a natureza dos dados.

2. Para Repositórios de Dados (ex: Kaggle, GitHub):

   • Implementar formulários obrigatórios de proveniência antes do upload de dados de saúde.
   • Exigir que dados sintéticos sejam claramente rotulados e que o código de geração seja fornecido.

3. Para Pesquisadores e Clínicos:

   • Não assumir que dados publicados são reais ou éticos.
   • Realizar verificações de senso comum e análises exploratórias antes de usar dados públicos.
   • Seguir rigorosamente as diretrizes TRIPOD+AI e PROBAST+AI.

Conclusão Final: O artigo defende que modelos preditivos baseados exclusivamente em conjuntos de dados simulados ou fabricados nunca devem ser usados para informar decisões de cuidado ao paciente e que a comunidade científica deve agir para reter ou corrigir os estudos já publicados que utilizam esses dados.