📊 statistics

The declared winner of a clinical prediction model comparison is often decided by the random split: a simulation study

Este estudo de simulação demonstra que, nos tamanhos de efeito pequenos típicos de comparações de modelos de predição clínica, o "vencedor" declarado é frequentemente determinado pela divisão aleatória dos dados em vez da verdadeira superioridade do modelo, levando a margens de desempenho infladas e a um desacordo significativo entre analistas utilizando os mesmos dados.

Autores originais: Ananya Sharma

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ananya Sharma

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da pesquisa médica, cientistas constroem constantemente novas ferramentas para prever quem ficará doente e quem permanecerá saudável. Essas ferramentas, conhecidas como modelos de predição clínica, são como previsões meteorológicas sofisticadas para o corpo humano, usando dados de pacientes para estimar a probabilidade de um evento futuro. Para decidir qual ferramenta é a melhor, os pesquisadores normalmente as colocam umas contra as outras em um conjunto de dados de teste. Eles calculam uma pontuação que mede a frequência com que a ferramenta acerta a previsão, e aquela com a pontuação mais alta é declarada a vencedora. Esse processo é a forma padrão pela qual o campo avança, com novos estudos frequentemente anunciando que um novo algoritmo de aprendizado de máquina superou um método mais antigo e simples. No entanto, as diferenças entre essas ferramentas são frequentemente incrivelmente pequenas, às vezes apenas uma fração minúscula de um ponto percentual. Quando a lacuna entre dois modelos é tão estreita, surge a questão: o vencedor declarado é realmente melhor ou ele apenas teve sorte com o grupo específico de pacientes que por acaso foi testado?

Um estudo de simulação recente de Ananya Sharma explora exatamente essa incerteza. A pesquisa não envolve pacientes reais ou novos dados médicos; em vez disso, usa um computador para gerar milhares de cenários fictícios onde dois modelos de predição são comparados. O objetivo era ver com que frequência o modelo que vence a competição é verdadeiramente o superior e com que frequência o resultado é simplesmente um acaso causado pela forma aleatória como os dados foram divididos. Nessas simulações, os pesquisadores criaram dois modelos que eram quase idênticos em sua verdadeira capacidade de prever resultados. Eles então realizaram milhares de comparações, alterando o tamanho dos grupos de teste e a divisão aleatória específica dos dados, para ver com que frequência o "vencedor" mudava ou o quanto a vantagem relatada era exagerada.

As descobertas revelam um nível de instabilidade alarmante na forma como essas comparações são conduzidas atualmente. Quando a verdadeira diferença entre dois modelos é muito pequena, o que é o caso típico em estudos médicos do mundo real, o vencedor declarado é frequentemente um produto do acaso. Em um cenário onde os modelos eram quase idênticos em habilidade, dois pesquisadores diferentes analisando exatamente os mesmos dados, mas usando divisões aleatórias diferentes, anunciariam vencedores diferentes quase metade das vezes. Mesmo quando um modelo era genuinamente um pouco melhor, um grupo de teste pequeno significava que o modelo "melhor" era identificado corretamente apenas cerca de dois terços das vezes. Isso significa que, em um número significativo de estudos publicados, a conclusão de que uma ferramenta é superior a outra pode estar errada, simplesmente porque os pacientes específicos escolhidos para o conjunto de teste acabaram favorecendo um modelo sobre o outro por sorte aleatória.

Outra grande descoberta diz respeito à margem de vitória. Quando um modelo vence, o estudo descobriu que a diferença de desempenho relatada é quase sempre inflada, fazendo a lacuna parecer muito maior do que realmente é. Por exemplo, se a verdadeira diferença entre dois modelos fosse minúscula, o modelo vencedor frequentemente reportaria uma diferença que era mais do que o dobro do valor real. Isso acontece porque o processo de escolher o vencedor seleciona naturalmente o modelo que obteve o ruído aleatório mais favorável naquele teste específico. É semelhante a jogar uma moeda: se você joga dez vezes e obtém seis caras, você pode alegar que a moeda é viciada, mas o resultado é apenas uma flutuação aleatória. No contexto desses modelos médicos, a "maldição do vencedor" significa que o sucesso relatado é uma mistura de habilidade real e uma grande dose de sorte estatística, levando os pesquisadores a acreditar que encontraram um avanço quando encontraram, na verdade, um pico aleatório.

O estudo também examinou se o problema reside na forma como os modelos são construídos ou em como os dados são testados. Ao manter os modelos fixos e alterar apenas o grupo de teste, e ao retreinar os modelos a cada nova divisão, os pesquisadores descobriram que a instabilidade vem quase inteiramente do próprio grupo de teste. Isso sugere que tornar os modelos mais complexos ou estáveis não resolverá o problema; a questão é que os grupos de teste usados em muitos estudos são simplesmente pequenos demais para distinguir de forma confiável modelos que estão muito próximos em desempenho. Quando o grupo de teste é pequeno, o ruído aleatório nos dados abafa o sinal minúsculo da diferença real.

Em última análise, esta pesquisa sugere que o hábito atual de declarar um único vencedor baseado em uma única execução de teste é frequentemente enganoso. O estudo recomenda que os pesquisadores parem de tratar uma única comparação como um veredito final. Em vez disso, eles devem relatar a faixa de incerteza em torno da diferença e, crucialmente, repetir o teste muitas vezes com diferentes divisões aleatórias para ver com que frequência cada modelo vence. Se um modelo vence apenas ligeiramente mais da metade das vezes ao longo de muitas repetições, a conclusão honesta é que os dois modelos são efetivamente indistinguíveis com os dados atuais. Até que os grupos de teste sejam grandes o suficiente para superar essa aleatoriedade, ou até que os estudos adotem esses métodos de relatório mais rigorosos, os "vencedores" de competições de predição clínica podem ser menos um reflexo da verdade médica e mais um reflexo do lançamento dos dados.

Resumo Técnico: "O vencedor declarado de uma comparação de modelos de predição clínica é frequentemente decidido pela divisão aleatória"

Problema
As comparações de modelos de predição clínica frequentemente declaram um "vencedor" baseando-se em uma única divisão entre treino e teste, relatando o modelo com a maior Área Sob a Curva (AUC). Revisões sistemáticas indicam que as verdadeiras diferenças de desempenho entre modelos concorrentes são frequentemente ínfimas (0,01 a 0,02 na AUC). Nesses tamanhos de efeito, não está claro se um vencedor declarado reflete uma vantagem real de desempenho ou é meramente um produto do erro de amostragem e da semente (seed) aleatória específica usada para a divisão dos dados. Além disso, a literatura carece de uma quantificação de quão frequentemente dois analistas, trabalhando com os mesmos dados e modelos, mas com sementes aleatórias diferentes, chegariam a conclusões contraditórias.

Metodologia
Este estudo utiliza uma estrutura de simulação para avaliar a confiabilidade de comparações de dois modelos sob diversas condições.

Modelo Generativo: Dois modelos foram simulados como escores correlacionados nos mesmos pacientes usando um modelo binormal. O "melhor" modelo foi fixado em uma AUC verdadeira de 0,80, enquanto o segundo modelo foi definido como 0,80 menos um intervalo de 0, 0,01, 0,02 ou 0,05. As correlações de erro entre os modelos foram definidas em 0,5 (abordagens dissimilar) ou 0,9 (abordagens similares). A prevalência da doença foi fixada em 0,30.
Experimento A (Conjuntos de Teste Novos): Foram realizadas 4.000 replicações para cada configuração, com tamanhos de conjuntos de teste variando de 100 a 2.000 pacientes. O estudo mediu a probabilidade de o vencedor declarado ser o modelo genuinamente melhor e a inflação da margem relatada sobre o intervalo real.
Experimento B (A Loteria da Divisão): Um único grupo de 1.000 pacientes foi gerado, e os modelos foram avaliados em 200 divisões aleatórias independentes (30% de conjunto de teste). Isso isolou o efeito da semente da divisão aleatória. A probabilidade de discordância entre dois analistas independentes foi calculada como $2p(1-p)$ , onde $p$ é a proporção de divisões que favorecem um modelo.
Experimento C (Reajuste/Refitting): O Experimento B foi repetido com modelos reajustados dentro de cada divisão (usando regressão logística e análise discriminante linear) para determinar se a variabilidade do treinamento contribuía significadamente para a instabilidade em comparação com a amostragem do conjunto de teste.
Reprodutibilidade: A simulação é determinística dada uma semente específica (20260823), com código e arquivos de saída disponibilizados publicamente.

Resultos Principais

Confiabilidade do Vencedor Declarado: Com um intervalo real de AUC de 0,01 e erros altamente correlacionados (0,9), o vencedor declarado foi o modelo genuinamente melhor apenas 65,4% das vezes com 100 pacientes de teste. Essa confiabilidade aumentou para 97,2% com 2.000 pacientes. Quando a correlação de erro era menor (0,5), a confiabilidade caiu significativamente (57,6% com 100 pacientes, 82,4% com 2.000 pacientes).
Inflação das Margens Relatadas: A margem relatada do vencedor consistentemente superestimou o intervalo real. Com um intervalo real de 0,01 e 100 pacientes e correlação de 0,9, a margem relatada foi de 0,023 (uma inflação de 2,3x). Mesmo quando os modelos eram idênticos (intervalo real = 0), o vencedor relatou uma margem média de 0,019 com 100 pacientes, demonstrando a "maldição do vencedor" (winner's curse).
Discordância de Analistas (Loteria da Divisão): Mantendo os dados e modelos fixos, dois analistas usando sementes aleatórias diferentes discordaram sobre o vencedor 41,5% das vezes quando o intervalo real era zero, 29,2% com um intervalo de 0,01 e 12,2% com um intervalo de 0,02.
Cenários de Pior Caso: A taxa máxima de discordância entre conjuntos de dados individuais atingiu 0,500 (um cara ou coroa) para intervalos de 0, 0,01 e 0,02, indicando que, para alguns conjuntos de dados específicos, o ranking é inteiramente instável, independentemente da diferença subjacente real.
Impacto do Reajuste (Refitting): O reajuste dos modelos dentro de cada divisão (Experimento C) alterou as taxas de discordância apenas marginalmente em comparação com os modelos fixos (Experimento B). Isso sugere que a variabilidade da amostragem do conjunto de teste, e não a variabilidade do treinamento, é a fonte dominante de instabilidade nessas comparações.

Significância e Alegações
O artigo argumenta que, nos tamanhos de efeito tipicamente relatados em estudos de predição clínica (diferença de AUC de 0,01–0,02), a declaração de um modelo "melhor" é substancialmente uma função da divisão aleatória, e não dos próprios modelos. O estudo afirma fornecer uma "moeda" necessária para os leitores de artigos de comparação: uma quantificação da probabilidade de um vencedor declarado ser genuíno dado um tamanho de amostra e um tamanho de efeito específicos.

O autor afirma que o fenômeno da "loteria da divisão" — onde as conclusões dependem de uma semente aleatória arbitrária — é uma fonte crítica, mas não quantificada, de não confiabilidade. Eles concluem que estudos individuais frequentemente carecem de resolução para classificar métodos quando as diferenças são pequenas, levando a uma literatura de vencedores contraditórios.

Práticas Propostas
Com base nesses achados, o artigo recomenda quatro mudanças específicas nos padrões de relato:

Relatar a diferença pareada entre os modelos com um intervalo de confiança (ex: via método de DeLong) em vez de estimativas pontuais separadas.
Repetir a divisão treino-teste múltiplas vezes e relatar a proporção de divisões que favorecem cada modelo.
Abster-se de declarar um vencedor, a menos que a proporção de divisões que favorecem um modelo seja decisiva.
Tratar a margem relatada do vencedor como um limite superior, reconhecendo a inflação inerente.

O artigo conclui que uma comparação que relata uma diferença de AUC abaixo de 0,02 em menos de 500 pacientes de teste não estabeleceu um ranking confiável, e que o tamanho da diferença relatada não é uma estimativa confiável da diferença real.

Mais como este