📊 statistics

Formalising Sample Size Calculations for the Development of Risk Prediction Models: The Importance of Accounting for Performance Variability

Este artigo propõe uma nova estrutura para cálculos de tamanho de amostra no desenvolvimento de modelos de predição de risco que vai além de visar métricas de desempenho esperadas para considerar explicitamente a variabilidade do desempenho, garantindo, assim, uma alta probabilidade de alcançar calibração e robustez aceitáveis do modelo.

Autores originais: Menelaos Pavlou, Rumana Z. Omar, Gareth Ambler

Publicado 2026-07-16

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Menelaos Pavlou, Rumana Z. Omar, Gareth Ambler

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef tentando criar a receita perfeita para um novo prato. Você tem uma lista de ingredientes (preditores) e quer preparar uma receita (um modelo) que tenha exatamente o sabor certo para todos que a provarem. No mundo da medicina, essas "receitas" são chamadas de modelos de predição de risco. Elas ajudam os médicos a prever a probabilidade de um paciente ter um evento de saúde específico, como um ataque cardíaco ou uma infecção, com base em coisas como idade, peso e histórico médico. Mas aqui está a parte complicada: só porque uma receita tem um sabor incrível na sua própria cozinha, não significa que terá o mesmo sabor em todas as outras cozinhas. Se você cozinhar apenas alguns lotes para testar sua receita, pode ter sorte e acertar o sabor perfeito por acaso, ou pode acabar com um lote estranho e salgado apenas porque não misturou ingredientes suficientes. Este é o problema da "variabilidade". Cientistas precisam saber exatamente quantos lotes (ou pacientes) precisam testar para terem certeza de que sua receita é confiável, e não apenas um golpe de sorte.

Por muito tempo, a maneira padrão de determinar quantos pacientes eram necessários era visar um resultado "médio" perfeito. Era como dizer: "Se cozinharmos 1.000 lotes, o sabor médio deve ser delicioso". Mas os autores deste artigo, Menelaos Pavlou, Rumana Z. Omar e Gareth Ambler, perceberam que visar a média não é suficiente. Às vezes, mesmo que a média seja ótima, você pode acabar com um lote completamente intragável apenas devido ao azar com os ingredientes. Eles argumentam que precisamos mudar o objetivo: em vez de apenas esperar que a média seja boa, devemos garantir que a maioria dos lotes que cozinhamos sejam realmente bons. Eles chamam isso de "Probabilidade de Desempenho Aceitável". É como dizer: "Precisamos cozinhar lotes suficientes para que haja 80% de chance de que qualquer lote individual que tirarmos do forno tenha um ótimo sabor", em vez de apenas esperar que a média de todos os lotes seja boa.

O artigo sugere que a antiga forma de calcular os tamanhos de amostra frequentemente leva a modelos que são instáveis, especialmente quando o modelo possui poucos ingredientes (preditores). Se você tentar assar um bolo com apenas dois ingredientes, precisará de uma cozinha muito maior (mais dados) para ter certeza de que não está apenas tendo sorte com a mistura. Os autores usaram simulações computacionais para mostrar que, quando você ignora essa "variabilidade", pode acabar com um modelo que parece bom no papel, mas falha no mundo real. Eles propõem um novo método que leva em conta esse risco, muitas vezes exigindo amostras maiores para garantir que o modelo seja robusto. Eles também analisaram uma técnica chamada "shrinkage" (encolhimento), que é como ajustar suavemente sua receita para ser um pouco mais conservadora, e descobriram que, embora ajude, não resolve o problema completamente se você não tiver dados suficientes para começar.

A Receita para uma Predição Confiável

Pense em construir um modelo de predição médica como treinar um robô para reconhecer gatos em fotos. Você mostra ao robô milhares de fotos e ele aprende os padrões. Se você mostrar apenas dez fotos, ele pode memorizar perfeitamente aqueles dez gatos específicos, mas falhar completamente quando vir um gato novo. Isso é chamado de "overfitting" (sobreajuste), e é o inimigo de uma boa predição. Para evitar isso, os cientistas precisam saber exatamente quantas fotos (pacientes) devem mostrar ao robô.

O artigo começa explicando que a regra atual para decidir quantos pacientes são necessários foca no valor esperado. Imagine que você está lançando um dado. O "valor esperado" é a média que você obtém se lançá-lo um milhão de vezes (que é 3,5). O método antigo diz: "Vamos lançar o dado vezes suficientes para que a média seja 3,5". Mas os autores apontam uma falha: se você lançar o dado apenas dez vezes, pode tirar um 6 em todas elas, ou um 1 em todas elas. A média pode ser 3,5 a longo prazo, mas seus dez lançamentos específicos podem ser um desastre. Em termos médicos, isso significa que um modelo pode parecer perfeito em média em muitos estudos, mas o modelo específico construído para o seu hospital pode ser absurdamente impreciso.

Os autores introduzem um novo conceito chamado PrAP (Probabilidade de Desempenho Aceitável). Em vez de apenas se importar com a média, o PrAP pergunta: "Quais são as chances de o modelo que estamos construindo agora ser bom o suficiente?". Eles definem uma faixa de "bom o suficiente", como uma inclinação de calibração entre 0,85 e 1,15 (onde 1 é o perfeito). O objetivo é escolher um tamanho de amostra grande o suficiente para que haja, digamos, 80% de chance de o modelo cair nessa zona "boa".

A Cozinha de Simulação

Para testar sua ideia, os autores não apenas adivinharam; eles realizaram milhares de simulações computacionais. Eles criaram dados fictícios de pacientes com diferentes números de "ingredientes" (preditores), variando de 4 a 28. Eles compararam duas formas de decidir quantos pacientes usar:

A Maneira Padrão: Calcular o tamanho necessário para que o desempenho médio seja 0,9 (próximo do perfeito).
A Nova Maneira: Calcular o tamanho necessário para que haja 80% de chance de o desempenho estar entre 0,85 e 1,15.

Os resultados foram reveladores. Quando os modelos tinham um pequeno número de preditores (como 4 ou 5), a Maneira Padrão sugeria um tamanho de amostra relativamente pequeno. No entanto, quando eles realmente executaram as simulações, descobriram que os modelos construídos com essa amostra pequena estavam totalmente dispersos. Às vezes eram ótimos, mas frequentemente eram terríveis. A probabilidade de obter um modelo "bom" era de apenas cerca de 54% — basicamente um cara ou coroa!

Em contraste, a Nova Maneira exigia um tamanho de amostra muito maior. Para um modelo com apenas 4 preditores, a Nova Maneira exigiu 2,7 vezes mais pacientes do que a Maneira Padrão. Mas a recompensa foi enorme: com essa amostra maior, a probabilidade de obter um modelo bom saltou para a meta de 80%. Os autores descobriram que, para modelos com muitos preditores (como 18 ou mais), os dois métodos sugeriam tamanhos de amostra semelhantes, mas para os modelos menores e mais simples, a diferença era massiva.

O Atalho do "Shrinkage"?

O artigo também investigou uma técnica popular chamada shrinkage (encolhimento). Imagine que você assou um bolo e ele ficou um pouco doce demais. O shrinkage é como tirar um pouquinho do açúcar para torná-lo mais seguro. Na estatística, isso envolve reduzir ligeiramente a força das predições do modelo para evitar o excesso de confiança.

Os autores testaram se o uso do shrinkage poderia permitir que pesquisadores utilizassem tamanhos de amostra menores. Eles descobriram que o shrinkage ajudou a melhorar o desempenho médio, tornando os modelos mais próximos da perfeição. No entanto, ele também introduziu um novo tipo de oscilação. Como você precisa estimar quanto encolher, essa estimativa adiciona sua própria incerteza. As simulações mostraram que, embora o shrinkage tenha melhorado as chances de um bom modelo, ele não resolveu o problema inteiramente se o tamanho da amostra fosse muito pequeno. Na verdade, para modelos muito pequenos (menos de 6 preditores), a incerteza adicional do shrinkage significou que a probabilidade de um bom modelo não melhorou muito. Os autores sugerem que o shrinkage é uma ferramenta útil, mas não deve ser usado como uma varinha mágica para pular a coleta de dados suficientes.

Um Teste no Mundo Real: Cirurgia de Válvula Cardíaca

Para provar que sua teoria não era apenas uma fantasia de computador, os autores aplicaram seus métodos a um conjunto de dados reais de 16.679 pacientes que passaram por cirurgia de válvula cardíaca. Eles queriam construir um modelo para prever o risco de morte no hospital.

Usando o método Padrão, eles calcularam que precisariam de 2.250 pacientes. Usando o novo método PrAP, eles calcularam que precisariam de 2.740 pacientes. Eles então realizaram uma simulação onde amostravam repetidamente esses grupos a partir dos dados reais para ver o que acontecia.

Os resultados confirmaram suas suspeitas. O grupo com 2.250 pacientes (Padrão) teve um desempenho mediano que era bom, mas os modelos variavam drasticamente. Alguns eram ótimos, outros eram péssimos. O grupo com 2.740 pacientes (Novo) foi muito mais consistente. Quase todos os modelos construídos com esse grupo maior caíram na faixa "aceitável". Além disso, quando adicionaram o shrinkage à mistura, o grupo maior (2.740) apresentou uma melhora clara na confiabilidade, enquanto o grupo menor não viu muito benefício.

A Conclusão

A mensagem principal deste artigo é um aviso contra o conforto excessivo com resultados "médios". No mundo de alto risco das predições médicas, uma taxa de sucesso média não é suficiente se os modelos individuais podem falhar spectacularmente. Os autores sugerem que, para construir modelos de risco verdadeiramente confiáveis, especialmente aqueles com poucos ingredientes, os pesquisadores precisam estar dispostos a coletar mais dados. Eles propõem uma nova forma de calcular tamanhos de amostra que prioriza a probabilidade de sucesso sobre o sucesso médio.

Embora isso possa significar reunir mais pacientes do que o anteriormente considerado necessário, a troca é um modelo que é estável e digno de confiança. Como os autores observam, se você quer ter 80% de certeza de que seu modelo funciona, não pode apenas visar a média; você deve visar a margem de segurança. O trabalho deles fornece as ferramentas matemáticas para fazer exatamente isso, garantindo que, quando um médico confiar em um modelo de predição, não seja apenas um palpite de sorte, mas uma receita bem testada.

Resumo Técnico: Formalização de Cálculos de Tamanho de Amostra para o Desenvolvimento de Modelos de Predição de Risco

1. Definição do Problema

As metodologias atuais para o cálculo de tamanhos de amostra no desenvolvimento de modelos de predição de risco concentram-se primordialmente em garantir que o valor esperado de uma medida de desempenho (ex: inclinação de calibração, C-estatística) atinja um alvo pré-especificado. Por exemplo, abordagens padrão frequentemente selecionam um tamanho de amostra tal que a inclinação de calibração esperada (CS) seja igual a 0,9. No entanto, esses métodos negligenciam a variabilidade de amostragem. Consequentemente, mesmo ao aderir aos tamanhos de amostra recomendados, o desempenho real de um modelo desenvolvido em um conjunto de dados específico pode variar substancialmente. Quando a variabilidade é alta, a probabilidade de obter um modelo com desempenho próximo ao alvo pode ser inaceitavelmente baixa, levando à instabilidade do modelo e a probabilidades individuais preditas não confiáveis. Este problema é particularmente pronunciado quando o número de preditores é pequeno em relação ao tamanho de amostra necessário para atingir os alvos de desempenho médio.

2. Metodologia

Os autores propõem um framework que incorpora explicitamente tanto o valor esperado quanto a variabilidade das medidas de desempenho nos cálculos de tamanho de amostra. A metodologia fundamenta-se nos seguintes componentes:

Mecanismo Gerador de Dados (DGM): O framework assume uma distribuição conjunta $P(Y, \mathbf{X}; \boldsymbol{\phi})$ para o desfecho $Y$ e os preditores $\mathbf{X}$ . Embora o foco principal seja em desfechos binários modelados via regressão logística com Estimativa de Máxima Verossimilhança (MLE), os princípios são apresentados de forma geral.
Probabilidade de Desempenho Aceitável (PrAP): Uma nova métrica é introduzida para quantificar a probabilidade de o desempenho de um modelo cair dentro de uma faixa aceitável pré-especificada (ex: $0,85 \leq \text{CS} \leq 1,15$ ). Os tamanhos de amostra são então determinados para garantir que esta probabilidade exceda um limiar alvo (ex: 80%).
Correção de Viés para Fórmulas Analíticas: O artigo aborda uma limitação conhecida em fórmulas analíticas existentes (ex: Riley et al., 2019), que subestimam sistematicamente os tamanhos de amostra para modelos com alta força preditiva (alto C-estatística). Os autores propõem um ajuste heurístico onde a C-estatística antecipada ( $C$ ) é substituída por um valor ajustado conservador ( $C_{adj}$ ). Este ajuste contabiliza a discrepância entre os coeficientes da regressão logística e os coeficientes da análise discriminante linear (LDA) sob alta discriminação, efetivamente inflando o tamanho de amostra necessário para atingir os alvos de calibração.
Aproximação Analítica para PrAP: Para evitar a intensidade computacional de simulações completas, os autores derivam uma fórmula de aproximação analítica para a variância da inclinação de calibração ( $\text{Var}(\hat{s}_n)$ ). Esta fórmula, combinada com a inclinação de calibração esperada, permite o cálculo da PrAP e a subsequente determinação do tamanho de amostra necessário via otimização numérica.
Avaliação de Shrinkage (Contração): O estudo investiga o impacto da contração linear pós-estimação (e de métodos penalizados como a regressão Ridge) sobre a PrAP. Simulações e um estudo de caso com dados reais avaliam se a contração pode mitigar a necessidade de maiores tamanhos de amostra ou melhorar a probabilidade de desempenho aceitável.

3. Principais Contribuições

Formalização da PrAP: O artigo define formalmente a "Probabilidade de Desempenho Aceitável" como um alvo primário para cálculos de tamanho de amostra, deslocando o foco do desempenho médio para a estabilidade do desempenho através de conjuntos de dados de desenvolvimento.
Demonstração do Impacto da Variabilidade: Através de estudos de simulação, os autores demonstram que os cálculos padrão (visando a mediana CS = 0,9) resultam em uma PrAP inaceitavelmente baixa para modelos com poucos preditores. Por exemplo, com $p=4$ preditores, a probabilidade de atingir um CS entre 0,85 e 1,15 foi de apenas 54% sob cálculos padrão, enquanto a nova abordagem (visando PrAP = 0,8) exigiu tamanhos de amostra significativamente maiores para garantir a estabilidade.
Ajuste Heurístico para Alta Discriminação: O artigo fornece uma correção prática ( $C_{adj}$ ) para fórmulas analíticas existentes, melhorando sua precisão para modelos com altas C-estatísticas ( $C \geq 0,8$ ).
Aproximação Analítica: Um método analítico eficiente é proposto para aproximar o tamanho de amostra necessário para uma PrAP alvo, oferecendo uma alternativa computacionalmente mais leve à otimização baseada em simulação, mantendo uma precisão razoável.
Papel da Contração (Shrinkage): O estudo esclarece que, embora os métodos de contração (fator de contração linear, Ridge) geralmente melhorem a mediana da inclinação de calibração, eles introduzem variabilidade adicional devido à estimação do fator de contração. Consequentemente, a contração não permite universalmente a redução dos tamanhos de amostra; em conjuntos de dados pequenos, o aumento da variabilidade pode atenuar os benefícios da contração em relação à PrAP.

4. Resultados

Achados das Simulações:
- Cálculos de tamanho de amostra padrão (visando mediana CS = 0,9) geram grande variabilidade no desempenho para modelos pequenos (poucos preditores), levando a uma baixa PrAP.
- O cálculo "Novo" proposto (visando PrAP = 0,8) resulta em tamanhos de amostra substancialmente maiores para modelos pequenos (ex: 2,7 vezes maior para $p=4$ ), mas converge com os cálculos padrão para modelos maiores ( $p \geq 18$ ).
- A correção de viés proposta ( $C_{adj}$ ) melhora significativamente a precisão das fórmulas analíticas para altas C-estatísticas, trazendo a mediana da inclinação de calibração para mais perto do alvo de 0,9.
- A aproximação analítica para a PrAP aproxima-se de perto dos resultados baseados em simulação, exceto em níveis de discriminação muito altos ( $C > 0,85$ ).
- A contração melhora a probabilidade de calibração aceitável para modelos com um número moderado a alto de preditores ( $p > 6$ ), mas oferece benefício limitado para modelos muito pequenos, onde a incerteza no fator de contração domina.
Estudo de Caso (Cirurgia de Válvula Cardíaca):
- Aplicado a um conjunto de dados de 16.679 pacientes, o novo cálculo aumentou o tamanho de amostra necessário de 2.250 (padrão) para 2.740 (novo) para atingir PrAP = 0,8.
- A reamostragem confirmou que o novo cálculo atingiu a PrAP alvo, enquanto o cálculo padrão não o fez.
- Métodos de contração (Fator de Contração Linear, Ridge Modificado) melhoraram o desempenho da calibração e a PrAP em comparação com o MLE isolado, consistindo com os achados das simulações.

5. Significância e Alegações

O artigo argumenta que considerar a variabilidade do desempenho é essencial para um desenvolvimento de modelo robusto. Os autores alegam que confiar apenas em alvos de desempenho esperado pode levar ao desenvolvimento de modelos instáveis, particularmente em cenários com poucos preditores. Ao introduzir o framework PrAP, o artigo fornece um mecanismo para garantir que um modelo desenvolvido em um conjunto de dados específico tenha probabilidade de desempenhar aceitavelmente na validação.

Os autores alegam modestamente que seu framework e ferramentas (implementadas no pacote R samplesizedev) oferecem uma abordagem mais rigorosa para a determinação do tamanho da amostra. Eles enfatizam que, embora os métodos baseados em simulação sejam computacionalmente intensos, as aproximações analíticas propostas fornecem uma alternativa viável e eficiente. Além disso, alertam contra o uso da contração como uma estratégia primária para reduzir os requisitos de tamanho de amostra, sugerindo, em vez disso, que os tamanhos de amostra sejam calculados assumindo MLE, com a contração aplicada durante o ajuste do modelo para melhorar o desempenho, desde que o número de preditores não seja extremamente pequeno. O trabalho ressalta a necessidade de ir além das métricas de desempenho "médio" para garantir a confiabilidade dos modelos de predição de risco na prática clínica.