📊 statistics

Bayesian sample size calculations for external validation studies of risk prediction models

Este artigo propõe uma estrutura bayesiana geral para cálculos de tamanho amostral em estudos de validação externa de modelos de predição de risco, permitindo a incorporação explícita da incerteza sobre o desempenho do modelo e a definição de regras baseadas em precisão esperada, probabilidade de garantia e valor da informação, superando as limitações dos métodos convencionais que assumem valores fixos.

Autores originais: Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

Publicado 2026-02-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef de cozinha famoso que criou uma nova receita de bolo (o modelo de previsão de risco). Você testou essa receita em várias cozinhas diferentes e ela funcionou muito bem. Agora, você quer levá-la para uma nova cidade (a população alvo) e quer ter certeza de que o bolo vai ficar delicioso lá também, antes de começar a vendê-lo.

Para isso, você precisa fazer um teste de degustação (o estudo de validação externa). Mas aqui está o problema: quantas pessoas você precisa convidar para provar o bolo para ter certeza de que ele é bom?

O artigo que você pediu para explicar trata exatamente disso: como calcular o número certo de pessoas para esse teste, mas usando uma abordagem mais inteligente e flexível, chamada Bayesiana.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: A "Adivinhação" Fixa

Antes, os pesquisadores faziam esse cálculo como se fossem adivinhar um número mágico. Eles diziam: "Vamos supor que o bolo tem 80% de chance de ser um sucesso. Vamos supor que queremos um resultado com uma margem de erro muito pequena."

O problema é que ninguém sabe o valor real com certeza. O bolo pode ser um pouco pior ou um pouco melhor na nova cidade. A abordagem antiga ignorava essa incerteza, tratando o "suposto" como uma verdade absoluta. É como tentar calcular o tamanho de uma rede de pesca sem saber se o peixe é grande ou pequeno, ou se o mar está calmo ou agitado.

2. A Solução: A Abordagem Bayesiana (O "Oráculo" da Incerteza)

Os autores propõem uma nova maneira de pensar. Em vez de adivinhar um número fixo, eles dizem: "Vamos usar tudo o que já sabemos sobre o bolo para criar um leque de possibilidades."

Imagine que você não tem apenas uma previsão, mas um leque de cenários.

"Talvez o bolo seja ótimo (85% de sucesso)."
"Talvez seja mediano (75%)."
"Talvez seja ruim (65%)."

A abordagem Bayesiana pega todas essas possibilidades e as mistura com o novo teste. Ela não pergunta apenas "qual é o tamanho da rede?", mas sim: "Qual o tamanho da rede necessário para ter 90% de certeza de que vamos pegar o peixe, mesmo que o mar esteja agitado?"

3. As Duas Formas de Medir o Sucesso

O artigo sugere duas formas diferentes de decidir se o teste foi bom, dependendo do que você quer:

A. Precisão Estatística (O "Régua")

Para coisas como "o bolo é consistente?" (calibração) ou "o bolo é diferente de outros?" (discriminação), a gente quer uma régua precisa.

Regra Antiga: "Quero que a régua tenha 10 cm de erro."
Regra Bayesiana: "Eu quero ter 90% de certeza de que a régua terá 10 cm de erro ou menos."
Isso é como dizer: "Eu não quero apenas que a média seja boa; eu quero ter certeza de que, na maioria das vezes, não vou me decepcionar." Isso geralmente exige um pouco mais de pessoas no teste, mas traz mais segurança.

B. Utilidade Clínica (O "Dinheiro no Bolso")

Aqui entra a parte mais criativa: o Benefício Líquido (Net Benefit). Imagine que o bolo serve para decidir quem deve tomar um remédio caro.

Se o bolo for bom, economizamos dinheiro e salvamos vidas.
Se o bolo for ruim, gastamos dinheiro à toa.

Aqui, medir apenas a "precisão da régua" não faz sentido. O que importa é: "Vale a pena gastar dinheiro para fazer esse teste?"
Os autores usam uma ferramenta chamada Valor da Informação (VoI). É como calcular o lucro esperado:

Se eu testar com 500 pessoas, quanto dinheiro eu ganho (ou perco menos) ao tomar a decisão certa?
Se eu testar com 2.000 pessoas, o ganho extra é tão pequeno que não vale o custo de recrutar mais 1.500 pessoas?

4. O Estudo de Caso: O Bolo COVID-19

Os autores testaram essa ideia com um modelo real que prevê se pacientes com COVID-19 vão piorar no hospital.

O Método Antigo: Disse que precisavam de 1.056 pessoas para o teste, focando apenas em ter uma régua precisa.
O Método Novo (Bayesiano):
- Se focarmos apenas na precisão da régua, precisamos de 1.181 pessoas (um pouco mais, para ter mais certeza).
- MAS, se usarmos a lógica do "Valor da Informação" (o que é melhor para o paciente e para o sistema de saúde?), descobrimos que 522 pessoas são suficientes!
- Por que? Porque aumentar de 522 para 1.181 pessoas não melhora muito a decisão de quem deve ser tratado. O "lucro" extra é tão pequeno que não vale a pena o esforço.

5. A Conclusão: Menos é Mais (e Mais Inteligente)

A grande lição do artigo é que, ao admitir que não sabemos tudo de antemão (usando a incerteza a nosso favor), podemos:

Ser mais flexíveis: Escolher entre ter uma média boa ou ter uma certeza alta de que o resultado será bom.
Economizar recursos: Muitas vezes, o método antigo pede um número enorme de pessoas por medo de errar. O método novo olha para o "valor real" da decisão e pode mostrar que um número menor é suficiente para salvar vidas e economizar dinheiro.

Em resumo:
Antes, era como tentar adivinhar o tamanho de uma rede de pesca olhando apenas para o mapa. Agora, com a abordagem Bayesiana, é como olhar para o mapa, sentir o vento, lembrar das tempestades passadas e calcular exatamente o tamanho da rede que garante que você pegue o peixe, sem gastar dinheiro à toa com uma rede gigante que não vai ser usada. É uma forma mais humana, realista e econômica de planejar a ciência.

Título: Cálculos Bayesianos de Tamanho Amostral para Estudos de Validação Externa de Modelos de Predição de Risco

1. O Problema

Os métodos convencionais de cálculo de tamanho amostral para validação externa de modelos de predição de risco (como os propostos por Riley et al.) baseiam-se em uma abordagem frequentista que exige a especificação de valores fixos para as métricas de desempenho do modelo (ex: c-estatística, inclinação de calibração) e níveis de precisão alvo (ex: larguras de intervalos de confiança de 95%).

O artigo identifica duas limitações principais nessa abordagem:

Incerteza Ignorada: Os pesquisadores não conhecem o desempenho real do modelo na população-alvo (caso contrário, não haveria necessidade de validação). Através de amostras finitas de estudos anteriores, existe incerteza sobre esses parâmetros. Tratar esses valores como fixos oferece uma visão incompleta e pode levar a tamanhos amostrais inadequados.
Relevância da Precisão para Utilidade Clínica: Para a Utilidade Líquida (Net Benefit - NB), que mede o valor clínico de uma decisão, a inferência baseada puramente em precisão (largura de IC) é questionável. O foco deve ser a capacidade de identificar a melhor estratégia de tratamento, não apenas a precisão de uma estimativa pontual.

2. Metodologia

Os autores propõem um framework Bayesiano geral para considerações de tamanho amostral em modelos de predição para resultados binários. A abordagem utiliza uma perspectiva "Bayesiana-Misto": utiliza evidências existentes (priors) para quantificar a incerteza sobre o desempenho do modelo, mas assume que, uma vez obtida a nova amostra de validação, a inferência final dependerá apenas dos dados (verossimilhança).

Componentes Principais da Metodologia:

Especificação da Incerteza (Prior): Em vez de valores pontuais, os autores modelam a distribuição conjunta dos parâmetros de desempenho ( $\theta = \{\phi, c, h\}$ $θ = {ϕ, c, h}$ ), onde $\phi$ $ϕ$ é a prevalência, $c$ $c$ é a estatística de discriminação e $h$ $h$ é a função de calibração.
- Utilizam dados de estudos anteriores (ex: meta-análises) para definir distribuições a priori (ex: Beta para prevalência, Log-normal para c-estatística, Normal para inclinação de calibração).
- Estabelecem condições de identificabilidade para mapear essas estatísticas para a distribuição de riscos calibrados na população-alvo.
Algoritmos de Monte Carlo:
- O método simula repetidamente amostras de validação ( $D_N$ ) a partir das distribuições a priori dos parâmetros.
- Para cada simulação, calculam-se as métricas de desempenho e seus intervalos de confiança (IC) ou utilidade líquida.
- Isso gera uma distribuição "pré-posterior" (a distribuição antecipada das estatísticas de interesse após a coleta de dados).
Regras de Tamanho Amostral Propostas:
1. Precisão Esperada (ECIW): Busca o tamanho amostral ( $N$ ) que resulta em uma largura média de IC igual ao alvo.
2. Regras de Garantia (Assurance): Busca o $N$ que garante uma probabilidade específica (ex: 90%) de que a largura do IC será menor ou igual ao alvo. Isso protege contra a variabilidade amostral que poderia resultar em uma precisão insuficiente em um estudo específico.
3. Garantia de Otimalidade (Optimality Assurance): Para a Utilidade Líquida (NB), calcula a probabilidade de que a estratégia identificada como "melhor" na amostra de validação seja, de fato, a melhor estratégia na população.
4. Valor da Informação (VoI): Utiliza o Valor Esperado da Informação Amostral (EVSI) para determinar o ganho esperado na utilidade clínica ao aumentar o tamanho amostral. O objetivo é maximizar o benefício clínico em relação ao custo da amostragem, evitando a definição arbitrária de larguras de IC.

3. Contribuições Chave

Framework Unificado: Integra métricas estatísticas (discriminação, calibração) e métricas de decisão clínica (NB) sob uma única estrutura Bayesiana.
Incorporação de Incerteza: Permite que os pesquisadores quantifiquem explicitamente a incerteza sobre o desempenho do modelo baseado em evidências anteriores, em vez de assumir valores fixos.
Novas Regras de Decisão: Introduz regras baseadas em "Garantia" (assurance) para precisão e regras baseadas em "Valor da Informação" para utilidade clínica, superando as limitações das abordagens puramente baseadas em intervalos de confiança.
Ferramenta de Software: Desenvolvimento do pacote R bayespmtools, que implementa os algoritmos de Monte Carlo e funções para calcular precisão/VoI ou determinar o tamanho amostral mínimo.

4. Resultados (Estudo de Caso: COVID-19)

Os autores aplicaram o método na validação do modelo ISARIC 4C para deterioração de pacientes hospitalizados com COVID-19 na região de Londres (UK).

Comparação com Riley (Frequentista):
- O método de Riley exigiu um tamanho amostral de 1.056 (ditado pela precisão da inclinação de calibração).
- O método Bayesiano com Garantia de 90% exigiu 1.181 amostras (também ditado pela calibração), refletindo a necessidade de compensar a incerteza extra.
Análise de Utilidade Clínica (VoI):
- Ao analisar a curva de EVSI, os autores observaram que aumentar a amostra de 522 (ditado pela garantia da c-estatística e O/E ratio) para 1.181 (incluindo a garantia da calibração) resultou em um ganho marginal de apenas 8,8% na Utilidade Líquida Esperada.
- A análise de erro de calibração mostrou que, mesmo com $N=522$ , os erros de calibração permaneciam baixos (<0,1) na maioria dos casos.
Conclusão do Estudo de Caso: O tamanho amostral recomendado foi reduzido para 522, demonstrando que focar estritamente na precisão da calibração (como no método tradicional) pode levar a estudos superdimensionados quando o objetivo final é a utilidade clínica.

5. Significado e Implicações

Mudança de Paradigma: O trabalho sugere uma transição de estudos de validação focados apenas em "precisão estatística" para estudos focados em "valor de decisão".
Eficiência de Recursos: Ao utilizar o EVSI e a Garantia de Otimalidade, os pesquisadores podem evitar coletar dados desnecessários quando o ganho marginal na utilidade clínica é baixo, otimizando o uso de recursos em saúde.
Transparência na Incerteza: A abordagem força a explicitação da incerteza sobre o desempenho do modelo, o que é crucial para a tomada de decisão em saúde pública e para a confiança na adoção de novos modelos preditivos.
Flexibilidade: O framework permite abordagens híbridas (ex: definir tamanho amostral baseado em precisão para discriminação, mas avaliar o impacto na utilidade clínica), oferecendo uma ferramenta robusta para o desenho de estudos de validação no futuro.

Em suma, o artigo fornece uma metodologia rigorosa e flexível para dimensionar estudos de validação, alinhando o esforço de coleta de dados com os objetivos reais de melhoria na tomada de decisão clínica.