Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package

Este artigo apresenta uma revisão das metodologias atuais e introduz o pacote R de código aberto *pmsims*, que utiliza uma abordagem inovadora baseada em simulação para calcular tamanhos amostrais adequados no desenvolvimento de modelos preditivos clínicos, garantindo desempenho robusto e generalizável.

O essencial

Imagine que você é um chef tentando criar a receita perfeita para um novo prato. Você quer que esse prato seja delicioso para qualquer pessoa que o prove, não apenas para os poucos amigos que você testou na sua cozinha.

O artigo que você enviou trata exatamente desse problema, mas no mundo da medicina e da inteligência artificial. Ele discute como descobrir quantos dados (ou "ingredientes") são necessários para criar um modelo de previsão de saúde que funcione de verdade e não falhe quando usado em pacientes reais.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: "Aprender a Nadar na Piscina de Casa"

Muitos modelos de previsão médica são como nadadores que treinaram apenas em uma piscina pequena e calma. Eles parecem ótimos lá, mas quando chegam ao mar (a realidade), afundam. Isso acontece porque os pesquisadores usaram poucos dados para treinar o modelo.

• O Risco: Se você treina um modelo com poucos dados, ele "decora" os exemplos que viu em vez de aprender a lógica. É como um aluno que decora as respostas de uma prova antiga, mas não entende a matéria. Quando chega uma pergunta nova, ele erra tudo. Isso é chamado de sobreajuste (overfitting).
• A Dúvida: Quantos dados são suficientes? 100? 1.000? 1 milhão? Antigamente, as pessoas usavam regras de bolso (como "precisa de 10 dados para cada variável"), mas isso é como tentar adivinhar o tamanho de um bolo apenas olhando para a farinha: funciona às vezes, mas geralmente erra.

2. A Solução: O "Simulador de Voo" (O pacote pmsims)

Os autores criaram uma ferramenta chamada pmsims. Pense nela como um simulador de voo para médicos e cientistas de dados.

Em vez de coletar milhões de pacientes reais (o que é caro e demorado), o pmsims cria mundos virtuais dentro do computador.

• Como funciona: Você diz ao computador: "Quero prever quem terá uma doença cardíaca". O simulador gera milhares de pacientes virtuais com características diferentes.
• O Teste: O programa treina o modelo com 100 pacientes, depois com 500, depois com 1.000, e assim por diante. Ele vê em que ponto o modelo começa a ficar "inteligente" o suficiente para funcionar bem.
• A Vantagem: É como testar um novo carro em uma pista de testes antes de vendê-lo. Você descobre se ele aguenta a estrada sem precisar bater em um muro real.

3. A Grande Diferença: "Média" vs. "Garantia"

O artigo faz uma distinção muito importante, que é o coração da inovação deles:

• O Método Antigo (A Média): Pergunta: "Se eu fizer isso 100 vezes, qual é a média de sucesso?"
  • Analogia: "Se eu jogar dardos 100 vezes, a média dos meus pontos será 80." Isso é bom, mas não garante que você não vai errar o alvo em 20 dessas vezes.
• O Método Novo (A Garantia / Assurance): Pergunta: "Qual o número de dados para eu ter 80% de certeza de que o modelo vai funcionar bem?"
  • Analogia: "Quantas vezes preciso praticar para ter 80% de certeza de que, no dia do campeonato, vou acertar o alvo?"
  • O pmsims foca nessa garantia. Ele diz: "Para ter certeza de que seu modelo não vai falhar na maioria das vezes, você precisa de X dados". Isso é muito mais seguro para a saúde das pessoas.

4. Por que isso é importante para você?

Hoje, temos muitos modelos de Inteligência Artificial prometendo curas ou diagnósticos precisos. Mas muitos deles foram feitos com "pouca massa" (poucos dados).

• Sem essa ferramenta: Um hospital pode comprar um software que promete prever câncer, mas que falha porque foi treinado com poucos dados.
• Com essa ferramenta: Os pesquisadores usam o pmsims para calcular exatamente quantos pacientes precisam estudar antes de lançar o software. Isso evita desperdício de dinheiro e, mais importante, evita que pacientes recebam diagnósticos errados.

Resumo em uma frase

Este artigo apresenta um novo "calculadora de segurança" (o pacote pmsims) que usa simulações de computador para dizer aos cientistas exatamente quantos dados eles precisam coletar para garantir que seus modelos de inteligência artificial médica funcionem de verdade, e não apenas na teoria.

É como ter um mapa que diz: "Para construir uma ponte segura que não vai cair, você precisa de exatamente 5.000 toneladas de concreto, nem uma a menos."

Resumo técnico

Título: Cálculos de Tamanho Amostral para o Desenvolvimento de Modelos de Predição Clínica: Visão Geral e Pacote R pmsims

1. O Problema

O desenvolvimento de modelos de predição clínica (sejam estatísticos ou baseados em Machine Learning - ML) é fundamental para a tomada de decisões em saúde. No entanto, determinar o tamanho amostral mínimo necessário para desenvolver esses modelos de forma robusta permanece um desafio crítico e frequentemente negligenciado.

• Riscos: Tamanhos amostrais inadequados levam a overfitting (sobreajuste), baixa generalizabilidade e previsões enviesadas.
• Limitações dos Métodos Atuais:
  • Regras Heurísticas: Como a regra de "10 eventos por variável preditora" (EPV), são simples, mas ignoram a complexidade dos dados, a força das correlações e a complexidade do modelo.
  • Fórmulas Analíticas Fechadas: Oferecem soluções rápidas, mas dependem de suposições distribucionais rígidas e não se estendem bem a estruturas de dados complexas ou modelos de ML.
  • Abordagens Baseadas em Simulação: Embora flexíveis, muitas carecem de ferramentas de software acessíveis e são computacionalmente intensivas.
• Falta de Garantia (Assurance): A maioria dos métodos foca apenas no desempenho médio esperado, ignorando a variabilidade. Um modelo pode ter bom desempenho médio, mas falhar em 20-30% dos casos devido à instabilidade dos parâmetros estimados em amostras menores.

2. Metodologia

Os autores propõem uma nova abordagem baseada em simulação, implementada no pacote R de código aberto pmsims. A metodologia distingue dois critérios fundamentais para o cálculo do tamanho amostral:

• Critério Baseado na Média: Encontrar o menor $n$ tal que o desempenho esperado exceda um nível alvo ($M^*$).
• Critério de Garantia (Assurance): Uma formulação mais rigorosa que exige que o desempenho exceda $M^*$ com uma alta probabilidade (ex: 80%). Isso garante que a maioria dos modelos treinados com tamanho $n$ atinja o desempenho desejado, considerando explicitamente a variabilidade entre diferentes conjuntos de dados de desenvolvimento.

O Fluxo de Trabalho do pmsims:

1. Definição do Cenário: O usuário especifica o gerador de dados (distribuição de preditores e desfecho), a função do modelo (regressão, ML, etc.) e as métricas de desempenho (AUC, calibração, MAPE, etc.).
2. Ajuste do Gerador de Dados: Calibração para refletir a população-alvo e garantir que o modelo atinja o desempenho ideal em amostras grandes.
3. Estimativa da Curva de Aprendizado: O algoritmo gera conjuntos de dados sintéticos de tamanhos variados ($n$), ajusta o modelo repetidamente e avalia o desempenho em dados de teste independentes.
4. Otimização e Determinação de $n$: Utiliza Curvas de Aprendizado e Otimização por Processos Gaussianos (GP). Os GPs atuam como modelos substitutos (surrogates) para interpolar a curva de desempenho de forma suave e eficiente, reduzindo a carga computacional ao focar as simulações nas regiões onde a solução é mais provável.
5. Resultado: Identifica o menor $n$ onde o percentil 20 da distribuição de desempenho (garantindo 80% de certeza) excede o limiar de desempenho aceitável.

3. Contribuições Chave

• Pacote pmsims: Uma ferramenta de software flexível, agnóstica ao modelo e de código aberto que permite a pesquisadores definir geradores de dados, modelos e métricas personalizadas.
• Mudança de Paradigma para "Garantia": Move o foco de "desempenho médio" para "desempenho com alta probabilidade", abordando a incerteza inerente à estimação de parâmetros em amostras finitas.
• Eficiência Computacional: Integração de Processos Gaussianos para otimizar a busca pelo tamanho amostral, tornando as simulações viáveis para cenários complexos que antes seriam proibitivamente lentos.
• Abordagem Híbrida: Combina a flexibilidade das simulações com a eficiência da modelagem de curvas de aprendizado, superando as limitações das fórmulas fechadas e das simulações brutas.

4. Resultados

O estudo validou a metodologia através de três estudos de caso comparando o pmsims com outras ferramentas (como pmsampsize, samplesizedev, heurísticas EPV e fórmulas analíticas).

• Variabilidade Significativa: Os tamanhos amostrais estimados variaram drasticamente dependendo do método, da métrica de desempenho (ex: AUC vs. Calibração) e do tipo de modelo.
• Modelos de ML vs. Estatísticos: Modelos de Machine Learning (como Random Forest, XGBoost, Redes Neurais) exigiram conjuntos de dados de desenvolvimento significativamente maiores (5 a 10 vezes mais, em média) do que modelos de regressão logística.
• Impacto da Especificação do Modelo: Quando o modelo de predição não correspondia ao mecanismo gerador de dados (especificação incorreta), os requisitos de tamanho amostral aumentaram drasticamente (ex: >20.000 amostras).
• Posicionamento do pmsims: As estimativas do pmsims situaram-se no meio do intervalo das outras metodologias, mas com a vantagem de fornecer garantias explícitas de estabilidade e desempenho, alinhando-se com critérios de calibração rigorosos.

5. Significância e Conclusão

Este trabalho avança a metodologia de predição clínica ao fornecer uma estrutura teórica e prática para calcular tamanhos amostrais que garantam a confiabilidade dos modelos, não apenas em média, mas com alta probabilidade.

• Relevância Prática: Oferece uma ferramenta acessível para pesquisadores evitarem o desenvolvimento de modelos superajustados ou ineficazes, economizando recursos e melhorando a qualidade da evidência clínica.
• Futuro: Os autores destacam a necessidade de estender esses métodos para dados hierárquicos, multimodais (imagens, genômica, wearables) e para lidar com dados ausentes (missing data) e métricas de justiça (fairness).
• Impacto: O pmsims preenche uma lacuna crítica entre a teoria avançada e a aplicação prática, permitindo que a comunidade científica desenvolva modelos de IA e ML mais robustos, generalizáveis e seguros para o cuidado ao paciente.

Em resumo, o artigo e o pacote pmsims representam um passo crucial para a maturidade da ciência de dados em saúde, garantindo que os modelos preditivos sejam construídos sobre bases estatísticas sólidas e com garantia de desempenho no mundo real.