Resumo Técnico: Validação do Pacote R pmsims para Estimativa de Tamanho de Amostra em Modelos de Predição Clínica

1. O Problema

O desenvolvimento de modelos de predição clínica confiáveis e generalizáveis depende criticamente da determinação de um tamanho de amostra adequado. Amostras insuficientes podem levar a modelos superajustados (overfitted), com calibração pobre e discriminação reduzida, comprometendo a utilidade clínica.

As abordagens atuais enfrentam duas limitações principais:

• Ferramentas Analíticas (ex: pmsampsize): Baseiam-se em fórmulas fechadas que assumem preditores linearmente especificados, covariáveis normalmente distribuídas e estimativa de máxima verossimilhança. Elas frequentemente falham em cenários do mundo real com não-linearidades, interações complexas e estruturas de correlação intricadas. Além disso, focam no critério de "média" (desempenho esperado), ignorando a variabilidade inerente a amostras finitas, o que pode subestimar o risco de subdesempenho.
• Ferramentas de Simulação (ex: samplesizedev): Embora mais flexíveis, muitas são limitadas a tipos específicos de modelos (logística/Cox) e geradores de dados. A busca por tamanho de amostra via simulação "ingênua" (busca em grade ou biseção determinística) é computacionalmente custosa e ineficiente, exigindo um número excessivo de ajustes de modelo para cobrir o espaço de tamanhos de amostra.

Existe uma lacuna de ferramentas práticas que ofereçam uma estimativa de tamanho de amostra baseada em simulação, flexível para diversos tipos de modelos e mecanismos de geração de dados, mas que seja computacionalmente eficiente.

2. Metodologia

O artigo apresenta e valida o pacote R pmsims, que utiliza Modelagem de Superfície de Resposta via Processos Gaussianos (GP) para otimizar a busca de tamanho de amostra.

Componentes Principais do pmsims:

1. Processo de Geração de Dados: Suporta resultados binários, contínuos e de sobrevivência. Os preditores são simulados como variáveis normais padronizadas, com coeficientes ajustados para atingir prevalências de eventos e métricas de desempenho de longo prazo (ex: C-estatística, $R^2$) específicas.
2. Procedimento de Ajuste do Modelo: Utiliza regressão logística, linear e de riscos proporcionais (Cox) como modelos padrão.
3. Métricas de Desempenho: Avalia discriminação (AUC/C-índice) e calibração (inclinação da calibração).
4. Critérios de Agregação:
   • Média: O desempenho esperado deve exceder o limite.
   • Garantia (Assurance): O desempenho deve exceder o limite com alta probabilidade (ex: 80%), incorporando a variabilidade da amostra de treinamento.

Motores de Busca Comparados:

O estudo comparou três motores de busca implementados no pacote para encontrar o tamanho de amostra mínimo ($n^*$):

1. GP (Processo Gaussiano): Um método adaptativo baseado em otimização Bayesiana. Usa um modelo substituto (surrogate) para aproximar a relação entre tamanho de amostra e desempenho. Seleciona iterativamente os próximos pontos de avaliação onde a incerteza do modelo é maior ou onde a função de aquisição é maximizada, reduzindo drasticamente o número de simulações necessárias.
2. Biseção (Determinística): Um algoritmo clássico que divide o intervalo de busca ao meio. É determinístico e não aproveita a estrutura da função de desempenho para reduzir o espaço de busca de forma inteligente.
3. Híbrido (GP-BS): Combina uma busca de biseção grosseira inicial para estreitar o intervalo, seguida por uma busca adaptativa guiada pelo GP dentro desses limites mais apertados.

Desenho da Simulação:

• Aim 1: Comparação dos três motores (GP, Biseção, Híbrido) em diversos cenários (tipos de resultado, dimensionalidade $p=10, 100$, prevalência/taxa de evento, métricas-alvo) com orçamentos de simulação ($B$) variando de 200 a 2000.
• Aim 2: Benchmarking do melhor motor (GP) contra ferramentas existentes (pmsampsize e samplesizedev) em cenários realistas, avaliando o desvio do desempenho alcançado em conjuntos de validação independentes de 30.000 observações.

3. Contribuições Chave

1. Inovação Algorítmica: Introdução de Processos Gaussianos como motor de busca para estimativa de tamanho de amostra em predição clínica, substituindo buscas exaustivas ou determinísticas por uma abordagem adaptativa e eficiente.
2. Flexibilidade Generalizada: O pacote permite que pesquisadores definam seus próprios processos de geração de dados e modelos, superando as restrições de ferramentas analíticas que exigem pressupostos rígidos.
3. Validação Rigorosa: Um estudo de simulação abrangente que valida o método contra benchmarks analíticos e de simulação, cobrindo resultados binários, contínuos e de sobrevivência.
4. Reprodutibilidade: Disponibilização do pacote pmsims (versão 0.5.0) como código aberto, facilitando a adoção de planejamento de amostras baseado em princípios.

4. Resultados

Comparação de Motores (Aim 1)

• Estabilidade: O motor baseado em GP produziu consistentemente as estimativas de tamanho de amostra mais estáveis (menor Coeficiente de Variação - CV) em todos os tipos de resultado.
• Desempenho em Cenários Difíceis: A vantagem do GP foi mais pronunciada em cenários de baixo sinal (baixa prevalência, baixa $R^2$) e alta dimensionalidade ($p=100$).
• Orçamento e Replicação:
  • Um orçamento total de simulação de $B \approx 1000$ e $\kappa = 20$ replicatas por avaliação representaram um ponto de equilíbrio eficiente entre precisão e custo computacional. Ganhos adicionais além desse ponto foram mínimos.
  • O motor de biseção determinística foi consistentemente o pior desempenho, exigindo muitas mais avaliações de modelo para atingir estabilidade similar.
  • O motor híbrido (GP-BS) foi competitivo, mas o GP puro geralmente superou-o, exceto em configurações muito específicas de calibração com agregação por garantia em cenários binários de baixa prevalência.

Benchmarking (Aim 2)

• Precisão: O pmsims (critério de média) alcançou desvios de desempenho dentro de $\pm 1\%$ do alvo prescrito em resultados binários, contínuos e de sobrevivência.
• Comparação com pmsampsize: O método analítico (pmsampsize) frequentemente subestimou o tamanho de amostra necessário em cenários de alta discriminação, resultando em desvios negativos significativos (até -9.84%), indicando que os modelos desenvolvidos não atingiram a calibração desejada.
• Comparação com samplesizedev: O pmsims foi comparável ao samplesizedev em termos de precisão, mas com maior flexibilidade de implementação e eficiência computacional.
• Critério de Garantia: O pmsims com critério de garantia (80%) recomendou tamanhos de amostra maiores e mais conservadores, resultando em desvios negativos menores (mais seguros), mas com custo computacional ligeiramente maior.

5. Significância e Conclusão

O estudo conclui que o pacote pmsims, utilizando o motor de busca baseado em Processos Gaussianos, oferece uma alternativa superior tanto às fórmulas analíticas quanto às abordagens de simulação tradicionais para o planejamento de tamanho de amostra em modelos de predição clínica.

• Eficiência: Reduz drasticamente o número de ajustes de modelo necessários em comparação com buscas em grade ou biseção, tornando a simulação viável para cenários complexos.
• Robustez: Lida melhor com a variabilidade de amostras finitas e cenários de dados complexos do que as fórmulas fechadas, garantindo que os modelos desenvolvidos atinjam os critérios de desempenho desejados (discriminação e calibração) em populações reais.
• Recomendação Prática: Para aplicações práticas, recomenda-se o uso do motor GP com pelo menos 20 replicatas por avaliação e um orçamento de simulação de cerca de 1000 avaliações, ajustando o critério para "garantia" quando a robustez à variabilidade da amostra for prioritária.

Este trabalho preenche uma lacuna crítica na metodologia de predição clínica, fornecendo uma ferramenta acessível e rigorosa para justificar tamanhos de amostra, o que é essencial para a confiabilidade e segurança dos modelos de decisão clínica.