Incorporating Missing Data Considerations into Sample Size Calculations for Developing Clinical Prediction Models

Resumo Técnico: Incorporação de Considerações sobre Dados Faltantes nos Cálculos de Tamanho Amostral para o Desenvolvimento de Modelos de Predição Clínica

Declaração do Problema
Modelos de predição clínica (MPC) requerem conjuntos de dados suficientemente grandes para minimizar o sobreajuste e garantir desempenho preditivo robusto, incluindo calibração e discriminação precisas. Os métodos existentes de cálculo de tamanho amostral para o desenvolvimento de MPC (por exemplo, Riley et al., 2019; 2020) assumem implicitamente que todos os dados de preditores estão completamente observados para cada participante. No entanto, valores de preditores faltantes são ubíquos em dados de saúde. Se os dados faltantes não forem considerados durante a fase de planejamento, a aplicação de cálculos de tamanho amostral em forma fechada padrão pode resultar em um tamanho amostral efetivo insuficiente. Essa discrepância aumenta o risco de sobreajuste, degradação do modelo (má calibração, discriminação reduzida) e perda de utilidade clínica. Atualmente, não há um quadro estabelecido para integrar diretamente suposições sobre dados faltantes e estratégias de tratamento nos cálculos de tamanho amostral para o desenvolvimento de MPC.

Metodologia
Os autores propõem uma adaptação do quadro geral de cálculo de tamanho amostral baseado em simulação originalmente desenvolvido por Riley et al. (2019), que utiliza distribuições posteriores (amostrais) antecipadas. A extensão proposta incorpora explicitamente mecanismos de dados faltantes e estratégias de tratamento no processo de geração de dados.

O procedimento adaptado envolve as seguintes etapas:

1. Especificação de Suposições: Os pesquisadores devem definir o mecanismo de ausência (Ausência Completamente ao Acaso [MCAR], Ausência ao Acaso [MAR] ou Ausência Não ao Acaso [MNAR]), os padrões esperados de ausência (quais variáveis faltam conjuntamente) e a proporção antecipada de dados faltantes. Essas suposições aplicam-se tanto ao conjunto de dados de desenvolvimento quanto à população-alvo.
2. Indução de Ausência: Na simulação, dados faltantes são induzidos no conjunto de dados de desenvolvimento (e na população-alvo, se o desempenho "pragmático" for o alvo) usando especificação condicional completa (por exemplo, via a função ampute no pacote R mice).
3. Tratamento de Dados Faltantes: A estratégia de imputação planejada (por exemplo, imputação múltipla, imputação por floresta aleatória, análise de casos completos) é aplicada aos dados de desenvolvimento simulados. O MPC é então desenvolvido utilizando os dados imputados.
4. Avaliação: O modelo desenvolvido é avaliado em uma grande população-alvo (totalmente observada ou imputada, dependendo do cenário de implantação). Métricas de desempenho, incluindo inclinação de calibração, discriminação e Valor Esperado da Informação Perfeita (EVPI), são calculadas.
5. Iteração: O processo é repetido em múltiplas iterações (por exemplo, 100) para gerar distribuições posteriores das métricas de desempenho. O tamanho amostral de desenvolvimento ($N_{dev}$) é aumentado iterativamente até que as metas de desempenho desejadas (por exemplo, probabilidade de garantia de inclinação de calibração entre 0,9 e 1,1) sejam atendidas.

Para validar essa abordagem, os autores conduziram um estudo de simulação seguindo o quadro ADEMP. Eles geraram 240 cenários variando correlações de preditores, prevalência de desfecho, mecanismos de ausência (MAR/MNAR), proporções de ausência (10%–60%) e multiplicadores de tamanho amostral ($\delta$) em relação ao mínimo em forma fechada. Eles compararam vários métodos de imputação e abordagens de modelagem (regressão logística não penalizada, selecionada por AIC e penalizada por LASSO).

Principais Resultados

• Subestimação por Métodos em Forma Fechada: Quando os conjuntos de dados de desenvolvimento continham valores faltantes, os cálculos padrão de tamanho amostral em forma fechada (assumindo dados completos) resultaram em modelos com desempenho preditivo reduzido. Especificamente, a inclinação de calibração mediana frequentemente caiu abaixo do valor-alvo de 0,9, e as probabilidades de garantia (a probabilidade de alcançar uma inclinação entre 0,9 e 1,1) caíram significativamente (por exemplo, abaixo de 0,4 com 40–60% de ausência).
• Inflação do Tamanho Amostral: Para alcançar desempenho comparável ao de modelos desenvolvidos em dados totalmente observados, o tamanho amostral necessário frequentemente precisou ser inflado. Em cenários com alta ausência (por exemplo, 60%), tamanhos amostrais de até o dobro do mínimo em forma fechada foram necessários para alcançar inclinações de calibração estáveis e probabilidades de garantia adequadas.
• Impacto dos Métodos de Imputação: Embora diferentes métodos de imputação (por exemplo, imputação múltipla, floresta aleatória) tenham mostrado graus variados de degradação de desempenho, nenhum mitigou totalmente o risco de sobreajuste no tamanho amostral mínimo padrão. A análise de casos completos foi particularmente propensa ao sobreajuste.
• Papel da Penalização: A penalização LASSO melhorou a inclinação de calibração média em cenários de dados faltantes, mantendo-a frequentemente acima de 0,9 mesmo no tamanho amostral mínimo. No entanto, ela não resolveu totalmente a instabilidade (baixa probabilidade de garantia) introduzida pelos dados faltantes, reforçando a necessidade de ajustes no tamanho amostral.
• Quantificação do EVPI: O quadro de simulação permitiu o cálculo do Valor Esperado da Informação Perfeita (EVPI), quantificando a perda na utilidade clínica devido a tamanhos amostrais finitos e ausência. O aumento do tamanho amostral reduziu a lacuna no EVPI entre modelos desenvolvidos em dados imputados versus dados totalmente observados.

Aplicação Prática
Os autores ilustraram o quadro por meio de dois exemplos:

1. Com Dados de Participantes Individuais (DPI): Utilizando o banco de dados MIMIC-III para informar distribuições conjuntas e padrões de ausência. O estudo demonstrou que, no tamanho amostral mínimo em forma fechada ($N=2836$), as probabilidades de garantia eram baixas (<45%). O aumento do tamanho amostral em 50% ou 100% melhorou significativamente as inclinações de calibração e as probabilidades de garantia.
2. Sem DPI: Um cenário onde as suposições foram derivadas da literatura e do conhecimento de especialistas, em vez de dados existentes. Tendências semelhantes foram observadas, confirmando que o quadro é aplicável mesmo quando dados prévios são limitados, desde que as suposições sejam claramente articuladas.

Significado e Afirmações
O artigo afirma ser a primeira investigação sobre como suposições sobre dados faltantes e estratégias de tratamento devem ser incorporadas aos cálculos de tamanho amostral para o desenvolvimento de MPC. Os autores argumentam que dados de preditores faltantes aumentam fundamentalmente o tamanho amostral mínimo necessário para desenvolver modelos estáveis, bem calibrados e clinicamente úteis.

Eles afirmam que seu quadro adaptado baseado em simulação fornece uma "forma principiante" de determinar tamanhos amostrais mínimos que consideram a ausência diretamente, em vez de depender de ajustes post-hoc ou ignorar o problema. Embora reconheçam que especificar mecanismos de ausência pode ser desafiador, eles enfatizam que todos os cálculos de tamanho amostral dependem de suposições; a chave é torná-las explícitas.

Os autores sugerem modestamente que, na ausência de informações suficientes para executar a simulação completa, uma alternativa pragmática é inflar os cálculos de tamanho amostral em forma fechada por um fator de $1/(1 - \pi_{miss})$, embora mantenham que a abordagem baseada em simulação é preferível. Eles concluem que considerar explicitamente os dados faltantes durante a fase de planejamento do estudo é essencial para evitar estudos subdimensionados e garantir a confiabilidade dos modelos de predição clínica.