Separation-like irregularity and sample size optimism in high-discrimination logistic prediction models

Resumo Técnico: Irregularidade Semelhante à Separação e Otimismo no Tamanho da Amostra em Modelos de Predição Logística de Alta Discriminação

Definição do Problema
O desenvolvimento de modelos de predição clínica, particularmente aqueles que utilizam regressão logística, depende fortemente de tamanhos de amostra adequados para garantir a estabilidade da calibração e evitar o sobreajuste (overfitting). Embora o framework de Riley (implementado no pacote pmsampsize do R) forneça critérios amplamente utilizados de forma fechada para determinar tamanhos mínimos de amostra baseados em alvos de encolhimento (shrinkage) globais, avaliações recentes sugerem que essas fórmulas podem tornar-se otimistas em regimes de design específicos. Especificamente, há uma preocupação de que, quando a discriminação antecipada do modelo (AUC) é alta, as recomendações de forma fechada possam subestimar o tamanho de amostra necessário para manter a estabilidade da calibração. Este artigo investiga as características operacionais da métrica de Riley ($n_{Riley}$) contra um requisito de tamanho de amostra empiricamente derivado ($n_{req}$), definido pela estabilidade do coeficiente de calibração fora da amostra, com foco específico em configurações de alta discriminação onde podem ocorrer irregularidades numéricas "semelhantes à separação".

Metodologia
Os autores conduziram um estudo de simulação de Monte Carlo abrangente para comparar as recomendações baseadas em fórmulas com os requisitos empíricos.

• Design de Simulação: O estudo utilizou uma grade fatorial cruzando quatro fatores de design:
  • Distribuições dos Preditores: Normal, exponencial (contínua assimétrica padronizada) e binária (Bernoulli).
  • Densidade de Sinal: Denso (sinal distribuído por todos os $p=10$ preditores) versus Esparso (sinal concentrado em 3 preditores, 7 de ruído).
  • Discriminação Alvo: $AUC_{target} \in \{0.70, 0.75, 0.80, 0.85, 0.90\}$.
  • Prevalência: $\phi_{target} \in \{0.05, 0.10, 0.20\}$.
• Geração de Dados: Os parâmetros (intercepto $\alpha$ e força do sinal $f$) foram calibrados via busca de raiz aninhada em uma população sintética grande ($N=1.000.000$) para garantir que os dados gerados correspondessem exatamente à prevalência e AUC alvo.
• Referência ($n_{Riley}$): Calculado usando o pacote pmsampsize com um alvo de encolhimento global de $S \geq 0.90$.
• Requisito Empírico ($n_{req}$): Definido como o menor tamanho de amostra $n$ tal que, sob amostragem de desenvolvimento repetida:
  1. O coeficiente de calibração esperado na escala logit $E(b_n) \geq 0.90$.
  2. A probabilidade de má calibração severa $Pr(b_n < 0.80) \leq 0.20$.
  • $n_{req}$ foi determinado via busca de bisseção adaptativa usando coeficientes de calibração baseados na verdade, avaliados em um conjunto de covariáveis de validação grande e fixo ($N_{val}=50.000$) para eliminar o ruído do desfecho.
• Diagnósticos de Mecanismo: No ponto $n = n_{Riley}$, o estudo registrou as frequências de não convergência, avisos de separação (riscos ajustados extremos ou log-odds) e riscos ajustados extremos para avaliar se patologias numéricas explicam as discrepâncias.
• Ilustração Aplicada: Um conjunto de dados real de predição de acidente vascular cerebral (stroke) foi utilizado para demonstrar a aplicação desses diagnósticos e a comparação entre regressão logística não penalizada e penalizada por ridge.

Principais Resultados

1. Divergência Dependente da Discriminação: Em discriminação moderada ($AUC_{target} \leq 0.75$), $n_{Riley}$ aproximou-se de $n_{req}$. No entanto, conforme a discriminação aumentava, $n_{Riley}$ subestimava cada vez mais o tamanho de amostra necessário. Em $AUC_{target} = 0.90$, a recomendação baseada em fórmula foi significativamente inferior ao requisito empírico (por exemplo, uma diferença relativa de -40,5% a -47,2%, dependendo da prevalência), levando a modelos com coeficientes de calibração bem abaixo do alvo de 0.90.
2. Robustez: O padrão primário de subestimação em alta discriminação foi robusto através de diferentes distribuições de preditores (normal, assimétrica, binária) e configurações de densidade de sinal (denso vs. esparso).
3. Mecanismo de Otimismo: Em $n = n_{Riley}$ em configurações de alta discriminação, os ajustes de regressão logística não penalizada frequentemente exibiram comportamento "semelhante à separação", apesar de reportarem convergência nominal.
   • Embora a não convergência direta tenha sido rara, a frequência de avisos de separação (riscos ou log-odds ajustados extremos) aumentou drasticamente com a AUC (atingindo ~50% em $AUC=0.90$ para baixa prevalência).
   • Isso sugere que as medidas de informação baseadas em verossimilhança (ex: $\Delta\chi^2$) usadas na aproximação de encolhimento de Riley tornam-se infladas ou perturbadas por predições quase determinísticas, levando a estimativas de encolhimento excessivamente otimistas e, consequentemente, a recomendações de tamanho de amostra insuficientes.
4. Ilustração Aplicada: No exemplo do conjunto de dados de stroke, um modelo não penalizado desenvolvido com o tamanho de amostra recomendado pela fórmula mostrou sinais de sobreajuste (coeficiente de calibração 0.802), enquanto um modelo penalizado por ridge alcançou melhor estabilidade (coeficiente 1.013), embora com um leve deslocamento para o subajuste (underfitting).

Principais Contribuições

• Mapeamento Empírico: O estudo fornece uma caracterização sistemática de onde as recomendações de tamanho de amostra de forma fechada se alinham ou divergem dos requisitos baseados em simulação, identificando a discriminação alvo (AUC) como o principal motor de otimismo em regimes de alto desempenho.
• Protocolo de Diagnóstico: Ele operacionaliza um conjunto de diagnósticos relacionados à convergência e separação (ex: riscos ajustados extremos) a serem avaliados no tamanho de amostra recomendado pela fórmula. Esses diagnósticos servem como uma ferramenta prática para detectar quando as aproximações baseadas em verossimilhança estão sendo tensionadas.
• Orientação Prática: Os autores propõem um fluxo de trabalho onde $n_{Riley}$ serve como uma base principiológica, mas é aumentado por testes de estresse de simulação direcionados e diagnósticos de instabilidade quando alta discriminação é antecipada.

Significância e Alegações
O artigo alega oferecer evidências empíricas de que a precisão das recomendações de tamanho mínimo de amostra por fórmula é uma função da discriminação antecipada. Os autores afirmam que, embora o framework de Riley permaneça uma ferramenta defensável para discriminação moderada, sua dependência de aproximações de encolhimento baseadas em verossimilhança falha em configurações de alta discriminação devido à prevalência de irregularidades numéricas semelhantes à separação.

A significância reside em fornecer uma explicação coerente para o porquê de os critérios de forma fechada tornarem-se otimistas: a verossimilhança ajustada torna-se dominada por predições quase determinísticas, enfraquecendo a conexão entre medidas de informação e o sobreajuste efetivo. Consequentemente, os autores recomendam que pesquisadores planejando modelos de alta discriminação não dependam apenas de cálculos de forma fechada, mas utilizem planejamento baseado em simulação ou estratégias de estimação penalizada, apoiadas por reporte explícito de estabilidade de calibração e diagnósticos numéricos. O estudo não pretende invalidar o framework de Riley inteiramente, mas sim definir seus limites de confiabilidade e oferecer uma abordagem baseada em mecanismos para mitigar suas limitações em regimes de alto risco específicos.