A note on closed-form solutions for estimating sample size when externally validating a binary prediction model based on $C$-statistic precision

Resumo Técnico: Soluções de Forma Fechada para Estimação do Tamanho da Amostra na Validação Externa de Modelos Preditivos Binários

Declaração do Problema
A validação externa é uma etapa crítica para determinar se os modelos preditivos clínicos para desfechos binários são adequados para uso. Um requisito fundamental para uma validação adequada é um tamanho de amostra suficiente para estimar com precisão as métricas de desempenho do modelo, especificamente o estatístico C (equivalente à Área Sob a Curva ROC). Embora Riley et al. tenham proposto anteriormente fórmulas para determinar o tamanho mínimo de amostra necessário para estimar o estatístico C com uma precisão desejada, sua abordagem dependia de uma solução numérica iterativa. Isso foi necessário devido à suposição de que um rearranjo algébrico direto da fórmula de Newcombe para o erro padrão do estatístico C, $SE(C)$, era "impossível". Consequentemente, as implementações de software existentes (em R e Stata) utilizam métodos iterativos computacionalmente intensivos para resolver o tamanho da amostra ($N$).

Metodologia
Os autores desafiam a suposição de que uma solução de forma fechada é inatingível. Eles tentaram sistematicamente rearranjar algebricamente a fórmula de Newcombe para resolver $N$ como uma função do estatístico C ($C$), da proporção antecipada de eventos do desfecho ($\phi$) e do erro padrão alvo ($SE(C)$).

A metodologia empregou duas categorias distintas de ferramentas computacionais:

1. Sistemas de Álgebra Computacional (CAS): Os autores utilizaram software comercial (Mathematica 12.0) e de código aberto (Maxima 23.05.1) para realizar manipulação simbólica, elevar a equação ao quadrado, simplificar frações e resolver raízes.
2. Modelos de Inteligência Artificial (IA): Os autores solicitaram a vários Modelos de Linguagem Grande (LLMs), incluindo o Sonar da Perplexity, o Claude Sonnet 4.0 da Anthropic, o GPT 4.1 da OpenAI, o Grok 3 Beta da xAI, o Gemini 2.5 Pro do Google e o MathGPT. Os modelos foram instruídos a derivar uma solução de forma fechada, identificar padrões repetidos para substituição e verificar os resultados numericamente.

Os autores notaram que, embora os modelos de IA tenham gerado com sucesso estruturas algébricas, frequentemente exigiram verificação e correção manuais, pois alguns modelos produziram resultados algebricamente plausíveis, mas numericamente incorretos, ou falharam em simplificar expressões de forma ótima.

Principais Contribuições
A contribuição primária deste trabalho é a apresentação de sete soluções de forma fechada novas para calcular o tamanho de amostra necessário ($N$). Essas soluções foram derivadas utilizando diferentes caminhos computacionais (CAS e vários modelos de IA), resultando em fórmulas estruturalmente distintas, mas matematicamente equivalentes.

Aspectos chave da derivação incluem:

• Equivalência Matemática: Apesar das formas algébricas diferentes (algumas utilizando estruturas de fórmula quadrática, outras envolvendo substituições complexas), todas as sete soluções produzem estimativas numéricas idênticas para $N$.
• Verificação: Os autores validaram essas soluções contra o método iterativo utilizado por Riley et al. em cinco exemplos ilustrativos e uma análise de sensibilidade baseada em grade envolvendo 450 combinações de parâmetros ($C$ de 0,55 a 0,95 e $\phi$ de 0,01 a 0,5). Em todos os casos, as soluções de forma fechada corresponderam aos resultados iterativos (com diferenças absolutas $\le 1$ devido às convenções de arredondamento para inteiros).
• Implementação: Os autores fornecem funções de código R implementando todas as sete soluções de forma fechada e o método iterativo original.

Resultados

• Precisão: As soluções de forma fechada produzem estimativas de tamanho de amostra idênticas à abordagem iterativa estabelecida.
• Eficiência Computacional: Uma análise de benchmark revelou uma disparidade massiva de desempenho. As soluções de forma fechada foram, em média, 148.000 a 264.000 vezes mais rápidas no tempo de execução mediano do que a implementação iterativa.
• Variância de Desempenho: Entre as soluções de forma fechada, aquelas derivadas via IA (especificamente GPT 4.1 e MathGPT) demonstraram tempos de execução ligeiramente mais rápidos em comparação com aquelas derivadas via CAS tradicionais (Mathematica e Maxima), embora todas operassem dentro da mesma faixa de desempenho de "nanossegundos".
• Robustez: As soluções permaneceram estáveis em um amplo espaço de parâmetros, sem instabilidade numérica observada.

Significado e Alegações
O artigo afirma que a existência de soluções de forma fechada transforma o cálculo de tamanhos de amostra de validação de uma tarefa iterativa computacionalmente intensiva para um cálculo direto e instantâneo. Embora a diferença de velocidade seja negligenciável para um único cálculo, os autores destacam que a eficiência e a estabilidade das soluções de forma fechada são críticas para tarefas computacionalmente intensivas, tais como:

• Análises de sensibilidade envolvendo buscas em grade.
• Estudos de simulação extensivos onde a função é chamada milhões de vezes.

Os autores recomendam a solução derivada pelo MathGPT para uso rotineiro. Eles argumentam que essa formulação específica é a mais "elegante", reduzindo a equação final a uma forma quadrática compacta por meio de duas variáveis intermediárias ($A$ e $\delta$). Essa modularidade minimiza o risco de erros de transcrição durante a codificação e oferece clareza algébrica superior em comparação com os polinômios de alto grau expandidos encontrados nas soluções derivadas por CAS.

Finalmente, o artigo observa que, embora a inversão da fórmula de Newcombe seja única em sua complexidade dentro do framework de Riley et al., a estratégia de alavancar CAS e IA para resolver problemas algébricos "intratáveis" é amplamente aplicável a outros desafios bioestatísticos onde a complexidade matemática historicamente impediu o desenvolvimento de soluções exatas. Os autores alertam, no entanto, que as ferramentas de IA exigem avaliação humana cuidadosa, pois são propensas a gerar derivações que soam plausíveis, mas são matematicamente falhas.