Surrogate-assisted optimal sampling for risk prediction under measurement constraints

Resumo Técnico: Amostragem ótima assistida por substitutos para predição de risco sob restrições de medição

Contexto do Problema
Em muitos cenários de predição de risco, como a análise de registros eletrônicos de saúde (EHR), covariáveis e um substituto da resposta (ex: códigos de diagnóstico) estão disponíveis para uma grande população alvo, mas a resposta verdadeira é dispendiosa para ser verificada e observada apenas para um subconjunto limitado. Isso cria um problema de design: como alocar um orçamento fixo de medição para selecionar quais observações devem ter suas respostas verdadeiras medidas para construir um modelo de predição ideal.

Os métodos de subamostragem existentes frequentemente enfrentam limitações neste cenário. A Amostragem Aleatória Simples (SRS) falha em explorar a heterogeneidade de informatividade. Métodos que otimizam a estimativa de parâmetros (ex: Wang et al., 2018) exigem respostas observadas para projetar as probabilidades de amostragem, as quais não estão disponíveis para o grupo não rotulado. Outras abordagens (ex: Shen & Ning, 2025; Lee et al., 2023) focam em minimizar o Erro Quadrático Médio (MSE) de parâmetros ou predições, o que pode não se alinhar diretamente com o desempenho de predição de risco binário. Além disso, muitos métodos existentes assumem que os substitutos identificam perfeitamente casos positivos, uma condição que pode não se sustentar na prática.

Metodologia
Os autores propõem um framework de amostragem ótima assistida por substitutos projetado especificamente para predição de risco binário sob restrições de medição.

1. Configuração:

   • Seja $y_i \in \{0, 1\}$ a resposta verdadeira e $s_i$ um indicador substituto onde $s_i=1 \implies y_i=1$.
   • Observações com $s_i=1$ são casos positivos confirmados com respostas conhecidas.
   • Observações com $s_i=0$ são não rotuladas (contendo tanto verdadeiros positivos quanto negativos). O objetivo é selecionar um subconjunto dessas observações $s_i=0$ para medição da resposta.
   • Um orçamento de medição $C$ limita o número total de observações amostradas do grupo $s_i=0$.

2. Estimativa:

   • Um modelo de predição $p(x, \beta)$ estima $P(Y=1|x)$.
   • O parâmetro do modelo $\beta$ é estimado minimizando uma Perda de Entropia Cruzada com Pesos de Probabilidade Inversa (IPW):
     $$L_N(\beta) = -\sum_{i=1}^N \frac{\delta_i}{\pi_T(x_i)} [y_i \log p(x_i, \beta) + (1-y_i) \log(1-p(x_i, \beta))]$$
     onde $\delta_i$ é o indicador de amostragem e $\pi_T(x_i)$ é a probabilidade total de amostragem.

3. Design de Amostragem Ótima:

   • Os autores derivam o termo de primeira ordem da esperança da perda de entropia fora da amostra, que depende da probabilidade de amostragem $\pi(z)$ para o grupo $s_i=0$.
   • A probabilidade de amostragem ótima é derivada minimizando o contraparte empírico deste termo de primeira ordem sujeito à restrição de orçamento.
   • A solução assume a forma:
     $$\hat{\pi}_i \propto \sqrt{a_i(\hat{\beta})}$$
     onde $a_i(\hat{\beta})$ representa a contribuição da $i$-ésima observação para a variância assintótica da perda de entropia cruzada, e $\hat{\beta}$ é um estimador preliminar.
   • Procedimento de Dois Passos: Como $\hat{\beta}$ é inicialmente desconhecido, os autores propõem um algoritmo de dois passos:
     1. Obter um estimador preliminar $\tilde{\beta}$ usando uma amostra piloto ou amostragem aleatória simples.
     2. Calcular as probabilidades de amostragem ótima $\hat{\pi}$ baseadas em $\tilde{\beta}$ e reamostrar/medir as respostas para ajustar o modelo final.

4. Propriedades Teóricas:

   • Sob condições de regularidade (espaço de parâmetros compacto, suavidade, invertibilidade da Hessiana), o estimador proposto $\hat{\beta}_{\pi}$ mostra-se consistente e assintoticamente normal.
   • O Teorema 3 estabelece que o design proposto minimiza o termo de ordem principal da esperança da perda de entropia fora da amostra entre todos os estratégias de amostragem admissíveis com o mesmo orçamento.

Principais Contribuições

1. Aplicabilidade Geral: O método aplica-se a uma classe geral de modelos de predição de risco paramétricos suaves, não se restringindo à regressão logística ou Modelos Lineares Generalizados (GLMs) específicos.
2. Viabilidade sob Restrições: O design não requer respostas verdadeiras das observações não rotuladas alvo durante a etapa de design, baseando-se apenas em covariáveis, o substituto e um estimador preliminar.
3. Critério Orientado para Predição: Diferente dos métodos existentes que minimizam o MSE de estimativa de parâmetros ou o MSE de predição, este framework otimiza diretamente a esperança da perda de entropia cruzada, alinhando a estratégia de amostragem com o objetivo de predição de risco binário.

Resultados
O artigo valida o método através de extensas simulações e duas aplicações de dados reais:

• Simulações:

  • Substitutos Corretos: Quando os substitutos identificam corretamente os casos positivos ($P(Y=1|S=1)=1$), o método de Entropia Cruzada (CE) proposto alcança a menor perda de entropia cruzada e um MSE, sensibilidade e especificidade competitivos em comparação com a amostragem ótima baseada em MSE (Lee et al., 2023), OSCA e SRS.
  • Substitutos Mal Especificados: Quando a suposição $P(Y=1|S=1)=1$ é violada (ou seja, existem falsos positivos no grupo substituto), o método CE demonstra maior robustez. Ele mantém uma perda de entropia cruzada menor e melhor estabilidade de classificação comparado aos concorrentes, cujo desempenho degrada significativamente sob contaminação por falsos positivos.
  • Resultados Raros: Em um cenário de baixa prevalência ($\approx 5\%$) e sem informação de substituto, o método CE supera o SRS e o OSCA (que se reduz a SRS neste caso) e evita a degenerescência numérica observada no método baseado em MSE.

• Aplicações de Dados Reais:

  • Predição de Depressão (MIMIC-III): Usando registros de admissão na UTI, o método CE consistentemente alcançou menor perda de entropia cruzada e maior AUC que os métodos concorrentes em vários orçamentos de amostragem ($C=100$ a $400$).
  • Predição de AVC (Kaggle): Em um cenário de baixa prevalência sem indicadores substitutos, o método CE forneceu as predições mais estáveis e o maior AUC entre os métodos de subamostragem, aproximando-se de perto do desempenho do benchmark de dados completos.

Significância e Alegações
O artigo afirma que o framework proposto oferece uma solução teoricamente fundamentada e praticamente eficaz para a predição de risco sob restrições de recursos. Ao visar diretamente a perda de entropia cruzada, o método garante que o design de amostragem priorize observações mais informativas para a precisão preditiva, em vez da estimativa de parâmetros. Os autores enfatizam a robustez do método à má especificação do substituto e sua capacidade de funcionar efetivamente mesmo em cenários de resultados raros, onde estratégias tradicionais de amostragem ótima podem falhar. O trabalho preenche a lacuna entre o design experimental com restrição de medição e o desempenho de classificação binária, fornecendo uma estratégia viável para cenários onde a rotulagem é cara e os substitutos são imperfeitos.