Surrogate-assisted optimal sampling for risk prediction under measurement constraints

Sintesi Tecnica: Campionamento ottimale assistito da surrogati per la predizione del rischio sotto vincoli di misurazione

Contesto del Probleamento
In molti scenari di predizione del rischio, come l'analisi delle cartelle cliniche elettroniche (EHR), sono disponibili covariate e un indicatore surrogato della risposta (ad esempio, codici diagnostici) per una vasta popolazione target, ma la vera risposta è costosa da accertare e osservata solo per un sottoinsieme limitato. Ciò crea un problema di progettazione: come allocare un budget di misurazione fisso per selezionare quali osservazioni debbano avere le proprie risposte reali misurate per costruire un modello di predizione ottimale.

I metodi di sottocampionamento esistenti affrontano spesso limitazioni in questo contesto. Il campionamento casuale semplice (SRS) non riesce a sfruttare l'eterogeneità dell'informatività. I metodi che ottimizzano la stima dei parametri (ad esempio, Wang et al., 2018) richiedono risposte osservate per progettare le probabilità di campionamento, che non sono disponibili per il gruppo non etichettato. Altre metodologie (ad esempio, Shen & Ning, 2025; Lee et al., 2023) si concentrano sulla minimizzazione dell'errore quadratico medio (MSE) dei parametri o delle predizioni, il che potrebbe non allinearsi direttamente con la performance della predizione del rischio binario. Inoltre, molti metodi esistenti assumono che i surrogati identifichino perfettamente i casi positivi, una condizione che potrebbe non sussistere nella pratica.

Metodologia
Gli autori propongono un framework di campionamento ottimale assistito da surrogati progettato specificamente per la predizione del rischio binario sotto vincoli di misurazione.

1. Setting:

   • Sia $y_i \in \{0, 1\}$ la vera risposta e $s_i$ un indicatore surrogato dove $s_i=1 \implies y_i=1$.
   • Le osservazioni con $s_i=1$ sono casi positivi confermati con risposte note.
   • Le osservazioni con $s_i=0$ sono non etichettate (che contengono sia veri positivi che negativi). L'obiettivo è selezionare un sottoinsieme di queste osservazioni con $s_i=0$ per la misurazione della risposta.
   • Un budget di misurazione $C$ limita il numero totale di osservazioni campionate dal gruppo $s_i=0$.

2. Stima:

   • Un modello di predizione $p(x, \beta)$ stima $P(Y=1|x)$.
   • Il parametro del modello $\beta$ è stimato minimizzando una Perdita di Cross-Entropia Pesata per Probabilità Inversa (IPW):
     $$L_N(\beta) = -\sum_{i=1}^N \frac{\delta_i}{\pi_T(x_i)} [y_i \log p(x_i, \beta) + (1-y_i) \log(1-p(x_i, \beta))]$$
     dove $\delta_i$ è l'indicatore di campionamento e $\pi_T(x_i)$ è la probabilità totale di campionamento.

3. Design di Campionamento Ottimale:

   • Gli autori derivano il termine principale della perdita di cross-entropia attesa fuori dal campione, che dipende dalla probabilità di campionamento $\pi(z)$ per il gruppo $s_i=0$.
   • La probabilità di campionamento ottimale è derivata minimizzando l'analogo empirico di questo termine principale soggetto al vincolo di budget.
   • La soluzione assume la forma:
     $$\hat{\pi}_i \propto \sqrt{a_i(\hat{\beta})}$$
     dove $a_i(\hat{\beta})$ rappresenta il contributo della $i$-esima osservazione alla varianza asintotica della perdita di cross-entropia, e $\hat{\beta}$ è uno stimatore preliminare.
   • Procedura in due fasi: Poiché $\hat{\beta}$ è inizialmente sconosciuto, gli autori propongono un algoritmo in due fasi:
     1. Ottenere uno stimatore preliminare $\tilde{\beta}$ utilizzando un campione pilota o un campionamento casuale semplice.
     2. Calcolare le probabilità di campionamento ottimali $\hat{\pi}$ basate su $\tilde{\beta}$ e ricampionare/misurare le risposte per adattare il modello finale.

4. Proprietà Teoriche:

   • Sotto condizioni di regolarità (spazio dei parametri compatto, regolarità, invertibilità dell'Hessiana), lo stimatore proposto $\hat{\beta}_{\pi}$ è dimostrato essere consistente e asintoticamente normale.
   • Teorema 3 stabilisce che il design proposto minimizza il termine di ordine principale della perdita di cross-entropia attesa fuori dal campione tra tutte le strategie di campionamento ammissibili con lo stesso budget.

Contributi Chiave

1. Applicabilità Generale: Il metodo si applica a una classe generale di modelli di predizione del rischio parametrici smooth, non limitata alla regressione logistica o a specifici Modelli Lineari Generalizzati (GLM).
2. Fattibilità sotto Vincoli: Il design non richiede le vere risposte dalle osservazioni target non etichettate durante la fase di progettazione, affidandosi solo alle covariate, al surrogato e a uno stimatore preliminare.
3. Criterio Orientato alla Predizione: A differenza dei metodi esistenti che minimizzano l'MSE della stima dei parametri o l'MSE della predizione, questo framework ottimizza direttamente la perdita di cross-entropia attesa, allineando la strategia di campionamento con l'obiettivo della predizione del rischio binario.

Risultati
Il paper valida il metodo attraverso estese simulazioni e due applicazioni su dati reali:

• Simulazioni:

  • Surrogati Corretti: Quando i surrogati identificano correttamente i casi positivi ($P(Y=1|S=1)=1$), il metodo CE proposto raggiunge la più bassa perdita di cross-entropia e un MSE competitivo, sensibilità e specificità rispetto al campionamento ottimale basato su MSE (Lee et al., 2023), OSCA e SRS.
  • Surrogati Errati (Misspecified): Quando l'assunzione $P(Y=1|S=1)=1$ è violata (ovvero esistono falsi positivi nel gruppo dei surrogati), il metodo CE dimostra una maggiore robustezza. Mantiene una perdita di cross-entropia inferiore e una migliore stabilità della classificazione rispetto ai competitor, la cui performance degrada significativamente sotto la contaminazione da falsi positivi.
  • Esiti Rari: In uno scenario con bassa prevalenza ($\approx 5\%$) e assenza di informazioni sul surrogato, il metodo CE supera SRS e OSCA (che si riduce a SRS in questo caso) ed evita la degenerazione numerica osservata nel metodo basato su MSE.

• Applicazioni su Dati Reali:

  • Predizione della Depressione (MIMIC-III): Utilizzando i record di ammissione in terapia intensiva, il metodo CE ha costantemente ottenuto una perdita di cross-entropia inferiore e un AUC più elevato rispetto ai metodi concorrenti attraverso vari budget di campionamento ($C=100$ a $400$).
  • Predizione dell'Ictus (Kaggle): In un contesto a bassa prevalenza senza indicatori surrogati, il metodo CE ha fornito le predizioni più stabili e l'AUC più elevato tra i metodi di sottocampionamento, avvicinandosi strettamente alle prestazioni del benchmark a dataset completo.

Significatività e Rivendicazioni
Il paper sostiene che il framework proposto offre una soluzione teoricamente fondata e praticamente efficace per la predizione del rischio sotto vincoli di risorse. Puntando direttamente alla perdita di cross-entropia, il metodo assicura che il design di campionamento dia priorità alle osservazioni più informative per l'accuratezza predittiva piuttosto che per la stima dei parametri. Gli autori sottolineano la robustezza del metodo alla misspecification del surrogato e la sua capacità di funzionare efficacemente anche in scenari di esiti rari dove le strategie tradizionali di campionamento ottimale potrebbero fallire. Il lavoro colma il divario tra l'experimental design vincolato dalla misurazione e la performance di classificazione binaria, fornendo una strategia vitale per scenari in cui l'etichettatura è costosa e i surrogati sono imperfetti.