Surrogate-assisted optimal sampling for risk prediction under measurement constraints

Technische Samenvatting: Surrogaat-ondersteunde optimale bemonstering voor risicovoorspelling onder meetbeperkingen

Probleemcontext
In veel scenario's voor risicovoorspelling, zoals de analyse van elektronische patiëntendossiers (EPD), zijn covariaten en een respons-surrogaat (bijv. diagnostische codes) beschikbaar voor een grote doelpopulatie, maar is de werkelijke respons kostbaar om vast te stellen en wordt deze slechts voor een beperkte subset waargenomen. Dit creëert een ontwerpprobleem: hoe te alloceren aan een vaste budget voor metingen om te selecteren welke observaties een meting van hun werkelijke respons moeten ondergaan om een optimaal voorspellingsmodel te bouwen.

Bestaande subsampling-methoden kampen vaak met beperkingen in deze setting. Eenvoudige steekproeftrekking (Simple Random Sampling, SRS) faalt omdat het geen gebruik maakt van de heterogeniteit in informatieve waarde. Methoden die de parameterchatting optimaliseren (bijv. Wang et al., 2018) vereisen geobserveerde responsen om de steekproefkansen te ontwerpen, welke niet beschikbaar zijn voor de ongelabelde groep. Andere benaderingen (bijv. Shen & Ning, 2025; Lee et al., 2023) richten zich op het minimaliseren van de gemiddelde kwadratische fout (MSE) van parameters of voorspellingen, wat mogelijk niet direct overeenkomt met de prestaties van binaire risicovoorspelling. Bovendien gaan veel bestaande methoden uit van de aanname dat surrogaten positieve gevallen perfect identificeren, een conditie die in de praktijk mogelijk niet standhoudt.

Methodologie
De auteurs stellen een surrogaat-ondersteund optimaal bemonsteringskader voor, specifiek ontworpen voor binaire risicovoorspelling onder meetbeperkingen.

1. Setting:

   • Laat $y_i \in \{0, 1\}$ de werkelijke respons zijn en $s_i$ een surrogaatindicator waarbij $s_i=1 \implies y_i=1$.
   • Observaties met $s_i=1$ zijn bevestigde positieve gevallen met bekende responsen.
   • Observaties met $s_i=0$ zijn ongelabeld (bevattende zowel ware positieven als negatieven). Het doel is om een subset van deze $s_i=0$ observaties te selecteren voor responsmeting.
   • Een budget voor metingen $C$ beperkt het totaal aantal geselecteerde observaties uit de $s_i=0$ groep.

2. Schatting:

   • Een voorspellingsmodel $p(x, \beta)$ schat $P(Y=1|x)$.
   • De modelparameter $\beta$ wordt geschat door het minimaliseren van een Inverse Probability Weighted (IPW) Cross-Entropy Loss:
     $$L_N(\beta) = -\sum_{i=1}^N \frac{\delta_i}{\pi_T(x_i)} [y_i \log p(x_i, \beta) + (1-y_i) \log(1-p(x_i, \beta))]$$
     waarbij $\delta_i$ de steekproefindicator is en $\pi_T(x_i)$ de totale steekproefkans.

3. Optimaal Bemonsteringsontwerp:

   • De auteurs leiden de leidende term af van de verwachte out-of-sample cross-entropy loss, die afhankelijk is van de steekproefkans $\pi(z)$ voor de $s_i=0$ groep.
   • De optimale steekproefkans wordt afgeleid door de empirische tegenhanger van deze leidende term te minimaliseren onder de budgetrestrictie.
   • De oplossing neemt de vorm aan:
     $$\hat{\pi}_i \propto \sqrt{a_i(\hat{\beta})}$$
     waarbij $a_i(\hat{\beta})$ de bijdrage van de $i$-de observatie aan de asymptotische variantie van de cross-entropy loss vertegenwoordigt, en $\hat{\beta}$ een voorlopige schatter is.
   • Tweestaps-procedure: Omdat $\hat{\beta}$ aanvankelijk onbekend is, stellen de auteurs een tweestapsalgoritme voor:
     1. Verkrijg een voorlopige schatter $\tilde{\beta}$ met behulp van een pilot-steekproef of eenvoudige steekproeftrekking.
     2. Bereken de optimale steekproefkansen $\hat{\pi}$ op basis van $\tilde{\beta}$ en her-sample/meet responsen om het definitieve model te fitten.

4. Theoretische Eigenschappen:

   • Onder regulariteitsvoorwaarden (compacte parameterruimte, gladheid, inversibiliteit van de Hessian) wordt aangetoond dat de voorgestelde schatter $\hat{\beta}_{\pi}$ consistent en asymptotisch normaal is.
   • Theorem 3 stelt vast dat het voorgestelde ontwerp de leidende orde term van de verwachte out-of-sample cross-entropy loss minimaliseert onder alle toelaatbare bemonsteringsstrategieën met hetzelfde budget.

Belangrijkste Bijdragen

1. Algemene Toepasbaarheid: De methode is toepasbaar op een algemene klasse van gladde parametrische risicovoorspellingsmodellen, niet beperkt tot logistische regressie of specifieke Generalized Linear Models (GLMs).
2. Haalbaarheid onder Beperkingen: Het ontwerp vereist geen werkelijke responsen van de doelongelabelde observaties tijdens de ontwerpfase, maar vertrouwt enkel op covariaten, de surrogaat en een voorlopige schatter.
3. Voorspellingsgerichte Criterium: In tegenstelling tot bestaande methoden die de MSE van parameterchatting of voorspellings-MSE minimaliseren, optimaliseert dit kader direct de verwachte cross-entropy loss, waardoor de bemonsteringsstrategie wordt afgestemd op het doel van binaire risicovoorspelling.

Resultaten
Het artikel valideert de methode via uitgebreide simulaties en twee toepassingen op echte data:

• Simulaties:

  • Correcte Surrogaten: Wanneer surrogaten correct positieve gevallen identificeren ($P(Y=1|S=1)=1$), bereikt de voorgestelde CE-methode de laagste cross-entropy loss en concurrerende MSE, sensitiviteit en specificiteit vergeleken met MSE-gebaseerde optimale bemonstering (Lee et al., 2023), OSCA en SRS.
  • Misgespecificeerde Surrogaten: Wanneer de aanname $P(Y=1|S=1)=1$ wordt geschonden (er zijn fout-positieven in de surrogaatgroep), vertoont de CE-methode superieure robuustheid. Het behoudt een lagere cross-entropy loss en betere classificatiestabiliteit vergeleken met concurrenten, wier prestaties significant verslechteren onder contaminatie door fout-positieven.
  • Zeldzame Uitkomsten: In een scenario met een lage prevalentie ($\approx 5\%$) en zonder surrogaatinformatie, presteert de CE-methode beter dan SRS en OSCA (wat reduceert tot SRS in dit geval) en vermijdt het de numerieke degeneratie die wordt waargenomen bij de MSE-gebaseerde methode.

• Toepassingen op Echte Data:

  • Depressievoorspelling (MIMIC-III): Gebruikmakend van ICU-opnamegegevens, behaalde de CE-methode consistent een lagere cross-entropy loss en een hogere AUC dan concurrerende methoden over verschillende budgetten ($C=100$ tot $400$).
  • Beroertevoorspelling (Kaggle): In een setting met lage prevalentie zonder surrogaatindicatoren, bood de CE-methode de meest stabiele voorspellingen en de hoogste AUC onder subsampling-methoden, waarbij het de prestaties van de volledige dataset-benchmark nauw benadert.

Betekenis en Claims
Het artikel claimt dat het voorgestelde kader een theoretisch gefundeerde en praktisch effectieve oplossing biedt voor risicovoorspelling onder middelenbeperkingen. Door direct te richten op de cross-entropy loss, zorgt de methode ervoor dat het bemonsteringsontwerp observaties prioriteert die het meest informatief zijn voor voorspellende nauwkeurigheid, in plaats van voor parameterchatting. De auteurs benadrukken de robuustheid van de methode tegen surrogaat-mis-specificatie en het vermogen om effectief te functioneren, zelfs in scenario's met zeldzame uitkomsten waar traditionele optimale bemonsteringsstrategieën kunnen falen. Het werk overbrugt de kloof tussen meting-beperkt experimenteel ontwerp en binaire classificatieprestaties, en biedt een levensvatbare strategie voor scenario's waarin labeling kostbaar is en surrogaten imperfect zijn.