📊 statistics

Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias

Dit artikel stelt een dubbele machine learning-procedure voor op basis van invloedsfuncties om het doelrisico van black-box voorspellingsmodellen nauwkeurig te schatten onder de gezamenlijke uitdagingen van covariaatverschuiving en selectieve labeling, waarbij superieure prestaties ten opzichte van bestaande methoden wordt aangetoond in experimenten met elektronische patiëntendossiers.

Oorspronkelijke auteurs: Annie Ulichney, Amanda Coston

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Annie Ulichney, Amanda Coston

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die jarenlang een soeprecept in een specifieke keuken (de Bron) heeft geperfectioneerd. Je weet precies hoe je soep daar smaakt, omdat je elke enkele kom hebt geproefd. Nu ben je van plan om een nieuw restaurant te openen in een andere stad (de Doelgroep).

Het probleem is tweeledig:

De ingrediënten zijn anders: De nieuwe stad gebruikt andere merken groenten en kruiden. Het "smaakprofiel" van de lokale ingrediënten is anders dan in jouw eigen keuken, ook al blijft je recept (het Model) hetzelfde. Dit wordt Covariate Shift genoemd.
De proefpersonen zijn bevooroordeeld: In jouw oude keuken proefde je de soep alleen als de chef-kok besloot deze aan een VIP-gast te serveren. Als de soep aan een gewone klant werd geserveerd, kreeg jij hem nooit te proeven. Dit wordt Selective Labels genoemd.

Je wilt nu voorspellen hoe goed je soep in de nieuwe stad zal smaken. Maar je kunt niet simpelweg naar je oude VIP-proefverslagen kijken (omdat de ingrediënten anders zijn) en je kunt ook niet simpelweg naar het menu van de nieuwe stad kijken (omdat je de soep daar nog niet hebt geproefd).

Dit artikel stelt een nieuwe, slimme manier voor om de kwaliteit van de soep in de nieuwe stad te raden, nog voordat je de deuren opent.

De twee grote problemen

De auteurs leggen uit dat de meeste huidige methoden proberen slechts één van deze problemen tegelijk op te lossen:

Methode A probeert te corrigeren voor de verschillende ingrediënten, maar gaat ervan uit dat je oude proefverslagen perfect waren (negeert de VIP-bias).
Methode B probeert de VIP-bias te corrigeren, maar gaat ervan uit dat de nieuwe stad exact dezelfde ingrediënten gebruikt als de oude (negeert de verschuiving in ingrediënten).

Wanneer beide problemen tegelijkertijd optreden, geven deze methoden je een fout antwoord. Ze kunnen je vertellen dat de soep heerlijk zal zijn, terwijl de soep in werkelijkheid te zout of flauw kan zijn omdat de ingrediënten anders zijn én omdat je de kommen voor de "gewone klanten" niet hebt geproefd.

De oplossing: Een "Dubbel-Check" Recept

De auteurs hebben een nieuwe methode ontwikkeld genaamd Double Machine Learning (DML). Zie dit als een "dubbel-check" systeem dat beide problemen tegelijkertijd oplost.

Zo werkt hun "recept", met behulp van een eenvoudige analogie:

De "Wat-als" Simulatie (De Nuisance Functions):
Eerst gebruikt de methode een computer om twee dingen te simuleren:
- Hoe waarschijnlijk was het dat een kom in de oude keuken werd geproefd? (Dit corrigeert de VIP-bias).
- Hoe verhouden de nieuwe ingrediënten zich tot de oude? (Dit corrigeert de verschuiving in ingrediënten).
De "Residuele" Correctie:
In plaats van alleen de oude proeverijen te middelen, kijkt de methode naar de fouten. Het vraagt: "Voor de kommen die we wel hebben geproefd, hoeveel week onze voorspelling af?" Het past deze fouten vervolgens aan op basis van hoe waarschijnlijk het was dat ze werden geproefd en hoe verschillend de ingrediënten waren.
De "Niet-Gelabelde" Menigte:
Voor de nieuwe stad kijkt de methode naar de mensen die geen proeverij kregen (de ongelabelde data). Het gebruikt de "Wat-als" simulatie om te raden wat deze mensen zouden hebben gedacht, gebaseerd op de patronen die het in de oude keuken heeft geleerd.
De Laatste Mix:
De methode combineert de "gecorrigeerde fouten" uit de oude keuken met de "geraden meningen" uit de nieuwe stad. Door dit te doen, worden de fouten geëlimineerd. Als de computer de VIP-bias verkeerd raadt, helpt de correctie voor de verschuiving in ingrediënten om het te herstellen, en vice versa. Dit maakt de uiteindelijke voorspelling zeer stabiel en nauwkeurig.

Waarom dit ertoe doet (De Resultaten)

De auteurs hebben deze methode getest met echte gegevens uit ziekenhuizen (specifiek de eICU-database).

De Opstelling: Ze namen een medisch voorspellingsmodel dat getraind was op patiënten uit het ene ziekenhuis (Bron) en probeerden hiermee de prestaties te voorspellen in drie andere ziekenhuizen (Doelgroep) die een andere patiëntendemografie hadden (verschillende leeftijden, rassen, etc.) en verschillende regels over welke patiënten specifieke medische tests kregen (Selective Labels).
De Bevinding: Hun nieuwe "Dubbel-Check" methode was veel nauwkeuriger dan de oude methoden.
- De oude methoden zeiden vaak dat het model goed zou werken, maar ze zaten ernaast omdat ze ofwel de bias of de verschuiving misten.
- De nieuwe methode identificeerde correct wanneer het model moeite zou krijgen, waardoor een veel waarheidsgetrouwer beeld van het risico ontstond.

De Kernboodschap

Dit artikel zegt niet alleen "wees voorzichtig." Het biedt een wiskundig hulpmiddel (een specifieke formule) waarmee artsen, datawetenschappers of iedereen die AI gebruikt, kan zeggen: "Ik weet dat mijn model getraind is op Groep A, maar ik zet het in op Groep B, en ik heb slechts gedeeltelijke gegevens. Dit is de meest nauwkeurige manier om te voorspellen hoe het in werkelijkheid zal presteren."

Het is als het hebben van een kristallen bol die corrigeert voor zowel de verandering in omgeving als het feit dat je eerdere observaties incompleet waren, zodat je niet per ongeluk een slechte soep serveert aan je nieuwe klanten.

Technische Samenvatting: Voorbij de Trainingsdistributie: Evaluatie van Voorspellingen onder Distributieverschuiving en Selectiebias

Probleemstelling

Machine learning-modellen degraderen vaak bij implementatie in nieuwe omgevingen als gevolg van twee primaire, vaak samenhangende, uitdagingen: covariaatverschuiving (covariate shift) en selectieve labels (selective labels).

Covariaatverschuiving: De marginale distributie van inputkenmerken ( $P(X)$ ) verschilt tussen de trainingspopulatie (bron) en de doelpopulatie (doel), terwijl de conditionele relatie tussen kenmerken en uitkomsten ( $P(Y|X)$ ) stabiel blijft. Standaard evaluatie op een gehouden testset kan prestatiedegeneratie maskeren als fouten geconcentreerd zijn in regio's van de kenmerken die gebruikelijk zijn in de doelomgeving maar zeldzaam in de bronomgeving.
Selectieve Labels: In domeinen met hoge inzet (bijv. gezondheidszorg, kredietverlening) worden uitkomstlabels alleen waargenomen voor individuen die zijn geselecteerd door een voorafgaand beslissingsbeleid (bijv. patiënten die een diagnostische test ondergaan). Dit induceert selectiebias, aangezien de geobserveerde labels afkomstig zijn van een door besluitvorming afhankelijke subset van de populatie, waardoor de trainingsdata een onnauwkeurige reflectie vormen van de volledige doelpopulatie.

Bestaande literatuur behandelt deze problemen doorgaans geïsoleerd. Dit artikel bestudeert de gelijktijdige aanwezigheid van covariaatverschuiving en selectieve labeling, een scenario dat veel voorkomt in klinische besluitvorming waarbij modellen getraind op specifieke demografische groepen worden ingezet in diverse populaties, terwijl uitkomsten alleen worden waargenomen voor patiënten die specifieke klinische protocollen ondergaan. Het kernprobleel is het evalueren van de doelrisico (verwachte loss in de doelomgeving) van een willekeurig black-box voorspellingsmodel wanneer doeluitkomsten niet waargenomen worden en bronuitkomsten selectief waargenomen worden.

Methodologie

1. Probleemformalisering en Identificatie

De auteurs definiëren het doelrisico $\psi$ als de verwachte loss in de doelpopulatie:
$\psi := E_T [\ell(f(X), Y)]$
waarbij $f$ een vaste black-box voorspeller is en $\ell$ een algemene loss-functie.

Om $\psi$ te identificeren uit observeerbare data, vertrouwt het artikel op vier standaardveronderstellingen:

Selectie op Observeerbare Kenmerken (Bron): Conditioneel op kenmerken $X$ , is de labelwaarneembaarheid $D$ onafhankelijk van de uitkomst $Y$ in de bronpopulatie ( $Y \perp\!\!\!\perp D \mid X, R=1$ ).
Covariaatverschuiving: De conditionele distributie van uitkomsten gegeven kenmerken is invariant over domeinen ( $P_S(Y|X) = P_T(Y|X)$ ).
Positiviteit: Elk kenmerkprofiel heeft een positieve kans om geobserveerd te worden in de bronpopulatie.
Begrensde Likelihood Ratio: De dichtheidsratio tussen doel- en brondistributies is begrensd.

Onder deze veronderstellingen wordt het doelrisico geïdentificeerd via twee equivalente expressies (Propositie 3.5):

Doelverwachting: $\psi = E_T [\mu(X)]$ , waarbij $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$ de conditionele verwachte loss in de bron is.
Bronverwachting met Correcties: $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$ , waarbij $\frac{p_T(X)}{p_S(X)}$ corrigeert voor covariaatverschuiving en $\frac{D}{\pi_S(X)}$ corrigeert voor selectieve labels via inverse propensity weighting.

2. Efficient Influence Function (EIF)

De auteurs leiden de Efficient Influence Function (EIF) af voor de doelrisico-estimand (Propositie 3.6). De EIF, $\phi(Z; P)$ , combineert signalen van zowel de bron- als de doeldistributies:
$\phi(Z; P) = \frac{R D}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi)$
waarbij:

$R$ de domeinindicator is (1 voor bron, 0 voor doel).
$D$ de labelwaarneembaarheidsindicator is.
$\pi(X)$ de gepoolde propensity score is.
$g(X)$ de domein propensity score is.
$\rho$ de proportie van de doelpopulatie is.
$L$ de geobserveerde loss is.

De eerste term vertegenwoordigt een residuele correctie voor gelabelde bronunits, gewogen om ze naar de doeldistributie te transporteren. De tweede term is een plug-in schatting voor ongelabelde doelunits, gecentreerd door het doelrisico.

3. Double Machine Learning (DML) Estimator

Gebruikmakend van de EIF, stelt het artikel een Double Machine Learning (DML) estimator voor (Vergelijking 7):
$\hat{\psi} = \frac{1}{n} \sum_{i=1}^n \left[ \frac{R_i D_i}{\hat{\pi}(X_i)\hat{g}(X_i)} (L_i - \hat{\mu}(X_i)) + \frac{1-R_i}{\hat{\rho}} \hat{\mu}(X_i) \right]$
Belangrijke kenmerken van deze estimator zijn onder meer:

Bias-correctie: Het gebruikt de EIF-structuur om eerstvolorde-biases te corrigeren die voortvloeien uit fouten in het schatten van nuisance-functies ( $\mu, \pi, g$ ).
Sample Splitting/Cross-fitting: Nuisance-functies worden geschat op een hulp-sample die onafhankelijk is van de evaluatie-sample om asymptotische normaliteit te waarborgen.
Robuustheid: De estimator is semiparametrisch efficiënt en $\sqrt{n}$ -consistent, mits de nuisance-estimators convergeren met een snelheid van $o_p(n^{-1/4})$ . Dit maakt het gebruik van flexibele, niet-parametrische machine learning-methoden (bijv. random forests, neurale netwerken) voor nuisance-schatting mogelijk zonder parametrische snelheden te vereisen.

Belangrijkste Resultaten

Theoretische Garanties

Het artikel bewijst dat de voorgestelde DML-estimator asymptotisch lineair en semiparametrisch efficiënt is (Theorem 3.7). Dit impliceert:

De estimator convergeert naar het ware doelrisico met een $\sqrt{n}$ -snelheid.
De estimator is asymptotisch normaal, wat de constructie van geldige Wald-type betrouwbaarheidsintervallen mogelijk maakt voor risico-evaluatie vóór implementatie.
De estimator blijft consistent, zelfs als de nuisance-functies worden geschat met hoog-dimensionale of complexe modellen, zolang hun product van fouten verwaarloosbaar is.

Empirische Evaluatie

De auteurs evalueren de methode met behulp van de eICU Collaborative Research Database (meer dan 200.000 IC-opnames) en semi-synthetische experimenten.

Semi-synthetische Experimenten: Door gebruik te maken van echte kenmerken uit eICU met gesimuleerde uitkomsten en labelwaarneembaarheid, vertoonde de DML-estimator de minste bias en de laagste RMSE vergeleken met:
- Een naïeve Plug-in estimator (herwegen voor zowel shift als selectie).
- Een alleen Covariaatverschuiving (CS)-estimator (negeren van selectiebias).
- Een alleen Selectieve Labels (SL)-estimator (negeren van covariaatverschuiving).
- Resultaten toonden aan dat het adresseren van slechts één bron van bias leidt tot een systematische misrepresentatie van het implementatierisico, vooral naarmate de selectiekracht toeneemt.
Real-World Experimenten: Toegepast op vier klinische uitkomsten (BNP, Troponine-I, CK, Hypoxemie) waarbij labels alleen worden waargenomen wanneer specifieke laboratoriumtests worden besteld. De DML-estimator produceerde risico-inschattingen die significant verschilden van de baselines in verschillende ziekenhuizen, wat benadrukt dat het negeren van het gezamenlijke karakter van shift en selectie kan leiden tot onderschatting of overschatting van het modelrisico in nieuwe klinische settings.
Robuustheidstoetsen: De estimator toonde een redelijke robuustheid tegen schendingen van de positiviteits- en de begrensde likelihood ratio-veronderstellingen. Echter, zoals verwacht, verslechterde de prestatie onder schendingen van selectie op observeerbare kenmerken (onwaargenomen confounding) en conditionele uitkomstverschuiving, hoewel het concurrerend bleef met andere benchmarks.

Betekenis en Claims

Het artikel claimt de eerste te zijn die een formalisering en oplossing biedt voor het evalueren van black-box voorspellers onder de gelijktijdige aanwezigheid van covariaatverschuiving en selectieve labeling.

Praktische Impact: Het werk biedt een rigoureus kader voor evaluatie vóór implementatie in domeinen met hoge inzet zoals de gezondheidszorg, waar modellen vaak op één populatie zijn getraind maar op een andere worden ingezet, en waar uitkomstdata inherent incompleet zijn door klinische besluitvormingsprocessen.
Methodologische Bijdrage: Door de identificatie van het doelrisico vast te stellen en de efficiente invloedfunctie af te leiden, overbrugt het artikel de kloof tussen de literatuur over distributieverschuiving en de literatuur over selectieve labeling. Het toont aan dat geldige inferentie mogelijk is, zelfs wanneer de doellabels volledig onwaargenomen zijn en de bronlabels vertekend zijn.
Rechtvaardigheid en Veiligheid: De auteurs benadrukken dat het niet rekening houden met deze gezamenlijke uitdagingen systematisch de prestaties van ondervertegenwoordigde subpopulaties kan misrepresenteren, wat ongelijkheid in stand kan houden. Hun methode stelt beoefenaars in staat om eigenschappen van rechtvaardigheid en veiligheid nauwkeuriger te beoordelen vóór implementatie.
Brede Toepasbaarheid: Hoewel gericht op klinische settings, is het kader toepasbaar op elk domein dat betrokken is bij foundation models of LLM's waarbij feedback selectief wordt waargenomen en de implementatiedistributies verschillen van de trainingsdistributies.

De auteurs nemen een bescheiden standpunt in door te erkennen dat identificatie rust op substantiële aannames (bijv. selectie op observeerbare kenmerken) die in de praktijk kunnen falen (bijv. als klinische beslissingen afhangen van niet-gemeten ernst). Ze suggereren dat hoewel hun methode tolerantie biedt voor kleine schendingen, toekomstig werk zich kan richten op het versoepelen van deze aannames of het gebruik van adaptieve gegevensverzameling.