Technische Samenvatting: Een Praktische Bovengrens op Selectiebias-effecten in Medische Voorspellingsmodellen

Probleemstelling

Selectiebias is een hardnekkig probleem in real-world data dat de generaliseerbaarheid van machine learning-modellen ondermijnt, met name in domeinen met een hoge inzet zoals de gezondheidszorg. Wanneer modellen worden getraind op bevooroordeelde data (bijv. specifieke ziekenhuisgegevens of vrijwilligersgebaseerde biobanken) en worden ingezet op een bredere doelpopulatie, kunnen ze catastrofaal falen, wat potentieel discriminatie tegen ondervertegenwoordigde groepen bestendigt.

Bestaande methoden voor het beoordelen van de generaliseerbaarheid van modellen onder selectiebias lijden aan onrealistische aannames. Technieken zoals density ratio estimation vereisen volledige toegang tot de doelverdeling, terwijl inverse probability weighting (IPW) uitgaat van volledige observeerbaarheid van de variabelen die de selectie veroorzaken. In de praktijk hebben beoefenaars vaak geen toegang tot representatieve steekproeven uit de doelverdeling (vanwege kosten of privacy) en observeren zij zelden het expliciete selectiemechanisme. Bij consequent ontbreekt het aan principiële, praktische instrumenten om modellen te auditen op selectiebias voorafgaand aan implementatie.

Methodologie

De auteurs stellen een nieuw framework voor om een praktische bovengrens te schatten van de slechtst denkbare prestaties (verwachte loss) op een niet-geobserveerde doelpopulatie. De methode werkt onder een realistische setting van gedeeltelijke observeerbaarheid:

1. Geobserveerde Data: Een bevooroordeelde dataset $D_P$ (waar de selectie-indicator $S=1$) bevattende covariaten $X$, uitkomsten $Y$, en een subset van selectievariabelen $\tilde{U}$.
2. Doelrestricties: Toegang tot de doelverdeling $Q$ is beperkt tot:
   • Een subset van selectievariabelen $\tilde{U}$ (volledig geobserveerd).
   • Marginale samenvattende statistieken (gemiddelden en varianties) voor alle kandidaat-variabelen.
   • Geen directe steekproeven van $(X, Y)$ uit de doelverdeling $Q$.

Kerncomponenten van de Theorie

De methode steunt op drie kernaannames:

• Conditionele Onafhankelijkheid: De selectie-indicator $S$ is conditioneel onafhankelijk van $(X, Y)$ gegeven de volledige set selectievariabelen $U$.
• Common Support: De bevooroordeelde verdeling $P$ en de doelverdeling $Q$ delen een gemeenschappelijk steungebied (common support).
• Niet-negatieve Loss: De loss-functie $\ell$ is niet-negatief.

Onder deze aannames leiden de auteurs een bovengrens $\hat{R}_Q$ af voor de verwachte loss $R_Q$ op de doelverdeling:
$$R_Q \leq \hat{R}_Q := E_P \left[ w(\tilde{U}) \cdot \phi(\tilde{X}, Y, U^*) \cdot \ell(f_P(\tilde{X}), Y) \right]$$
Waarbij:

• $w(\tilde{U})$ een propensity weight is afgeleid van de ratio van marginale dichtheden $p(\tilde{U}) / p(\tilde{U}|S=1)$.
• $\phi(\tilde{X}, Y, U^*)$ een worst-case factor is, gedefinieerd als de maximale ratio van conditionele dichtheden over de ruimte van de niet-geobserveerde selectievariabelen $U^* = U \setminus \tilde{U}$.

Praktische Implementatie

Om de bovengrens hanteerbaar te maken, introduceren de auteurs twee heuristieken:

1. Heuristische Identificatie van $U^*$: Omdat $U^*$ onbekend is, stellen de auteurs een moment-matching algoritme voor. Dit algoritme behandelt het selectieproces als een logistische functie en gebruikt de geobserveerde samenvattende statistieken uit $Q$ om coëfficiënten te berekenen die identificeren welke resterende variabelen in de bevooroordeelde dataset waarschijnlijk drijvers van selectie zijn. Variabelen met een niet-nul coëfficiënt binnen het betrouwbaarheidsinterval worden genomineerd als $U^*$.
2. Diagnostische Instrumenten: Om de geldigheid van de bovengrens in de praktijk te beoordelen (waar aannames geschonden kunnen worden), stellen de auteurs drie diagnostieken voor:
   • KS Test: Evalueert de overlap tussen de propensity distributies in $P$ en $Q$.
   • Weight Design Effect ($d_{eff}$): Meet de stabiliteit van de resulterende gewichten om een gebrek aan common support te detecteren.
   • Propensity Invariance: Een nieuwe test om de aanname van conditionele onafhankelijkheid te benaderen door te controleren of de distributie van covariaten invariant blijft over verschillende propensity score bins.

Belangrijkste Bijdragen

1. Realistische Probleemformulering: Dit werk adresseert de kloof tussen theoretische grenzen en praktische beperkingen door enkel gedeeltelijke observeerbaarheid van het selectiemechanisme en de doelverdeling te vereisen (specifiek marginale statistieken en een subset van selectievariabelen).
2. Nieuwe Bovengrens: De auteurs leiden een theoretische bovengrens af op de generalisatiefout die expliciet het selectieproces modelleert zonder volledige kennis van het onderliggende mechanisme of de gezamenlijke dichtheid van de doelverdeling te vereisen.
3. Hanteerbare Schatting en Diagnostiek: Het papier biedt een praktisch algoritme voor het nomineren van niet-geobserveerde selectievariabelen en een suite aan diagnostische instrumenten om beoefenaars te helpen de bovengrens te interpreteren en schendingen van aannames te detecteren.
4. Empirische Validatie: De methode wordt gevalideerd via volledig synthetische data, semi-synthetische data van het All of Us Research Program, en real-world selectiebias in MIMIC-IV.

Resultaten

De auteurs evalueren hun methode tegenover baselines, waaronder naïeve Inverse Probability of Participation Weighting (IPPW), empirische kalibratie, entropy balancing en raking.

• Geldigheid en Nauwkeurigheid (Tightness): In experimenten met synthetische data en All of Us data leverde de voorgestelde bovengrens (met de heuristiek $U^*$) een geldige bovengrens op (d.w.z. $\hat{R}_Q \geq R_Q$) in 97% van de taken voor All of Us en 90% voor synthetische data. In contrast hiermee bereikte de op één na beste baseline (IPPW) een geldigheid in slechts 82% van de taken en onderschatte deze frequent de werkelijke fout.
• Robuustheid: De methode bleef robuust, zelfs wanneer het aantal geobserveerde selectievariabelen $\tilde{U}$ beperkt was (bijv. $dim(\tilde{U})=1$).
• Real-World Applicatie: In MIMIC-IV experimenten identificeerde de methode succesvol generalisatiekloven voor taken zoals hypertensie- en Type 2 diabetesvoorspelling. Voor de mortaliteitsvoorspellings-taak (waarbij de ware doel-error onbekend was) bood de methode een niet-triviale (non-vacuous) bovengrens die consistent is met eerdere literatuur die suggereert dat data van een enkele ziekenhuislocatie vaak slecht generaliseert.
• Prestaties van de Heuristiek: De moment-matching heuristiek voor het identificeren van $U^*$ behaalde F2-scores van 0.84 (synthetisch) en 0.81 (All of Us), wat de prestaties van een oracle die de ware $U^*$ kent, nauwkeurig benadert.

Betekenis en Claims

De auteurs positioneren dit werk als een praktisch instrument voor model auditing in plaats van een perfecte oplossing. Zij claimen dat hun methode beoefenaars in staat stelt om:

• De impact van selectiebias te schatten in situaties waar doel-data anders onbereikbaar is.
• Geïnformeerde beslissingen te nemen over implementatie: Als de geschatte bovengrens klein is en de aanname-diagnostiek aan bepaalde eisen voldoet, kan de implementatie met vertrouwen worden voortgezet. Als de bovengrens groot is of de diagnostiek wijst op schendingen, worden beoefenaars gestuurd om de implementatie uit te stellen, meer representatieve data te verzamelen of debiasing-technieken toe te passen.
• Het "valse vertrouwen" te vermijden dat vaak wordt geboden door bestaande herwegting-methoden die de neiging hebben de generalisatiefout te onderschatten.

Het paper concludeert door te wijzen op beperkingen, waaronder een focus op laag-dimensionale categorische data (hoewel uitbreidingen naar continue data worden besproken) en de inherente moeilijkheid van dichtheidsschatting. De auteurs stellen echter dat het voorgestelde framework een principiële stap vormt richting veiligere en beter generaliseerbare medische voorspellingsmodellen.