Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

Technische Samenvatting: Selectieve Predictie als Triage-poort voor Depressiescreening in de Eerstelijnszorg

Probleemstelling
De eerstelijnszorg in China kampt met een gebrek aan gestructureerde instrumenten voor mentale gezondheidsbeoordeling, en bestaande machine learning (ML)-modellen voor depressiescreening zijn vaak ontwikkeld op sterk geselecteerde steekproeven. De auteurs stellen dat cumulatieve inclusie- en exclusiecriteria, die gewoonlijk als neutrale data-opschoningsstappen worden behandeld, een "dubbele distortie" introduceren:

1. Epidemiologische Distortie: Selectiefunnelsen comprimeren of veranderen epidemiologische associaties (bijv. de relatie tussen chronische ziekten en depressie), wat ertoe kan leiden dat bevindingen uit geselecteerde steekproeven niet generaliseerbaar zijn naar de doelpopulatie.
2. Metrische Distortie: Prestatie-indicatoren van machine learning, met name de Area Under the Curve (AUC), zijn in geselecteerde steekproeven vaak opgeblazen door verminderde heterogeniteit, terwijl de kalibratiefout kan verslechteren. Dit creënd een misleidende indruk van de gereedheid van het model voor klinische implementatie.

Bovendien slagen standaard in het model ingebedde onzekerheidsindicatoren er vaak niet in om effectief onderscheid te maken tussen "gemakkelijke" en "moeilijke" gevallen in epidemiologische gegevens, wat het nut van selectieve predictie (classificatie met een afwijzingsoptie) beperkt.

Methodologie
De studie maakt gebruik van de CHARLS 2011 baseline dataset (n=17.705) met temporele externe validatie op de CHARLS 2018 golf. De methodologie is gestructureerd rond drie doelstellingen:

1. Kwantificeren van Selectiebias (De Funnel):

   • Een vierniveau selectiefunnel (L0–L3) werd geconstrueerd om standaard epidemiologische exclusieprocessen te simuleren.
     • L0: Volledige steekproef na Multiple Imputation by Chained Equations (MICE).
     • L1: Beperkt tot leeftijd ≥60.
     • L2: Vereist volledige CES-D-10 responsen.
     • L3: Vereist volledige sociodemografische covariaten (opleiding, verzekering, woonplaats).
   • Associatieanalyse: Logistische regressiemodellen werden op elk niveau gefit om de drift in Odds Ratio's (OR) voor vijf chronische ziekten tegenover depressie te volgen.
   • Prestatieanalyse: Vijf classificers (Logistische Regressie, Random Forest, XGBoost, LightGBM, Gradient Boosting) werden over de niveaus geëvalueerd met behulp van nested cross-validatie en SMOTE. Monotone trends in AUC, Brier-score en Expected Calibration Error (ECE) werden getest met de Page's L-test.

2. Mitigeren van Bias via Selectieve Predictie:

   • In het model ingebedde onzekerheid: De studie testte of de interne onzekerheidsscores van elk model (bijv. predictieve entropie, boomvariantie, kwantielresiduele intervallen) effectief monsters konden filteren om de AUC te verbeteren.
   • Ontkoppeld Predictor–Selector Framework: Om de beperkingen van ingebedde scores te overwinnen, stelden de auteurs een ontkoppelde aanpak voor waarbij een onafhankelijke selector de voorspellende betrouwbaarheid beoordeelt. Negen kandidaat-selectors werden geëvalueerd, waarbij XGBoost cross-validatie residuen werden geïdentificeerd als de optimale externe selector. Deze selector werd toegepast op alle vijf de predictors om een "betrouwbare" subset van de populatie te bepalen.

3. Klinische Implementatie via Interpreteerbare Regels:

   • Risicostratificatie: Monsters in de uiteindelijke analytische set (L3) werden gestratificeerd in lage, gemiddelde en hoge risicogroepen op basis van robuuste residuen (mediaan van vijf hyperparameterconfiguraties).
   • CART-regelextractie: Een Classification and Regression Tree (CART) werd gefit op de robuuste residuen met 15 klinische kenmerken om interpreteerbare "white-box" regels te extraheren die de grenzen van het betrouwbare predictiedomein definiëren.
   • Stabiliteitscontroles: Multi-parameter (5 configuraties) en multi-seed (10 zaden) stabiliteitsanalyses werden uitgevoerd om te waarborgen dat de risicostratificatie een structurele eigenschap van de data was.

Belangrijkste Resultaten

• Selectiebias Distortie:

  • Steekproefomvang daalde van 17.705 (L0) naar 4.256 (L3) (24,0%).
  • Associatie-attenuatie: De OR voor kanker-depressie daalde van 1,78 (95% CI 1,32–2,41) bij L0 naar 1,39 (95% CI 0,74–2,63) bij L3, waardoor de statistische significantie verloren ging. Andere associaties vertoonden variërende graden van compressie.
  • Metrische Inflatie: AUC's voor alle vijf de modellen namen directioneel toe van L0 naar L3 (bijv. XGBoost van 0,775 naar 0,783), maar deze trends waren niet statistisch significant na correctie voor meervoudige vergelijkingen. Omgekeerd nam de kalibratiefout (ECE) significant toe voor vier van de vijf modellen naarmate de selectie strenger werd.

• Prestaties van de Selectieve Predictie:

  • Ingebedde Onzekerheid: Alleen XGBoost, gebruikmakend van een aangepast out-of-fold kwantiel residueel interval, bereikte significante selectieve predictiewinsten (AUC ~0,83 bij ~52% dekking). Andere modellen's ingebedde indicatoren slaagden er niet in om een AUC-piek te identificeren die beter was dan volledige dekking.
  • Ontkoppeld Framework: Wanneer XGBoost cross-validatie residuen als externe selector werden gebruikt voor alle vijf de modellen, bereikten alle classificers consistente selectieve predictiewinsten.
    • Dekking: Ongeveer 20% van de monsters werd als betrouwbaar geïdentificeerd.
    • Prestatie: Test-AUC's varieerden van 0,888 tot 0,901 over alle modellen bij deze dekking. Precisie was ~0,85–0,86, en recall ~0,89–0,90.
    • Stabiliteit: De dekking van 20% was zeer consistent over verschillende modelarchitecturen, wat aangeeft dat de selector een stabiel "betrouwbaar domein" identificeert.

• Interpreteerbare Triage-regels:

  • CART-analyse identificeerde vier sleutelvariabelen voor triage: Zelfgerapporteerde gezondheid, Opleiding, Pijnintensiteit en Burgerlijke staat.
  • Laag-Residu (Betrouwbaar) Domein: Gekenmerkt door hogere opleiding, specifieke pijnprofielen, of slechte zelfgerapporteerde gezondheid met duidelijke somatische drijfveren.
  • Hoog-Residu (Onzeker) Domein: Gekenmerkt door lagere opleiding, complexe psychosociale factoren en een hoge depressieprevalentie (56,9%), waarbij modelvoorspellingen onbetrouwbaar zijn.
  • Externe Validatie: Het toepassen van de in 2011 afgeleide CART-regels op de 2018-cohort toonde stabiele groep-niveau AUC's, wat de temporele robuustheid van de triage-logica bevestigt.

Significantie en Claims
Het artikel claimt een inzetbaar triagepad voor de eerstelijnszorg te bieden dat het "black-box"-probleem in ML-gestuurde screening aanpakt. De significantie ligt in drie gebieden:

1. Methodologische Correctie: Het toont aan dat cumulatieve selectiebias een dubbele distortie produceert (gecomprimeerde associaties en opgeblazen metrieken) die expliciet gerapporteerd moet worden. De auteurs stellen dat prestatie-indicatoren altijd gerappoteerd moeten worden met hun selectieniveau, dekking en kalibratietraject.
2. Framework voor Betrouwbaarheid: Het stelt vast dat ontkoppelde selectieve predictie met behulp van cross-validatie residuen een robuuste methode is om een subset van patiënten met een hoog vertrouwen te identificeren, wat beter presteert dan in het model ingebedde onzekerheidsindicatoren die vaak falen in epidemiologische contexten.
3. Klinische Inzetbaarheid: Door complexe ML-onzekerheid om te zetten in een eenvoudige, vier-variabele CART-regel, biedt de studie een praktische "triage-poort". Dit stelt huisartsen in staat om ongeveer 20% van de patiënten (het betrouwbare domein) naar algoritme-ondersteunde scoring te routeren en de resterende 80% (het onzekere domein) naar menselijke evaluatie te sturen, waardoor patiëntveiligheid wordt gewaarborgd en interpreteerbaarheid behouden blijft in omgevingen met beperkte middelen.

De auteurs concluderen dat deze aanpak de monitoring van modelonzekerheid transformeert van een statistische post-processing stap naar een routinematige kwaliteitsbeheer-checkpoint voor gelaagde gezondheidszorgsystemen.