Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

Sintesi Tecnica: La Predizione Selettiva come Gate di Triage per lo Screening della Depressione nell'Assistenza Primaria

Problematica
L'assistenza primaria in Cina manca di strumenti strutturati per la valutazione della salute mentale e i modelli di machine learning (ML) esistenti per lo screening della depressione sono spesso sviluppati su campioni fortemente selezionati. Gli autori sostengono che i criteri cumulativi di inclusione ed esclusione, tipicamente trattati come passaggi neutri di pulizia dei dati, introducono una "duplice distorsione":

1. Distorsione Epidemiologica: I imbuti di selezione comprimono o alterano le associazioni epidemiologiche (ad esempio, la relazione tra malattie croniche e depressione), rendendo potenzialmente i risultati dei campioni selezionati non generalizzabili alla popolazione target.
2. Distorsione delle Metriche: Le metriche di performance del machine learning, in particolare l'Area Under the Curve (AUC), sono spesso gonfiate nei campioni selezionati a causa della ridotta eterogeneità, mentre l'errore di calibrazione può degradare. Ciò crea un'impressione fuorviante della prontezza del modello per l'impiego clinico.

Inoltre, gli indicatori di incertezza standard incorporati nel modello spesso non riescono a distinguere efficacemente tra casi "facili" e "difficili" nei dati epidemiologici, limitando l'utilità della predizione selettiva (classificazione con opzione di rifiuto).

Metodologia
Lo studio utilizza il dataset di base CHARLS 2011 (n=17.705) con validazione esterna temporale sulla coorte CHARLS 2018. La metodologia è strutturata attorno a tre obiettivi:

1. Quantificare il Bias di Selezione (l'Imbuto):

   • È stato costruito un imbuto di selezione a quattro livelli (L0–L3) per simulare i normali processi di esclusione epidemiologica.
     • L0: Campione completo dopo l'imputazione multipla mediante catene di equazioni (MICE).
     • L1: Limitato a età ≥60.
     • L2: Richiesto completamento delle risposte al CES-D-10.
     • L3: Richiesto completamento delle covariate sociodemografiche (istruzione, assicurazione, residenza).
   • Analisi delle Associazioni: Modelli di regressione logistica sono stati applicati ad ogni livello per monitorare la deriva degli Odds Ratio (OR) per cinque malattie croniche rispetto alla depressione.
   • Analisi delle Performance: Cinque classificatori (Regressione Logistica, Random Forest, XGBoost, LightGBM, Gradient Boosting) sono stati valutati attraverso i livelli utilizzando la validazione incrociata nidificata e SMOTE. Le tendenze monotone in AUC, Brier score ed Errore di Calibrazione Attesa (ECE) sono state testate utilizzando il test di Page L.

2. Mitigare il Bias tramite la Predizione Selettiva:

   • Incertezza Incorporata nel Modello: Lo studio ha testato se il punteggio di incertezza interna di ciascun modello (ad esempio, entropia predittiva, varianza dell'albero, intervalli di residuo dei quantili) potesse filtrare efficacemente i campioni per migliorare l'AUC.
   • Framework Decoupled Predictor–Selector: Per superare i limiti degli indicatori incorporati, gli autori hanno proposto un approccio disaccoppiato dove un selettore indipendente valuta l'affidabilità predittiva. Nove candidati selettori sono stati valutati, identificando i residui di cross-validation di XGBoost come il selettore esterno ottimale. Questo selettore è stato applicato a tutti i cinque predittori per determinare un sottoinsieme "affidabile" della popolazione.

3. Implementazione Clinica tramite Regole Interpretabili:

   • Stratificazione del Rischio: I campioni nel set analitico finale (L3) sono stati stratificati in gruppi a basso, medio e alto rischio basandosi sui residui robusti (mediana di cinque configurazioni di iperparametri).
   • Estrazione di Regole CART: Un albero di classificazione e regressione (CART) è stato applicato ai residui robusti utilizzando 15 caratteristiche cliniche per estrarre regole interpretabili "white-box" che definiscono i confini del dominio di predizione affidabile.
   • Controlli di Stabilità: Sono state eseguite analisi di stabilità multi-parametro (5 configurazioni) e multi-seed (10 seed) per garantire che la stratificazione del rischio fosse una proprietà strutturale dei dati.

Risultati Chiave

• Distorsione da Bias di Selezione:

  • La dimensione del campione è scesa da 17.705 (L0) a 4.256 (L3) (24,0%).
  • Attenuazione delle Associazioni: L'OR per il rapporto cancro-depressione è sceso da 1,78 (95% CI 1,32–2,41) a L0 a 1,39 (95% CI 0,74–2,63) a L3, perdendo la significatività statistica. Altre associazioni hanno mostrato gradi variabili di compressione.
  • Inflazione delle Metriche: Le AUC per tutti e cinque i modelli sono aumentate direzionalmente da L0 a L3 (ad esempio, XGBoost da 0,775 a 0,783), ma tali tendenze non erano statisticamente significative dopo la correzione per confronti multipli. Al contrario, l'errore di calibrazione (ECE) è aumentato significativamente per quattro dei cinque modelli man mano che la selezione si stringeva.

• Performance della Predizione Selettiva:

  • Incertezza Incorporata: Solo XGBoost, utilizzando un intervallo personalizzato di residui dei quantili out-of-fold, ha ottenuto guadagni significativi nella predizione selettiva (AUC ~0,83 con ~52% di copertura). Gli altri indicatori incorporati non sono riusciti a identificare un picco di AUC migliore rispetto alla copertura totale.
  • Framework Disaccoppiato: Utilizzando i residui di cross-validation di XGBoost come selettore esterno per tutti i cinque modelli, tutti i classificatori hanno ottenuto guadagni costanti nella predizione selettiva.
    • Copertura: Circa il 20% dei campioni è stato identificato come affidabile.
    • Performance: Le AUC di test sono variate da 0,888 a 0,901 per tutti i modelli a questa copertura. La precisione era ~0,85–0,86 e il richiamo (recall) ~0,89–0,90.
    • Stabilità: La soglia di copertura del 20% è stata altamente consistente tra diverse architetture di modelli, indicando che il selettore identifica un "dominio affidabile" stabile.

• Regole di Triage Interpretabili:

  • L'analisi CART ha identificato quattro variabili chiave per il triage: Salute auto-valutata, Istruzione, Severità del dolore e Stato civile.
  • Dominio a Basso Residuo (Affidabile): Caratterizzato da istruzione superiore, profili di dolore specifici o scarsa salute auto-valutata con chiari driver somatici.
  • Dominio ad Alto Residuo (Incertezza): Caratterizzato da istruzione inferiore, fattori psicosociali complessi e alta prevalenza di depressione (56,9%), dove le predizioni del modello sono inaffidabili.
  • Validazione Esterna: Applicando le regole CART derivate dal 2011 alla coorte del 2018, si sono osservate AUC stabili a livello di gruppo, confermando la robustezza temporale della logica di triage.

Significatività e Rivendicazioni
Il documento sostiene di fornire un percorso di triage per l'assistenza primaria implementabile che affronta il problema della "scatola nera" nello screening della salute guidato dal ML. La sua importanza risiede in tre aree:

1. Correzione Metodologica: Dimostra che il bias di selezione cumulativo produce una doppia distorsione (associazioni compresse e metriche gonfiate) che deve essere esplicitamente riportata. Gli autori sostengono che le metriche di performance debbano sempre essere riportate con il loro livello di selezione, copertura e traiettoria di calibrazione.
2. Framework per l'Affidabilità: Stabilisce che la predizione selettiva disaccoppiata utilizzando i residui di cross-validation è un metodo robusto per identificare un sottoinsieme di pazienti ad alta confidenza, superando gli indicatori di incertezza incorporati nei modelli che spesso falliscono nei contesti epidemiologici.
3. Azionabilità Clinica: Convertendo l'incertezza complessa del ML in una semplice regola CART a quattro variabili, lo studio offre un pratico "gate di triage". Ciò consente ai medici di medicina generale di indirizzare circa il 20% dei pazienti (il dominio affidabile) verso la valutazione assistita dall'algoritmo e dirigere il restante 80% (il dominio di incertezza) verso la valutazione umana, garantendo così la sicurezza del paziente e mantenendo l'interpretabilità in contesti con risorse limitate.

Gli autori concludono che questo approccio trasforma il monitoraggio dell'incertezza del modello da un passaggio di post-elaborazione statistica a un controllo di routine della gestione della qualità per sistemi sanitari a livelli.