A Cost-Sensitive and Explainable Evaluation Framework for Chronic Kidney Disease Prediction Models

Sintesi Tecnica: Un Framework di Valutazione Sensibile ai Costi e Spiegabile per Modelli di Predizione della Malattia Renale Cronica

Problematica
La Malattia Renale Cronica (CKD) colpisce circa il 14% degli adulti a livello globale, spesso progredendo in modo asintomatico fino alle fasi avanzate, dove l'intervento diventa difficile. Sebbene l'apprendimento automatico (ML) offra un potenziale per la diagnosi precoce, una barriera significativa al dispiegamento clinico è la natura di "scatola nera" (black box) degli ensemble di modelli ad alte prestazioni, che mancano dell'interpretabilità dei modelli statistici tradizionali. Inoltre, le metriche di valutazione standard (ad esempio, l'accuratezza) spesso non tengono conto delle conseguenze cliniche asimmetriche della classificazione errata: un falso negativo (diagnosi mancata) pone un rischio molto maggiore per gli esiti del paziente rispetto a un falso positivo (screening non necessario). La letteratura esistente privilegia frequentemente l'accuratezza predittiva rispetto alla valutazione congiunta di interpretabilità, contributo delle caratteristiche e compromessi sensibili ai costi, limitando l'utilità pratica di questi modelli nei sistemi di supporto alle decisioni cliniche.

Metodologia
Lo studio valuta tre modelli di apprendimento supervisionato — Logistic Regression (LR), Random Forest (RF) e Extreme Gradient Boosting (XGBoost) — utilizzando un dataset sintetico di CKD contenente 1.659 record di pazienti (1.524 casi positivi, 135 casi negativi). La metodologia impiega un framework di valutazione multifasico:

1. Preelaborazione dei Dati: I valori numerici mancanti sono stati imputati utilizzando la mediana e le variabili categoriche sono state convertite in variabili dummy. Variabili altamente correlate (ad esempio, sottotipi specifici di colesterolo) sono state raggruppate o rimosse per affrontare la multicollinearità, in particolare per il modello LR. I dati sono stati suddivisi in set di addestramento (80%) e di test (20%) utilizzando il campionamento stratificato.
2. Valutazione delle Prestazioni: I modelli sono stati valutati utilizzando metriche standard (accuratezza, precisione, recall, F1-score, AUC) e validazione incrociata a cinque pieghe (five-fold cross-validation). Fondamentalmente, lo studio va oltre la soglia di classificazione predefinita di 0,5 per eseguire l'ottimizzazione della soglia.
3. Analisi Sensibile ai Costi: È stato applicato un framework di costo in cui i falsi negativi sono stati associati a una penalità di \9.000 e i falsi positivi a \5.000. Ciò riflette la realtà clinica per cui le diagnosi mancate portano a una grave progressione della malattia, mentre i falsi positivi comportano screening aggiuntivi e meno dannosi. Le soglie sono state variate per identificare il punto che minimizza il costo totale.
4. Interpretabilità:
   • Logistic Regression: Analizzata tramite analisi dei coefficienti e importanza per permutazione.
   • Modelli Ensemble (RF, XGBoost): Valutati tramite importanza per permutazione e SHapley Additive exPlanations (SHAP) per fornire spiegazioni sia globali che locali del contributo delle caratteristiche.

Risultati Chiave

• Prestazioni Predittive: Alla soglia predefinita di 0,5, tutti i modelli hanno raggiunto circa il 92% di accuratezza. Tuttavia, a causa del forte squilibrio delle classi, l'accuratezza è stata ritenuta meno informativa rispetto a recall, precisione e F1-score, che sono rimasti elevati (F1 ~96%) in tutti i modelli.
• Ottimizzazione Sensibile ai Costi: L'ottimizzazione della soglia ha alterato significativamente i risultati dei modelli.
  • Falsi Negativi: Alle rispettive soglie ottimali, sia Random Forest che XGBoost hanno eliminato interamente le predizioni di falsi negativi. La Logistic Regression, pur producendo il minor numero di falsi positivi, è stata l'unico modello a mantenere falsi negativi.
  • Costo Totale: Nonostante avessero meno falsi positivi, la Logistic Regression ha incorso il costo complessivo più elevato a causa della presenza di falsi negativi e della maggiore penalità assegnata ad essi. XGBoost e Random Forest hanno ottenuto costi totali inferiori eliminando i falsi negativi, nonostante un lieve aumento dei falsi positivi.
• Stabilità: XGBoost ha dimostrato l'Area Sotto la Curva (AUC) più elevata e la più forte stabilità nella validazione incrociata, suggerendo capacità di generalizzazione superiori rispetto a LR e RF.
• Importanza delle Caratteristiche: Tutti i modelli hanno identificato coerentemente predittori clinicamente plausibili.
  • Consenso Globale: Il tasso di filtrazione glomerulare (GFR) e la creatinina sierica sono stati identificati come i contributori più significativi in tutti i modelli.
  • Specificità del Modello: XGBoost ha evidenziato inoltre proteine nelle urine, pressione sanguigna (sistolica/diastolica) e glicemia a digiuno. L'analisi SHAP ha confermato che gli aumenti di creatinina, BUN e pressione sanguigna, insieme alle diminuzioni del GFR, hanno guidato le predizioni di rischio più elevate.
  • Allineamento Clinico: Le caratteristiche identificate dai modelli "black box" (RF e XGBoost) si sono allineate con i fattori di rischio clinici stabiliti (ad esempio, diabete e ipertensione), validando la loro plausibilità clinica.

Significatività e Rivendicazioni
Il documento sostiene che estendere la valutazione dei modelli oltre la tradizionale accuratezza predittiva, includendo l'ottimizzazione della soglia, l'analisi sensibile ai costi e le tecniche di spiegabilità, fornisce un framework più rilevante dal punto di vista clinico per valutare l'idoneità al dispiegamento del ML.

• Idoneità Clinica: Lo studio dimostra che i modelli ensemble, spesso scartati come "scatole nere", possono essere resi clinicamente affidabili quando accoppiati con l'IA spiegabile (SHAP) e la soglia sensibile ai costi. Nello specifico, la capacità di XGBoost e RF di eliminare i falsi negativi alle soglie ottimizzate le rende operativamente superiori per la diagnosi precoce rispetto alla Logistic Regression, più interpretabile ma più costosa in questo specifico contesto.
• Costruzione della Fiducia: Dimostrando che i predittori più influenti nei modelli complessi si allineano con la ricerca medica consolidata (ad esempio, il ruolo critico di GFR e creatinina), il framework aiuta a colmare il divario tra l'alto rendimento del ML e la fiducia dei clinici.
• Contributo Metodologico: La ricerca sottolinea che le soglie predefinite sono spesso subottimali per le applicazioni sanitarie. Argomenta a favore di un passaggio verso framework di valutazione che pesino esplicitamente i costi asimmetrici della classificazione errata per guidare la selezione e il dispiegamento dei modelli.

Limitazioni
Gli autori riconoscono che lo studio si basa su un dataset sintetico generato per scopi educativi, il che limita la generalizzabilità dei risultati ai record clinici reali. Inoltre, i valori di costo (\9.000 rispetto a \5.000) sono assunzioni progettate per stimolare i compromessi clinici piuttosto che riflettere l'effettiva economia sanitaria. Viene inoltre segnalata come un limite la mancanza di validazione esterna dovuta alla scarsità di dataset clinici comparabili con variabili GFR.