Evaluating Reliability in Machine Learning Models for Early Chronic Kidney Disease Prediction: A Systematic Review of Data Leakage and Predictor Stability

Sintesi Tecnica: Valutazione dell'Affidabilità nei Modelli di Machine Learning per la Previsione Precoce della Malattia Renale Cronica

Problematica
Nonostante il rapido progresso del machine learning (ML) per la rilevazione precoce della Malattia Renale Cronica (CKD), il campo soffre di significative incoerenze metodologiche che ne minano l'affidabilità e l'utilità clinica dei modelli riportati. Una preoccupazione primaria è la prevalenza del data leakage (dispersione dei dati), in cui i predittori utilizzati per l'addestramento contengono informazioni direttamente legate all'etichetta del risultato (ad esempio, l'uso di creatinina sierica o eGFR per prevedere la CKD quando la definizione stessa della malattia si basa su tali metriche). Questa pratica porta al ragionamento circolare, risultando in metriche di performance eccessivamente ottimistiche che non si traducono nel mondo reale. Inoltre, vi è una mancanza di consenso riguardo alla stabilità dei predittori; le caratteristiche identificate come importanti in uno studio spesso non si replicano in altri, suggerendo che molti "indicatori chiave" riportati siano artefatti specifici del dataset piuttosto che segnali clinici generalizzabili. La letteratura attuale manca di un quadro unificato per sottoporre sistematicamente questi difetti metodologici ad audit.

Metodologia
Questo studio impiega una Revisione Sistematica della Letteratura seguendo il framework PRISMA per valutare 19 studi rilevanti pubblicati tra il 2021 e il 2025. Il processo di selezione ha comportato la ricerca in principali database accademici (IEEE Xplore, PubMed, Google Scholar, ecc.) utilizzando parole chiave relative a CKD, machine learning e indicatori clinici, filtrando infine per studi focalizzati sulla previsione dello stadio precoce, sulle caratteristiche cliniche e sull'interpretabilità.

Il contributo metodologico principale è lo sviluppo di una tassonomia strutturata e di un framework di punteggio quantitativo per il data leakage:

1. Tassonomia del Leakage: Gli autori definiscono tre distinti tipi di leakage:
   • Direct Leakage (DL - Leakage Diretto): Caratteristiche che fanno parte dei criteri diagnostici (es. eGFR, creatinina sierica, albuminuria).
   • Proxy Leakage (PL - Leakage per Prossimità): Caratteristiche non presenti nei criteri diagnostici ma altamente correlate ($|r| \ge 0.85$) o clinicamente ridondanti con i biomarcatori diagnostici (es. Azoto Ureico Ematico, Cystatin C).
   • Temporal Leakage (TL - Leakage Temporale): Caratteristiche raccolte dopo l'evento dell'esito (es. farmaci post-diagnosi).
2. Scoring del Leakage: Una funzione di punteggio pesata ($L_i = 2DL_i + PL_i + 2TL_i$) viene applicata a ciascuno studio. Gli studi sono categorizzati come Low Leakage ($L_i \le 2$) o High Leakage ($L_i \ge 3$).
3. Analisi della Stabilità delle Caratteristiche: È stata condotta un'analisi cross-studio su 28 attributi clinici standardizzati per calcolare un punteggio di stabilità normalizzato basato sulla frequenza di occorrenza tra i 19 studi selezionati.
4. Validazione Sperimentale: Per dimostrare l'impatto del leakage, gli autori hanno simulato l'iniezione di leakage su modelli standard (CatBoost, Stacked Ensemble, LightGBM, AdaBoost) utilizzando configurazioni clean, proxy-leaked e direct-leaked.

Contributi Chiave

• Tassonomia Sistematica del Leakage: Il documento introduce un sistema di classificazione formale (Diretto, Prossimità, Temporale) specificamente adattato alla previsione della CKD, affrontando una lacuna nella letteratura esistente dove il leakage è spesso trascurato o definito in modo incoerente.
• Framework Quantitativo del Leakage: Il meccanismo di punteggio proposto consente la valutazione sistematica e il confronto della affidabilità metodologica tra diversi studi, andando oltre il semplice confronto delle metriche di performance.
• Evidenza Empirica di Inflazione: Lo studio fornisce prove statistiche che collegano la gravità del leakage alle performance gonfiate, sfidando la validità delle dichiarazioni di alta accuratezza nel campo.
• Valutazione della Stabilità Cross-Studio: Analizzando la coerenza delle caratteristiche attraverso diversi dataset (inclusi UCI, NHANES, UK Biobank e coorti regionali), il documento identifica quali predittori sono robusti e quali sono probabilmente specifici del dataset.

Risultati

• Inflazione delle Performance: Esiste una relazione forte e statisticamente significativa tra il data leakage e l'accuratezza riportata. Gli studi ad alto leakage (High-leakage) hanno riportato un'accuratezza media del 95,48%, mentre gli studi a basso leakage (low-leakage) hanno riportato l'80,16%. Ciò rappresenta un'inflazione media di circa il 15,32% (statisticamente significativa con $p = 0.005$).
• Impatto dei Tipi di Leakage: In esperimenti controllati, i modelli con Direct Leakage hanno raggiunto un'accuratezza quasi perfetta (98,75%–100,00%) e un AUC (100,00%), ricostruendo efficacemente la regola diagnostica invece di apprendere i pattern della malattia. Anche il Proxy Leakage ha causato guadagni di performance misurabili (ad esempio, +5,00% di accuratezza per AdaBoost).
• Instabilità delle Caratteristiche: L'analisi cross-studio ha rivelato che oltre l'80% dei predittori manca di affidabilità tra diverse popolazioni. Mentre i fattori demografici (età, pressione sanguigna) e alcuni marcatori clinici (emoglobina) hanno mostrato un'alta stabilità, la vasta maggioranza delle caratteristiche, in particolare quelle nei domini dello stile di vita, socioeconomico e infiammatorio, erano incoerenti.
• Prevalenza del Leakage: La maggior parte degli studi esaminati (14 su 19) è stata classificata come avente un High Leakage, principalmente a causa dell'inclusione di marcatori diagnostici diretti (es. creatinina sierica) e dei loro proxy altamente correlati.

Significatività e Rivendicazioni
Il documento afferma che l'attuale panorama del machine learning per la previsione della CKD è compromesso da limitazioni metodologiche piuttosto che da una reale capacità predittiva. Gli autori sostengono che:

1. Molti miglioramenti di performance riportati sono artefatti del leakage. Gli alti punteggi di accuratezza frequentemente citati in letteratura sono spesso il risultato di modelli che "barano" usando la chiave di risposta (criteri diagnostici) come caratteristiche di input.
2. Il rigore metodologico è attualmente insufficiente. La mancanza di un audit standardizzato del leakage impedisce un benchmarking equo e ostacola la traduzione dei modelli ML nella pratica clinica.
3. La stabilità dei predittori è bassa. L'incoerenza nella selezione delle caratteristiche tra gli studi suggerisce che molti "biomarcatori" identificati non sono fattori di rischio universali, ma sono specifici del dataset o della tecnica di selezione delle caratteristiche utilizzata.

Lo studio conclude che, affinché i modelli ML siano clinicamente validi, la ricerca futura deve dare priorità a pipeline di pre-elaborazione consapevoli del leakage (leakage-aware) e a una rigorosa validazione cross-studio per garantire che i modelli apprendano i veri pattern della malattia piuttosto che ridondanze statistiche. Le conclusioni fungono da avvertimento: senza affrontare queste falle metodologiche, la precisione diagnostica riportata può essere fuorviante.