A reproducible and extensible framework for benchmarking competing risks survival models

Sintesi Tecnica: Un Framework Riproducibile ed Estendibile per il Benchmarking di Modelli di Sopravvivenza a Rischi Competitivi

Definizione del Problema

L'analisi della sopravvivenza in ambito sanitario spesso comporta rischi competitivi (CR - competing risks), in cui l'insorgenza di un evento (ad es. morte per cancro) preclude l'insorgenza di altri (ad es. morte per malattie cardiovascolari). Sebbene siano stati proposti numerosi metodi statistici e di machine learning per gestire i CR, la loro valutazione sistematica e l'adozione clinica rimangono limitate. La letteratura attuale soffre di tre lacune primarie:

1. Mancanza di Benchmark Riproducibili: Gli studi utilizzano spesso dataset disparati, fasi di pre-elaborazione non riportate o metriche di valutazione incoerenti (spesso limitate alla discriminazione), portando a un ottimismo eccessivo e a difficoltà nel confrontare nuovi metodi.
2. Limitata Integrazione Software: I nuovi metodi vengono spesso implementati come codice ad hoc senza integrazione in framework di machine learning più ampi, ostacolandone l'accessibilità.
3. Sfide di Interpretabilità: A differenza dei modelli di regressione che forniscono stime dirette dei coefficienti, i modelli di machine learning complessi (ad es. deep learning) richiedono passaggi di interpretabilità post-hoc, che spesso non sono standardizzati per gli scenari CR.

Inoltre, trattare gli eventi CR come dati censurati viola l'assunto di censura non informativa, portando a una sovrastima dei rischi e a potenziali bias algoritmici, particolarmente nelle popolazioni anziane con multimorbilità.

Metodologia

Gli autori hanno sviluppato una pipeline di benchmarking open-source e riproducibile, progettata per valutare i modelli CR su molteplici dataset sotto un ambiente sperimentale unificato. Il framework è implementato sia in R che in Python, garantendo l'interoperabilità.

1. Dati e Modelli:

• Dataset: Lo studio ha utilizzato cinque dataset con diverse dimensioni campionarie e tassi di eventi (PBC, HD, METABRIC, Framingham e un sottoinsieme di SEER Breast Cancer), garantendo un tasso minimo di eventi di rischio competitivo di circa il 10%.
• Modelli: È stato sottoposto a benchmark un set diversificato di sei metodi, che spaziano dalla regressione classica al deep learning:
  • Basati sulla regressione: Cox PH specifico per la causa (csCPH), regressione di Fine-Gray (FGR), Proportional Subdistribution Hazard penalizzata (FGRP).
  • Basati su alberi: Random Survival Forests (RSF).
  • Deep Learning: DeSurv (tempo continuo) e DeepHit (tempo discreto).
• Validazione: È stato impiegato un approccio di cross-validazione nidificata (nested cross-validation) per prevenire la fuga di dati (data leakage). Il ciclo esterno si occupava della valutazione del modello, mentre il ciclo interno gestiva la sintonizzazione degli iperparametri.
• Dati Mancanti: Le strategie includevano l'analisi dei casi completi, l'imputazione univariata (mediana/moda) e l'Imputazione Multipla mediante Equazioni a Catena (MICE), tutte applicate all'interno dei fold della CV per evitare la fuga di dati.

2. Metriche di Performance:
Il framework valuta quattro aspetti complementari della capacità predittiva:

• Calibrazione: Plot visivi, Indice di Calibrazione Integrato (ICI) e rapporti Osservato-Atteso (O/E), utilizzando pseudo-osservazioni per gestire il censoring.
• Discriminazione: AUC dipendente dal tempo (tdAUC) per orizzonti fissi e varianti del C-index ($C_{td}$ e $C_{\tau}$) per una valutazione globale. Quest'ultimo utilizza il Tempo Medio Perso Ristretto (RMTL) per riassumere le CIF (Funzioni di Incidenza Cumulativa).
• Errore di Predizione Complessivo: Brier Score Pesato (BS) e Brier Score Integrato (IBS).
• Utilità Clinica: Analisi della Curva Decisionale (DCA) per valutare il beneficio netto rispetto alle strategie "tratta tutti" (treat-all) e "non trattare nessuno" (treat-none).

3. Interpretabilità:

• Specifici per il modello: Coefficienti di regressione per i modelli parametrici.
• Agnostici rispetto al modello:
  • Importanza per Permutazione: Misurata tramite la degradazione dell'IBS.
  • CifSHAP(t): Un'estensione innovativa di SurvSHAP(t) per gli scenari CR. Questo metodo decompone la Funzione di Incidenza Cumulativa (CIF) specifica per la causa nel tempo per fornire contributi delle feature dipendenti dal tempo e agnostici rispetto al modello.

4. Design Sperimentale:
La sintonizzazione degli iperparametri è stata standardizzata tra i modelli utilizzando una ricerca a griglia ottimizzata per l'IBS (minimizzando l'errore di predizione complessivo) per garantire confronti equi, piuttosto che utilizzare funzioni di perdita specifiche per ogni modello. I modelli di deep learning sono stati addestrati con un budget fisso di epoch (300) per evitare di influenzare la sintonizzazione verso specifiche funzioni di perdita tramite l'early stopping.

Risultati Chiave

• Consistenza della Predizione: I modelli di regressione classica (csCPH, FGR, FGRP) hanno mostrato un accordo quasi perfetto nelle predizioni a livello individuale. I modelli di machine learning (RSF, DeSurv, DeepHit) hanno prodotto assegnazioni di rischio più distinte, con DeepHit che mostra la minore correlazione con i modelli basati sulla regressione.
• Variabilità della Performance: Nessun singolo modello ha dominato in tutte le metriche e i dataset.
  • DeSurv ha spesso superato gli altri in termini di misure globali (IBS, $C_{\tau}$) su dataset più grandi come METABRIC.
  • FGRP (Fine-Gray penalizzata) è rimasta altamente competitiva, specialmente su dataset più grandi (Framingham, SEER), guidando spesso nella discriminazione ($C_{td}$).
  • DeepHit è spesso risultato il peggior performer in questo benchmark, particolarmente riguardo alla calibrazione nei tempi successivi.
• Sensibilità delle Metriche: Le classifiche dei modelli erano altamente sensibili alla metrica scelta. Ad esempio, un modello con il minor IBS non presentava necessariamente il C-index più alto. Ciò sottolinea il rischio di "metric-hacking" se i criteri di valutazione non sono pre-specificati in base agli obiettivi clinici.
• Interpretabilità: Sia l'importanza per permutazione che CifSHAP(t) hanno prodotto classifiche di covariate altamente coerenti (ad es., Chemotherapy, MKI67, PGR erano i principali predittori in METABRIC). CifSHAP(t) ha inoltre rivelato che i contributi delle covariate (ad es., chemioterapia) potevano variare in segno e magnitudo a seconda dell'evento osservato (causa 1 vs causa 2) e del tempo.
• Impatto dell'Ottimizzazione: La sintonizzazione degli iperparametri basata su IBS ha prodotto modelli più equilibrati (migliore calibrazione e discriminazione) rispetto alla sintonizzazione basata sulle funzioni di perdita specifiche o sul $C_{td}$, che spesso sacrificavano la calibrazione a favore della discriminazione.
• Tempo di Esecuzione: I metodi basati sulla regressione sono stati computazionalmente efficienti. I metodi di machine learning, in particolare RSF e DeSurv, hanno comportato costi computazionali significativamente più elevati, con RSF che mostrava l'onere maggiore a causa del fitting degli ensemble di alberi.

Significato e Rivendicazioni

Il paper posiziona questo lavoro non come una classificazione definitiva del "miglior" modello, ma come una base riproducibile ed estendibile per la valutazione sistematica dei metodi a rischi competitivi.

• Standardizzazione: Il framework affronta la mancanza di studi di confronto imparziali fornendo un setup sperimentale comune, un pre-processing coerente e un set unificato di metriche di valutazione.
• Rilevanza Clinica: Andando oltre la semplice discriminazione per includere calibrazione, errore complessivo e utilità clinica (DCA), il framework allinea la valutazione dei modelli con le necessità pratiche del processo decisionale clinico.
• Innovazione nell'Interpretabilità: L'introduzione di CifSHAP(t) estende l'interpretabilità del modello ai contributi dipendenti dal tempo e specifici per la causa, colmando una lacuna nella comprensione di come le covariate guidino il rischio negli scenari CR.
• Guida Pratica: Gli autori sottolineano che i metodi di regressione più semplici (come FGRP) spesso raggiungono prestazioni competitive con costi computazionali inferiori, suggerendo che dovrebbero servire come solidi baseline. Evidenziano inoltre come i criteri di sintonizzazione degli iperparametri (ad es., IBS vs Loss) influenzino criticamente il comportamento e le classifiche dei modelli, esortando alla trasparenza nella segnalazione delle strategie di sintonizzazione.

Gli autori concludono che, sebbene le loro scoperte siano condizionate dai dataset e dal setup utilizzati, il framework facilita lo sviluppo, la validazione e l'adozione di futuri modelli di predizione CR fornendo uno strumento robusto e open-source per sviluppatori e professionisti.