SurvHTE-Bench: A Benchmark for Heterogeneous Treatment Effect Estimation in Survival Analysis

Il paper introduce SurvHTE-Bench, il primo benchmark completo per la valutazione rigorosa e riproducibile dei metodi di stima degli effetti del trattamento eterogenei su dati di sopravvivenza censurati, basato su una suite diversificata di dataset sintetici, semi-sintetici e reali.

L'essenziale

🏥 Il Problema: La "Sfera di Cristallo" Imperfetta

Immagina di essere un medico. Hai due pazienti con la stessa malattia. Dai al primo un farmaco nuovo e al secondo il trattamento standard. Dopo un anno, il primo sta meglio. Ma è davvero grazie al farmaco? O forse il primo paziente aveva già un sistema immunitario più forte?

In statistica, questo si chiama Effetto del Trattamento Eterogeneo (HTE). Non tutti reagiscono allo stesso modo. Il vero obiettivo è capire: "Per questo specifico paziente, il farmaco A è meglio del farmaco B?"

Ora, immagina di dover fare questa previsione in un mondo dove le persone spariscono prima che tu possa vedere il risultato finale.

• Un paziente cambia città e smette di rispondere.
• Un altro muore per un incidente non correlato.
• Un terzo viene perso durante lo studio.

In statistica, questo si chiama censura. È come se guardassi una partita di calcio, ma metà degli spettatori se ne vanno a metà tempo. Non sai chi ha vinto davvero, perché non hai visto la fine.

Fino a oggi, non esisteva un modo standardizzato per testare quali "sferre di cristallo" (algoritmi) fossero migliori per fare queste previsioni quando i dati sono incompleti. Alcuni metodi funzionavano bene in laboratorio, ma fallivano nel mondo reale.

🏗️ La Soluzione: SURVHTE-BENCH (Il "Simulatore di Guerra" Medico)

Gli autori di questo paper hanno creato SURVHTE-BENCH. Immaginalo come un videogioco di simulazione ultra-realistico per i medici e gli scienziati dei dati.

Hanno costruito un "campo di prova" dove possono testare 53 diversi metodi matematici (i nostri "eroi") in condizioni controllate ma difficili.

Come è fatto il simulatore?

1. I Livelli di Gioco (Dati Sintetici):
   Hanno creato 40 mondi virtuali diversi. In alcuni, le regole sono perfette (tutti vengono seguiti fino alla fine). In altri, le regole sono truccate:

   • Il Livello "Inganno": I pazienti più malati tendono a sparire prima (censura informativa).
   • Il Livello "Squilibrio": Il farmaco viene dato solo ai pazienti più giovani.
   • Il Livello "Caos": Ci sono troppi dati mancanti.
     In questi mondi, gli autori sanno già qual è la risposta giusta (il "ground truth"). Se un algoritmo sbaglia, lo sanno subito.

2. I Livelli "Realtà Ibrida" (Dati Semi-Sintetici):
   Hanno preso i dati reali di pazienti veri (come quelli di un reparto di terapia intensiva o di un trial sull'HIV) e ci hanno "innestato" sopra dei trattamenti simulati. È come prendere un'auto reale e guidarla su un circuito di Formula 1 virtuale: mantiene le vibrazioni della strada reale, ma le condizioni di gara sono controllate.

3. I Livelli "Realtà Pura" (Dati Reali):
   Hanno testato i metodi su due dataset reali famosi:

   • I Gemelli: Un dataset dove, per fortuna, abbiamo i dati di due gemelli. Possiamo vedere cosa sarebbe successo a uno se avesse ricevuto il trattamento e all'altro no. È l'unico caso in cui abbiamo la "verità assoluta".
   • Il Trial HIV: Un grande studio clinico reale dove non sappiamo la verità assoluta, ma possiamo vedere come i metodi reagiscono quando aumentiamo artificialmente il numero di pazienti che "spariscono" (censura).

🥊 La Gara: Chi vince?

Hanno fatto gareggiare 53 algoritmi divisi in tre squadre principali:

• Squadra "Imputazione" (I Ricucitori): Prendono i dati mancanti e provano a "inventare" (imputare) cosa sarebbe successo, poi usano metodi classici.
  • Metafora: Sono come un restauratore d'arte che cerca di dipingere la parte mancante di un quadro basandosi sul resto. Funziona bene se il quadro è quasi intero, ma se manca metà, l'immagine diventa strana.
• Squadra "Diretta" (I Naturalisti): Algoritmi nati specificamente per gestire la morte e il tempo, senza dover "inventare" i dati mancanti.
  • Metafora: Sono come un marinaio esperto che sa navigare anche quando la nebbia è fitta, senza bisogno di mappe inventate.
• Squadra "Meta-Learner" (Gli Adattatori): Prendono modelli di sopravvivenza e li adattano per fare confronti.
  • Metafore: Sono come i "canguri" dell'algoritmo: saltano tra diversi approcci per trovare la soluzione migliore.

🏆 I Risultati: Non esiste un "Supereroe" unico

La scoperta più importante è che non esiste un metodo che vince sempre. È come dire che non esiste un'auto che vince sia nel rally, sia in pista, sia nel fango.

Ecco cosa hanno scoperto:

1. Se la nebbia è leggera (poca censura): I metodi classici della Squadra "Ricucitori" (come Double-ML) funzionano benissimo. Sono veloci e precisi.
2. Se la nebbia è fitta (alta censura): Qui le cose cambiano. I "Ricucitori" iniziano a sbagliare perché inventano troppo. La Squadra "Naturalisti" (come Causal Survival Forests) e la Squadra "Adattatori" (come S-Learner-Survival) prendono il sopravvento. Sanno gestire l'incertezza senza panico.
3. Quando le regole sono truccate: Se i dati sono distorti (es. i pazienti più malati spariscono di più), i metodi che modellano direttamente la sopravvivenza sono molto più robusti e meno propensi a dare risposte sbagliate.

💡 Perché è importante per noi?

Prima di questo lavoro, ogni scienziato faceva i propri esperimenti con le proprie regole, rendendo impossibile confrontare chi fosse davvero il migliore. Era come se ogni cuoco cucinasse la pasta con una ricetta diversa e poi dicesse: "La mia è la migliore", senza un gusto di riferimento comune.

SURVHTE-BENCH è diventato il gusto di riferimento universale.

• Permette di scegliere il metodo giusto in base alla situazione (poca o tanta censura?).
• Aiuta a evitare errori in medicina di precisione: non dare il farmaco sbagliato a un paziente perché l'algoritmo non sapeva gestire i dati mancanti.
• È un codice aperto e gratuito: chiunque può usarlo per testare le proprie nuove idee.

In sintesi

Immagina di dover scegliere il miglior navigatore GPS per un viaggio in un territorio sconosciuto dove le strade cambiano e i segnali spariscono.
Fino a ieri, ognuno diceva: "Il mio GPS è il migliore!".
Oggi, con SURVHTE-BENCH, abbiamo una mappa di prova con 40 scenari diversi (dalla strada asfaltata al fango profondo) e abbiamo scoperto che:

• Se la strada è chiara, usa il GPS economico.
• Se la strada è piena di nebbia e buche, usa il GPS professionale che sa leggere le stelle anche senza segnale.

Questo paper ci ha dato la mappa per fare la scelta giusta.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper SURVHTE-BENCH: A Benchmark for Heterogeneous Treatment Effect Estimation in Survival Analysis, pubblicato come articolo conferenziale all'ICLR 2026.

1. Il Problema

L'estimazione degli effetti del trattamento eterogenei (HTE) è fondamentale per applicazioni ad alto rischio come la medicina di precisione e la definizione di politiche individualizzate. Tuttavia, quando i dati provengono da studi di sopravvivenza con censura a destra (tipici di trial clinici e cartelle cliniche elettroniche), l'estimazione degli HTE presenta sfide uniche rispetto ai dati completamente osservati.
Le difficoltà principali includono:

• Censura: L'evento di interesse non è osservato per tutti i soggetti.
• Controfattuali non osservati: Come in tutti i problemi di inferenza causale, non possiamo osservare contemporaneamente l'esito sotto trattamento e sotto controllo.
• Assunzioni di identificazione complesse: La validità delle stime dipende da assunzioni come l'ignorabilità, la positività e la censura ignorabile, che vengono spesso violate nella pratica reale.

Nonostante i recenti progressi metodologici (dai Causal Survival Forests ai survival meta-learners), manca un benchmark standardizzato. La valutazione attuale è frammentata, basata su simulazioni ad hoc o dataset reali con verità fondamentale sconosciuta, rendendo difficile confrontare la robustezza dei diversi metodi.

2. Metodologia e Struttura del Benchmark

Gli autori introducono SURVHTE-BENCH, il primo benchmark completo per l'estimazione degli HTE su dati di sopravvivenza censurati. Il benchmark è progettato per essere modulare, estensibile e rigoroso, coprendo tre livelli di dati:

A. Dati Sintetici (40 dataset)

Il cuore del benchmark è una suite di 40 dataset sintetici generati incrociando due dimensioni ortogonali:

1. 8 Configurazioni Causali: Variano le assunzioni di identificazione, includendo:
   • Trial controllati randomizzati (RCT) con tassi di trattamento bilanciati (50%) e sbilanciati (5%).
   • Studi osservazionali con propensione corretta (OBS-CPS).
   • Violazioni di ignorabilità (confondimento non osservato).
   • Violazioni di positività (mancanza di sovrapposizione).
   • Violazioni di censura ignorabile (censura informativa, dove il tempo di censura dipende dall'evento o da fattori non osservati).
2. 5 Scenari di Sopravvivenza: Variano la distribuzione del tempo di evento (Cox, AFT, Poisson) e il tasso di censura (basso <30%, medio 30-70%, alto >70%).

Per ogni combinazione, la verità fondamentale (HTE vero) è nota, permettendo una valutazione precisa.

B. Dati Semi-Sintetici (10 dataset)

Questi dataset combinano covariate reali (dal trial HIV ACTG e dalle cartelle cliniche MIMIC-IV) con trattamenti e risultati simulati. Questo approccio mantiene la complessità delle distribuzioni reali delle covariate e le correlazioni, fornendo verità fondamentali note per gli HTE, ma con dinamiche di censura e assegnazione controllate.

C. Dati Reali

Il benchmark include due dataset reali:

• Twins Dataset: Dati su gemelli con verità fondamentale nota (un gemello è trattato, l'altro no, permettendo di osservare entrambi i controfattuali).
• ACTG 175 (HIV Trial): Un trial clinico reale senza verità fondamentale nota, utilizzato per testare la robustezza dei modelli introducendo censura artificiale.

Metodi Valutati

Il benchmark implementa e confronta 53 varianti di stimatori, raggruppati in tre famiglie principali:

1. Metodi di Imputazione dell'Esito: Sostituiscono i tempi censurati con tempi stimati (usando tecniche come IPCW, Margin Imputation, Pseudo-observations) e applicano stimatori HTE standard (S-, T-, X-, DR-Learners, Double-ML, Causal Forest).
2. Metodi Diretti per Sopravvivenza (Direct-Survival CATE): Modelli progettati nativamente per dati censurati, come SurvITE e Causal Survival Forests.
3. Survival Meta-Learners: Adattano i framework meta-learners (S-, T-, Matching) utilizzando modelli di sopravvivenza come base (Random Survival Forests, DeepSurv, DeepHit).

Le metriche di valutazione includono l'errore quadratico medio (RMSE) per l'HTE, il bias per l'effetto medio del trattamento (ATE) e metriche ausiliarie di imputazione e adattamento.

3. Risultati Chiave

L'analisi empirica su oltre 40 scenari rivela che non esiste un metodo universalmente superiore; le prestazioni dipendono fortemente dal contesto causale e dalle dinamiche di censura.

• Impatto della Censura: In scenari con bassa censura e assunzioni valide (es. RCT bilanciati), i metodi di imputazione (come Double-ML e Causal Forest) performano bene. Tuttavia, all'aumentare del tasso di censura, i Survival Meta-Learners (in particolare S-Learner-Survival e Matching-Survival basati su DeepSurv) e i Causal Survival Forests mostrano una superiorità significativa e una maggiore robustezza.
• Violazioni delle Assunzioni:
  • In presenza di confondimento non osservato o censura informativa, i metodi che modellano direttamente la struttura di sopravvivenza (Survival Meta-Learners e Causal Survival Forests) mantengono prestazioni più stabili rispetto ai metodi di imputazione, che tendono a degradare.
  • I metodi basati su imputazione sono sensibili alla qualità dell'imputazione stessa, che peggiora con la censura alta.
• Robustezza dei Survival Meta-Learners: Tra tutte le famiglie, i Survival Meta-Learners (specialmente S-Learner e Matching-Learner con base DeepSurv) dimostrano la maggiore resilienza quando multiple assunzioni causali vengono violate simultaneamente.
• Dati Reali e Semi-Sintetici: I risultati confermano i trend osservati nei dati sintetici. Nei dati EHR (MIMIC) ad alta censura, i metodi orientati alla sopravvivenza sono competitivi e spesso più stabili. Nel dataset Twins, i metodi S-Learner e DR-Learner (con imputazione) e S-Learner-Survival hanno ottenuto i migliori risultati, mentre Double-ML ha mostrato prestazioni inaspettatamente basse, suggerendo sensibilità a pattern specifici del dataset.

4. Contributi Principali

1. Unificazione Metodologica: Il paper classifica e implementa in un framework modulare 53 metodi esistenti ed estensioni naturali, fornendo il primo quadro sistematico per confrontare le famiglie di metodi per HTE in sopravvivenza.
2. Design del Benchmark Completo: La creazione di 40 dataset sintetici che coprono sistematicamente violazioni di assunzioni (ignorabilità, positività, censura) e scenari di sopravvivenza diversi.
3. Validazione su Dati Reali: L'inclusione di dati semi-sintetici e reali (Twins, ACTG) per colmare il divario tra simulazioni controllate e complessità del mondo reale.
4. Riproducibilità: Tutte le codici, i dati sintetici e le procedure di generazione sono resi pubblici, stabilendo uno standard per la valutazione futura.

5. Significato e Implicazioni

SURVHTE-BENCH colma una lacuna critica nella letteratura sull'inferenza causale per la sopravvivenza. Fornisce agli ricercatori e ai praticanti uno strumento standardizzato per:

• Valutare la robustezza degli stimatori in condizioni realistiche e difficili (alta censura, confondimento).
• Guidare la selezione del modello: I risultati suggeriscono che in contesti clinici reali (spesso caratterizzati da alta censura e dati osservazionali), l'uso di metodi che modellano direttamente la distribuzione di sopravvivenza (come i Survival Meta-Learners) è preferibile rispetto alla semplice imputazione dei tempi di evento.
• Accelerare lo sviluppo: Offrendo una base comune, il benchmark permette di misurare i progressi nella ricerca sugli HTE in modo equo e riproducibile, facilitando l'adozione di metodi più affidabili nella medicina di precisione.

In sintesi, il lavoro dimostra che l'approccio "one-size-fits-all" non è adeguato per l'inferenza causale in sopravvivenza e che la scelta del metodo deve essere guidata dalle specifiche caratteristiche del dataset (tasso di censura, qualità delle assunzioni causali).