Assessing survival models by interval testing with Poisson-binomial distributions

Sintesi Tecnica: Valutazione dei Modelli di Sopravvivenza tramite Test a Intervalli con Distribuzioni Poisson-binomiali

Definizione del Problema
Nelle sottomissioni regolatorie per i prodotti farmaceutici, in particolare all'interno della valutazione delle tecnologie sanitarie (HTA), la selezione del modello parametrico di sopravvivenza appropriato è critica per le valutazioni economiche e l'estrapolazione dell'efficacia del trattamento oltre la durata dei trial. Sebbene il numero di approcci di modellazione disponibili (inclusi modelli parametrici standard, basati su spline flessibili e modelli integrati con dati esterni) sia in aumento, la selezione del modello rimane una sfida. Le attuali pratiche standard si affidano pesantemente al Criterio di Informazione di Akaike (AIC), al Criterio di Informazione Bayesiano (BIC) e all'opinione soggettiva degli esperti. Il documento sostiene che questi metodi offrono principalmente confronti relativi sulla bontà del fit, fallendo nel fornire informazioni sul fatto che tutti i modelli considerati siano incompatibili con i dati osservati. Inoltre, non identificano specifici intervalli temporali in cui un modello adattato performa scarsamente, il che è vitale per valutare la validità delle estrapolazioni a lungo termine.

Metodologia
Gli autori propongono un framework di test di bontà del fit basato sulla raggruppazione dei dati di sopravvivenza in intervalli e sulla valutazione dei conteggi degli eventi osservati rispetto ai conteggi attesi derivati da un modello adattato.

1. Costruzione degli Intervalli:

   • Intervalli definiti dai Censurati: Gli intervalli sono definiti dai tempi unici delle osservazioni censurate a destra ($t'_{j,0}$). Questo approccio, radicato in Akritas (1988), crea sub-intervalli $(t'_{j-1,0}, t'_{j,0}]$.
   • Intervalli Specificati: Gli autori estendono il metodo per consentire intervalli definiti dall'utente (ad esempio, 10 intervalli equidistanti fino all'ultimo censurato). Tali intervalli specificati ($V_k$) sono costruiti fondendo i tempi di censura con i confini definiti dall'utente, creando un insieme di sub-intervalli ($I'_i$).

2. Distribuzione Statistica:

   • Sotto l'ipotesi nulla che il modello $M(\beta)$ descriva correttamente il processo generatore di eventi, il numero di eventi in qualsiasi intervallo è modellato utilizzando una distribuzione Poisson-binomiale.
   • Per un intervallo specifico, il numero di eventi segue una distribuzione binomiale $Binomial(N_{risk}, p)$, dove $N_{risk}$ è il numero di pazienti a rischio e $p$ è la probabilità che si verifichi un evento nell'intervallo dato il superamento della sopravvivenza all'inizio dell'intervallo.
   • Quando si aggregano i sub-intervalli all'interno di un intervallo specificato, la somma di binomiali indipendenti con probabilità variabili segue una distribuzione Poisson-binomiale. Questo approccio evita le assunzioni di normalità asintotica richieste dai test tradizionali chi-quadrato (ad esempio, Akritas).

3. Statistiche di Test:

   • Test di Intervallo Individuale: I p-value vengono calcolati per ogni intervallo. Gli autori utilizzano i "midpoint p-values" per la riproducibilità, pur riconoscendo l'uso dei "randomized p-values" per l'uniformità teorica.
   • Test di Bonferroni: Utilizzato per controllare rigorosamente il tasso di errore per famiglia (familywise error rate). Un intervallo viene segnalato se il suo p-value è estremo (molto basso o molto alto) rispetto al numero di intervalli.
   • Transformed Fisher Test (TFT): Una statistica di test continua ($T_{cont} = -2 \sum \log(U_j)$) che aggrega i p-value per rilevare una concentrazione insolita di valori estremi (sia alti che bassi), seguendo una distribuzione $\chi^2$.
   • Protection Against Very Small Intervals (PAVSI): Una statistica di test discreta ($T_{pavsi}$) che conta il numero di intervalli con p-value che cadono al di fuori del 95% centrale (ovvero $p < 0,025$ o $p > 0,975$). Questa statistica segue una distribuzione binomiale ed è progettata per mitigare l'influenza di singoli p-value estremamente estremi.

Contributi Chiave e Risultati

• Identificazione del Misfit Locale: A differenza di AIC/BIC, il metodo proposto evidenzia specifici intervalli temporali in cui i modelli falliscono, fornendo intuizioni azionabili per la selezione del modello e la validità dell'estrapolazione.
• Validazione tramite Simulazione: È stato condotto uno studio di simulazione coinvolgente 12 scenari (variando numero di pazienti e maturità dei dati) con 10.000 iterazioni per scenario.
  • Controllo dell'Errore di Tipo I: Per i randomized p-values, sia l'approccio degli intervalli definiti dai censurati che quello dei 10 intervalli equidistanti hanno mantenuto tassi di errore di Tipo I empirici vicini al livello nominale del 5%.
  • Midpoint P-values: Utilizzando i midpoint p-values (raccomandati per l'applicazione pratica), l'approccio degli intervalli definiti dai censurati si è dimostrato altamente conservativo (l'errore di Tipo I è spesso vicino allo 0 o <2%), particolarmente per la statistica TFT in presenza di dati immaturi. Al contrario, l'approccio dei 10 intervalli equidistanti ha performato meglio, con tassi di errore di Tipo I generalmente compresi tra 0,02 e 0,05, avvicinandosi al livello nominale all'aumentare del numero di pazienti.
• Esempi di Applicazione:
  • Esempio 1 (Modello Esponenziale): Ha dimostrato la capacità di rilevare un cattivo fit alla coda della curva (regione di estrapolazione) tramite il rifiuto di Bonferroni, che l'ispezione visiva da sola potrebbe mancare.
  • Esempio 2 (Scenario HTA): Ha confrontato sette modelli parametrici. L'approccio definito dai censurati non è riuscito a rilevare il cattivo fit a causa delle dimensioni ridotte degli intervalli, mentre l'approccio dei 10 intervalli equidistanti ha identificato un misfit significativo in 6 modelli su 7, guidando la selezione di modelli più flessibili (ad esempio, le spline).

Significatività e Rivendicazioni
Il documento sostiene che il metodo di test a intervalli Poisson-binomiale proposto rappresenti un avanzamento significativo rispetto agli approcci classici in quanto:

1. Rimozione delle Assunzioni Asintotiche: Non dipende dalle assunzioni di normalità asintotica inerenti ai test chi-quadrato, rendendolo adatto a campioni più piccoli o pattern di censura complessi.
2. Capacità Diagnostica Granulare: Va oltre il ranking relativo dei modelli per fornire valutazioni assolute della bontà del fit, identificando specificamente dove nel tempo l'intervallo è incompatibile con i dati.
3. Utilità Pratica: Gli autori raccomandano l'approccio dei 10 intervalli equidistanti combinato con i midpoint p-values per l'uso pratico, poiché bilancia il controllo dell'errore di Tipo I con la capacità di rilevare il misfit in scenari reali (come l'esempio HTA fornito).

Gli autori concludono che, sebbene il metodo sia uno strumento robusto per una panoramica iniziale del modello e per il rifiuto dello stesso, debba essere utilizzato insieme ad altre metriche (come AIC/BIC) e all'ispezione visiva, piuttosto che come unico criterio decisionale. Notano inoltre che il metodo è sufficientemente flessibile per accomodare varie strategie di selezione degli intervalli e può essere esteso a modelli di rischio (risk-score models).