LOO-PIT predictive model checking

1. Il Problema: Dipendenza nei Valori LOO-PIT

L'articolo affronta una sfida critica nell'analisi bayesiana: la valutazione della calibrazione dei modelli tramite il Leave-One-Out Probability Integral Transform (LOO-PIT).

• Contesto: Il LOO-PIT è uno strumento standard per il controllo dei modelli predittivi. Per un modello ben calibrato, i valori LOO-PIT dovrebbero essere distribuiti uniformemente nell'intervallo $[0, 1]$.
• Il Difetto: Sebbene i valori PIT siano asintoticamente uniformi, in campioni finiti non sono indipendenti. Poiché ogni distribuzione predittiva LOO è condizionata a tutti i dati tranne un'osservazione ($y_{-i}$), le distribuzioni predittive per diversi punti dati condividono quasi tutti i dati di addestramento. Questo crea una forte dipendenza strutturale tra i valori LOO-PIT.
• Conseguenze: I test di uniformità standard (come Kolmogorov-Smirnov o Anderson-Darling) assumono l'indipendenza dei campioni. Applicarli a valori LOO-PIT dipendenti porta a:
  • Una sottostima della variabilità della funzione di distribuzione cumulativa empirica (ECDF).
  • Un tasso di rifiuto (Type I error) inferiore al nominale (test troppo conservativi).
  • Una potenza ridotta nel rilevare la mancata calibrazione del modello (mancata individuazione di errori nel modello).

2. Metodologia Proposta

Gli autori sviluppano una nuova procedura di testing che gestisce esplicitamente la dipendenza tra i valori uniformi. L'approccio si articola in tre fasi principali:

A. Fondamento Teorico della Dipendenza

Utilizzando il teorema di Bernstein-von Mises e la teoria delle funzioni di influenza (Influence Function), gli autori dimostrano che:

• La dipendenza tra i valori LOO-PIT è guidata dallo spostamento della media a posteriori ($\hat{\theta}_n - \theta_0$).
• La forza di questa correlazione dipende dal complessità del modello (numero effettivo di parametri, $\hat{p}_{loo}$) rispetto alla dimensione del campione ($n$).
• La matrice di covarianza dei valori LOO-PIT ha rango al massimo $p$ (dimensione dello spazio dei parametri). Per modelli complessi ($p$ vicino a $n$), la dipendenza è significativa e strutturata.

B. Procedure di Testing (POT-C, PRIT-C, PIET-C)

Invece di testare la distribuzione congiunta (intrattabile), gli autori propongono di eseguire test puntuali (marginali) su ciascun valore e poi aggregare i risultati utilizzando un metodo robusto alla dipendenza. Vengono proposti tre metodi specifici:

1. POT-C (Pointwise Order Tests Combination):
   • Base: Statistiche d'ordine (Beta-distribuzione).
   • Meccanismo: Confronta ogni statistica d'ordine osservata con la distribuzione Beta teorica sotto l'ipotesi di uniformità.
   • Uso: Ideale per valori PIT continui.
2. PRIT-C (Pointwise Rank-based Individual Tests Combination):
   • Base: Distribuzione Binomiale.
   • Meccanismo: Utilizza i valori della ECDF scalati (rank) e li testa contro una distribuzione Binomiale.
   • Uso: Ideale per valori PIT discreti o basati su ranghi.
3. PIET-C (Pointwise Inverse-CDF Evaluation Tests Combination):
   • Base: Trasformazione inversa della CDF.
   • Meccanismo: Trasforma i valori uniformi $u_i$ in variabili $F_X^{-1}(u_i)$ secondo una distribuzione di riferimento continua (es. Esponenziale) e testa la loro distribuzione.
   • Uso: Eccellente per rilevare deviazioni nelle code (outliers).

C. Aggregazione dei P-value (Cauchy Combination Test)

Per combinare i p-value puntuali ($p_1, ..., p_n$) in un unico p-value globale ($p^*$) tenendo conto della dipendenza, gli autori utilizzano il Cauchy Combination Test (CCT) (o la sua versione tronca, TCCT).

• Trasforma i p-value in variabili di Cauchy standard: $t_i = \tan((0.5 - p_i)\pi)$.
• Calcola la media aritmetica $T = \frac{1}{n}\sum t_i$.
• Grazie alla "coda pesante" della distribuzione di Cauchy, la statistica $T$ mantiene una distribuzione asintotica di Cauchy anche in presenza di correlazioni arbitrarie tra i p-value, permettendo un calcolo accurato del p-value globale senza simulazioni costose.

D. Visualizzazione Grafica

Viene introdotta una procedura grafica automatizzata che combina il classico grafico ECDF con una codifica a colori.

• Utilizza i Valori di Shapley dalla teoria dei giochi cooperativi per quantificare quanto ogni singolo punto contribuisce al rifiuto dell'ipotesi nulla.
• I punti con alta influenza (che spingono il test verso il rifiuto) vengono evidenziati nel grafico ECDF, permettendo di identificare visivamente dove il modello fallisce (es. code, centro).

3. Risultati Sperimentali

Gli autori hanno condotto estese simulazioni su dati sintetici e reali (modelli gerarchici, dati continui e discreti).

• Controllo dell'Errore di Tipo I:
  • I metodi proposti (specialmente PIET-C) mantengono un controllo dell'errore di Tipo I vicino al livello nominale (0.05) anche in presenza di forte dipendenza.
  • I test standard (KS, AD) diventano estremamente conservativi (tasso di rifiuto vicino a 0) quando la dipendenza è alta, fallendo nel rilevare errori.
  • I metodi basati su aggregazione (UPC) tendono a inflazionare l'errore di Tipo I se non calibrati correttamente.
• Potenza del Test:
  • I metodi proposti mostrano una potenza significativamente superiore rispetto ai test standard e alle alternative come SPP (Sampled Posterior p-value) e UPC (Uniform Parameterization Checks) in scenari di alta complessità del modello.
  • PIET-C eccelle nel rilevare errori nelle code (distribuzioni con code pesanti o leggere).
  • POT-C offre un buon equilibrio e alta potenza generale.
  • PRIT-C è utile per dati discreti ma può essere leggermente meno potente di POT-C quando i valori LOO-PIT sono quasi continui (a causa dei pesi PSIS-LOO).
• Casi d'Uso Reali:
  • In scenari dove l'incertezza aleatoria (rumore dei dati) domina sull'incertezza epistemica (incertezza del modello), l'approccio SPP combinato con POT-C si rivela computazionalmente efficiente e potente, competendo con i metodi più complessi.

4. Contributi Chiave

1. Dimostrazione Teorica: Hanno formalizzato matematicamente come e perché la dipendenza nei valori LOO-PIT dipende dalla complessità del modello e dalla dimensione del campione, dimostrando che non è trascurabile in campioni finiti.
2. Nuovi Test di Uniformità: Hanno introdotto tre procedure (POT-C, PRIT-C, PIET-C) che sono robuste alla dipendenza, superando i limiti dei test classici.
3. Aggregazione Efficiente: L'uso del Cauchy Combination Test permette di aggregare p-value dipendenti in modo computazionalmente efficiente, evitando la necessità di simulazioni di permutazione o bootstrap per correggere la dipendenza.
4. Strumento di Visualizzazione: Hanno sviluppato un metodo grafico basato sui Valori di Shapley che identifica automaticamente le regioni di miscalibrazione, offrendo un'alternativa più sensibile ed efficiente alle bande di confidenza ECDF tradizionali.

5. Significato e Implicazioni

Questo lavoro è fondamentale per il flusso di lavoro bayesiano moderno.

• Correzione di un Bias Sistemico: Molti praticanti bayesiani utilizzano test di uniformità su LOO-PIT ignorando la dipendenza, portando a conclusioni errate (falsi negativi su modelli sbagliati). Questo paper fornisce gli strumenti corretti per evitare tale errore.
• Scalabilità: I metodi proposti sono computazionalmente efficienti e si integrano bene con le tecniche di inferenza approssimata come PSIS-LOO.
• Raccomandazione Pratica: Gli autori suggeriscono di utilizzare POT-C come test predefinito per i valori LOO-PIT continui, data la sua robustezza e potenza. Per dati discreti o per focalizzarsi sulle code, si raccomandano rispettivamente PRIT-C e PIET-C.
• Impatto Futuro: Il lavoro apre la strada a una revisione delle pratiche di validazione dei modelli bayesiani, spostando l'attenzione da test che assumono indipendenza a procedure che modellano esplicitamente la struttura di dipendenza indotta dalla convalida incrociata.

In sintesi, Tesso e Vehtari forniscono una soluzione rigorosa e pratica per rendere i controlli predittivi LOO-PIT statisticamente validi e potenti, anche in scenari di modelli complessi e campioni finiti.