Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

Sintesi Tecnica: Perché i valori p empirici non sono uniformi

Enunciato del Problema
Il documento affronta una discrepanza fondamentale tra le proprietà teoriche della Trasformata Integrale di Probabilità (PIT) e la sua implementazione pratica nella validazione dei modelli e nel backtesting. Teoricamente, se $X$ è una variabile casuale continua con funzione di distribuzione cumulativa (CDF) $F_X$, la variabile trasformata $F_X(X)$ segue una distribuzione uniforme su $[0, 1]$. Questa proprietà è alla base dell'uso delle PIT e dei valori p empirici per valutare la calibrazione delle distribuzioni predittive, una pratica ampiamente adottata in settori che vanno dalla previsione d'insieme alla gestione del rischio finanziario (ad esempio, le linee guida della Banca Centrale Europea).

Tuttavia, nella pratica, la vera distribuzione $F_X$ è sconosciuta. Di conseguenza, i praticanti devono stimare i percentili utilizzando campioni di riferimento finiti. Il documento sostiene che questo passaggio di stima altera fondamentalmente la struttura statistica del problema. Nello specifico, trattare i percentili empirici come estrazioni indipendenti da una distribuzione uniforme è errato; le statistiche risultanti non seguono la distribuzione uniforme attesa, anche in caso di specifica corretta del modello, invalidando così i classici test di bontà di adattamento a un campione (come il test di Kolmogorov–Smirnov) quando applicati direttamente a questi valori empirici.

Metodologia
L'autore impiega una combinazione di decomposizione teorica e simulazioni Monte Carlo per analizzare le proprietà distributive dei valori p empirici in tre diversi framework di implementazione:

1. Campione di Condizionamento Singolo (Riferimento Fisso): Tutte le osservazioni sono valutate rispetto a un singolo campione di riferimento fisso di dimensione $n$. Il percentile empirico $\hat{p}(x)$ è costruito mediante interpolazione delle statistiche d'ordine di questo campione di riferimento.
2. Campioni di Riferimento Indipendenti: Ogni osservazione è valutata rispetto a un distinto campione di riferimento indipendente. Questo framework imita l'approccio dell'"istogramma dei ranghi" utilizzato nelle previsioni d'insieme.
3. Framework a Finestra Mobile: I valori p empirici sono calcolati utilizzando una finestra mobile di osservazioni precedenti, dove ogni nuova osservazione entra nel set di riferimento per le valutazioni successive.

L'analisi si basa sulla decomposizione della funzione di distribuzione empirica dei valori trasformati, $F_m$, rispetto alla distribuzione uniforme $F_U$. Il documento utilizza il teorema di Donsker per caratterizzare il comportamento asintotico dei processi empirici e confronta le statistiche risultanti di Kolmogorov–Smirnov (KS) e i relativi valori p con i loro corrispettivi teorici.

Contributi e Risultati Chiave

• Decomposizione della Varianza (Riferimento Fisso):
  Il documento dimostra che quando viene utilizzato un singolo campione di riferimento, la distribuzione empirica dei valori trasformati è una sovrapposizione di due fonti di casualità:

  1. Variabilità di campionamento dalle osservazioni valutate (ordine $O_p(m^{-1/2})$).
  2. Errore di stima derivante dal campione di riferimento finito (ordine $O_p(n^{-1/2})$).

  La decomposizione è espressa come $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$, dove $\tilde{F}$ è la distribuzione casuale indotta dal campione di riferimento. I risultati mostrano che la statistica KS risultante si comporta asintoticamente come una statistica KS a due campioni piuttosto che come una statistica a un campione. Esperimenti numerici confermano che la dispersione dei valori p empirici e delle statistiche KS risultanti è quasi indistinguibile da quella generata confrontando due campioni indipendenti. Di conseguenza, l'applicazione di test standard di uniformità a un campione porta a inferenze distorte e tassi di rifiuto sistematici.

• Mitigazione tramite Campioni Indipendenti:
  Nel framework in cui ogni osservazione ha il proprio campione di riferimento indipendente, il rumore di stima associato ai campioni di riferimento si media tra le osservazioni. Il documento mostra che in questo contesto, la dispersione dei percentili empirici segue da vicino quella dei percentili esatti. Sebbene sia presente rumore, i valori trasformati mantengono le proprietà statistiche del campione sottostante e la correlazione tra le statistiche KS esatte ed empiriche rimane evidente.

• Dipendenza nelle Finestre Mobili:
  L'implementazione a finestra mobile introduce autocorrelazione e soppressione della varianza. Poiché ogni osservazione determina il proprio valore p e successivamente entra nel set di riferimento per le valutazioni future, la sequenza dei valori p empirici non è più indipendente. Le simulazioni indicano che quando il numero di osservazioni valutate ($m$) è comparabile alla dimensione della finestra ($n$), la correlazione tra le statistiche KS dei valori p esatti ed empirici si rompe. I valori p empirici mostrano una volatilità sistematicamente ridotta rispetto ai valori p veri, rendendo fuorvianti le procedure standard di backtesting.

Significato e Affermazioni
Il documento afferma che il disallineamento strutturale tra le PIT teoriche e la loro stima empirica invalida l'applicabilità diretta delle procedure classiche di bontà di adattamento nei contesti standard di backtesting. Il significato primario del lavoro risiede nell'identificare che i valori p empirici non sono estrazioni uniformi indipendenti, ma sono invece governati da una struttura di campionamento a due stadi.

L'autore conclude che:

1. Le implementazioni con campione comune convertono efficacemente il problema in un confronto a due campioni, richiedendo metodi di calibrazione rivisti che tengano conto della dimensione e della variabilità del campione di riferimento.
2. Le implementazioni a finestra mobile introducono strutture di dipendenza complesse (autocorrelazione) che distorcono ulteriormente l'inferenza statistica.
3. Le attuali procedure di backtesting regolamentari e pratiche basate sulle PIT richiedono una revisione per tenere conto di queste distorsioni indotte dalla stima, in particolare quando i campioni di riferimento sono finiti e condivisi tra le osservazioni.

Il documento non propone una specifica nuova statistica di test, ma piuttosto invita a una rivalutazione della distribuzione dell'ipotesi nulla nei framework esistenti per riflettere la natura a due campioni o dipendente del processo di generazione dei dati sottostante.