Predictive Inference via Kernel Density Estimates

Sintesi Tecnica: Inferenza Predittiva tramite Stime di Densità Kernel

Enunciato del Problema
Il lavoro affronta l'intersezione tra statistica non parametrica e inferenza predittiva bayesiana. Nello specifico, indaga se la Stima di Densità Kernel (KDE) e le sue varianti ricorsive possano essere rigorosamente interpretate all'interno di un quadro bayesiano. In tale quadro, i dati sono modellati specificando una sequenza di regole predittive $P(X_{n+1} | X_{1:n})$ tali che la sequenza delle misure predittive converga debolmente quasi certamente verso una misura limite aleatoria $P$. Se tale convergenza vale, la misura limite funge da distribuzione a posteriori per un'analisi bayesiana. Sebbene le distribuzioni empiriche e le sequenze di Pólya a valori di misura siano state studiate in questo contesto, il comportamento delle regole predittive basate su kernel — in particolare la KDE classica e lo stimatore kernel ricorsivo introdotto da Wolverton e Wagner (1969) — rimane meno compreso per quanto riguarda la loro convergenza asintotica e le proprietà topologiche delle loro misure limite.

Metodologia
L'autore definisce due processi stocastici per modellare la generazione delle sequenze di dati $X_{1:\infty}$ e $\tilde{X}_{1:\infty}$ basati su un kernel $K$ e una sequenza di bande $h_n$:

1. Processo KDE Classico ($X_{1:\infty}$):
   La regola predittiva è definita come:
   $$P(X_{n+1} \in B | X_{1:n}) = \frac{1}{n} \sum_{i=1}^n K\left(\frac{B - X_i}{h_n}\right)$$
   Questo è equivalente al modello generativo in cui $X_{n+1} = X_{M_n} + h_n Y_n$, con $M_n$ scelto uniformemente da $\{1, \dots, n\}$ e $Y_n \sim K$. Qui, la banda $h_n$ è applicata uniformemente a tutti i punti storici allo step $n$.

2. Processo Kernel Ricorsivo ($\tilde{X}_{1:\infty}$):
   La regola predittiva segue l'aggiornamento ricorsivo:
   $$\tilde{P}_n(B) = \left(1 - \frac{1}{n}\right)\tilde{P}_{n-1}(B) + \frac{1}{n}K\left(\frac{B - \tilde{X}_n}{h_n}\right)$$
   Il modello generativo è $\tilde{X}_{n+1} = \tilde{X}_{M_n} + h_{M_n} Y_n$. Crucialmente, in questo processo, la banda associata a un specifico punto storico $X_j$ è fissata al momento della sua osservazione ($h_j$) e non viene mai aggiornata, a differenza della KDE classica dove tutti i punti condividono la banda corrente $h_n$.

L'analisi assume $h_n \leq C n^{-\delta}$ per alcuni $C, \delta > 0$ e richiede momenti finiti della distribuzione del kernel $K$. Le dimostrazioni utilizzano teoremi di convergenza delle martingale, funzioni caratteristiche e argomenti di compattezza (tightness).

Contributi e Risultati Chiave

1. Convergenza Debole Quasi Certa:
   Il lavoro stabilisce che sia il processo KDE classico sia il processo kernel ricorsivo convergono debolmente quasi certamente verso misure di probabilità aleatorie ($P$ e $\tilde{P}$, rispettivamente).

   • Teorema 1 (KDE): Sotto la condizione $h_n \leq C n^{-\delta}$ ed $E[\|Y_1\|] < \infty$, la sequenza delle misure predittive $P_n$ converge debolmente quasi certamente verso una misura aleatoria $P$.
   • Teorema 2 (Ricorsivo): Sotto le stesse condizioni, le misure predittive ricorsive $\tilde{P}_n$ convergono debolmente quasi certamente verso una misura aleatoria $\tilde{P}$.
     Questi risultati confermano che entrambi i processi soddisfano le condizioni richieste per l'inferenza predittiva bayesiana, poiché le misure limite possono essere interpretate come estrazioni da una prior su misure.

2. Supporto Compatto della Misura Limite (KDE Classica):
   Una scoperta primaria e sorprendente è che la misura limite $P$ del processo KDE classico è quasi certamente supportata su un insieme compatto aleatorio, purché il kernel $K$ abbia momenti sufficienti (nello specifico, $E[\|Y_1\|^{1/c}] < \infty$ per qualche $0 < c < \delta$).

   • La dimostrazione implica l'analisi della "genealogia" dei punti dati utilizzando uno schema di urna di Pólya per limitare il numero di discendenti di qualsiasi punto iniziale. Dimostrando che la distanza massima di qualsiasi punto nella sequenza è limitata quasi certamente, l'autore dimostra che il supporto della misura limite è compatto.
   • Questo vale anche per kernel a code pesanti (ad esempio, distribuzione $t_7$), purché la banda decada in modo appropriato.

3. Supporto Non Compatto della Misura Limite (Processo Ricorsivo):
   Al contrario, la misura limite $\tilde{P}$ del processo ricorsivo non è quasi certamente a supporto compatto.

   • L'autore dimostra ciò utilizzando un esempio specifico in cui $K$ è il valore assoluto di una variabile normale standard. A causa della natura ricorsiva in cui i punti più vecchi mantengono le loro bande originali (più ampie), il processo permette escursioni illimitate. Utilizzando il lemma di Borel-Cantelli e le proprietà dell'urna di Pólya, si dimostra che $\sup_n \|\tilde{X}_n\| = \infty$ quasi certamente, implicando che la misura limite ha supporto non compatto.

Significato e Affermazioni
Il lavoro afferma di aprire la porta a nuove interpretazioni bayesiane della stima di densità kernel. Dimostrando la convergenza debole di questi processi, l'autore convalida l'uso delle regole KDE standard e ricorsive come regole predittive valide all'interno del paradigma bayesiano, soddisfacendo specificamente la proprietà di distribuzione identica condizionata (CID) o i suoi equivalenti asintotici.

Il contributo teorico più significativo è la caratterizzazione del supporto topologico delle misure limite. La scoperta che il processo KDE classico produce un limite a supporto compatto è descritta come "sorprendente", in particolare perché contrasta con il comportamento dello stimatore ricorsivo e suggerisce che la KDE classica assume implicitamente l'esistenza di un insieme a supporto compatto per la distribuzione sottostante, anche quando si utilizzano kernel a code pesanti. Questo fornisce un parallelo più forte con la proprietà nota secondo cui i modelli di mistura del processo di Dirichlet hanno code più leggere rispetto alle loro misure di base.

Il lavoro non propone nuove applicazioni o protocolli sperimentali, ma fornisce piuttosto le fondamenta teoriche (proprietà di convergenza e supporto) necessarie per trattare questi stimatori non parametrici come prior bayesiane.