Adaptive Resolution for Finite-Rank Gaussian Processes

Sintesi Tecnica: Risoluzione Adattiva per Processi Gaussiani a Rango Finito

Enunciato del Problema
La regressione tramite processi gaussiani (GP) è uno strumento standard per l'apprendimento non parametrico bayesiano, tuttavia la sua implementazione esatta richiede una memoria $O(n^2)$ e una complessità computazionale $O(n^3)$, rendendola impraticabile per dimensioni campionarie $n$ moderatamente grandi. Sebbene siano stati sviluppati metodi scalabili (approssimazioni sparse, a basso rango e distribuiti), esiste una limitata comprensione teorica su quando tali approssimazioni mantengano le garanzie statistiche (specificamente i tassi di contrazione del posteriore) dei rispettivi priori "genitori" del GP. Una lacuna critica esiste nelle approssimazioni a rango finito: il parametro di risoluzione $N$, che determina la dimensione dell'espansione, è spesso fisso. Se $N$ è troppo piccolo, il supporto del prior potrebbe non contenere la funzione vera; se troppo grande, i costi computazionali diventano proibitivi. Il documento affronta come costruire priori GP a rango finito che apprendano adattivamente la risoluzione $N$ preservando al contempo i tassi ottimali di contrazione del posteriore del GP genitore.

Metodologia
Gli autori propongono una classe generale di priori GP a rango finito, denominata d-frGPloc, definita da un'espansione di base con funzioni di base a supporto locale e coefficienti gaussiani dipendenti:
$$f_N(x) = \sum_{j \in J_N} w_j \psi_j(x),$$
dove il vettore dei coefficienti $w_N$ segue un prior gaussiano dipendente $w_N | N, \theta \sim N(0, \Sigma_{N,\theta})$. La matrice di covarianza $\Sigma_{N,\theta}$ è indotta da un GP genitore $f \sim \text{GP}(0, K_\theta)$.

Il documento studia due costruzioni specifiche all'interno di questo framework:

1. Approssimazione agli Elementi Finiti basata su SPDE: Basata sulla rappresentazione tramite equazione differenziale stocastica parziale (SPDE) dei GP di tipo Matérn (Lindgren et al., 2011). I coefficienti sono derivati da una discretizzazione a elementi finiti della SPDE, risultando in una struttura della matrice di precisione sparsa. Il parametro di larghezza di banda $\kappa$ è trattato come una sequenza deterministica $\kappa_n$ dipendente dalla dimensione del campione e dalla regolarità (smoothness), ereditata dalla teoria Matérn genitore.
2. Interpolazione GP basata su Reticoli (GPI): Un approccio di interpolazione su griglia regolare in cui i coefficienti su un reticolo sono assegnati un prior gaussiano indotto da un GP genitore a esponenziale quadratico (SE). Qui, sia la larghezza di banda $\kappa$ che la risoluzione $N$ ricevono prior gerarchici.

Contributi Principali
Il principale contributo teorico è l'instaurazione di risultati di risoluzione adattiva. Gli autori dimostrano che, ponendo un prior adeguato sul parametro di risoluzione $N$, le approssimazioni a rango finito possono ereditare i tassi di contrazione del posteriore dei loro GP genitori.

• Risultati Teorici:

  • Costruzione SPDE (Teorema 3.3): Sotto la scalatura della larghezza di banda $\kappa_n$ derivata dalla teoria Matérn genitore (Fang e Bhadra, 2025), porre un prior su $N$ che soddisfi una debole condizione della coda sinistra (ad esempio, polinomiale o log-normale) garantisce che il prior SPDE a rango finito raggiunga il tasso di contrazione del posteriore minimax $n^{-\alpha/(2\alpha+d)}$ (fino a fattori logaritmici) per funzioni vere con regolarità $\alpha$. La prova si basa su un confronto spettrale tra l'operatore di Neumann continuo e la sua discretizzazione a elementi finiti con lazione di massa (mass-lumped), mostrando che le norme RKHS e le probabilità di small-ball coincidono fino a costanti per $N$ sufficientemente grande.
  • Costruzione GPI (Teorema 3.4): Per il GP genitore a esponenziale quadratico, porre prior gerarchici sia su $\kappa$ che su $N$ produce il tasso di contrazione del posteriore minimax ottimale fino a fattori logaritmici. La prova combina la concentrazione ottimale del prior del GP SE genitore con i limiti di errore di interpolazione, mostrando che l'errore di approssimazione è trascurabile quando $N$ è sufficientemente grande rispetto a $\kappa$.

• Strategia Computazionale:
  Per affrontare la sfida computazionale della variazione della dimensione $N$, gli autori sviluppano un campionatore del posteriore che evita gli aggiornamenti reversible-jump. L'algoritmo integra la variabile del vettore dei coefficienti $w_N$ per campionare $(N, \kappa)$ dal posteriore marginale, per poi campionare $w_N$ condizionalmente dalla sua distribuzione gaussiana posteriore.

  • Per il metodo GPI, ciò sfrutta le strutture Toeplitz o block-Toelitz.
  • Per il metodo SPDE, la sparsità della matrice di precisione consente una fattorizzazione Cholesky sparsa efficiente.
    Il costo computazionale per iterazione scala linearmente con la dimensione del campione $n$ (grazie al supporto locale) e cubicamente con la dimensione dei coefficienti $|J_N|$ (o linearmente per la SPDE 1D grazie alla natura banded), rendendo l'approccio scalabile per $n$ grandi.

Risultati
Studi numerici in una e due dimensioni validano i risultati teorici:

• Monitoraggio delle Prestazioni: In 1D, le procedure a risoluzione adattiva (sia SPDE che GPI) seguono da vicino le prestazioni predittive (misurate come Errore Medio Quadratico Medio medio) dei rispettivi modelli base GP esatti attraverso diversi regimi di regolarità.
• Adattività: In 2D, dove il calcolo del GP genitore esatto è impraticabile, le procedure adattive superano i modelli a $N$ fisso. Le risoluzioni fisse mostrano un'alta sensibilità alla dimensione della griglia scelta (sottostima se troppo piccola, sovra-apprendimento/costosa computazionalmente se troppo grande), mentre il metodo adattivo regola automaticamente la complessità effettiva del modello rispetto ai dati senza una regolazione manuale.
• Comportamento del Posteriore: Le distribuzioni del posteriore di $N$ e $\kappa$ si adattano correttamente: $N$ aumenta per funzioni vere più irregolari e diminuisce per quelle più regolari, mentre $\kappa$ si sposta in base alla scala dei dati.
• Scalabilità: I metodi a rango finito adattivi rimangono computazionalmente efficienti all'aumentare di $n$, evitando il collo di bottiglia $O(n^3)$ dell'inferenza GP esatta pur mantenendo un'accuratezza comparabile.

Significatività e Rivendicazioni
Il documento afferma che le approssimazioni a rango finito non devono necessariamente sacrificare l'ottimalità statistica per la trattabilità computazionale se la risoluzione viene trattata in modo adattivo.

• Unificazione delle Prospettive: Il risultato SPDE collega la prospettiva dell'approssimazione numerica (Sanz-Alonso e Yang, 2022) con la teoria della contrazione statistica (Fang e Bhadra, 2025), dimostrando che le discretizzazioni a elementi finiti possono preservare i tassi di contrazione del GP genitore sotto appropriati prior sulla risoluzione.
• Gerarchia Adattiva: Il lavoro dimostra che la dimensione dell'approssimazione a rango finito $|J_N| = (N+1)^d$ può essere appresa dai dati anziché essere fissata, preservando il tasso di contrazione del GP genitore pur mantenendo i vantaggi computazionali delle basi a supporto locale.
• Modestia: Gli autori osservano che, sebbene la gerarchia a risoluzione adattiva sia teoricamente attraente, essa introduce sfide computazionali che vengono affrontate tramite specifiche strategie di integrazione. Riconoscono che estendere questi risultati a dimensioni molto elevate ($d \ge 5$) rimane difficile a causa del costo $O(N^{3d})$, suggerendo i modelli additivi strutturati come una potenziale direzione futura, e notano che l'adattamento completo sulla regolarità per la costruzione SPDE rimane un problema aperto.