How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs

Sintesi Tecnica: "Quanto sono profondi i Deep GP, davvero? Una soglia netta e un limite non gaussiano per i GP composizionali"

1. Definizione del Problema

Il documento investiga il comportamento asintotico dei prior di processi gaussiani composizionali (GP) al crescere della profondità della composizione. A differenza delle reti neurali ad ampia larghezza (wide), dove il limite di larghezza infinita collassa in un singolo processo gaussiano (GP) con un kernel dipendente dalla profondità, i deep GP comportano la composizione di GP vettoriali dove ogni strato è esso stesso un GP.

L'oggetto centrale di studio è la catena di Markov indotta su un insieme di $n$ punti di input iterando funzioni gaussiane casuali $G_i$:
$$\bar{Z}_{i+1} = G_i(\bar{Z}_i) = (G_i(\bar{Z}_{i,1}), \dots, G_i(\bar{Z}_{i,n}))$$
dove $G_i$ sono campioni i.i.d. da un GP vettoriale centrato con un kernel RBF rotazione-invariante $k(x, x') = \exp(-\|x-x'\|^2 / (2r^2))$.

Lavori precedenti (specificamente Dunlop et al., 2018) hanno stabilito che per una banda passante (bandwidth) $r$ sufficientemente grande, il processo si sincronizza: le distanze tra le traiettorie collassano a zero all'aumentare della profondità $i \to \infty$, causando la degenerazione del prior in una distribuzione concentrata su funzioni costanti. Tuttavia, la precisa soglia per questa degenerazione e il comportamento del sistema al di sotto di tale soglia rimanevano questioni aperte.

2. Metodologia

Gli autori analizzano il sistema riducendo la dinamica vettoriale ad alta dimensione a una catena di Markov scalare che governa le distanze quadrate tra coppie $v_i^2 = \|\bar{Z}_{i,s} - \bar{Z}_{i,t}\|^2$.

• Riduzione Scalare: Condizionatamente allo stato alla profondità $i$, la distanza al quadrato alla profondità $i+1$ segue la ricorsione:
  $$v_{i+1}^2 = 2(1 - \phi(v_i)) X_i$$
  dove $\phi(t) = e^{-t^2/(2r^2)}$ e $X_i \sim \chi^2_d$ (distribuzione chi-quadrato con $d$ gradi di libertà).
• Analisi della Catena Logaritmica: Gli autori studiano la catena trasformata in logaritmo $L_i = \log v_i^2$. Il comportamento locale vicino allo zero è governato dal drift della catena logaritmica, determinato dal incremento medio $\rho_d = \mathbb{E}[\log X] - 2\log r = \psi(d/2) + \log 2 - 2\log r$, dove $\psi$ è la funzione digamma.
• Stabilità Stocastica: Gli autori utilizzano i criteri di drift di Foster-Lyapunov (Meyn e Tweedie, 1993) per stabilire l'ergodicità, la ricorrenza Harris positiva e la convergenza in variazione totale (TV) per le catene di Markov.
• Dimostrazione della Non-Gaussianità: Per dimostrare che il limite è non-gaussiano, gli autori utilizzano le funzioni caratteristiche per mostrare che nessuna distribuzione chi-quadrato scalata può essere una soluzione stazionaria per la ricorsione della distanza, escludendo così la gaussianità congiunta per il vettore di posizione limite.

3. Contributi Chiave e Risultati

A. Una Soglia Netta per la Degenerazione
Il documento identifica una soglia netta, quasi certa, $r_c(d)$ che separa due regimi:
$$r_c(d) = \sqrt{2} e^{\psi(d/2)/2}$$
Asintoticamente, $r_c(d) \sim \sqrt{d}$ quando $d \to \infty$.

• Regime Supercritico ($r > r_c(d)$): La catena si sincronizza quasi certamente. Le distanze tra coppie $v_i$ convergono a 0 esponenzialmente velocemente a un tasso determinato da $\rho_d < 0$. Questo rafforza i limiti precedenti (Dunlop et al., 2018) identificando una soglia strettamente inferiore per la sincronizzazione.
• Regime Subcritico ($r < r_c(d)$): La catena non si sincronizza. La catena della distanza tra coppie ammette una unica distribuzione stazionaria non banale $\pi_v$ su $(0, \infty)$. Di conseguenza, l'intera catena di posizione $\bar{Z}_i$ converge in variazione totale a una legge stazionaria unica $\pi_{\bar{Z}}$ su $(\mathbb{R}^d)^n$.

B. Limite Non-Gaussiano e Dipendenza dalle Coordinate
Contrariamente all'intuizione che le composizioni di gaussiane possano produrre un limite gaussiano, gli autori dimostrano:

• Non-Gaussianità: Sebbene la distribuzione marginale di una singola coordinata $\bar{Z}_{\infty, t}$ sia una gaussiana standard $N(0, I_d)$, la distribuzione congiunta di una coppia $(\bar{Z}_{\infty, s}, \bar{Z}_{\infty, t})$ non è gaussiana.
• Dipendenza Persistente: Le coordinate mostrano una dipendenza non nulla. Gli autori derivano un limite superiore di Jensen $L^*(r, d)$ per il logaritmo atteso della distanza. Il deficit tra questo limite e l'aspettativa sotto l'ipotesi di indipendenza (dove $\tilde{v}^2 \sim 2\chi^2_d$) è strettamente negativo e indipendente dalla dimensione $d$ quando $r$ è scalato come $r = \lambda r_c(d)$. Questo deficit quantifica la forza della dipendenza, che cresce man mano che $\lambda \to 1$.

C. Verifica Empirica
Esperimenti numerici attraverso dimensioni $d \in \{1, 10, 100\}$ verificano la soglia teorica.

• Multimodalità: Nel regime subcritico, i campioni dalla legge stazionaria $\pi_{\bar{Z}}$ mostrano strutture multimodali complesse e specifiche della catena (es. cluster, stringhe, loop) quando visualizzate tramite t-SNE o PCA.
• Regime Stretto: La finestra di "struttura visibile" (dove la dipendenza è abbastanza forte da essere distinta dalle gaussiane indipendenti) diventa progressivamente più stretta all'aumentare di $d$. Per $d=100$, questo regime esiste solo per $\lambda \in (0.99, 1)$. Senza la precisa soglia teorica, questo regime sarebbe difficile da identificare empiricamente.

4. Significato e Rivendicazioni

Il documento sostiene di alterare fondamentalmente la comprensione dei prior di processi gaussiani profondi:

1. Esistenza di Limiti Non Banali: Stabilisce che i prior dei deep GP non degenerano necessariamente in costanti; al di sotto della soglia netta $r_c(d)$, essi ammettono una distribuzione limite ricca e non degenere.
2. Complessità Strutturale: Dimostra che questi limiti sono intrinsecamente non-gaussiani e possiedono dipendenze tra coordinate non banali, distinguendosi dai prior delle reti neurali a larghezza infinita (NNGP) che collassano in un singolo processo gaussiano.
3. Precisione nell'Analisi: Fornendo una soglia netta e tassi di convergenza espliciti, il lavoro risolve le ambiguità lasciate dalla letteratura precedente riguardo alla sincronizzazione dei deep GP e fornisce gli strumenti necessari per regolare la forza della dipendenza in tali modelli.

Gli autori notano che i loro argomenti sono specifici per il kernel RBF e che il comportamento al punto critico $r = r_c(d)$ rimane una questione aperta. Evidenziano inoltre che il tasso di convergenza alla legge stazionaria non è ancora quantificato, il che è un prerequisito per le applicazioni a profondità finita.