How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs

Resumen Técnico: "¿Qué tan profundos son los Deep GPs, realmente? Un umbral agudo y un límite no gaussiano para los GPs composicionales"

1. Planteamiento del problema

El artículo investiga el comportamiento asintótico de los procesos gaussianos composicionales (GP) composicionales a medida que la profundidad de la composición crece. A diferencia de las redes neuronales anchas, donde el límite de ancho infinito colapsa en un único proceso gaussiano (GP) con un kernel dependiente de la profundidad, los deep GPs implican la composición de GPs de valores vectoriales donde cada capa es, a su vez, un GP.

El objeto central de estudio es la cadena de Markov inducida en un conjunto de $n$ puntos de entrada mediante la iteración de funciones gaussianas aleatorias $G_i$:
$$\bar{Z}_{i+1} = G_i(\bar{Z}_i) = (G_i(\bar{Z}_{i,1}), \dots, G_i(\bar{Z}_{i,n}))$$
donde $G_i$ son muestras i.i.d. de un GP centrado de valores vectoriales con un kernel RBF rotacionalmente invariante $k(x, x') = \exp(-\|x-x'\|^2 / (2r^2))$.

Trabajos previos (específicamente Dunlop et al., 2018) establecieron que, para un ancho de banda $r$ suficientemente grande, el proceso se sincroniza: las distancias entre pares de trayectorias colapsan a cero conforme la profundidad $i \to \infty$, causando que el prior se degrade en una distribución concentrada en funciones constantes. Sin embargo, el umbral preciso para esta degeneración y el comportamiento del sistema por debajo de ese umbral seguían siendo preguntas abiertas.

2. Metodología

Los autores analizan el sistema reduciendo la dinámica vectorial de alta dimensión a una cadena de Markov escalar que gobierna las distancias al cuadrado entre pares $v_i^2 = \|\bar{Z}_{i,s} - \bar{Z}_{i,t}\|^2$.

• Reducción escalar: Condicional a la el estado en la profundidad $i$, la distancia al cuadrado en la profundidad $i+1$ sigue la recursión:
  $$v_{i+1}^2 = 2(1 - \phi(v_i)) X_i$$
  donde $\phi(t) = e^{-t^2/(2r^2)}$ y $X_i \sim \chi^2_d$ (distribución chi-cuadrado con $d$ grados de libertad).
• Análisis de la cadena logarítmica: Los autores estudian la cadena transformada logarítmicamente $L_i = \log v_i^2$. El comportamiento local cerca de cero está gobernado por la deriva de esta cadena logarítmica, determinada por el incremento medio $\rho_d = \mathbb{E}[\log X] - 2\log r = \psi(d/2) + \log 2 - 2\log r$, donde $\psi$ es la función digamma.
• Estabilidad estocástica: Los autores emplean criterios de deriva de Foster-Lyapunov (Meyn y Tweedie, 1993) para establecer la ergodicidad, la recurrencia de Harris positiva y la convergencia en variación total (TV) para las cadenas de Markov.
• Prueba de no-gaussianidad: Para probar que el límite es no-gaussiano, los autores utilizan funciones características para demostrar que ninguna distribución chi-cuadrada escalada puede ser una solución estacionaria a la recursión de la distancia, descartando así la gaussianidad conjunta para el vector de posición límite.

3. Contribuciones clave y resultados

A. Un umbral agudo para la degeneración
El artículo identifica un umbral agudo, casi seguro, $r_c(d)$ que separa dos regímenes:
$$r_c(d) = \sqrt{2} e^{\psi(d/2)/2}$$
Asintóticamente, $r_c(d) \sim \sqrt{d}$ cuando $d \to \infty$.

• Régimen supercrítico ($r > r_c(d)$): La cadena se sincroniza casi seguramente. Las distancias entre pares $v_i$ convergen a 0 exponencialmente rápido a una tasa determinada por $\rho_d < 0$. Esto fortalece los límites previos (Dunlop et al., 2018) al identificar un umbral estrictamente inferior para la sincronización.
• Régimen subcrítico ($r < r_c(d)$): La cadena no se sincroniza. La cadena de distancia al cuadrado admite una única distribución estacionaria no trivial $\pi_v$ en $(0, \infty)$. En consecuencia, la cadena de posición completa $\bar{Z}_i$ converge en variación total a una ley estacionaria única $\pi_{\bar{Z}}$ en $(\mathbb{R}^d)^n$.

B. Límite no gaussiano y dependencia de coordenadas
Contrario a la intuición de que las composiciones de gaussianos podrían dar lugar a un límite gaussiano, los autores demuestran:

• No-gaussianidad: Aunque la distribución marginal de cualquier coordenada única $\bar{Z}_{\infty, t}$ es una gaussiana estándar $N(0, I_d)$, la distribución conjunta de cualquier par $(\bar{Z}_{\infty, s}, \bar{Z}_{\infty, t})$ no es gaussiana.
• Dependencia persistente: Las coordenadas exhiben una dependencia no nula. Los autores derivan un límite superior de Jensen $L^*(r, d)$ para el logaritmo esperado de la distancia. El déficit entre este límite y la esperanza bajo independencia (donde $\tilde{v}^2 \sim 2\chi^2_d$) es estrictamente negativo e independiente de la dimensión $d$ cuando $r$ se escala como $r = \lambda r_c(d)$. Este déficit cuantifica la fuerza de la dependencia, la cual crece a medida que $\lambda \to 1$.

C. Verificación empírica
Experimentos numéricos a través de dimensiones $d \in \{1, 10, 100\}$ verifican el umbral teórico.

• Multimodalidad: En el régimen subcrítico, las muestras de la ley estacionaria $\pi_{\bar{Z}}$ exhiben estructuras multimodales complejas y específicas de la cadena (por ejemplo, cúmulos, cadenas, bucles) cuando se visualizan mediante t-SNE o PCA.
• Régimen estrecho: La ventana de "estructura visible" (donde la dependencia es lo suficientemente fuerte como para distinguirse de gaussianas independientes) se vuelve cada vez más estrecha a medida que $d$ aumenta. Para $d=100$, este régimen existe solo para $\lambda \in (0.99, 1)$. Sin el umbral teórico preciso, este régimen sería difícil de identificar empíricamente.

4. Significado y afirmaciones

El artículo afirma alterar fundamentalmente la comprensión de los priors de procesos gaussianos profundos:

1. Existencia de límites no triviales: Establece que los priors de deep GP no necesariamente degeneran en constantes; por debajo del umbral agudo $r_c(d)$, admiten una distribución límite rica y no degenerada.
2. Complejidad estructural: Demuestra que estos límites son inherentemente no gaussianos y poseen dependencias de coordenadas no triviales, distinguiéndose de los priors de redes neuronales de ancho infinito (NNGP), que colapsan en un único proceso gaussiano.
3. Precisión en el análisis: Al proporcionar un umbral agudo y tasas de convergencia explícitas, el trabajo resuelve las ambigüedades dejadas por la literatura previa respecto a la sincronización de los deep GPs y proporciona las herramientas necesarias para ajustar la fuerza de la dependencia en tales modelos.

Los autores señalan que sus argumentos son específicos para el kernel RBF y que el comportamiento en el punto crítico $r = r_c(d)$ sigue siendo una cuestión abierta. También destacan que la tasa de convergencia hacia la ley estacionaria aún no ha sido cuantificada, lo cual es un requisito previo para aplicaciones de profundidad finita.