How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs

Resumo Técnico: "Quão Profundos São os Deep GPs, Realmente? Um Limiar Agudo e um Limite Não-Gaussiano para GPs Composicionais"

1. Enunciado do Problema

O artigo investiga o comportamento assintótico de priors de processos gaussianos (GP) composicionais à medida que a profundidade da composição cresce. Diferente das redes neurais de largura infinita, onde o limite de largura infinita colapsa em um único processo gaussiano (GP) com um kernel dependente da profundidade, os deep GPs envolvem a composição de GPs vetoriais onde cada camada é, ela própria, um GP.

O objeto central de estudo é a cadeia de Markov induzida em um conjunto de $n$ pontos de entrada através da iteração de funções gaussianas aleatórias $G_i$:
$$\bar{Z}_{i+1} = G_i(\bar{Z}_i) = (G_i(\bar{Z}_{i,1}), \dots, G_i(\bar{Z}_{i,n}))$$
onde $G_i$ são amostras i.i.d. de um GP vetorial centrado com um kernel RBF invariante à rotação $k(x, x') = \exp(-\|x-x'\|^2 / (2r^2))$.

Trabalhos anteriores (especificamente Dunlop et al., 2018) estabeleceram que, para uma largura de banda $r$ suficientemente grande, o processo se sincroniza: as distâncias entre trajetórias colapsam para zero conforme a profundidade $i \to \infty$, fazendo com que o prior degrade em uma distribuição concentrada em funções constantes. No entanto, o limiar preciso para essa degeneração e o comportamento do sistema abaixo desse limiar permaneceram como questões em aberto.

2. Metodologia

Os autores analisam o sistema reduzindo a dinâmica vetorial de alta dimensão a uma cadeia de Markov escalar que governa as distâncias quadráticas entre pares $v_i^2 = \|\bar{Z}_{i,s} - \bar{Z}_{i,t}\|^2$.

• Redução Escalar: Condicional ao estado na profundidade $i$, a distância quadrada na profundidade $i+1$ segue a recursão:
  $$v_{i+1}^2 = 2(1 - \phi(v_i)) X_i$$
  onde $\phi(t) = e^{-t^2/(2r^2)}$ e $X_i \sim \chi^2_d$ (distribuição qui-quadrado com $d$ graus de liberdade).
• Análise de Cadeia Logarítmica: Os autores estudam a cadeia log-transformada $L_i = \log v_i^2$. O comportamento local próximo a zero é governado pelo drift da cadeia log, determinado pelo incremento médio $\rho_d = \mathbb{E}[\log X] - 2\log r = \psi(d/2) + \log 2 - 2\log r$, onde $\psi$ é a função digama.
• Estabilidade Estocástica: Os autores empregam critérios de drift de Foster-Lyapunov (Meyn e Tweedie, 1993) para estabelecer ergodicidade, recorrência de Harris positiva e convergência em variação total (TV) para as cadeias de Markov.
• Prova de Não-Gaussianidade: Para provar que o limite é não-gaussiano, os autores utilizam funções características para mostrar que nenhuma distribuição qui-quadrado escalonada pode ser uma solução estacionária para a recursão de distância, descartando assim a gaussianidade conjunta para o vetor de posição limite.

3. Contribuições Principais e Resultados

A. Um Limiar Agudo para Degeneração
O artigo identifica um limiar agudo, quase certo, $r_c(d)$ que separa dois regimes:
$$r_c(d) = \sqrt{2} e^{\psi(d/2)/2}$$
Assintoticamente, $r_c(d) \sim \sqrt{d}$ quando $d \to \infty$.

• Regime Supercrítico ($r > r_c(d)$): A cadeia se sincroniza quase certamente. As distâncias entre pares $v_i$ convergem para 0 exponencialmente rápido a uma taxa determinada por $\rho_d < 0$. Isso fortalece os limites anteriores (Dunlop et al., 2018) ao identificar um limiar de sincronização estritamente inferior.
• Regime Subcrítico ($r < r_c(d)$): A cadeia não se sincroniza. A cadeia de distância admite uma única distribuição estacionária não trivial $\pi_v$ em $(0, \infty)$. Consequentemente, a cadeia de posição completa $\bar{Z}_i$ converge em variação total para uma lei estacionária única $\pi_{\bar{Z}}$ em $(\mathbb{R}^d)^n$.

B. Limite Não-Gaussiano e Dependência de Coordenadas
Ao contrário da intuição de que composições de gaussianos poderiam resultar em um limite gaussiano, os autores provam:

• Não-Gaussianidade: Embora a distribuição marginal de qualquer coordenada única $\bar{Z}_{\infty, t}$ seja uma gaussiana padrão $N(0, I_d)$, a distribuição conjunta de qualquer par $(\bar{Z}_{\infty, s}, \bar{Z}_{\infty, t})$ não é gaussiana.
• Dependência Persistente: As coordenadas exibem uma dependência não nula. Os autores derivam um limite superior de Jensen $L^*(r, d)$ para o log-distância esperado. O déficit entre este limite e a expectativa sob independência (onde $\tilde{v}^2 \sim 2\chi^2_d$) é estritamente negativo e independente da dimensão $d$ quando $r$ é escalonado como $r = \lambda r_c(d)$. Este déficit quantifica a força da dependência, que cresce conforme $\lambda \to 1$.

C. Verificação Empírica
Experimentos numéricos através de dimensões $d \in \{1, 10, 100\}$ verificam o limiar teórico.

• Multimodalidade: No regime subcrítico, amostras da lei estacionária $\pi_{\bar{Z}}$ exibem estruturas multimodais complexas, específicas da cadeia (ex: clusters, linhas, loops), quando visualizadas via t-SNE ou PCA.
• Regime Estreito: A janela de "estrutura visível" (onde a dependência é forte o suficiente para ser distinguida de gaussianos independentes) torna-se cada vez mais estreita conforme $d$ aumenta. Para $d=100$, este regime existe apenas para $\lambda \in (0.99, 1)$. Sem o limiar teórico preciso, este regime seria difícil de identificar empiricamente.

4. Significância e Alegações

O artigo afirma alterar fundamentalmente a compreensão dos priors de processos gaussianos profundos:

1. Existência de Limites Não Triviais: Estabelece que os priors de deep GP não necessariamente degeneram em constantes; abaixo do limiar agudo $r_c(d)$, eles admitem uma distribuição limite rica e não degenerada.
2. Complexidade Estrutural: Demonstra que esses limites são inerentemente não-gaussianos e possuem dependências de coordenadas não triviais, distinguindo-os dos priors de redes neurais de largura infinita (NNGP), que colapsam para um único processo gaussiano.
3. Precisão na Análise: Ao fornecer um limiar agudo e taxas de convergência explícitas, o trabalho resolve ambiguidades deixadas pela literatura anterior sobre a sincronização de deep GPs e fornece as ferramentas necessárias para ajustar a força da dependência nesses modelos.

Os autores observam que seus argumentos são específicos para o kernel RBF e que o comportamento no ponto crítico $r = r_c(d)$ permanece uma questão aberta. Eles também destacam que a taxa de convergência para a lei estacionária ainda não foi quantificada, o que é um pré-requisito para aplicações de profundidade finita.