Resumo Técnico: Uma Análise de Colapso Posterior, Parametrização e Inicialização em Processos Gaussianos Profundos Variacionais

1. Declaração do Problema

Processos Gaussianos Profundos (DGPs) são modelos probabilísticos hierárquicos que concatenam Processos Gaussianos (GPs) através de múltiplas camadas para capturar padrões de dados complexos e não lineares. No entanto, a inferência Bayesiana exata em DGPs é intratável, tornando necessária o uso de Inferência Variacional (VI), especificamente o algoritmo de Inferência Variacional Duplamente Estocástica (DSVI).

Um desafio crítico no treinamento de DGPs via DSVI é o colapso posterior, um fenômeno onde o posterior variacional colapsa para a distribuição a priori. No contexto de DGPs, isso implica que o modelo aprende a explicar os dados observados inteiramente como ruído, falhando em capturar o sinal subjacente.

O artigo identifica que a prevalência do colapso posterior está fortemente ligada a duas escolhas comuns de design na estrutura DSVI:

1. O uso de uma função de média a priori ZERO nas camadas internas, inicializada com médias variacionais definidas como zero ($m=0$).
2. A inicialização dos parâmetros variacionais, particularmente a covariância variacional ($S$) e o parâmetro de ruído ($\sigma^2$).

Embora a comunidade tenha adotado amplamente uma função de média a priori linear (PCA) nas camadas internas para mitigar esses problemas, a crença predominante era que essa escolha era necessária para evitar "patologias não-injetivas" em DGPs muito profundos (onde o mapeamento da entrada para a saída torna-se não-injetivo). Este artigo desafia essa suposição, argumentando que o sucesso da média a priori PCA não se deve à necessidade arquitetural, mas sim a como ela condiciona o cenário de otimização na inicialização.

2. Metodologia e Análise

2.1 Análise Teórica do Colapso Posterior

Os autores analisam a dinâmica de treinamento de DGPs na inicialização usando um problema de regressão de brinquedo (toy problem) e simulações de atualização de coordenadas. Eles demonstram que:

• Efeito do Conjunto de Dados Virtual: Quando um DGP com média a priori ZERO é inicializado com $m=0$, a saída das camadas internas (que serve como entrada para a próxima camada) tende a ser próxima de zero para todas as entradas de treinamento. Consequentemente, a camada final efetivamente vê um "conjunto de dados virtual" de pares $\{(0, y_n)\}$. Como a entrada para a camada final é constante (zero) independentemente da entrada original $x_n$, o modelo não consegue aprender um mapeamento entre $x$ e $y$.
• Patologia de Otimização: Para maximizar o termo de Log-Verossimilhança Esperada (ELL) no Evidence Lower Bound (ELBO) sob essas condições, o otimizador é direcionado a aumentar a variância do ruído $\sigma^2$ para explicar os alvos $y_n$ como puro ruído. Simultaneamente, a Divergência de Kullback-Leibler (KLD) é minimizada ao definir os parâmetros variacionais para corresponder à a priori ($m=0, S=K_{ZZ}$), resultando em colapso posterior.
• Papel da Média a Priori PCA: Um DGP com média a priori PCA (onde a média a priori é a função identidade ou uma projeção PCA) inicializa as saídas das camadas internas para serem próximas da entrada $x_n$. Isso evita que o "conjunto de dados virtual" colapse para um vetor zero constante, permitindo que o termo ELL forneça gradientes significativos para atualizar os parâmetros variacionais para longe da a priori.

2.2 Análise de Parametrização

O artigo avalia três parametrizações comuns de DGPs:

1. Padrão Não-Branqueada (Standard Non-Whitened): Usada em bibliotecas como GPYTORCH e GPJAX.
2. Branqueada (Whitened): Uma reparametrização onde os valores dos pontos de indução são transformados para ter média zero e variância unitária ($p(v) = \mathcal{N}(0, I)$).
3. Não-Branqueada com Média Reparametrizada: Usada no GPFLOW, onde a média variacional é definida como a diferença entre a média variacional e a média a priori ($m_r = m - \mu_Z$).

Principais Descobertas sobre Parametrização:

• Colapso Posterior: O colapso pode ocorrer em todas as parametrizações se a inicialização levar a um sinal de entrada zero na camada final. A parametrização em si não é a causa raiz.
• Estabilidade de Otimização: A parametrização branqueada fornece consistentemente uma convergência mais estável. Os autores atribuem isso à remoção das correlações induzidas pela a priori, o que resulta em gradientes melhor condicionados e um Hessiano menos dependente das localizações dos pontos de indução ($Z$).
• Média Reparametrizada: A reparametrização do GPFLOW não melhora inerentemente a estabilidade sobre a forma padrão não-branqueada, mas interage com a média a priori PCA para mitigar o colapso de forma mais eficaz do que a forma padrão.

2.3 Estratégia de Inicialização Proposta

Para abordar a causa raiz (restrições de otimização) sem forçar uma função de média a priori específica (que deve ser ditada por pressupostos de modelagem), os autores propõem um esquema de inicialização baseado em princípios para DGPs de média a priori ZERO.

A ideia central é inicializar os parâmetros variacionais de um DGP de média a priori ZERO de modo que sua distribuição preditiva na inicialização imite a de um DGP de média a priori PCA.

• Mecanismo: Os autores derivam um sistema de equações lineares para resolver as médias variacionais iniciais ($m, m_v, m_r$) de modo que a média preditiva nos pontos de indução corresponda à função identidade (ou projeção PCA).
• Inicialização da Camada de Saída: A estratégia é estendida à camada de saída, inicializando a média variacional para prever os alvos observados $y$ diretamente nos pontos de indução, em vez de começar em zero.
• Comprimento de Escala do Kernel: Um heurístico é proposto para selecionar o comprimento de escala do kernel ($\ell$) inicial minimizando o Erro Quadrático Médio (RMSE) do modelo inicializado em uma divisão de validação, garantindo que a distribuição preditiva inicial seja representativa dos dados.

3. Principais Contribuições

1. Reinterpretação da Média a Priori PCA: O artigo demonstra que a eficácia da função de média a priori linear (PCA) em DGPs decorre de sua capacidade de condicionar o cenário de otimização na inicialização, evitando que o modelo veja um sinal de entrada zero degenerado, em vez de evitar patologias não-injetivas em redes profundas.
2. Diagnóstico de Colapso Posterior: Os autores fornecem uma análise rigorosa mostrando que o colapso posterior em DGPs surge da interação entre a inicialização padrão de parâmetros variacionais ($m=0$) e a função de média da camada interna, levando a um ótimo local onde os dados são explicados como ruído.
3. Análise de Parametrização: O estudo esclarece os distintos comportamentos de otimização de DGPs branqueados, não-branqueados padrão e não-branqueados com média reparametrizada, oferecendo a primeira explicação detalhada de por que o branqueamento produz uma convergência mais estável (gradientes melhor condicionados).
4. Novo Esquema de Inicialização: Um esquema de inicialização computacionalmente eficiente é proposto para DGPs de média a priori ZERO. Isso permite o treinamento bem-sucedido de DGPs sob a priori de MÉDIA ZERO, removendo a necessidade de restrições arquiteturais baseadas em otimização (ou seja, forçar uma média a priori linear).

4. Resultados Experimentais

Os métodos propostos foram validados em um conjunto de dados sintético de brinquedo e oito benchmarks de regressão reais do UCI.

• Conjunto de Dados de Brinquedo: Visualizações confirmaram que DGPs de média a priori ZERO com inicialização padrão sofrem colapso posterior, especialmente com menos pontos de indução e arquiteturas mais profundas. A inicialização proposta evitou o colapso com sucesso e produziu distribuições preditivas comparáveis aos modelos de média a priori PCA.
• Benchmarks UCI:
  • DGPs com média a priori ZERO e inicialização padrão frequentemente colapsaram ou tiveram desempenho ruim.
  • A inicialização proposta (ZERO-Points-MY) estabilizou consistentemente a otimização, evitou o colapso e alcançou desempenho preditivo (RMSE) comparável, e em alguns casos melhor, que os DGPs usando a função de média a priori PCA.
  • A parametrização branqueada demonstrou estabilidade superior em todas as configurações.
  • Foi mostrado que aumentar o número de pontos de indução alivia o colapso, mas a inicialização proposta foi eficaz mesmo com números moderados de pontos de indução.

5. Significância e Alegações

O artigo afirma que a escolha da função de média a priori em DGPs deve ser ditada por pressupostos de modelagem e não por conveniência de otimização. Ao identificar que a "média a priori PCA" é essencialmente um heurístico para corrigir uma inicialização ruim, os autores propõem uma solução que desacopla a estrutura estatística do modelo de sua trajetória de otimização.

A significância reside em:

• Clareza Teórica: Corrigir o equívoco de que médias lineares são necessárias para evitar a não-injetividade em GPs profundos, atribuindo seu sucesso à dinâmica de inicialização.
• Utilidade Prática: Fornecer uma estratégia de inicialização pronta para uso que permite o uso de DGPs de média a priori ZERO (que são teoricamente mais simples e flexíveis para certas tarefas de modelagem) sem sacrificar a estabilidade de treinamento ou o desempenho preditivo.
• Insight de Otimização: Destacar o papel crítico da parametrização branqueada e da inicialização específica das covariâncias variacionais ($S \ll K_{ZZ}$) para garantir uma descida de gradiente estável, oferecendo diretrizes para um treinamento de DGP robusto.

Os autores mantêm a modéstia, observando que sua análise foca no algoritmo DSVI e que, embora a inicialização proposta resolva o problema do colapso para as a prioris de MÉDIA ZERO, o espaço do modelo estatístico permanece inalterado; a melhoria é estritamente na capacidade de alcançar uma boa solução a partir de um ponto de partida melhor.