Efficient Gaussian process learning via subspace projections

Resumo Técnico: Aprendizado de Processos Gaussianos Eficiente via Projeções de Subespaço

Definição do Problema
Processos Gaussianos (GPs) são uma abordagem padrão para análise de séries temporais, particularmente em cenários envolvendo amostragem irregular, dados ausentes e quantificação de incerteza. No entanto, o treinamento exato de GP via máxima verossimilhança (ML) incorre em um custo computacional de $O(n^3)$, tornando-o inviável para conjuntos de dados que excedem alguns milhares de pontos. Embora métodos de GP esparsos, como a abordagem de Energia Livre Variacional (VFE) usando variáveis indutoras, reduzam a complexidade para $O(nm^2)$, eles introduzem desvantagens específicas:

1. Viés: Eles frequentemente produzem estimativas de hiperparâmetros enviesadas (por exemplo, o VFE tende a superestimar a variância do ruído, enquanto o FITC a subestima) devido à escolha restrita da distribuição variacional aproximada.
2. Eficiência Assintótica: Sua superioridade computacional só é realizada assintoticamente (para $n$ suficientemente grande), e o prejuízo de treinamento envolve operações complexas (múltiplas decomposições de Cholesky) que podem exigir mais etapas de otimização para convergir.

Os autores identificam a necessidade de um método de treinamento que equilibre eficiência computacional com precisão para conjuntos de dados moderadamente grandes, evitando os vieses inerentes às atuais aproximações esparsas.

Metodologia: Verossimilhança Projetada (PL)
O artigo propõe um novo objetivo de treinamento denominado Verossimilhança Projetada (PL). Em vez de aproximar a posterior via variáveis indutoras, a PL constrói um GP substituto sobre uma projeção linear de baixa dimensão dos dados.

• Mecanismo de Projeção: O vetor de observação $n$-dimensional $y$ é projetado em $k$ direções ($k \ll n$) definidas por vetores $\omega_1, \dots, \omega_k$ na esfera unitária $S^{n-1}$. Isso resulta em um vetor comprimido de $k$ dimensões $z = \Omega^\top y$.
• Objetivo de Treinamento: O treinamento minimiza a log-verossimilhança negativa (NLL) desses dados projetados. A função objetivo resultante, $L_{PL}(\theta)$, possui um custo computacional de $O(kn^2)$.
• Análise de Perda de Informação: Os autores derivam uma expressão em forma fechada para a perda de informação de Fisher incorrida ao usar PL em vez de ML exato. Eles provam que essa perda é quadrática na covariância condicional $\Sigma_{Y|Z}$.
  • Insight Teórico: As direções de projeção ótimas correspondem aos $k$ autovetores superiores da matriz de covariância $K_x$. Como estes são desconhecidos antes do treinamento, os autores avaliam experimentalmente estratégias de projeção aleatória.
  • Achado Empírico: Entre várias estruturas de projeção (One-hot, Localizada, Repulsiva e Esférica), as projeções aleatórias uniformemente distribuídas na esfera unitária (Esférica) mostraram-se eficazes em minimizar o traço da covariância residual $\Sigma_{Y|Z}$, reduzindo assim a perda de informação.

Principais Contribuições

1. Novo Objetivo: Introdução da Verossimilhança Projetada (PL) como um objetivo de treinamento baseado em projeções lineares de baixa dimensão em vez de variáveis indutoras.
2. Quantificação Teórica: Uma derivação da perda de informação associada à PL, demonstrando que ela pode ser minimizada via projeções aleatórias na esfera unitária.
3. Compromisso entre Eficiência e Precisão: O artigo demonstra que, embora a PL tenha uma complexidade teórica de $O(kn^2)$ (que parece ser maior que o $O(nm^2)$ de GPs esparsos para um $m$ pequeno), ela é empiricamente mais eficiente. Isso ocorre porque a PL requer significativamente menos etapas de otimização para convergir comparado ao VFE, que frequentemente luta com um cenário de perda mais complexo.
4. Redução de Viés: Ao contrário do VFE, que é conhecido por enviesar estimativas de hiperparâmetros (especificamente a variância do ruído), a PL alcança soluções mais próximas da linha de base de ML exato.

Resultos Experimentais
Os autores validaram a PL contra VFE e ML exato através de conjuntos de dados sintéticos e do mundo real (Sunspots e Neonatal EEG) usando vários kernels (SE, Laplace, RQ, LocPer) e otimizadores (BFGS, Adam).

• Velocidade de Otimização: Em experimentos com 1.000 amostras, a PL alcançou uma NLL mais próxima da linha de base de ML exato do que o VFE, enquanto exigiu menos iterações. Por exemplo, com o otimizador Adam, a PL levou 0,574 segundos comparado a 1,57 segundos para o VFE.
• Escalabilidade: Para conjuntos de dados variando de 500 a 4.000 pontos, a PL atingiu a NLL alvo mais rápido que o VFE para $n < 3000$. À medida que $n$ aumentava, a lacuna de desempenho diminuía, mas a PL mantinha precisão superior ou comparável.
• Desempenho no Mundo Real: No conjunto de dados Sunspot (3.319 pontos) e no conjunto de dados EEG (8.000 pontos de treinamento), a PL superou consistentemente o VFE em termos de precisão (menor NLL ou RMSE) em todos os kernels testados. Embora os tempos computacionais tenham se tornado semelhantes para conjuntos de dados muito grandes, a PL manteve uma vantagem clara de precisão.
• Estimativa de Variância: As estimativas de variância posterior da PL permaneceram mais próximas da estimativa de ML, enquanto o VFE tendeu a superestimar a variância.

Significância e Alegações
O artigo afirma que o método PL oferece uma alternativa competitiva para GPs esparsos para conjuntos de dados moderadamente grandes (até 8.000 pontos). Sua principal significância reside em demonstrar que representações de dados comprimidas podem ser aproveitadas no aprendizado de GPs para descartar redundâncias naturais em séries temporais sem sacrificar significativamente a precisão do aprendizado.

Crucialmente, os autores argumentam que a avaliação de métodos de verossimilhança aproximada não deve depender apenas do custo computacional de uma única avaliação de perda (por exemplo, $O(nm^2)$ vs $O(kn^2)$), mas deve também considerar a complexidade do cenário de perda. A capacidade da PL de convergir em menos etapas torna-a praticamente mais eficiente do que o VFE, apesar da complexidade teórica de sua função objetivo. O estudo valida que projeções aleatórias na esfera unitária fornecem um mecanismo robusto e de baixo custo para aproximar a verossimilhança exata do GP.