Resumo Técnico: Aprendizado Ativo para Regressão de Processo Gaussiano em Variedade

Declaração do Problema

A Regressão de Processo Gaussiano (GPR) padrão é uma estrutura não paramétrica poderosa para regressão e quantificação de incerteza. No entanto, enfrenta a "maldição da dimensionalidade" à medida que as dimensões de entrada aumentam. Em espaços de alta dimensão, os dados tornam-se esparsos, a escalabilidade computacional se deteriora e a capacidade das funções de covariância padrão (por exemplo, exponencial quadrática) de capturar estruturas subjacentes dos dados diminui. Isso é particularmente problemático para modelar funções complexas e descontínuas ou dados com estruturas geométricas intrínsecas de baixa dimensão.

Embora os Processos Gaussianos em Variedade (mGPs) tenham surgido como uma solução ao projetar dados de alta dimensão em um espaço latente de dimensão inferior para preservar a geometria intrínseca, o desempenho desses modelos depende fortemente da qualidade e representatividade dos dados de treinamento. Em muitas aplicações científicas e de engenharia, a aquisição de dados rotulados é cara ou consome muito tempo. Estratégias existentes de aprendizado ativo para GPR frequentemente não são adaptadas aos desafios específicos dos mGPs, onde a geometria do espaço latente e as entradas de alta dimensão interagem dinamicamente. Há necessidade de uma estrutura que selecione eficientemente pontos de dados para refinar modelos mGP enquanto minimiza o erro global de previsão.

Metodologia

O artigo propõe uma estrutura unificada, denominada Aprendizado Ativo de Processo Gaussiano em Variedade (ALmGP), que integra aprendizado de variedade com design experimental sequencial. A metodologia consiste em três componentes principais:

1. Modelo de Processo Gaussiano em Variedade (mGP)

A estrutura mGP decompõe a tarefa de regressão $F = G \circ M$, onde:

• $M$ (Mapeamento): Um mapeamento determinístico do espaço de entrada $\mathcal{X}$ para um espaço de características latentes $\mathcal{H} \subset \mathbb{R}^Q$. Isso é implementado usando uma rede neural multicamadas com parâmetros $\theta_M$.
• $G$ (Regressor): Um modelo GPR padrão operando dentro do espaço latente $\mathcal{H}$ com parâmetros $\theta_G$.

O modelo otimiza conjuntamente $\theta_{mGP} = [\theta_M, \theta_G]$ minimizando a Verossimilhança Marginal Negativa (NLML). Esta abordagem supervisionada permite que o modelo aprenda representações de características conscientes da tarefa, capazes de lidar com descontinuidades e padrões multiescala mais efetivamente do que transformações não supervisionadas (como PCA) ou kernels padrão.

2. Critério de Aprendizado Ativo (ALC)

Para selecionar os pontos de dados mais informativos, a estrutura emprega o critério Aprendizado Ativo Cohn (ALC), que visa minimizar o Erro Quadrático Médio Integrado (IMSE) sobre o espaço de entrada.

• Objetivo: Selecionar um novo ponto $x_{n+1}$ que maximize a redução esperada na variância posterior.
• Função de Aquisição: A pontuação ALC é proporcional à integral da redução da variância preditiva.
• Aproximação: Para garantir tratabilidade computacional, a integral é aproximada usando um conjunto de referência fixo $X_{ref}$ amostrado via Projeto de Hipercubo Latino (LHD).
• Estratégia de Seleção: O algoritmo utiliza um processo de triagem em duas etapas:
  1. Pré-seleção: Identificar os $K$ principais candidatos com a maior variância preditiva do conjunto de candidatos.
  2. Otimização: Calcular a pontuação ALC apenas para esses $K$ pontos e selecionar os $B$ principais pontos (tamanho do lote) para adicionar ao conjunto de treinamento.

3. Otimização e Treinamento

A estrutura utiliza o algoritmo L-BFGS para otimizar hiperparâmetros. Para garantir estabilidade e positividade, os hiperparâmetros (como escalas de comprimento e variância de saída) são elevados ao quadrado antes da otimização. O processo itera: ajustando o mGP, selecionando novos pontos via ALC e re-treinando até que um limiar de convergência ou orçamento máximo seja atingido.

Principais Contribuições

O artigo delineia três contribuições primárias:

1. Estrutura Unificada: A integração de aprendizado de variedade com aprendizado ativo baseado em IMSE especificamente para mGPs, preenchendo a lacuna entre aquisição eficiente de dados e redução de dimensionalidade.
2. Eficiência Estratégica: Eficiência aprimorada através da seleção estratégica de pontos no espaço latente, aproveitando a capacidade do mGP de capturar estruturas geométricas complexas.
3. Escalabilidade: Uma abordagem escalável para dados de alta dimensão ao operar em variedades intrínsecas de baixa dimensão, abordando as limitações dos GPs padrão em altas dimensões.

Resultados Experimentais

Os autores validaram a estrutura ALmGP usando quatro experimentos de referência, comparando-a com aprendizado sequencial aleatório (Random LHS). Cada experimento foi repetido 10 vezes para garantir robustez estatística.

• Função Trigonométrica por Partes (1D): Uma função com descontinuidades. O método ALmGP alcançou um RMSE médio de 0,156 com 15 novas amostras, superando significativamente a amostragem aleatória. O espaço latente 2D aprendido desdobrou com sucesso a estrutura descontínua.
• Função Determinística Bidimensional: Uma função rotacionada com componentes gaussianos. O método atingiu um RMSE médio de 0,0152 após 50 iterações (100 amostras totais), demonstrando convergência superior em comparação com a linha de base.
• Função Tridimensional na Esfera Unitária: Uma função definida em uma variedade esférica. A estrutura alcançou um baixo RMSE médio de $6 \times 10^{-3}$ com 100 amostras, modelando efetivamente a geometria esférica.
• Função de Poço de Perfuração (8D): Um padrão de regressão não linear com oito parâmetros físicos. O método ALmGP alcançou um RMSE médio de 0,6 com 150 amostras, mostrando robustez em simulações físicas de dimensões mais altas.

Em todos os casos, o método ALmGP (linhas sólidas verdes nas figuras) demonstrou consistentemente menor Erro Quadrático Médio (RMSE) e convergência mais rápida do que a aquisição aleatória (linhas tracejadas vermelhas).

Significado e Alegações

O artigo afirma que a estrutura proposta oferece uma solução prática para aplicações científicas e de engenharia onde a aquisição de dados é custosa e as funções são complexas ou descontínuas. Ao otimizar conjuntamente a redução de dimensionalidade e o regressor sob um critério de aprendizado ativo, o método:

• Melhora a Precisão: Alcança desempenho preditivo superior em comparação com amostragem passiva e métodos de aprendizado ativo padrão em espaços de alta dimensão.
• Lida com Complexidade: Gerencia efetivamente funções descontínuas e estruturas geométricas complexas com as quais os GPs padrão lutam.
• Mantém a Tratabilidade: Apesar da complexidade da otimização conjunta, o método permanece computacionalmente viável através de estratégias de triagem eficientes e otimização de hiperparâmetros.

Os autores observam que, embora a estrutura atual assuma um mapeamento de variedade determinístico, trabalhos futuros focarão na escalabilidade, aprendizado de variedade consciente de incerteza (por exemplo, via redes neurais bayesianas) e na melhoria da interpretabilidade das variedades aprendidas através de restrições específicas do domínio.