Resumo Técnico: Transporte Posterior de Onsager–Machlup para Processos Gaussianos Profundos

1. Formulação do Problema

Processos Gaussianos Profundos (DGPs) oferecem um framework de aprendizado profundo bayesiano com incerteza calibrada, empilhando camadas de processo gaussiano (GP). No entanto, a inferência permanece um gargalo computacional central. A distribuição posterior sobre as variáveis de indução por camada $U = \{U^{(\ell)}\}_{\ell=1}^L$ é não gaussiana e altamente correlacionada entre camadas, tornando a inferência exata intratável.

Os métodos existentes de inferência aproximada enfrentam um trade-off:

• Ajuste de Densidade Explícito (baseado em ELBO): Métodos como Inferência Variacional Duplamente Estocástica (DSVI) impõem uma fatoração gaussiana, o que é restritivo para posteriores multimodais ou correlacionados.
• EDS Baseadas em Pontuação: Métodos como DDVI e DBVI definem a posterior como o terminal de uma Equação Diferencial Estocástica (EDS) de tempo reverso treinada via correspondência de pontuação de remoção de ruído (DSM) e uma Limite Inferior de Evidência (ELBO) na forma de Girsanov. Embora flexíveis, esses métodos exigem o treinamento de redes de pontuação auxiliares e sofrem com a variância da integração estocástica.
• Amostragem: O Monte Carlo Hamiltoniano com Gradiente Estocástico (SGHMC) é computacionalmente caro e luta para escalar para grandes conjuntos de dados.

O desafio central é realizar inferência sobre as variáveis de indução de DGP sem as suposições gaussianas restritivas do DSVI, evitando ao mesmo tempo as perdas auxiliares de alta variância e os custos de integração estocástica dos métodos de EDS baseados em pontuação.

2. Metodologia: FBVI-bridge-Path (OM-Path)

Os autores propõem o transporte posterior como uma formulação alternativa. Em vez de ajustar uma densidade $q_\phi(U)$ via maximização de ELBO, eles aprendem um amostrador determinístico $T_\phi$ que mapeia uma medida de referência tratável para variáveis de indução relevantes para a posterior.

2.1 De EDS para EDO Determinística

O método baseia-se na EDS de Doob-bridged forward usada no DBVI, que ancora o processo de difusão a uma distribuição inicial dependente dos dados através de um amortizador $\mu_\theta(x)$.

• Processo de Referência: Os autores aplicam a redução de EDO de fluxo de probabilidade de Song et al. (2021) à EDS de ponte DBVI. Isso produz uma deriva de referência de forma fechada $v_{ref}^{Bri}(U, s)$ derivada diretamente dos coeficientes marginais da ponte (média e variância), eliminando a necessidade de correspondência de pontuação.
• Transporte Determinístico: O objeto variacional é uma EDO determinística $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$ que transporta amostras da marginal do lado do ruído da ponte para a posterior.

2.2 O Objetivo de Onsager–Machlup

Uma insight teórico crítico é que a divergência KL de Girsanov padrão usada em VI baseada em EDS diverge quando o coeficiente de difusão $g \to 0$ (o limite determinístico). O objetivo correto para o limite determinístico é a ação de Onsager–Machlup (OM), que corresponde ao funcional de taxa de desvio grande de Freidlin–Wentzell.

O objetivo de treinamento $L_{OM}$ é definido como:
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• Termo de Dados: Log-verossimilhança negativa do ponto final.
• Prior do Caminho: Um regularizador sem rastro medindo o desvio do campo de velocidade aprendido em relação à deriva de referência de forma fechada.
• Propriedades Chave:
  • Sem rastro: Sem estimativa de rastro de Hutchinson (diferente de FFJORD/CNF).
  • Sem perda auxiliar: Sem correspondência de pontuação de remoção de ruído (diferente de DDVI/DBVI).
  • Sem função de partição: Sem estimativa de $\partial_t \log Z_t$ (diferente de NFS2).

2.3 Status Teórico

O Teorema 1 estabelece que $L_{OM}$ identifica-se com o caminho de Máxima A Posteriori (MAP) de baixo ruído de uma posterior de caminho de ponte de Doob temperada via o Princípio de Desvio Grande de Freidlin–Wentzell (LDP) quando $\epsilon \to 0$.

• No valor finito de treinamento ($\alpha=1, \epsilon=1$), o objetivo atua como um regularizador no espaço de caminhos para uma medida de caminho de referência gaussiana inclinada pela verossimilhança do ponto final.
• O método é um estimador de MAP no espaço de caminhos, não um ELBO. Os autores notam explicitamente essa distinção, contrastando-o com métodos de limite inferior estrito.

2.4 Ablações de ELBO Estrito

O artigo deriva duas variantes estritas de ELBO no espaço de caminhos sobre a mesma espinha dorsal de ponte:

1. FBVI-bridge-CNF: Usa a fórmula de mudança de variáveis instantânea do FFJORD (rastro de Hutchinson) para o termo KL.
2. FBVI-bridge-CNFOM: Adiciona o regularizador OM ao objetivo CNF.
   Empiricamente, essas variantes de ELBO estrito têm desempenho inferior ao estimador MAP sem rastro devido à alta variância introduzida pelo estimador de rastro de Hutchinson.

3. Contribuições Principais

1. Transporte Posterior para DGPs: Introduz um framework de transporte posterior baseado em EDO determinística para variáveis de indução de DGP, substituindo a inferência baseada em ELBO e EDS de pontuação. A deriva de referência é de forma fechada, removendo a necessidade de correspondência de pontuação.
2. Identidade de Posterior de Caminho Finito-$\epsilon$: Fornece uma identificação rigorosa do objetivo de treinamento como o log negativo da densidade não normalizada de uma posterior de caminho temperada (finito $\alpha$) e conecta-a ao caminho MAP de baixo ruído via LDP de Freidlin–Wentzell (Teorema 1).
3. Análise de Trade-off Viés-Variância: Demonstra que no regime de transporte posterior de DGP, reduzir a variância do objetivo de caminho (removendo o rastro de Hutchinson) domina o benefício de rastrear uma densidade exata. O estimador MAP sem rastro supera ELBOs estritos.
4. Validação Empírica: Mostra melhorias estatisticamente significativas sobre o estado da arte DBVI em conjuntos de dados de regressão UCI em grande escala ($N > 9.000$) e desempenho competitivo em classificação binária, mantendo estabilidade em conjuntos de dados pequenos.

4. Resultados Experimentais

O método (FBVI-bridge-Path ou OM-Path) foi avaliado contra DSVI, SGHMC, IPVI, DDVI e DBVI em sete conjuntos de dados de regressão UCI, regressão em grande escala (Airline, Year) e classificação binária (SUSY, HIGGS).

• Regressão Pequena/Média (UCI):
  • Vitórias Significativas: O OM-Path alcança vitórias estatisticamente significativas (teste de Wilcoxon pareado) sobre o DBVI nos dois maiores conjuntos de dados: Power ($p=0,014$) e Protein ($p=0,002$).
  • Empates: Empates estatísticos em Yacht e QSAR.
  • Derrotas: O OM-Path cede ao DBVI em conjuntos de dados pequenos-$N$ e ruidosos (Boston, Energy, Concrete), onde a regularização de ruído de EDS da parametrização de pontuação do DBVI oferece um benefício.
• Regressão em Grande Escala: Nos conjuntos de dados Year (515 mil linhas) e Airline, o OM-Path alcança o melhor desempenho médio em RMSE e NLL, embora a significância estatística não seja reivindicada devido ao número limitado de sementes.
• Classificação Binária: O OM-Path alcança desempenho empatado com o melhor do DBVI em SUSY e HIGGS, fechando a lacuna anteriormente vista com substitutos de $q$ implícitos.
• Inferência em Poucos Passos: Devido à natureza determinística da EDO, o OM-Path suporta inferência agressiva em poucos passos (1–4 passos) com degradação mínima de precisão em conjuntos de dados como Energy e Concrete, superando as bases estocásticas nesse regime.
• Otimização Bayesiana: O OM-Path fornece quantificação de incerteza superior em benchmarks sintéticos de baixa a moderada dimensionalidade (Hartmann-6, Levy-20), superando o DSVI.

5. Significado e Reivindicações

O artigo afirma que o FBVI-bridge-Path representa uma alternativa rigorosa e sem rastro à inferência variacional baseada em pontuação para DGPs. Seu significado reside em:

• Rigor Teórico: Fundamentar o objetivo de treinamento no LDP de Freidlin–Wentzell e na ação de Onsager–Machlup, fornecendo uma justificativa matematicamente sólida para o transporte posterior determinístico.
• Eficiência Prática: Eliminar a sobrecarga computacional da correspondência de pontuação e da estimativa de rastro de Hutchinson, levando a um treinamento mais rápido e gradientes mais estáveis.
• Desempenho: Demonstrar que um estimador de MAP no espaço de caminhos, que troca o limite estrito de ELBO por menor variância, produz resultados empíricos superiores em grandes conjuntos de dados onde a variância do gradiente é o fator limitante.

Os autores são modestos em suas reivindicações, reconhecendo que:

• O método não é um ELBO e não fornece um limite inferior na verossimilhança marginal.
• Variantes de ELBO estrito existem, mas são empiricamente inferiores neste regime específico devido à variância.
• O desempenho em conjuntos de dados pequenos e ruidosos é atualmente melhor atendido pela regularização estocástica dos métodos baseados em pontuação (DBVI).
• A identificação teórica com o caminho MAP é um resultado assintótico ($\epsilon \to 0$), enquanto o treinamento prático ocorre em $\epsilon$ finito.