Direct Bethe Free Energy Minimization for Bayesian Neural Ne twork

Resumo Técnico: Minimização Direta da Energia Livre de Bethe para Redes Neurais Bayesianas

Declaração do Problema
Redes Neurais Bayesianas (BNNs) são tipicamente treinadas maximizando o Limite Inferior da Evidência (ELBO). No entanto, o ELBO sofre de um "hiato de Jensen" estrutural decorrente da aplicação da desigualdade de Jensen; esse hiato só desaparece se a posterior aproximada for igual à posterior exata, uma condição raramente satisfeita na prática. Alternativas existentes enfrentam compromissos: a inferência variacional mantém o hiato, métodos post-hoc (por exemplo, aproximação de Laplace) carecem de feedback probabilístico durante o treinamento, e métodos baseados em amostragem (por exemplo, Deep Ensembles, MC Dropout) incorrem em altos custos de inferência devido a múltiplas passagens forward. Além disso, a Bayes empírica padrão (otimização conjunta de pesos e hiperparâmetros) tipicamente requer um loop externo de validação cruzada ou aproximação da verossimilhança marginal, aumentando a sobrecarga computacional.

Metodologia
O artigo propõe treinar BNNs minimizando diretamente a energia livre de Bethe ($F_{Bethe}$) via descida de gradiente, em vez de maximizar um limite inferior variacional.

• Fundamentação Teórica: Em grafos fatoriais com estrutura de árvore, minimizar a energia livre de Bethe é equivalente a encontrar crenças que satisfazem condições de consistência local. No ótimo, a energia livre de Bethe é igual ao logaritmo negativo exato da função de partição, eliminando completamente o hiato de Jensen.
• Arquitetura: O framework acomoda qualquer mistura de subgrafos probabilísticos e determinísticos. Especificamente, os autores instanciam isso com uma rede de backbone determinística ($\psi$) e uma última camada probabilística com uma posterior Gaussiana $q(w) = \mathcal{N}(\mu, \Sigma)$.
• Construção de Cavidade Compartilhada: Para lidar com a posterior de pesos compartilhada entre $N$ placas de dados, o método emprega uma aproximação de "cavidade compartilhada" onde a posterior $q(w)$ é usada como a mensagem de saída para cada placa. Isso permite que a energia livre de Bethe se decomponha em uma soma de integrais tratáveis sobre fatores.
• Funções de Perda de Forma Fechada: Ao restringir a posterior à última camada e utilizar verossimilhanças Gaussianas ou probit, os autores derivam perdas analiticamente tratáveis:
  • Regressão (Verossimilhança Gaussiana): O objetivo de Bethe é igual à verossimilhança marginal exata. A perda é uma verossimilhança negativa heterocedástica mais um termo de prior.
  • Classificação (Verossimilhança Probit): Usando a identidade de convolução probit–Gaussiana, a perda reduz-se a um termo de forma fechada $-\log \Phi(t_n)$ mais o termo de prior.
• Prior Consistente-Z e Bayes Empírica: A prior é formulada como $p(w) = \mathcal{N}(0, \alpha^{-1}I)$. Crucialmente, o termo $-\log Z_w$ (a função de partição logarítmica da prior) torna a precisão da prior $\alpha$ um parâmetro diferenciável. Isso permite Bayes empírica de passagem única, onde pesos, covariância e hiperparâmetros são otimizados conjuntamente em uma única passagem de gradiente sem um loop externo ou validação cruzada.
• Custo de Inferência: A distribuição preditiva é de forma fechada, exigindo apenas uma única passagem forward determinística (custo equivalente a MAP), em contraste com métodos de ensemble ou amostragem.

Principais Contribuições

1. Minimização Direta de Bethe: Um framework baseado em gradiente para minimizar a energia livre de Bethe em BNNs, contornando a propagação de crenças iterativa e suportando grafos mistos probabilísticos/determinísticos.
2. Bayes Empírica de Passagem Única: A formulação de prior consistente-Z torna os hiperparâmetros diferenciáveis, permitindo a otimização conjunta de pesos, covariância e precisão da prior em uma única passagem. Os autores afirmam que isso iguala o desempenho da validação cruzada por busca em grade na maioria dos conjuntos de dados.
3. Geometria de Otimização Mais Apertada: O objetivo de Bethe situa-se estritamente entre o Máximo A Posteriori (MAP) e o ELBO ($L_{MAP} \le L_{Bethe} \le L_{ELBO}$). Isso remove o hiato de Jensen estrutural que nenhuma escolha de família variacional pode fechar.
4. Predições de Forma Fechada: Tanto os objetivos de regressão quanto de classificação produzem predições de forma fechada, mantendo custos de inferência comparáveis às redes determinísticas padrão.

Resultados Experimentais
O método foi avaliado em 8 benchmarks de regressão UCI e 12 benchmarks de classificação UCI sob um regime compartilhado de hiperparâmetros (uma única camada oculta, largura 50, Adam em lote completo).

• Desempenho: Variantes de Bethe (especificamente Bethe-FG com covariância completa e Bethe-Diag com covariância diagonal) igualaram ou superaram métodos de referência (MAP, Laplace, VBLL, MC Dropout, Deep Ensembles) na maioria das métricas de Verossimilhança Negativa (NLL) e calibração.
  • Em regressão, Bethe-FG ou Bethe-Diag foi o melhor ou empatou pelo melhor em 6 dos 8 conjuntos de dados.
  • Em classificação, variantes Ordinal Bethe foram as melhores ou empataram pelo melhor em 6 dos 8 conjuntos de dados.
• Comparação com Métodos de Múltiplas Passagens: Bethe alcançou resultados competitivos contra Deep Ensembles (5x custo) e MC Dropout (50x custo) enquanto exigia apenas uma única passagem forward.
• Bayes Empírica vs. Validação Cruzada: A otimização conjunta de Bayes empírica da precisão da prior $\alpha$ igualou os resultados da validação cruzada por busca em grade em essencialmente todas as combinações de conjunto de dados-variante, eliminando a necessidade de um loop externo de hiperparâmetros.
• Ablação: Em um cenário de modelo linear (sem backbone), a Bayes empírica igualou a regressão Ridge/Probit ajustada, confirmando que o mecanismo funciona sem confusos de redes neurais.

Significado e Afirmações
O artigo afirma que a minimização direta de Bethe oferece uma alternativa principial à inferência variacional que remove o hiato de Jensen estrutural inerente ao ELBO. Ao aproveitar a exatidão da energia livre de Bethe em grafos com estrutura de árvore, o framework alcança:

• Incerteza Calibrada: Como ilustrado no benchmark Two-Moons, Bethe produz contornos de incerteza calibrados que se expandem para longe dos dados, enquanto MAP é excessivamente confiante e Laplace é mal escalado.
• Eficiência: Fornece um "bloco de construção de passagem única mais forte" que iguala o desempenho de métodos de múltiplas passagens (como ensembles) sem sua sobrecarga de inferência.
• Paisagem de Otimização: Os autores observam que, embora o framework seja teoricamente exato em grafos de árvore, desafios práticos de otimização existem (por exemplo, "fome de variância" em regressão onde o ruído de observação absorve a incerteza, ou "fuga de alfa" onde a precisão da prior diverge). No entanto, eles caracterizam esses como modos de falha específicos da paisagem conjunta de Bayes empírica, e não como limitações fundamentais do próprio framework de Bethe.

O artigo conclui que essa abordagem permite o treinamento end-to-end de redes neurais bayesianas com a eficiência computacional de redes determinísticas e o rigor teórico da inferência exata em aproximações com estrutura de árvore.