Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference

Resumo Técnico: Composição de Grafos de Fator Não-Conjugados com Inferência Variacional de Forma Fechada

Declaração do Problema
A modelagem probabilística frequentemente requer arquiteturas hierárquicas para capturar dependências complexas, como a confiabilidade de especialistas dependente da entrada ou mecanismos de roteamento em previsões de conjunto. No entanto, empilhar blocos de construção probabilísticos em arquiteturas mais profundas geralmente rompe a propriedade de inferência de forma fechada. Abordagens padrão para lidar com não-conjugação dependem de métodos de inferência de caixa preta (por exemplo, Cadeias de Markov Monte Carlo, autoencoders variacionais amortizados ou fluxos normalizantes), que aprendem ou amostram o procedimento de inferência, mas sacrificam a tratabilidade analítica. Os autores questionam se modelos probabilísticos podem ser compostos hierarquicamente enquanto retêm inferência de forma fechada, evitando a necessidade de procedimentos de inferência aproximada ou baseados em amostragem.

Metodologia
O artigo propõe um framework composicional baseado em Grafos de Fator no estilo de Forney (FFG) e passagem de mensagens variacionais (VMP). A contribuição central é a identificação de um "alfabeto" finito de cinco fatores probabilísticos que, quando compostos, preservam atualizações de forma fechada sob restrições de fatorização de campo médio.

1. O Alfabeto: Os autores definem cinco primitivas de grafo de fator:

   • Softdot (Bilinear): $f_*(z | w, \phi, \tau) = \mathcal{N}(z | w^\top\phi, \tau^{-1})$
   • Conexão Exponencial: $f_{exp}(\gamma | z) = \delta(\gamma - \exp(z))$
   • Priori Gama: $f_G(\gamma | \alpha, \beta) = \mathcal{G}(\gamma | \alpha, \beta)$
   • Verossimilhança Gaussiana: $f_N(y | \mu, \tau) = \mathcal{N}(y | \mu, \tau^{-1})$
   • Nó de Igualdade: $f_=(x_1, x_2, x_3) = \delta(x_1 - x_2)\delta(x_1 - x_3)$

2. Composição e Gramática:

   • Profundidade 0 (Ensemble Estático): Uma combinação simples de especialistas com precisões fixas.
   • Profundidade 1 (Especialistas Controlados por Precisão): Introduz uma "palavra" reutilizável (a palavra de precisão $\pi$) composta por um softdot e uma conexão exponencial. Isso permite que a precisão de um especialista seja uma função aprendida das características de entrada, em vez de uma constante fixa.
   • Profundidade 2 (Roteamento de Ramificação Dividida): Compõe múltiplas palavras de precisão com comutadores opostos para criar funções de precisão lineares por partes. Empilhar essas camadas permite que o modelo codifique árvores de decisão binárias arbitrárias, particionando o espaço de entrada em regiões onde diferentes especialistas estão ativos.

3. Tempo de Execução e Inferência:

   • O algoritmo de inferência não é prescrito, mas emerge da especificação do modelo via minimização da Energia Livre de Bethe (BFE).
   • Tipos de Passagem de Mensagens: O framework utiliza uma abordagem híbrida. Para fatores não-determinísticos (softdot, Gama, Normal), a Passagem de Mensagens Variacionais (VMP) é usada sob restrições de campo médio. Para fatores determinísticos (Igualdade e Conexão Exponencial), a Propagação de Crenças (BP) é necessária, pois a fatorização de campo médio levaria à degenerescência.
   • Q-Conjugação: Um resultado teórico chave é que, apesar da natureza não-conjugada da conexão exponencial, as mensagens permanecem tratáveis. A conexão exponencial transforma uma mensagem Gaussiana na variável latente $z$ em uma mensagem log-normal na precisão $\gamma$, e vice-versa (log-gama). Ao impor restrições de forma (Gaussiana para $z$, Gama para $\gamma$) e utilizar a função geradora de momentos da Gaussiana e estatísticas suficientes da família Gama, os autores derivam equações de ponto fixo de forma fechada para as posteriores marginais. Isso garante que todos os cálculos de mensagens e atualizações marginais sejam analíticos, não exigindo integração numérica ou amostragem.

Principais Contribuições

1. Inferência Composicional de Forma Fechada: Os autores provam que qualquer modelo composto a partir do alfabeto de cinco letras admite passagem de mensagens variacionais de forma fechada. O conjunto é fechado sob atualizações Q-conjugadas, o que significa que a forma paramétrica das mensagens (Gaussiana ou Gama) é preservada ao longo do grafo, mesmo através da conexão exponencial não-conjugada.
2. Aproximação Universal de Funções: O artigo demonstra que empilhar camadas de roteamento de ramificação dividida codifica árvores de decisão arbitrárias. No limite de roteamento agudo (alta precisão), a média posterior da saída aproxima qualquer função contínua em um domínio compacto, estabelecendo capacidades de aproximação universal enquanto mantém inferência de forma fechada.
3. Mistura Bayesiana de Especialistas: O framework é aplicado à previsão de séries temporais de conjunto, resultando em uma mistura bayesiana de especialistas onde as funções de controle são inferidas em vez de aprendidas via descida de gradiente. Isso fornece incerteza calibrada sobre a seleção de especialistas.

Resultados
O framework foi avaliado em cinco conjuntos de dados de séries temporais de referência (ETTh1, ETTh2, Taxa de Câmbio, Eletricidade, Tráfego) usando um ensemble de sete previsores diversos (incluindo CNN, LSTM, DLinear e preditores de quantil).

• Desempenho: A variante "Diagonal Ruidosa" (que separa o desacordo do previsor do ruído irreduzível e usa restrições de covariância diagonal) alcançou o melhor equilíbrio entre precisão (MSE), calibração (Log-Verossimilhança Negativa, NLL) e eficiência de parâmetros.
• Calibração: Ao contrário das bases de Mistura de Especialistas (MoE) baseadas em softmax, que frequentemente produziam valores de NLL não finitos (indicando má calibração ou excesso de confiança), o framework proposto forneceu distribuições preditivas bem calibradas. As estimativas de incerteza capturaram naturalmente a ambiguidade de roteamento, com desvios padrão posteriores concentrando-se nas fronteiras de decisão em regimes de roteamento agudo.
• Eficiência: As variantes diagonais reduziram significativamente a contagem de parâmetros (por exemplo, de ~15.000 para ~950 para o conjunto de dados de Taxa de Câmbio) enquanto mantinham desempenho competitivo ou superior em comparação com bases de covariância completa e redes neurais profundas.

Significado e Afirmações
O artigo afirma estreitar a lacuna entre a modularidade do aprendizado profundo e o rigor analítico da inferência probabilística. Ao tratar o alfabeto de fatores como uma linguagem e a energia livre de Bethe como um compilador, os autores permitem a construção de modelos probabilísticos profundos e hierárquicos sem exigir novas derivações para cada arquitetura.

• Modéstia: Os autores reconhecem que o alfabeto é um subconjunto específico de operações (multiplicação, exponenciação, adição) e que alfabetos puramente lineares-Gaussianos não podem alcançar aproximação universal; a conexão exponencial é essencial para essa expressividade.
• Implicação: O trabalho estabelece que a inferência de forma fechada não é mutuamente exclusiva com arquiteturas profundas e não-conjugadas. Oferece uma alternativa principial aos métodos de inferência de caixa preta, fornecendo distribuições posteriores marginais e incerteza calibrada "de graça" como uma saída direta do algoritmo de inferência, em vez de como um complemento ou aproximação.