Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference

Resumen Técnico: Composición de Grafos Factoriales No Conjugados con Inferencia Variacional de Forma Cerrada

Enunciado del Problema
El modelado probabilístico a menudo requiere arquitecturas jerárquicas para capturar dependencias complejas, como la fiabilidad de expertos dependiente de la entrada o mecanismos de enrutamiento en pronósticos de conjuntos. Sin embargo, apilar bloques de construcción probabilísticos en arquitecturas más profundas suele romper la propiedad de la inferencia de forma cerrada. Los enfoques estándar para manejar la no conjugación dependen de métodos de inferencia de caja negra (por ejemplo, cadenas de Markov de Monte Carlo, autoencoders variacionales amortizados o flujos normalizadores), que aprenden o muestrean el procedimiento de inferencia pero sacrifican la tratabilidad analítica. Los autores preguntan si los modelos probabilísticos pueden componerse jerárquicamente manteniendo la inferencia de forma cerrada, evitando la necesidad de procedimientos de inferencia aproximada o basados en muestreo.

Metodología
El artículo propone un marco composicional basado en grafos factoriales estilo Forney (FFG) y paso de mensajes variacional (VMP). La contribución central es la identificación de un "alfabeto" finito de cinco factores probabilísticos que, al componerse, preservan actualizaciones de forma cerrada bajo restricciones de factorización de campo medio.

1. El Alfabeto: Los autores definen cinco primitivas de grafos factoriales:

   • Softdot (Bilineal): $f_*(z | w, \phi, \tau) = \mathcal{N}(z | w^\top\phi, \tau^{-1})$
   • Enlace Exponencial: $f_{exp}(\gamma | z) = \delta(\gamma - \exp(z))$
   • Prior Gamma: $f_G(\gamma | \alpha, \beta) = \mathcal{G}(\gamma | \alpha, \beta)$
   • Verosimilitud Gaussiana: $f_N(y | \mu, \tau) = \mathcal{N}(y | \mu, \tau^{-1})$
   • Nodo de Igualdad: $f_=(x_1, x_2, x_3) = \delta(x_1 - x_2)\delta(x_1 - x_3)$

2. Composición y Gramática:

   • Profundidad 0 (Conjunto Estático): Una combinación simple de expertos con precisiones fijas.
   • Profundidad 1 (Expertos con Puerta de Precisión): Introduce una "palabra" reutilizable (la palabra de precisión $\pi$) compuesta por un softdot y un enlace exponencial. Esto permite que la precisión de un experto sea una función aprendida de las características de entrada, en lugar de una constante fija.
   • Profundidad 2 (Enrutamiento de Ramas Divididas): Compose múltiples palabras de precisión con interruptores opuestos para crear funciones de precisión lineales a trozos. Apilar estas capas permite que el modelo codifique árboles de decisión binarios arbitrarios, partiendo el espacio de entrada en regiones donde diferentes expertos están activos.

3. Tiempo de Ejecución e Inferencia:

   • El algoritmo de inferencia no está prescrito, sino que emerge de la especificación del modelo mediante la minimización de la Energía Libre de Bethe (BFE).
   • Tipos de Paso de Mensajes: El marco utiliza un enfoque híbrido. Para factores no deterministas (softdot, Gamma, Normal), se utiliza el Paso de Mensajes Variacional (VMP) bajo restricciones de campo medio. Para factores deterministas (Igualdad y Enlace Exponencial), se requiere Propagación de Creencias (BP) porque la factorización de campo medio conduciría a degeneración.
   • Q-Conjugación: Un resultado teórico clave es que, a pesar de la naturaleza no conjugada del enlace exponencial, los mensajes permanecen tratables. El enlace exponencial transforma un mensaje gaussiano sobre la variable latente $z$ en un mensaje log-normal sobre la precisión $\gamma$, y viceversa (log-gamma). Al imponer restricciones de forma (Gaussiana para $z$, Gamma para $\gamma$) y utilizar la función generadora de momentos de la Gaussiana y las estadísticas suficientes de la familia Gamma, los autores derivan ecuaciones de punto fijo de forma cerrada para las distribuciones posteriores marginales. Esto asegura que todos los cálculos de mensajes y actualizaciones marginales sean analíticos, sin requerir integración numérica ni muestreo.

Contribuciones Clave

1. Inferencia Composicional de Forma Cerrada: Los autores demuestran que cualquier modelo compuesto a partir del alfabeto de cinco letras admite un paso de mensajes variacional de forma cerrada. El conjunto es cerrado bajo actualizaciones Q-conjugadas, lo que significa que la forma paramétrica de los mensajes (Gaussiana o Gamma) se preserva a lo largo del grafo, incluso a través del enlace exponencial no conjugado.
2. Aproximación Universal de Funciones: El artículo demuestra que apilar capas de enrutamiento de ramas divididas codifica árboles de decisión arbitrarios. En el límite de enrutamiento agudo (alta precisión), la media posterior de la salida aproxima cualquier función continua en un dominio compacto, estableciendo capacidades de aproximación universal mientras se mantiene la inferencia de forma cerrada.
3. Mezcla Bayesiana de Expertos: El marco se aplica al pronóstico de series temporales de conjuntos, produciendo una mezcla bayesiana de expertos donde las funciones de puerta se infieren en lugar de aprenderse mediante descenso de gradiente. Esto proporciona incertidumbre calibrada sobre la selección de expertos.

Resultados
El marco se evaluó en cinco conjuntos de datos de series temporales de referencia (ETTh1, ETTh2, Tipo de Cambio, Electricidad, Tráfico) utilizando un conjunto de siete pronosticadores diversos (incluyendo CNN, LSTM, DLinear y predictores de cuantiles).

• Rendimiento: La variante "Diagonal Ruidosa" (que separa el desacuerdo del pronosticador del ruido irreducible y utiliza restricciones de covarianza diagonal) logró el mejor equilibrio entre precisión (MSE), calibración (Log-Verosimilitud Negativa, NLL) y eficiencia de parámetros.
• Calibración: A diferencia de las líneas base de Mezcla de Expertos (MoE) basadas en softmax, que a menudo producían valores de NLL no finitos (indicando mala calibración o sobreconfianza), el marco propuesto proporcionó distribuciones predictivas bien calibradas. Las estimaciones de incertidumbre capturaron naturalmente la ambigüedad de enrutamiento, con desviaciones estándar posteriores concentrándose en los límites de decisión en regímenes de enrutamiento agudo.
• Eficiencia: Las variantes diagonales redujeron significativamente la cantidad de parámetros (por ejemplo, de ~15,000 a ~950 para el conjunto de datos de Tipo de Cambio) mientras mantenían un rendimiento competitivo o superior en comparación con las líneas base de covarianza completa y redes neuronales profundas.

Significado y Afirmaciones
El artículo afirma reducir la brecha entre la modularidad del aprendizaje profundo y el rigor analítico de la inferencia probabilística. Al tratar el alfabeto de factores como un lenguaje y la energía libre de Bethe como un compilador, los autores permiten la construcción de modelos probabilísticos profundos y jerárquicos sin requerir nuevas derivaciones para cada arquitectura.

• Modestia: Los autores reconocen que el alfabeto es un subconjunto específico de operaciones (multiplicación, exponenciación, adición) y que los alfabetos puramente lineales-Gaussianos no pueden lograr aproximación universal; el enlace exponencial es esencial para esta expresividad.
• Implicación: El trabajo establece que la inferencia de forma cerrada no es mutuamente excluyente con arquitecturas profundas no conjugadas. Ofrece una alternativa principial a los métodos de inferencia de caja negra, proporcionando distribuciones posteriores marginales e incertidumbre calibrada "gratis" como salida directa del algoritmo de inferencia, en lugar de como un añadido o aproximación.