Resumen Técnico: Contracción de Wasserstein del Ascenso de Coordenadas en Inferencia Variacional

Planteamiento del Problema

El artículo aborda las garantías teóricas de convergencia para el algoritmo de Ascenso de Coordenadas en Inferencia Variacional (CAVI). CAVI es un método fundamental para aproximar distribuciones objetivo $\pi$ intratables (típicamente distribuciones posteriores en estadística bayesiana) minimizando la divergencia de Kullback–Leibler (KL) sobre una familia de distribuciones factorizadas y tratables (por ejemplo, $\mu \otimes \nu$). Aunque CAVI es ampliamente utilizado debido a su eficiencia computacional, las garantías rigurosas de convergencia han sido históricamente limitadas. La literatura existente a menudo depende de supuestos fuertes, como la log-concavidad fuerte global de la distribución objetivo, lo que excluye muchos modelos prácticos (por ejemplo, modelos de mezcla, regresión logística) donde la objetivo no es fuertemente log-concava o donde el espacio involucra componentes discretos o no suaves.

Los autores buscan establecer la convergencia exponencial local de las iteraciones de CAVI $(\mu_k, \nu_k)$ hacia un punto fijo en la distancia de Wasserstein, bajo condiciones que son más débiles y verificables que la log-concavidad fuerte global.

Metodología

Los autores analizan las actualizaciones de CAVI como una secuencia de operadores que actúan sobre medidas de probabilidad. Sea la objetivo $\pi = e^{-f} \in \mathcal{P}(Z \times B)$. Las actualizaciones de CAVI se definen mediante mapas de optimalidad:
$$\mu_k = \mu^\star[\nu_{k-1}], \quad \nu_k = \nu^\star[\mu_k]$$
donde $\mu^\star[\nu] \propto \exp(-\mathbb{E}_\nu f(\cdot, \beta))$ y $\nu^\star[\mu] \propto \exp(-\mathbb{E}_\mu f(Z, \cdot))$.

El análisis de convergencia se basa en dos condiciones principales definidas sobre el espacio de medidas de probabilidad equipado con la distancia de Wasserstein-$p$ ($W_p$):

1. Suavidad de Fisher (Suavidad Cruzada): Se requiere que los mapas de optimalidad $\mu^\star[\cdot]$ y $\nu^\star[\cdot]$ sean "suaves de Fisher" alrededor de los puntos fijos. Un operador $\gamma^\star[\cdot]$ es suave de Fisher con constante $L$ si:
   $$I(\gamma^\star[\varrho] \| \gamma^\star[\varrho']) \leq L^2 W_p^2(\varrho, \varrho')$$
   donde $I$ es la Información de Fisher Relativa. Esta condición limita esencialmente cuánto cambia el gradiente del potencial con respecto a la otra coordenada (suavidad cruzada del término de interacción $\omega$ en $f = f_1 + f_2 + \omega$).

2. Desigualdad de Transporte-Información (TI): Las distribuciones de punto fijo $\mu^\star$ y $\nu^\star$ deben satisfacer una desigualdad TI con constantes $\lambda_1, \lambda_2$:
   $$\lambda^2 W_p^2(\varrho, \gamma) \leq I(\varrho \| \gamma)$$
   Esta es una condición de curvatura sobre los puntos fijos. Es más débil que las desigualdades de log-Sobolev y la log-concavidad fuerte, y se tensoriza, lo que la hace adecuada para entornos de alta dimensión.

Los autores también extienden este marco a entornos de Aumento de Datos (donde $Z$ representa variables auxiliares). En este caso, muestran que la convergencia del marginal de parámetros $\nu_k$ puede establecerse únicamente basándose en la suavidad del mapa compuesto $\nu^\star[\mu^\star[\cdot]]$ y la desigualdad TI de $\nu^\star$, sin requerir condiciones de curvatura en el punto fijo auxiliar $\mu^\star$. Esto es crucial cuando $Z$ es discreto o no suave.

Contribuciones Clave

1. Teorema General de Convergencia (Teorema 1)

El artículo demuestra que si las constantes de suavidad cruzada ($L_{1|2}, L_{2|1}$) y las constantes TI ($\lambda_{1|2}, \lambda_{2|1}$) satisfacen la condición $L_{1|2}L_{2|1} < \lambda_{1|2}\lambda_{2|1}$, entonces las iteraciones de CAVI convergen exponencialmente rápido hacia el punto fijo en distancia de Wasserstein con una tasa de $\frac{L_{1|2}L_{2|1}}{\lambda_{1|2}\lambda_{2|1}}$.

• Generalidad: El resultado se mantiene para variedades riemannianas suaves generales y permite espacios no suaves (mediante la extensión de aumento de datos).
• Local vs. Global: El teorema proporciona garantías de convergencia local. La convergencia global es posible si las condiciones se cumplen globalmente, pero los autores enfatizan que las garantías locales son suficientes para muchos escenarios prácticos donde existen múltiples puntos fijos.
• Nitidez: Para objetivos gaussianas, la tasa derivada coincide con la norma espectral de la matriz de correlación, demostrando la nitidez del límite.

2. Marco de Aumento de Datos (Teorema 4)

Una contribución significativa es la relajación de supuestos para problemas de aumento de datos. Los autores muestran que si el interés reside únicamente en el parámetro $\beta$ (marginal $\nu$), la convergencia puede probarse sin requerir que el punto fijo auxiliar $\mu^\star$ satisfaga una desigualdad TI. Esto permite aplicar la teoría de convergencia de CAVI a modelos con variables latentes discretas (por ejemplo, Modelos de Mezcla Gaussiana) donde el espacio auxiliar es no suave.

3. Aplicación a Modelos Bayesianos Específicos

Los autores aplican su marco teórico a tres modelos específicos, derivando tasas y condiciones explícitas de convergencia:

• Modelos de Mezcla Gaussiana (GMM) Desequilibrados:

  • La convergencia está gobernada por una transición de fase posterior.
  • La tasa depende de la separación de los modos posteriores. Si los modos están bien separados, el algoritmo converge localmente y exponencialmente rápido.
  • En el caso equilibrado ($p=0.5$), la convergencia global requiere una condición específica de relación señal-ruido ($r < 1$). Si esto falla, la posterior se vuelve multimodal, y CAVI converge a diferentes modos dependiendo de la inicialización.
  • Los resultados destacan que las mezclas desequilibradas (asimetría $p$) facilitan una convergencia más rápida al reducir la ambigüedad de etiquetas.

• Regresión Probit Bayesiana:

  • Los autores analizan las actualizaciones de CAVI para regresión Probit con aumento de datos (Albert y Chib, 1993).
  • Demuestran convergencia exponencial global con una tasa determinada por la fracción bayesiana de información faltante: $\lambda_{\max}((Q_0 + X^\top X)^{-1}X^\top X)$.
  • Muestran que en entornos de alta dimensión ($n, p \to \infty$), la tasa permanece acotada lejos de 1 bajo una escala adecuada del prior (por ejemplo, priores $g$ o escala directa), asegurando estabilidad incluso a medida que crece la dimensionalidad.

• Regresión Logística Bayesiana (Algoritmo Jaakkola-Jordan):

  • El artículo analiza el algoritmo utilizando aumentos de Polya-Gamma.
  • Derivan una tasa de convergencia local $r_\varepsilon$ que depende de la derivada de la función de enlace logística y la curvatura de la posterior.
  • Crucialmente, establecen que la tasa de convergencia para la regresión Logística es estrictamente mejor (menor) que para la regresión Probit bajo condiciones comparables, debido a las propiedades del aumento de Polya-Gamma y la forma específica de los términos de interacción. Este es el primer resultado de tasa de convergencia disponible para el algoritmo Jaakkola-Jordan.

Significado y Afirmaciones

El artículo afirma proporcionar una demostración nítida, directa y breve de la convergencia de CAVI que se basa en desigualdades funcionales en lugar de la log-concavidad fuerte global.

• Relajación de Supuestos: Al utilizar desigualdades de Transporte-Información y suavidad de Fisher, los autores evitan la necesidad de que la distribución objetivo $\pi$ sea fuertemente log-concava. Esta es una relajación significativa, ya que modelos estándar como los modelos de mezcla y la regresión logística no satisfacen la log-concavidad fuerte.
• Manejo de Espacios No Suaves: La extensión de aumento de datos permite el análisis de convergencia en entornos con variables latentes discretas, una característica común en modelos de mezcla que anteriormente era difícil de analizar bajo supuestos de variedades suaves.
• Dualidad Precisión-Convergencia: El artículo señala que las condiciones que aseguran una convergencia rápida (términos de interacción pequeños en relación con la curvatura) también implican que la aproximación variacional es de alta calidad (baja divergencia KL). Esto establece una dualidad entre la velocidad del algoritmo y la precisión de la aproximación.
• Relevancia Práctica: Las tasas derivadas para regresión de alta dimensión (Probit y Logística) demuestran que CAVI permanece estable y eficiente incluso a medida que crecen la dimensión $p$ y el tamaño de la muestra $n$, siempre que el prior se escale correctamente.

Los autores declaran explícitamente que su análisis actual se restringe al entorno de dos bloques ($m=2$) y que las extensiones a dinámicas de múltiples bloques quedan para trabajos futuros. También notan que, aunque sus resultados son locales, se alinean con y explican el comportamiento empírico de CAVI en paisajes complejos y no convexos.