Generalized Guarantees for Variational Inference in the Presence of Even and Elliptical Symmetry

Resumen Técnico: Garantías Generalizadas para la Inferencia Variacional en Presencia de Simetría Par e Elíptica

Planteamiento del Problema
La Inferencia Variacional (VI) aproxima una densidad objetivo $p$ mediante la búsqueda de la mejor coincidencia $q$ dentro de una familia tratable de distribuciones $\mathcal{Q}$, típicamente minimizando una divergencia $D(p||q)$. Aunque diferentes divergencias (por ejemplo, KL inversa, KL directa, $\alpha$-divergencias) suelen producir aproximaciones distintas, no está claro bajo qué condiciones la VI proporciona estimaciones demostrablemente precisas de propiedades estadísticas, como la media y la matriz de correlación. Trabajos previos establecieron que minimizar la divergencia de Kullback-Leibler (KL) inversa recupera la media y la matriz de correlación de un objetivo $p$ si $p$ es log-cóncavo y exhibe simetría par o elíptica. Sin embargo, estas garantías estaban limitadas a divergencias específicas y requerían supuestos fuertes (log-concavidad) que excluyen distribuciones de colas pesadas comunes en la práctica.

Metodología
Los autores generalizan estas garantías a una amplia clase de funciones objetivo y relajan las condiciones de regularidad de la densidad objetivo.

1. Funciones Objetivo: El análisis se centra en las $f$-divergencias, una familia amplia definida como $D_f(p||q) = \int f(p(z)/q(z))q(z)dz$, que incluye las divergencias KL inversa y directa, las $\alpha$-divergencias y las distancias de variación total suavizadas.
2. Definiciones de Simetría: El artículo formaliza la simetría par (simetría alrededor de un punto $\nu$), la simetría elíptica (simetría definida por una matriz de dispersión $M$) y la simetría parcial (simetría a lo largo de un subconjunto de coordenadas $\sigma$).
3. Familia Variacional: Se asume que la familia de aproximación $\mathcal{Q}$ es una familia de localización-escala elíptica, donde las distribuciones son elípticamente simétricas alrededor de un parámetro de localización $\nu$ con una matriz de dispersión proporcional a una matriz de escala $S$.
4. Marco Teórico:
   • Diagonalización Conjunta: Los autores emplean una transformación de coordenadas (Lema 1) que diagonaliza simultáneamente las matrices de dispersión de $p$ y $q$ mediante congruencia. Esto reformula la $f$-divergencia en términos de variables transformadas, simplificando el análisis de los puntos estacionarios.
   • Unimodalidad vs. Log-concavidad: En lugar de requerir que $p$ sea log-cóncavo, los autores asumen que $p$ y $q$ son estrictamente unimodales (sus funciones radiales son estrictamente decrecientes). Esto permite la inclusión de distribuciones de colas pesadas como las distribuciones Student-$t$ y Cauchy.
   • Regla de la Cadena para la Simetría Parcial: Para las simetrías parciales, los autores utilizan una propiedad de la regla de la cadena de las $f$-divergencias (Definición 9) para descomponer la divergencia en componentes condicionales y marginales, permitiendo el análisis de coordenadas con y sin simetría.

Contribuciones Clave
El artículo presenta tres teoremas principales que generalizan los resultados previos:

• Teorema 1 (Recuperación de la Media bajo Simetría Par): Para cualquier $f$-divergencia estrictamente convexa, si el objetivo $p$ es elípticamente simétrico y estrictamente unimodal, el único minimizador de la divergencia con respecto al parámetro de localización $\nu$ es la verdadera media de $p$ ($\nu = \mu$). Esto se mantiene incluso si $p$ tiene colas pesadas y no es log-cóncavo.
• Teorema 2 (Recuperación de la Media y la Matriz de Dispersión bajo Simetría Elíptica): Bajo las mismas condiciones que el Teorema 1, además del requisito de que la función radial de $p$ es radialmente decreciente en su cola, cualquier punto estacionario de la divergencia con respecto a los parámetros de localización-escala $(\nu, S)$ satisface $\nu = \mu$ y $S = \gamma^2 M$ para algún $\gamma > 0$. Consecuentemente, la VI recupera la matriz de correlación de $p$.
• Teorema 3 (Garantías de Simetría Parcial): Si $p$ exhibe simetría solo a lo largo de un subconjunto de coordenadas $\sigma$ (donde la distribución condicional $p(z_\sigma | z_{\bar{\sigma}})$ es elípticamente simétrica con una media condicional lineal y una matriz de dispersión constante), la aproximación variacional recupera la media condicional y la matriz de dispersión a lo largo de $\sigma$. Si la media condicional es constante, también se recuperan la media marginal y la correlación a lo largo de $\sigma$.

Resultados

• Teóricos: Las demostraciones muestran que las soluciones de coincidencia de simetría son puntos estacionarios para todas las $f$-divergencias estrictamente convexas. Los autores demuestran que, para objetivos unimodales, estos puntos estacionarios son minimizadores únicos para los parámetros de media y escala.
• Experimentos Numéricos: Los autores evaluaron la VI en objetivos sintéticos (Student-$t$ multivariante, embudo elíptico, distribución de media luna) y modelos jerárquicos Bayesianos (datos de educación, modelado de enfermedades, datos genéticos).
  • Midieron la asimetría de las distribuciones posteriores y encontraron que la VI produce errores absolutos menores en la estimación de la media para objetivos más simétricos.
  • En modelos con simetría parcial (por ejemplo, el embudo elíptico), la VI recuperó con precisión la media y las correlaciones a lo largo de las coordenadas simétricas ($\theta$), incluso cuando falló en recuperar la media de la coordenada asimétrica ($\tau$).
  • Los experimentos confirmaron que las estrategias de parametrización (por ejemplo, parametrización no centrada o marginalización) que reducen la asimetría en modelos jerárquicos conducen a un mejor rendimiento de la VI.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco teórico unificado que muestra que las propiedades de coincidencia de simetría de la VI son robustas a través de una amplia gama de funciones objetivo ($f$-divergencias) y no dependen del restrictivo supuesto de log-concavidad. Los autores enfatizan que estos resultados ofrecen "prescripciones para los profesionales", sugiriendo que el rendimiento de la VI en modelos jerárquicos Bayesianos puede mejorarse reparametrizando los modelos para explotar las simetrías parciales (por ejemplo, utilizando parametrizaciones no centradas o posteriores colapsadas). El trabajo extiende la comprensión de cuándo la VI es demostrablemente precisa, yendo más allá de la elección de divergencias específicas hacia una clase más amplia de objetivos y distribuciones objetivo más realistas (incluyendo las de colas pesadas). Los autores señalan que, si bien se centran en las garantías teóricas, sus hallazgos complementan el trabajo existente sobre diagnósticos y correcciones post-hoc.